【生成AI】APIで挙動が安定しない時のtop_p/temperature/max_tokens調整方法

APIを利用して生成AIからの出力を得る際、リクエストごとに大きく異なる結果が返ってきて困った経験はありませんか。特に業務で利用する場合、安定した品質の回答が必要です。この記事では、生成AIのAPIでよく使われるtop_p、temperature、max_tokensの3つのパラメータを調整することで、出力を安定させる具体的な方法を解説します。

これらのパラメータは多くの生成AIサービス(ChatGPT、Claude、Geminiなど)のAPIで共通して利用できる基本的な設定項目です。それぞれの役割を理解し、適切に組み合わせることで、望まないばらつきを減らせます。また、調整の際によくある失敗パターンも紹介しますので、実際の開発に役立ててください。

top_p・temperature・max_tokensの役割と動作原理

最初に、3つのパラメータがどのように出力に影響を与えるのかを理解しましょう。これらはすべて、モデルが次に生成するトークン(単語や記号のかたまり)を選ぶ確率分布を操作するためのものです。

temperature(温度)は、確率分布を「なだらか」または「とがった」形に変形します。値が小さいほど、高い確率のトークンがさらに選ばれやすくなり、出力が決定論的になります。値が大きいほど確率が均され、多様なトークンが選ばれやすくなります。一般的な範囲は0〜2です。

top_p(nucleus sampling)は、累積確率が指定した値(例:0.9)に達するまでの上位トークンのみを候補として残し、残りを切り捨てます。これにより、低確率なトークンが選ばれる可能性を抑えられます。値が小さいほど候補が少なくなり、出力が安定します。値の範囲は0〜1です。

max_tokensは、生成するトークンの最大数を制限します。この制限を超えるとその時点で出力を打ち切ります。長すぎる回答は逸脱しやすくなるため、適切な上限を設定することで品質を保てます。

出力を安定させるための具体的な調整手順

ここからは、APIの挙動が安定しない場合に試すべき具体的な調整手順を説明します。順番に沿って設定を変更してみてください。

1. ステップ1: temperatureを低く設定する
   まずtemperatureを0.1〜0.3程度に設定します。これだけでもランダム性が大きく減り、似たような出力になりやすくなります。ただし低すぎると同じフレーズを繰り返すリスクがあります。
2. ステップ2: top_pを低く設定する
   次にtop_pを0.5〜0.7程度に下げます。これにより、可能性の低いトークンを排除し、より確実な回答が選ばれやすくなります。temperatureとtop_pはどちらか一方だけでも効果がありますが、両方を調整するとより安定します。
3. ステップ3: max_tokensを適切な値に制限する
   タスクに必要な最低限の長さを想定し、その1.5倍程度をmax_tokensに指定します。例えば要点だけを答えてほしいなら100トークン、短い説明なら200トークン程度です。長すぎる制限は避けます。
4. ステップ4: 固定のシード値を設定する(可能な場合)
   一部のAPIではシード値(seed)を指定できます。同じシード値を繰り返し使うと、同じtemperatureやtop_pでもまったく同じ出力が得られやすくなります。シードが使えるサービスでは積極的に活用しましょう。
5. ステップ5: 実際にテストリクエストを複数回送る
   パラメータを変更したら、同じプロンプトで5〜10回リクエストを送り、出力のばらつきを確認します。安定していなければさらに値を調整します。このとき、プロンプト自体も簡潔かつ明確にすることが重要です。

調整時のよくある失敗と注意点

temperatureを0にしても出力が完全に一致しない

多くの生成AIサービスでは、temperatureを0に設定しても、内部的な乱数やハードウェアの影響で完全に同一の出力にはならない場合があります。完全な決定論的な出力を求めるなら、temperature=0に加えてtop_p=1に設定し、さらに固定シードを使うと効果的です。それでもモデルやAPIの実装によっては揺らぎが残ることを理解しておいてください。

top_pとtemperatureを両方設定すると効果が相殺されることがある

top_pとtemperatureは独立した仕組みですが、両方を使うと予想外の挙動を招くことがあります。特にtemperatureを高くしてtop_pを低くすると、候補が減った上で多様性が強制されるため、不安定になりやすいです。基本的にはどちらか一方をメインに調整し、もう一方は中間値(temperature=0.7、top_p=0.9)に固定するのが安全です。

max_tokensが小さすぎると文が途中で切れる

max_tokensを必要以上に小さく設定すると、回答が中途半端な場所で打ち切られ、意味が通じなくなります。特に日本語はトークン数が英語より多くかかる傾向があるため、余裕を持った設定が必要です。逆に大きすぎると、モデルが長文を生成する過程で話題が逸れるリスクが高まります。

パラメータの数値範囲はサービスによって異なる

各生成AIサービスのAPIドキュメントで、利用可能な最小値・最大値とデフォルト値を確認してください。例えばtemperatureの範囲が0〜1のサービスもあれば、0〜2のサービスもあります。範囲外の値を指定するとエラーになるか、勝手に範囲内に丸められます。

比較表: 各パラメータの推奨設定値

まとめ

APIから安定した出力を得るには、temperatureを低め(0.1〜0.3)、top_pを低め(0.5〜0.7)、max_tokensを必要最小限に設定することが基本です。さらに固定シードを使えるサービスでは有効活用してください。これらのパラメータは一度決めれば終わりではなく、タスクやプロンプトの内容に応じて微調整が必要です。まずは本記事の手順に沿ってテストを行い、最適な組み合わせを見つけてください。