生成AIのトークン対数確率（Logprobs）を用いた信頼度スコアリング技術

生成AIのトークン対数確率（Logprobs）を用いた信頼度スコアリング技術とは

生成AIのトークン対数確率（Logprobs）を用いた信頼度スコアリング技術とは、大規模言語モデル（LLM）がテキストを生成する際に、各トークン（単語や文字の一部）に割り当てる対数確率（Logprobs）を利用し、出力の信頼性や確信度を数値化する手法です。モデルが生成した各トークンの確信度を合計または平均することで、文や応答全体の信頼度スコアを算出します。この技術は、生成AIの「幻覚（ハルシネーション）」を検知・評価するための重要な指標の一つです。Logprobsが低い出力はモデルの確信度が低いことを示し、信頼性の低い応答の特定に役立ちます。

このキーワードが属するテーマ