AI評価指標「Faithfulness」を用いたハルシネーション発生率の計測と分析

AI評価指標「Faithfulness」を用いたハルシネーション発生率の計測と分析とは

AI評価指標「Faithfulness」を用いたハルシネーション発生率の計測と分析とは、大規模言語モデル（LLM）が生成したテキストが、与えられた入力情報やソース情報にどれだけ忠実であるかを評価する手法です。特に、LLMの大きな課題であるハルシネーション（事実に基づかない誤情報の生成）の発生を定量的に測定し、その頻度やパターンを詳細に分析することを目的とします。Faithfulnessは、生成テキスト内の各文がソース情報から直接推論できるか、または矛盾しないかを評価することで、情報の整合性を測ります。この分析は、LLMの信頼性と安全性を向上させる上で極めて重要であり、「LLMのハルシネーション」という広範な課題への対策の一環として位置づけられます。モデルの改善やリスク軽減のための具体的な洞察を提供します。

このキーワードが属するテーマ