LLMの事実性を評価する「TruthfulQA」ベンチマークの技術的解説

LLMの事実性を評価する「TruthfulQA」ベンチマークの技術的解説とは

「LLMの事実性を評価する「TruthfulQA」ベンチマーク」とは、大規模言語モデル（LLM）が生成するテキストの事実性、特に誤情報や「幻覚」（ハルシネーション）と呼ばれる誤った情報を生成する傾向を測定するために設計された評価データセットおよびベンチマークです。このベンチマークは、意図的に誤解を招くような質問や一般的な誤解に基づいた質問を提示し、モデルが真実かつ情報量の多い回答を生成できるかを試します。既存の幻覚指標の一つとして位置づけられ、モデルが人間が信じやすいが実際には虚偽の情報を回避し、真実を語る能力を客観的に評価する上で極めて重要です。これにより、LLMの信頼性と安全性の向上に貢献します。

このキーワードが属するテーマ