RAG（検索拡張生成）におけるドキュメント汚染とPoisoning攻撃の防御

RAG（検索拡張生成）におけるドキュメント汚染とPoisoning攻撃の防御とは

RAG（検索拡張生成）におけるドキュメント汚染とPoisoning攻撃の防御とは、大規模言語モデル（LLM）を用いたRAGシステムが参照する外部知識ベースに対し、悪意のあるデータや不正な情報を混入させることで、RAGモデルの出力に誤りや偏り、特定の意図を持った内容を誘導する攻撃からシステムを保護するための一連の対策を指します。これらの攻撃は、RAGシステムの信頼性を損ない、誤情報拡散やセキュリティ侵害に繋がる可能性があるため、データの健全性確保が極めて重要です。これは、親トピックである「AIエージェントのセキュリティ対策」の一部として、特に自律型AIのリスク管理において不可欠な要素となります。防御策には、データソースの厳格な検証、アクセス制御、継続的な監視、モデルの堅牢化などが含まれます。

このキーワードが属するテーマ