AIを活用したRAGパイプラインにおける間接的プロンプトインジェクション対策

AIを活用したRAGパイプラインにおける間接的プロンプトインジェクション対策とは

AIを活用したRAGパイプラインにおける間接的プロンプトインジェクション対策とは、RAGシステムが参照する外部の情報源に悪意のある指示やデータが埋め込まれることで、生成AIが意図しない応答や有害な内容を出力してしまう攻撃（間接的プロンプトインジェクション）を防ぐための技術や戦略の総称です。この攻撃は、ユーザーが直接プロンプトを操作するのではなく、RAGの「検索（Retrieval）」フェーズで取得されるデータを通じて間接的に行われるため、検出が困難な場合があります。対策には、データソースの厳格な検証、入力コンテンツのサニタイズ、生成AIモデルの安全性強化、出力のモニタリングなどが含まれます。これは、RAGシステムの信頼性と安全性を確保する上で不可欠な要素であり、親トピックであるRAG安全性の中核的な課題の一つとして位置づけられます。

このキーワードが属するテーマ