AIによるシステムプロンプト隠蔽と抽出攻撃（Exfiltration）の防止設計

AIによるシステムプロンプト隠蔽と抽出攻撃（Exfiltration）の防止設計とは

「AIによるシステムプロンプト隠蔽と抽出攻撃（Exfiltration）の防止設計」とは、大規模言語モデル（LLM）などのAIシステムにおいて、モデルの振る舞いを制御する内部的な指示であるシステムプロンプトが、悪意のあるユーザーによって不正に開示されたり、そのプロンプトに含まれる機密情報が外部に漏洩したりするのを防ぐためのセキュリティ設計を指します。これは、AIの意図しない挙動や情報漏洩を防ぐ「プロンプト注入対策」の一種であり、AIシステムの信頼性と安全性を確保するために極めて重要です。具体的には、モデルの応答を制限するメカニズムや、機密情報へのアクセスを厳格に管理する手法などを組み合わせることで、攻撃者がシステムプロンプトを推測したり、意図しない情報抽出を試みたりするのを阻止します。

このキーワードが属するテーマ