長文コンテキストにおけるAIの「中間欠落（Lost in the Middle）」問題とトークン制御

長文コンテキストにおけるAIの「中間欠落（Lost in the Middle）」問題とトークン制御とは

「長文コンテキストにおけるAIの「中間欠落（Lost in the Middle）」問題とトークン制御」とは、大規模言語モデル（LLM）が非常に長い入力テキストを処理する際に、テキストの冒頭や末尾の情報に比べて、中間部分に含まれる重要な情報を記憶したり参照したりする能力が低下する現象を指します。これは、モデルが一度に処理できる情報の量（トークン上限）に関連しており、親トピックである「トークン上限」がLLMの性能に与える具体的な悪影響の一つとして認識されています。この問題を克服し、AIがより長い文脈を正確に理解し続けるためには、アテンションメカニズムの改善や効率的なトークン利用法などの「トークン制御」技術の開発と適用が不可欠とされています。

このキーワードが属するテーマ