RAG（検索拡張生成）におけるトークナイザー境界を意識した高精度チャンキング

RAG（検索拡張生成）におけるトークナイザー境界を意識した高精度チャンキングとは

RAG（検索拡張生成）におけるトークナイザー境界を意識した高精度チャンキングとは、大規模言語モデル（LLM）がテキストを処理する際の最小単位である「トークン」の区切り（トークナイザー境界）を考慮して、外部ドキュメントを意味のある小さな塊（チャンク）に分割する技術です。LLMの親トピックである「LLMのトークナイザー」で解説されるように、トークナイザーはテキストを特定のルールに基づいてトークン化しますが、単純な固定長や句読点によるチャンキングでは、単語やフレーズがトークン境界で分断され、意味が失われることがあります。この手法では、トークナイザーの挙動を事前に把握し、意味的なまとまりがトークン境界で寸断されないようにチャンクを生成することで、検索時の関連性低下を防ぎ、RAGシステム全体の検索精度と回答生成品質を向上させることを目指します。

このキーワードが属するテーマ