LLMファインチューニングにおけるトークナイザーのボキャブラリ拡張手法

LLMファインチューニングにおけるトークナイザーのボキャブラリ拡張手法とは

「LLMファインチューニングにおけるトークナイザーのボキャブラリ拡張手法」とは、大規模言語モデル（LLM）のファインチューニング時に、既存のトークナイザーの語彙（ボキャブラリ）に新たな単語やサブワードを追加する技術です。これにより、特定のドメインに特有の専門用語や、学習データに頻繁に出現するが既存語彙にはない単語を効率的に処理できるようになります。未知語（UNKトークン）の発生を抑制し、モデルの理解度と生成能力を向上させる目的があります。これは、テキストデータをLLMが扱える形式に変換する「フレームワークのトークナイザー」の重要な応用手法の一つです。

このキーワードが属するテーマ