AutoAWQを用いたカスタムデータセットによる特定ドメイン向け量子化手法

AutoAWQを用いたカスタムデータセットによる特定ドメイン向け量子化手法とは

AutoAWQライブラリを活用し、特定のドメインに特化したカスタムデータセットを用いてLLMを量子化することで、そのドメインにおける精度を維持しつつ軽量化を図る手法を詳述します。

このキーワードが属するテーマ