キーワード解説
AWQ(Activation-aware Weight Quantization)を用いたLLMの推論精度維持と軽量化
LLMの推論精度を維持しつつ、効果的にモデルを軽量化するActivation-aware Weight Quantization (AWQ)のメカニズムと活用法を解説します。
0 関連記事
AWQ(Activation-aware Weight Quantization)を用いたLLMの推論精度維持と軽量化とは
親クラスター「量子化・軽量化」の解説よりLLMの推論精度を維持しつつ、効果的にモデルを軽量化するActivation-aware Weight Quantization (AWQ)のメカニズムと活用法を解説します。
このキーワードが属するテーマ
このキーワードに紐付く記事はまだありません