ファインチューニングにおけるカタストロフィック忘却を防ぐための正則化手法

ファインチューニングにおけるカタストロフィック忘却を防ぐための正則化手法とは

ファインチューニングにおけるカタストロフィック忘却を防ぐための正則化手法とは、事前学習済みモデルを新しいタスクへ適応させる（ファインチューニングする）際に、以前に学習した重要な知識が失われてしまう現象（カタストロフィック忘却）を抑制し、モデルの汎化性能を維持するための技術群です。この現象は、新しいデータセットにモデルが過度に適応しようとすることで、以前のタスクに対する性能が著しく低下することによって発生します。 正則化手法は、モデルパラメータの更新を適切に制御し、過去の知識に寄与する重みを保護することで、この問題に対処します。代表的な手法には、Elastic Weight Consolidation (EWC) や Learning without Forgetting (LwF) などがあります。EWCは、特定の重みが過去のタスクにとってどれほど重要であったかを推定し、その更新にペナルティを課します。LwFは、古いタスクの出力分布を新しいタスクの学習時に模倣させることで知識を保持します。 これらの手法は、Pythonでのファインチューニング実装において、モデルが複数のタスクを連続して学習する継続学習のシナリオや、少量のデータで効率的に転移学習を行う際に、モデルの安定性と堅牢性を高める上で極めて重要です。

このキーワードが属するテーマ