ファインチューニングのデータ作成は「合成」へ。2028年を見据えたData-Centric戦略とモデル崩壊リスク

開発現場のCTOたちが「アノテーターを100人雇っても、モデルの精度が頭打ちだ」と頭を抱えるケースが増えています。これは、AI開発現場で起きている「データの質」に関する変化を象徴しています。

これまでの常識では、ファインチューニング（微調整）の成功は「いかに大量の正解データを用意するか」にかかっていました。クラウドソーシングで人を集め、エクセルや専用ツールでラベル付けを行うのが一般的でした。

しかし、今後は「人手によるデータ作成」を前提にした計画は見直されるかもしれません。なぜなら、私たちは今、「AIがAIを育てる」時代、すなわち合成データ（Synthetic Data）と自動評価が主導する新たなフェーズに突入しているからです。

この記事では、単なるツールの使い方やコスト削減の話はしません。長年の開発現場で培った知見と、最新のAIエージェント研究の最前線から、2026年から2028年にかけて主流となるであろうデータセット作成の未来図を描き出します。そこで直面する「モデル崩壊（Model Collapse）」というリスクと、それを回避するための実践的な戦略について、皆さんと一緒に考えていきましょう。

なぜ「高品質なデータセット」の定義が変わりつつあるのか

まず、状況を整理しましょう。なぜ今、これまでのやり方を見直す必要があるのでしょうか。

「量」から「質」へのパラダイムシフト

数年前まで、AI業界を支配していたのは「スケーリング則（Scaling Laws）」でした。計算資源とデータ量を増やせば、モデルは賢くなるという考え方です。しかし、最近の研究や現場の実感として、この法則に陰りが見え始めています。

Web上のテキストデータは枯渇しつつあり、単に「量」を増やしても、精度の向上幅が鈍化しているのです。代わりに注目されているのが「データの純度」です。

Microsoftの「Phi-3」のような小規模言語モデル（SLM）が、巨大なモデルに匹敵する性能を叩き出した事例があります。彼らが勝因として挙げたのは、「教科書レベルの高品質なデータ」のみを厳選して学習させたことでした。ノイズ混じりのビッグデータよりも、磨き上げられたスモールデータの方が、特定のタスクにおいては遥かに価値が高いことが証明されたのです。

Human-in-the-loopの限界とボトルネック

「人間がもっと丁寧にデータを作ればいい」という考え方もありますが、構造的な限界があります。

1. コストの爆発: 高度な専門知識（医療、法務、エンジニアリングなど）を要するデータのアノテーション単価は高騰し続けています。
2. 品質のばらつき: 人間は疲れます。そして、人によって判断基準が異なります。10人の専門家に同じデータを渡しても、10通りの微妙に異なるラベルが返ってくることは珍しくありません。
3. スケーラビリティの欠如: モデルの進化スピードに、人間の作業スピードが追いついていません。

例えば、金融契約書の解析モデルを作るために弁護士チームにアノテーションを依頼すると、素晴らしいデータができるものの、コストと時間が膨れ上がる可能性があります。これを継続的に行うのは、ビジネスとして難しい場合があります。

モデル中心からデータ中心（Data-Centric）への回帰

AI界の権威、アンドリュー・ン氏が提唱した「Data-Centric AI（データ中心のAI）」という概念は、重要な戦略となっています。

モデルアーキテクチャ（アルゴリズムの構造）をいじることで得られる改善は、わずかかもしれません。これからの勝負は、「いかにしてモデルが迷わずに学べるクリアなデータセットを設計するか」にかかっています。

そして、その「クリアなデータ」を作る主体が、人間からAIへと移り変わろうとしているのです。

変化を加速させる3つのドライバー：合成データ、自動評価、カリキュラム学習

では、具体的にどのような技術がこの変化を牽引しているのでしょうか。以下の3つのキーワードを押さえてください。

合成データ（Synthetic Data）の実用化と進化

合成データとは、現実世界で収集されたデータではなく、AIモデルによって人工的に生成されたデータのことです。

以前は「AIが作ったデータでAIを学習させるなんて、タコが自分の足を食べるようなものだ（モデル崩壊を招く）」という懸念が一般的でした。しかし、高度な推論能力を持つ最新のAIモデルが登場したことで、この常識は覆されつつあります。

現在の最先端の手法では、以下のようなプロセスが一般的になりつつあります：

1. 人間が少数の高品質な「シード（種）データ」を作成する。
2. LLM（大規模言語モデル）がそれを分析し、類似したパターンや、より複雑な推論を要するケースを含むデータを大量に生成する。
3. 生成されたデータに対して厳格なフィルタリングを行い、高品質なものだけを抽出する。

最新のモデルでは、単なるテキスト生成だけでなく、論理的な思考プロセス（Thinking）を含んだデータを生成することも可能になっています。これにより、プライバシー情報の漏洩リスクを排除しつつ、コーナーケース（稀にしか起きない事象）を含む多様なデータセットを短期間で構築できます。例えば、製造業において欠陥品検知の画像データセットを合成データで補強することで、検知精度を向上させるといったアプローチが有効です。

LLMによる自動評価（LLM-as-a-Judge）の台頭

データを作ること以上に困難なのが、「そのデータ（あるいはモデルの出力）が良いか悪いか」を正確に評価することです。

ここで主流となっているのが「LLM-as-a-Judge（裁判官としてのLLM）」というアプローチです。推論能力に優れた最新のLLMに評価基準（ルーブリック）を与え、生成されたデータやモデルの回答を採点させます。

多くの研究や実証において、適切にプロンプト設計された最新モデルによる評価は、クラウドソーシングによる一般的な人間の評価よりも、専門家の評価と高い相関を示すことが確認されています。つまり、特定のタスクにおいては「非専門家の人間よりもAIの方が、品質を正しくジャッジできる」という状況が生まれているのです。

学習効率を高めるデータ順序の最適化

「カリキュラム学習」という概念をご存知でしょうか。

人間が学習する際、いきなり複雑な応用問題からは取り組みません。まずは基礎概念、次に応用、最後に例外処理と、難易度や依存関係に応じて順序立てて学びます。AIモデルの学習においても、この順序は極めて重要です。

データセットの中身だけでなく、「どの順番でデータを学習させるか」が最終的な性能や学習効率に直結します。従来はランダムにシャッフルするのが一般的でしたが、これからはデータの複雑さやモデルの習熟度に応じて「AIが学習しやすい順序」を自動的に構成する技術が重要視されています。これもまた、次世代のデータセット作成プロセスにおける不可欠な要素と言えるでしょう。

【短期〜中期展望】2026-2028年のデータセット作成プロセス

3〜5年後を見据えると、データセットの作成手法は劇的に変化していると考えられます。AIモデルの進化に伴い、データパイプラインにおいて人間が果たす役割も大きくシフトしていくでしょう。

ハイブリッド作成：人間は「教師」から「監修者」へ

未来のデータ作成現場では、人間が1つ1つ手作業でラベルを付ける姿は珍しくなるでしょう。代わりに、人間は「AIアノテーターの監督（Supervisor）」としての役割を担うことになります。

具体的なワークフローは以下のように進化すると予測されます：

1. 高度な指示出しとFew-Shotの活用: 望ましい出力の具体例を2〜3個提示するFew-Shotプロンプティングは、現在でも最も推奨される手法の一つです。さらに、プロンプト自体は複雑な指示文から「良きパートナーとして対話する」ようなシンプル化が進んでいます。ここに推論の過程を例示する思考連鎖（Chain-of-Thought）を組み合わせることで、AIの判断精度を大幅に引き上げます。
2. 適応型思考による構造化生成: 最新のAIモデル（ClaudeのAdaptive ThinkingやGeminiのDeep Think Miniなど）は、問題の複雑度に応じて推論の深さを自動的に調整する機能を備えています。これらの高度な推論エンジンとJSON Modeなどを併用することで、システム連携に適した構造化データを数万件規模で安定して出力することが可能です。
3. 自動選別（AIによる品質管理）: 別のAI（Criticモデル）が生成されたデータの品質をチェックし、自信度が低いものや論理的矛盾があるものだけを「要確認」として人間にエスカレーションします。
4. 監修・修正: 人間はエスカレーションされた難問のみを解決し、その判断結果をシステムにフィードバックします。

このプロセスにより、人間は単純なラベリング作業から解放され、AIの推論ロジックを磨くための高度な判断に集中できるようになります。

ドメイン知識の蒸留と形式知化プロセス

このフェーズで重要になるのが、「社内の暗黙知」をいかにデジタル化するかという点です。

例えば、熟練のカスタマーサポート担当者が「この問い合わせは緊急度が高い」と判断する際、そこには言語化されていない直感や文脈理解が存在します。これをAIに学習させるためには、その判断ロジックを明確にし、評価ルールとして形式知化する必要があります。かつて効果的とされた単なる「あなたはプロの〇〇です」といったロールプロンプトへの依存から脱却し、実際の業務データに基づく具体的な判断基準を少数例として提示することが重要になっています。

2028年の企業において、最も競争力のある資産は生データそのものではなく、この「独自の評価ロジック（ドメイン知識の結晶）」になると私は考えています。

リアルタイム・フィードバックループの構築

データセット作成は一度きりのプロジェクトではなく、常時稼働するパイプラインへと進化します。

本番環境でAIが回答し、ユーザーによる修正や評価が行われると、そのログが即座に評価用データセットへ変換されます。そして、夜間バッチなどでモデルが再学習される仕組みです。特にLoRAなどの効率的な手法によるアダプター更新を活用する際、最新の運用環境では、セキュリティとモデル間の互換性を考慮したフォーマット（.safetensors形式など）の選定や、適切なステップ数での学習管理が求められます。

この「Data Flywheel（データの弾み車）」を構築し、運用データから動的に学習し続けられる企業こそが、AIの品質を継続的に高めていけるでしょう。

シナリオ分析：AIがAIを教える世界の「光と影」

合成データと自動化は便利な技術ですが、リスクがないわけではありません。使い方を誤れば問題が起こる可能性があります。

楽観シナリオ：データ民主化と特化型AIの爆発的普及

ポジティブな側面から見れば、データの作成コストが激減することで、中小企業やニッチな業界でも高度な特化型AIが作れるようになります。

「世界で5人しか専門家がいない古代言語の翻訳AI」や「特定の工場の、特定の機械の異音を聞き分けるAI」など、これまではROI（投資対効果）が合わずに見送られていたプロジェクトが実現する可能性があります。これは真の意味での「AIの民主化」です。

リスクシナリオ：モデル崩壊（Model Collapse）とバイアスの増幅

一方で、研究者たちが警鐘を鳴らしているのが「モデル崩壊（Model Collapse）」です。

これは、AIが生成したデータを次の世代のAIが学習し、そのAIが生成したデータをまた次の世代が…と繰り返すことで、データの分布が徐々に歪み、現実世界の多様性や複雑さが失われていく現象です。

コピーのコピーを取ると画質が劣化するように、AIも「平均的なデータ」ばかりを生成するようになり、現実の「外れ値」や「ニュアンス」を忘れてしまう可能性があります。結果として、出力が均質化し、創造性や現実対応力が低下します。

さらに、元のモデルに含まれていたバイアス（偏見）が、再学習の過程で増幅されるリスクもあります。AIが「男性＝医師、女性＝看護師」というバイアスを持っていた場合、合成データにもその傾向が強く反映され、それを学習した次世代モデルはさらに極端なバイアスを持つようになる可能性があります。

現実解：高品質な「シードデータ」の争奪戦

モデル崩壊を防ぐ唯一の方法は、ループの中に「新鮮で純粋な人間由来のデータ」を注入し続けることです。

将来的には、Web上のデータの大半がAI生成物で汚染される可能性があります。そのとき、企業が独自に保有する「人間が書いた日報」「人間同士のメール」「熟練工の手書きメモ」といったOrganic Data（有機的データ）の価値が高まるかもしれません。

今、企業が準備すべき「データキャピタル」の再定義

以上の未来予測を踏まえ、経営と開発現場の両方の視点から、今すぐ取り組むべき実践的なアクションを以下に示します。

「生データ」よりも「評価基準」を蓄積せよ

これまでは「データを溜めろ」と言われてきましたが、これからは「評価基準（Golden Set）を作れ」と提案します。

AIが出力した答えが「正解」か「不正解」か、あるいは「80点」か「100点」か。それを判定するためのテストデータセットと評価ガイドラインを整備してください。これがあれば、モデル自体は他社のものを借りてきても、自社向けにチューニングし、品質を担保することができます。

ドメインエキスパートの知見をアノテーション指針へ

社内のトップパフォーマーの知見を、AI開発チームに移植する作業を始めてください。

「なぜ、この回答がベストなのか？」
「このケースでは、なぜAではなくBを提案するのか？」

こうした暗黙知をインタビューし、ドキュメント化し、アノテーションのマニュアルや、LLMへの評価プロンプト（System Prompt）に落とし込む。これが競争優位になると考えられます。

将来の自動化を見据えたデータガバナンス

最後に、データ来歴（Provenance）の管理です。

今蓄積しているデータが、「人間が作ったもの」なのか、「AIが生成したもの」なのか、あるいは「AIが生成して人間が修正したもの」なのか。メタデータとしてタグ付けしておくことをお勧めします。

数年後、モデル崩壊を防ぐために「純粋な人間データ」だけを抽出して学習させたい場面が来るかもしれません。そのとき、タグ付けがされていなければ、手持ちのデータは使い物にならない可能性があります。

まとめ

データセット作成の世界は、「人海戦術」から「AI協働」へと進化しています。

1. 合成データと自動評価が、コストと品質の課題を解決する鍵になる。
2. 人間は作業者から「監修者」へと役割を変え、ドメイン知識の提供に専念する。
3. モデル崩壊のリスクを理解し、人間由来のデータを戦略的に確保・管理する。

この変化は脅威でもありますが、チャンスでもあります。競合他社がまだ「アノテーションコストが高い」と嘆いている間に、次世代のデータパイプラインを構築できれば、AIを進化させることができると考えられます。

しかし、具体的に「自社のどのデータをどう活用すべきか」「合成データの品質をどう担保するか」といった悩みがあるかもしれません。それぞれの業界やデータの特性によって、最適な解は異なります。

未来は、準備し、そして「まず動いて検証した者」の手の中にあります。皆さんの現場でも、ぜひ小さなプロトタイプから次世代のデータパイプライン構築に挑戦してみてください。