実務の現場でAIプロジェクトを推進していると、共通の課題が浮き彫りになってきます。
「社内の膨大な技術文書をRAG（検索拡張生成）で読ませたのに、AIが的外れな回答をする」
「専門用語を教えようとプロンプトを工夫したが、どうしても誤解される」
医療、法律、金融、あるいは高度な製造業の現場でAI導入を進めている場合、こうした課題に直面することがあります。
原因として、「プロンプトの質」や「検索システム（ベクターデータベース）の精度」が疑われることが多いですが、モデル自身の「基礎学力」不足も考えられます。
本記事では、長年の開発現場で培った知見と最新技術の動向を踏まえ、RAGやファインチューニング（SFT）だけでは専門分野のAI構築に限界がある理由と、その解決策としての「継続的事前学習（Continuous Pre-Training）」について解説します。
なぜ専門分野のAIは「もっともらしい嘘」をつくるのか
ChatGPTやClaudeのような汎用LLM（大規模言語モデル）は、インターネット上の膨大なテキストを学習しているため、日常会話や一般的なビジネスメール、プログラミングコードについては高い知識を持っています。
しかし、特定の業界だけで通用する「特殊な文脈」や「略語」、あるいは「マイナーな言語」については、十分な知識を持っていない場合があります。
汎用モデルが抱える「知識の空白地帯」
例えば、特定の製造装置のエラーコード「E-404」が、Web開発における「Not Found」ではなく、その業界では「油圧低下による緊急停止」を意味するとします。
汎用モデルは「E-404 = 油圧低下」という知識を持っていない可能性があります。学習データに含まれていないためです。この状態で「E-404が出た時の対処法は？」と聞かれると、モデルは自分の知っている確率的な知識（Webの常識）を総動員して、「ページが見つからないようです。URLを確認してください」と答えるか、あるいはもっともらしく「電源を再起動してください」と答える可能性があります。
これが、専門分野で頻発するハルシネーション（幻覚）の原因の一つと考えられます。
検索（RAG）だけでは埋められない「理解力」の壁
「RAGを使って、マニュアルを検索させている」という場合でも、RAGはあくまで「外部資料を渡す」行為です。
例えば、全く知らない外国語で書かれた高度な医学論文を渡されて、「これを読んで要約して」と言われた場合を想像してみてください。辞書（検索機能）があったとしても、文法や基礎的な用語の意味がわからなければ、正しく解釈することは困難です。
AIも同様に、モデル自身にそのドメインの「言語」を理解する基礎能力がなければ、どれだけ高精度な検索システムでドキュメントを渡しても、それを正しく読み解くことは難しいと考えられます。
誤解①：「RAGさえあれば、モデル自体に知識を入れる必要はない」
「RAG万能論」とも言える考え方がありますが、これは誤解です。
RAGは「カンニングペーパー」、事前学習は「基礎学力」
RAGは、試験中に教科書やメモ（カンニングペーパー）を見ることを許可する技術です。非常に強力ですが、それは「教科書に書いてある言葉の意味がわかる」ことが前提となります。
もし、その教科書に書かれているのが、モデルにとって未知の専門用語や特殊な記号の羅列だったとしたら、モデルはそれを単なる「意味不明な文字列」として扱う可能性があります。
トークナイザーの壁：未知の言語・用語は「意味のない記号」として処理される
LLMは、テキストを「トークン」という単位に分解して処理します。英語であれば単語単位できれいに分かれることが多いですが、専門用語や日本語のような言語では、これがうまくいかないことがあります。
例えば、「心筋梗塞」という言葉を汎用モデルが知っていれば、それを一つの概念（トークン）として扱えます。しかし、もし新薬の名前「Xylophrine-Z」があったとします。モデルがこれを知らない場合、トークナイザーはこれを「Xy」「lo」「ph」「ri」「ne」「-」「Z」のようにバラバラの文字の羅列に分解してしまうかもしれません。
この場合、モデルにとってそれは「薬の名前」としての意味を失い、ただのアルファベットの並びになります。RAGでマニュアルを検索して「Xylophrine-Zを投与する」という文章を見つけてきても、モデルはそれが何なのか深く理解できず、文脈に沿った適切な回答生成に失敗する可能性があります。
これが、低リソース言語や専門分野でRAGの精度が頭打ちになる原因の一つと考えられます。
誤解②：「ファインチューニング（SFT）で新しい知識を教え込めばいい」
「SFT（Supervised Fine-Tuning）で業界固有のデータを大量に学習させれば、モデルは賢くなるはずだ」と考えていませんか？ 実は、これも典型的な誤解の一つであり、プロジェクトの失敗を招く大きな要因です。
SFTは「話し方」の矯正、事前学習は「知識」の獲得
エンジニアリングの観点から整理すると、SFTの主目的はモデルの「振る舞い（Instruction Following）」や「出力形式（Format）」の最適化にあります。知識そのものの獲得プロセスとは明確に区別して考える必要があります。
- 継続的事前学習（CPT）: 専門書やドキュメントを読み込み、ニューラルネットワークの重みとして新しい概念や事実関係を焼き付けるプロセス（基礎知識の獲得）。
- SFT（Supervised Fine-Tuning）: 獲得した知識を使って、どのように回答すべきか、どのようなトーンで話すべきかをトレーニングするプロセス（対話スタイルの調整）。
SFTで無理やり知識を覚えさせようとするのは、いわば「面接のロールプレイング中に、未知の高度な物理法則を丸暗記させようとする」ようなものです。これでは効率が悪いだけでなく、モデルのパラメータリソースを不適切に消費してしまいます。
無理な知識注入が引き起こす「破滅的忘却」と「ハルシネーション」
さらに深刻なリスクとして「破滅的忘却（Catastrophic Forgetting）」があります。SFTで特定のドメイン知識を過度に学習させようとすると、モデルが元々持っていた一般的な言語能力や論理的思考力、あるいは他の分野の知識が上書きされて失われてしまう現象です。
また、SFTは「ユーザーの問いかけに対して、もっともらしい回答を返す」ことを最適化のゴールとします。そのため、十分な知識ベース（事前学習による記憶）がない状態でSFTを行うと、「事実は知らないが、流暢な嘘をついて会話を成立させる」という振る舞いが強化されるリスクがあります。これはハルシネーション（幻覚）を悪化させる主要因となり得ます。
確実なドメイン知識をモデルに定着させたいのであれば、SFTの手前のフェーズ、すなわち「継続的事前学習」で十分なデータを与えるアーキテクチャ設計が不可欠です。
誤解③：「ビッグデータがないと事前学習は効果が出ない」
「事前学習」と聞くと、巨大テック企業のように大量のGPUリソースを投入し、数兆トークン規模のウェブデータを学習させる巨大プロジェクトを想像するかもしれません。しかし、それはあくまで汎用モデルを「ゼロから構築する（Pre-training）」場合の話です。
量より質：ドメイン特化におけるデータの「密度」
既存の基盤モデルに対して、特定の専門分野を追加で学ばせる「継続的事前学習（Continuous Pre-training）」のアプローチでは、必要なデータ量は桁違いに少なくて済みます。
ここで重要になるのは、データの「量」よりも「質（密度）」です。インターネット上の玉石混交なブログ記事を大量に読ませるよりも、以下のような高密度なドメインデータを厳選して学習させる方が、専門領域への適応においては遥かに高い効果が期待できます。
- 社内で蓄積・管理された技術マニュアル
- 専門家によって査読された論文や学術誌
- 用語法が統一された特許文書や仕様書
教科書品質のデータが少量あればモデルは賢くなる
近年のLLM開発におけるトレンドとしても、データの質を重視する傾向が強まっています。実際に、数億トークン（文庫本で数千冊程度）規模の良質なドメインデータがあれば、モデルはその分野における理解度を大幅に向上させることが可能です。
特に、社内用語や業界特有の言い回しが多い環境では、それらを含んだ高品質なテキストデータを学習させることで、モデルはその「組織の言語」を習得します。これにより、単語の表面的な意味だけでなく、文脈に応じた適切な解釈が可能になり、結果としてその後のRAG（検索拡張生成）やファインチューニング（SFT）の精度を底上げする効果も期待できます。
OpenAIのAssistants APIなどで検索機能（RAG）が高度化している現在でも、モデル自身がドメイン知識を「基礎教養」として持っているかどうかは、回答の質に大きな差を生む決定的な要因となります。
戦略的選択：いつ継続的事前学習に投資すべきか
継続的事前学習（Continuous Pre-training）は強力な手法ですが、すべてのプロジェクトで必須というわけではありません。最新のLLMはコンテキストウィンドウが拡大し、RAG（検索拡張生成）の技術も高度化しています。
しかし、それでも解決できない「壁」が存在します。以下の判断基準を用いて、投資すべきタイミングを見極めてください。
RAG vs SFT vs 継続的事前学習 の判断フローチャート
現代のAI開発において、技術選定は以下のステップで検討するのが合理的です。
ドメイン固有の「言語」をモデルが理解しているか？
- 一般的な言葉で説明可能 → プロンプトエンジニアリングで対応
- 業界特有の略語、社内用語、特殊な文脈が多い → 次へ
高度なRAG（リランキング・ハイブリッド検索）で解決できるか？
- 関連情報をプロンプトに含めれば、正しく回答できる → RAGのみでOK
- 情報を渡しても、モデルが用語の意味を取り違えたり、誤った推論を行ったりする → 次へ
モデルに不足しているのは「知識」か「振る舞い」か？
- 回答のトーン、出力形式、特定のタスク手順を遵守させたい → SFT（教師ありファインチューニング）
- 用語の背景にある概念、因果関係、論理構造そのものを理解させたい → 継続的事前学習
特に重要なのはステップ2です。最近のプラットフォームでは、ファイル検索機能（RAG）が標準実装されるケースが増えていますが、モデル自体がその分野の「基礎教養」を持っていない場合、いくら参考資料（検索結果）を渡しても、正しく読み解くことができません。
低リソース・専門分野で勝つためのデータ戦略
ビジネスが英語以外の言語圏で、かつ専門性の高い領域（医療、法務、金融、製造、特定の科学技術分野など）にある場合、継続的事前学習は競合優位性を築くための決定的な投資になります。
汎用的な最新モデルは非常に優秀ですが、トレーニングデータに含まれていないニッチな領域では、もっともらしい嘘（ハルシネーション）をつくリスクが残ります。一方で、自社の独自データ（マニュアル、日報、技術文書、特許など）を使ってモデルの基礎知識を底上げした組織は、より正確で、より深い洞察を提供できるAI基盤を手に入れることができます。
これは単なる精度向上の話ではなく、AIに対する「信頼性」の構築プロセスそのものです。
まとめ
AI開発において、「近道」のように見えるRAGやSFTが、場合によっては遠回りになることがあります。それぞれの役割を正しく理解し、適材適所で組み合わせることが成功の鍵です。
- RAGは「カンニングペーパー」。モデルに読む力（ドメイン知識）がなければ、渡しても意味を成しません。
- SFTは「話し方の矯正」。出力スタイルを整えるのには有効ですが、新しい知識を詰め込む場所ではありません。
- 継続的事前学習こそが、専門分野の「基礎学力」を養い、RAGやSFTの効果を最大化するための土台となります。
「データ量が足りないのではないか」と懸念されることも珍しくありませんが、質が高ければ比較的少量のデータでも効果が確認されています。社内に眠るテキスト資産が、汎用AIを「自社の専門家」へと進化させるための重要な資源になるのです。
AIは魔法ではありませんが、論理的な戦略に基づいて教育すれば、ビジネスに確実な成果をもたらします。まずは自社の課題が「知識不足」にあるのか、「検索不足」にあるのかを見極めることから始めましょう。
コメント