イントロダクション：なぜ今、テキスト偏重のRAGからの脱却が必要なのか
「社内のナレッジ共有が進まない」「過去のトラブル事例が検索してもヒットしない」。
DX推進の現場において、こうした課題は決して珍しくありません。特に製造業や建設、インフラといった業界では、この問題が顕著に現れる傾向があります。なぜでしょうか？
それは、これらの業界における重要な「知恵」の大部分が、テキストデータとしてではなく、「画像」や「図表」の中に封じ込められているからです。
従来の生成AIやRAG（Retrieval-Augmented Generation）システムは、長らくテキストデータの処理に主眼を置いてきました。しかし、現場の実態を見れば、複雑な配管図の注釈、手書きの点検メモ、あるいは熟練技術者が撮影した現場写真の中にこそ、解決すべき問題の答えがあります。これらを「読めない」システムは、実質的に社内資産の多くを活用できていない状態と言えるでしょう。
本日は、画像認識や自然言語処理、データ分析、システム開発を専門とするAIエンジニアの吉田氏にお話を伺います。実務的な知見と論理的なアプローチから、従来のOCR（光学文字認識）の限界と、進化するマルチモーダルRAGがもたらすビジネスインパクトについて深掘りしていただきました。
「検索できない」社内資産の8割は画像の中に眠っている
編集部： 最近、製造業界のトレンドとして「図面検索」や「非構造化データの活用」に関する議論が活発化しています。生成AIを導入したものの、「期待したほど図面の中身を検索できない」という課題が浮き彫りになっているようです。
吉田（専門家）： その課題は、現在のAI技術の過渡期を象徴しています。多くの企業が「生成AI＝万能な検索エンジン」と捉えて導入を進めますが、そこで最初に直面するのが「非構造化データ」、特に画像の扱いです。
実務の現場で扱われるドキュメントの中で、純粋なテキストだけで構成されているものは意外と少ない傾向にあります。特に製造現場のマニュアルや仕様書は、図解があって初めて意味を成すものばかりです。これまでのテキスト偏重のRAG活用は、いわば「図版を黒塗りにした教科書」をAIに読ませていたような状態と言えます。
編集部： 図版を黒塗りにした教科書……それは分かりやすいですが、実務で考えると致命的ですね。
吉田（専門家）： おっしゃる通りです。それでは試験に受からないのと同じで、AIも現場の複雑な質問には論理的に答えられません。
しかし、技術の潮流は変わりつつあります。画像や図表、UI、さらには手書きメモまでをテキストと統合して検索・理解する「マルチモーダルRAG」が主流になり始めています。
特にAIモデルの進化は著しく、例えばOpenAIの動向を見ると、2026年2月13日をもってGPT-4oやGPT-4.1といった旧モデルが廃止され、長い文脈の理解や高度な画像解析能力を備えた「GPT-5.2（InstantおよびThinking）」が新たな標準モデルへと完全に移行しました。
旧モデルに依存していた既存のRAGシステムは、APIの指定を新モデルへ切り替えるなどの早急なアップデートが必要になります。しかし、このGPT-5.2への移行は単なるシステムの保守作業にとどまりません。要約や文章作成の構造化が改善されるだけでなく、図面や現場写真からの情報抽出精度が飛躍的に向上するため、システム全体のパフォーマンスを引き上げる絶好の機会となります。AIはもはやテキストだけでなく、視覚情報も直接かつ高精度に「理解」できる段階に入ったと言えます。
本日は、なぜ従来のOCR依存のアプローチでは限界があるのか、そして最新のマルチモーダルRAGというアプローチがどう現場のナレッジ活用を変革するのか、モデル移行のポイントや技術的な裏付けも交えつつ、実用的な観点から詳しく掘り下げてお伝えします。
Q1 課題認識：多くの企業が陥る「OCR精度の罠」とは？
編集部： まず単刀直入にお聞きします。図面やPDFの検索というと、これまではOCR（光学文字認識）を使ってテキスト化し、それを検索エンジンに入れるのが定石でした。これでは不十分なのでしょうか？
専門家： 結論から申し上げますと、製造業やインフラ業のような「構造的な図面」を扱う場合、OCRだけでは限界があります。多くのケースで「OCRの精度さえ上げれば解決する」という罠に陥りがちです。
編集部： 「OCR精度の罠」ですか？
専門家： はい。例えば、一般的なプラントの配管計装図（P&ID）を想定してください。そこには無数のバルブやポンプの記号があり、その横に小さな文字で型番や設定値が書いてあります。
OCRは確かに進化しており、文字認識率99%を達成することも難しくありません。しかし、OCRが行うのはあくまで「そこに文字がある」という認識だけです。「この型番は、どのバルブを指しているのか？」「この注釈は、右の図と左の図、どちらの説明なのか？」という「位置関係」や「文脈」の情報は、テキスト化した瞬間に失われてしまうのです。
編集部： なるほど。テキストデータとして抽出された時点で、レイアウトが持っていた意味が消えてしまうわけですね。
専門家： その通りです。例えば、建設現場での事例では、「A-101エリアの配管トラブル事例を探してくれ」と検索したのに、全く関係ないエリアの資料ばかりヒットしたというケースが報告されています。
原因をデータ分析の観点から調べると、OCRが図面の枠外にある「共通注意事項」のテキストを拾ってしまい、すべての図面にそのキーワードが含まれているとシステムが判断したためでした。人間が見れば「これは枠外の注釈だ」と分かりますが、単なるテキストの羅列にしてしまうと、その構造がシステムには理解できません。
編集部： 文脈が失われることで、検索ノイズが増えるだけでなく、致命的な取り違えも起きかねないですね。
専門家： おっしゃる通りです。特に安全に関わるメンテナンス業務では、「文字が合っている」だけでは不十分です。「図のこの部分が指し示す警告」を正しく理解する必要があります。ここで必要になるのが、画像を画像として、つまり「視覚情報」のまま理解するマルチモーダルなアプローチなのです。
Q2 技術的洞察：マルチモーダルRAGは「人間の目」と何が違うのか
編集部： そこで登場するのが「マルチモーダルRAG」ということですね。これは従来の技術と何が決定的に違うのでしょうか？
専門家： 最大の違いは、情報を「キーワード」ではなく「意味（ベクトル）」として扱う点、そして画像とテキストを「同じ空間」で処理する点です。
システム開発の観点から見ると、近年のAI技術における決定的な転換点として、OpenAIのCLIP（Contrastive Language-Image Pre-training）に代表されるモデルの登場が挙げられます。これは簡単に言うと、画像とテキストを共通の「意味空間」にマッピングする技術です。
編集部： 共通の意味空間、ですか？
専門家： はい。例えば、「ひび割れたコンクリート」というテキストと、実際にひび割れたコンクリートの写真は、データ形式としては全く別物です。前者は文字コードの羅列、後者はピクセルの集合です。
しかし、最新のマルチモーダルモデルの中では、この両者は非常に近い「数値（ベクトル）」として表現されます。つまり、AIは「ひび割れ」という概念を、言葉だけでなく視覚的な特徴としても理解し、それらを数学的に同じ場所（座標）に配置できるのです。
編集部： それがRAG（検索拡張生成）に組み込まれると、どうなるのでしょう？
専門家： これまでの検索は、「コンクリート」「ひび割れ」という単語がドキュメントに含まれているかを探す「キーワードマッチング」でした。これでは、写真そのものを検索クエリにすることは困難でした。
対してマルチモーダルRAGでは、ユーザーが「これと同じような劣化事例はあるか？」と現場の写真をアップロードして検索したり、「この図面の右上のバルブについて教えて」と、画像内の特定領域を指し示して質問したりすることが可能になります。
これはもはや従来の検索というより、熟練の技術者が図面を見ながら「ここ、どうなってる？」と会話するプロセスそのものです。AIが「人間の目」と同じように、図面の中の線、形、配置、そして文字情報を統合して理解する。これがマルチモーダルRAGの本質であり、OCRによるテキスト抽出とは次元の異なるアプローチなのです。
編集部： 単なる文字の一致ではなく、視覚的な意味理解に基づいた検索が可能になるわけですね。これは確かに、部品名が分からない新人エンジニアなどには強力なツールになりそうです。
専門家： まさにその通りです。「あの丸くてギザギザした部品」と言葉で説明するのは難しいですが、画像なら一発で伝わります。言語化能力に依存せず、組織内のナレッジに直感的にアクセスできる。これは技能伝承や業務効率化の観点からも、製造業にとって非常に実用的な意味を持ちます。
Q3 比較検討：導入すべき企業、まだ待つべき企業の境界線
編集部： 夢のような技術に聞こえますが、すべての企業が今すぐ導入すべきなのでしょうか？ コストや実装の難易度も気になります。
専門家： 非常に重要な視点です。AIエンジニアの視点から見ると、システム開発において「オーバースペック」を避けることは非常に重要です。
マルチモーダルRAGは、従来のテキストベースのRAGに比べて、計算コスト（トークン消費量）や処理時間が大きくなる傾向があります。画像を解析するには、テキストの数倍から数十倍の情報処理能力が必要です。
編集部： では、どのような企業が導入に踏み切るべきなのでしょうか？
専門家： 境界線は明確です。「業務の意思決定において、図表や画像が不可欠な役割を果たしているか」です。
導入が強く推奨されるのは、以下の3つの条件に当てはまるケースです。
- 製造・建設・インフラ業界： 図面、P&ID、回路図、施工写真が業務の中心にある。
- 非定型ドキュメントが多い： 形式が統一されていない古い仕様書や、手書きメモ入りのメンテナンス記録が大量にある。
- 検索ミスが許されない： 類似部品の取り違えや、確認漏れが重大な事故や損失につながる。
一方で、社内規定集や議事録、一般的なマニュアルなど、テキスト情報が主体の業務であれば、従来の自然言語処理を用いたテキストRAGで十分です。高コストなマルチモーダルモデルを導入しても、ROI（投資対効果）は見合わないでしょう。
編集部： むやみに最新技術を導入するのではなく、自社のデータ資産の質を見極める必要があるということですね。
専門家： その通りです。例えば、実務的なシステム構成として、全ドキュメントをマルチモーダル解析するのではなく、図面が含まれるページだけを抽出して画像認識モデルにかけるハイブリッド構成が採用されるケースがあります。これにより、コストを抑えつつ必要な検索精度を論理的に確保することが可能です。
Q4 実践の壁：現場で直面する「泥臭い」データ整備の現実
編集部： 実際に導入を進める際、現場ではどのような課題に直面するのでしょうか？ 成功事例の裏にある「泥臭い」話もぜひお聞かせください。
専門家： 実務で一番の壁になるのは、やはり「データの品質」です。
理想的なデータセットは綺麗ですが、現場のデータはそうはいきません。30年前にスキャンされた青焼き図面、FAXで送られてきた潰れた文字、コーヒーの染みがついたマニュアル……。これらをAIに読ませると、予期せぬ挙動をすることがあります。
編集部： 例えばどのような？
専門家： 実際のデータ分析の過程では、図面の汚れを「配管の接続点」と誤認してしまうケースが確認されています。また、図面の解像度が低すぎて、「8」と「3」、「B」と「8」を読み間違えるケースも頻発します。
マルチモーダルAIは強力ですが、魔法ではありません。人間が見ても判別できないものは、AIにも分かりません。むしろ、AIは自信満々に嘘をつく（ハルシネーション）リスクがあります。
編集部： そこで重要になる対策は何でしょうか？
専門家： 「Human-in-the-loop（人間参加型）」のプロセス設計です。
AIの回答を鵜呑みにせず、必ず「根拠となった図面の該当箇所」をハイライトして提示させるUI（ユーザーインターフェース）が必須です。「AIはこう判断しましたが、元の図面はここです。最終確認してください」と人間に促す仕組みですね。
また、データの前処理も重要です。画像のコントラスト調整やノイズ除去を自動化するパイプラインを組むことで、AIの認識精度は劇的に向上します。このあたりの「泥臭い前処理」にどれだけリソースを割けるかが、システム開発プロジェクトの成否を分けます。
Q5 将来展望：画像が「検索対象」から「対話相手」に変わる日
編集部： 最後に、マルチモーダルRAGの先にある未来についてお聞かせください。この技術は、企業の働き方をどう変えていくのでしょうか？
専門家： 論理的に予測される未来として、画像は単なる「検索対象（静的なデータ）」から、「対話相手（動的なインターフェース）」に変わっていくと考えられます。
今はまだ「過去のドキュメントを探す」段階ですが、近い将来、現場作業員がタブレットで目の前の設備を映すと、AIがリアルタイムでその映像を解析し、「このバルブは前回の点検で交換推奨が出ています。在庫は該当倉庫にあります。マニュアルの該当ページを開きますか？」と提案してくるようになる可能性があります。
編集部： まさに、AIが優秀なバディ（相棒）になる世界ですね。
専門家： はい。ウェアラブルデバイスと組み合わせれば、両手が塞がっている作業中でも、視覚情報を共有しながらAIのサポートを受けられます。これは熟練工不足に悩む日本企業にとって、技術伝承のラストワンマイルを埋める実用的な切り札になると考えられます。
ただし、その未来を実現するためには、今あるデータを「AIが読める形」で整備し始める必要があります。紙の図面をスキャンするだけでなく、デジタルデータとしての管理体制を整えること。これが、来るべき「マルチモーダル・ネイティブ」な業務環境へのパスポートになります。
編集部： 単なる検索ツールの導入ではなく、将来の競争力を左右するデータ戦略の一環として捉えるべきだということがよく分かりました。ありがとうございました。
専門家： ありがとうございました。
まとめ：視覚情報を武器にするための次なるステップ
専門家との対話を通じて、マルチモーダルRAGが単なる「高機能なOCR」ではなく、企業の暗黙知を形式知化するための強力なエンジンであることが明らかになりました。
特に、図面や画像に依存する製造・建設・インフラ業界において、この技術は「探す時間」を削減するだけでなく、「見落とし」によるリスクを最小化する経営課題解決のツールとなり得ます。
しかし、導入にはコストとデータ品質という壁が存在するのも事実です。自社の業務プロセスにおいて、どこに「視覚的なボトルネック」があるのかを見極め、適切なスコープで実証実験（PoC）を始めることが成功への第一歩です。
コメント