図面が読めないAIは現場で使えない：Vertex AIマルチモーダル埋め込みの実力検証と導入判断

近年、テキスト情報のみを用いたRAG（検索拡張生成）システムに対する期待が高まる一方で、実際の現場では「期待通りに動かない」という課題に直面していませんか？

例えば、マニュアルをPDFで読み込ませても、AIが配線図に関する質問に答えられない。あるいは、仕様書の表組みにある数値を質問すると、もっともらしい誤った情報（ハルシネーション）を生成してしまう。こうしたケースは実務の現場で頻繁に報告されています。

従来のテキスト抽出（OCR）に依存したRAGアプローチでは、製造業や建設業、複雑な金融商品を扱う現場のシビアなニーズを満たすことは困難です。AI-OCR技術の進化により文字認識の精度や位置情報の保持は向上していますが、業務の核となる図面、グラフ、UIスクリーンショットといった「非構造化データ」が持つ「意味」までは十分に解釈できないからです。

本記事では、この壁を突破するアプローチとして、Google CloudのVertex AIにおけるマルチモーダルRAGの実力と最新動向を検証します。公式情報に基づく最新のアップデートでは、推論能力が飛躍的に向上したGeminiの統合が進み、画像・音声・動画・PDFなどのマルチモーダルデータを直接解釈できるようになりました。

現在では、従来の個別の埋め込みモデルに依存するだけでなく、Vertex AI Studioで最新のGeminiを選択し、Grounding（グラウンディング）技術を用いて外部データで補強する構成が推奨されています。また、Cloud SQLなどのデータベースとの統合も一般提供が開始され、より実践的でシームレスなシステム構築が可能になっています。

技術の本質を見抜き、ビジネスへの最短距離を描くために。本記事では技術的な詳細に偏らず、これらの進化がもたらすビジネスへの影響と具体的な導入ステップ、そしてコストについて、経営者とエンジニア双方の視点から実践的に考察します。

テキストのみのAIエージェントが抱える「文脈の欠落」問題

現在、多くの現場で導入が進むRAGシステムは、PDFなどのドキュメントからテキストのみを抽出し、ベクトル化して検索対象としています。しかし、製造業や建設業などの過酷な現場において、この従来のアプローチには明確な限界が存在します。

技術的な観点から言えば、テキスト抽出のプロセスにおいて、図面、グラフ、フローチャート、そしてページレイアウトが持つ重要な「視覚的文脈」が完全に削ぎ落とされてしまうからです。設計図における部品の空間的な配置や、マニュアル内の警告アイコンとテキストの位置関係など、現場の意思決定に不可欠な情報の多くは非言語的です。テキストのみを理解するAIエージェントでは、これらの構造化されていない視覚データを処理できず、結果として不正確な回答や文脈を無視した提案を引き起こすリスクが高まります。

Google CloudのVertex AIにおける最新のアップデートでは、Geminiによる強力なマルチモーダル機能（画像、音声、動画、PDFのネイティブ処理）や高度な推論能力が統合されており、この課題に対する極めて有効なアプローチが提示されています。テキストと視覚情報を同時に処理し、相互の関連性を保ったまま推論を行うマルチモーダルRAGを構築することで、AIは人間がドキュメント全体を俯瞰するのと同じように、高度な文脈を正確に把握できるようになります。

現場の複雑な要求に応えるためには、単なる文字列の検索を超えた視覚的文脈の理解が不可欠です。図面やグラフの意味を解釈できるシステムを導入することが、真に実用的なAIソリューションを構築するための重要な鍵となるのです。

仕様書の図解が読めないAIの限界

例えば、メンテナンスマニュアルに部品の交換手順が記載されている場合を想像してみてください。テキスト部分には「図3のようにレバーを操作し…」や「矢印Aの方向に回す」といった記述が含まれていることが珍しくありません。

従来のテキストベースのRAGでは、「レバーの操作方法は？」と検索しても、AIは「図3」の視覚的な内容を理解できません。結果として、「図3を参照してください」と丸投げのような無難な返答をするか、最悪の場合は別の箇所のテキストを不適切につなぎ合わせて誤った手順を生成するリスクがあります。

これは典型的な「文脈の欠落」による問題です。

人間であれば、テキストと図解を自然に組み合わせて認識し、空間的な意味を正確に理解できますよね。しかし、テキスト情報のみを抽出してベクトル化する従来の手法では、AIはその図の情報を空間的・視覚的に活用できません。そのため、どんなに推論能力の高いLLMを使用しても、根本的な入力情報が不足しているため、現場で役立つ適切な回答を得ることは不可能です。

最新のVertex AIやGeminiにおいて、画像やPDFなどのマルチモーダルデータを直接処理し、RAGやGrounding（グラウンディング）と連携させる機能が急速に強化されているのは、まさにこの「現場の非構造化データ」を正確に読み解くためです。図解とテキストの文脈を統合して理解できなければ、AIは実務の現場で真の価値を発揮できないのです。

OCR処理だけでは解決しない意味理解の壁

「それなら、OCR（光学文字認識）で図の中の文字を読み取ればいいのでは？」と考える方もいるでしょう。確かに、最新のAI-OCR製品ではレイアウト解析や表構造の認識精度が向上しており、ある程度の位置関係を保持できるようになっています。

しかし、OCRはあくまで画像内の文字をテキストデータに変換する技術に過ぎません。「注釈テキスト」を抽出できても、「そのテキストが図のどの部分を指しているか」という視覚的な文脈や、矢印が示す因果関係、グラフのトレンド（上昇・下降）といった「画像そのものが持つ意味」までは完全には保存されないのです。

例えば、グラフのX軸とY軸のラベルをOCRで読み取ったとしても、単語リストとして扱われる場合、「2023年の売上推移は？」という質問に対して、グラフの形状を考慮した回答を導き出すことは困難です。

重要なのは、文字情報の抽出だけでなく、視覚情報を含めた全体的な文脈をAIに理解させることです。そこで、いよいよマルチモーダル埋め込みモデルの出番となります。

Vertex AI Multimodal Embeddingsの概要

Googleが提供するVertex AI Multimodal Embeddingsは、ビジネスとエンジニアリングの両方の視点から見て、非常に革新的な特徴を備えています。

画像とテキストを同じベクトル空間で扱う仕組み

従来のシステムでは、テキストと画像は別々のモデルで処理されるため、直接比較することが困難でした。

しかし、Vertex AI Multimodal Embeddingsでは、テキストと画像を「同じ多次元ベクトル空間」にマッピングします。

例えば、図書館（ベクトル空間）において、「猫」という単語が書かれた本と「猫の写真」が同じ棚に整理されている状態を想像してみてください。「かわいいペット」という棚には、犬の写真も猫の文章も一緒に並んでいるわけです。

これにより、ユーザーが「猫」というテキストで検索した場合、猫の画像も検索結果に表示されます。また、猫の画像を入力して、関連するテキスト説明を探すことも可能です。これが、直感的な情報アクセスを可能にする「クロスモーダル検索」と呼ばれる機能です。

主要な競合モデル（CLIP等）との違い

Vertex AIのマルチモーダル埋め込みモデルは、一般的なオープンソースモデル（CLIPなど）と比較して、エンタープライズ用途に特化して最適化されている点が最大の特徴です。現場での実運用を想定した場合、以下の3つの明確な違いがあります。

1. 入力コンテキストと高解像度への対応:
   CLIPなどの従来モデルは、一般的なウェブ画像の処理には適していますが、製造業や建設業で扱われるような高解像度の図面や、緻密なビジネス文書の解析には限界があります。Vertex AIは、より大きなコンテキストウィンドウと高解像度データに対応できるよう設計されており、微細な寸法線や注記を見落とすリスクを大幅に低減できます。

2. 動画データへのネイティブ対応:
   画像とテキストの紐付けにとどまらず、動画データからの埋め込み生成もネイティブにサポートしています。これにより、工場での作業手順を記録したビデオマニュアルや、監視カメラの映像から特定の異常状態を検索するといった、より高度な現場課題の解決に即座に応用可能です。

3. マネージドサービスとしての堅牢な統合:
   Google Cloudのインフラストラクチャ上で完全に統合されたマネージドサービスとして動作します。自社でモデルをホスティングする際の運用負荷が軽減されるだけでなく、エンタープライズグレードのスケーラビリティと厳格なセキュリティ基準が確保されます。機密性の高い設計データや業務情報を扱う本番環境において、安全かつ迅速にシステムを展開できる基盤が整っているのです。

Vertex AI Multimodal Embeddingsの検証

理論だけでなく「実際にどう動くか」を検証してみましょう。ここでは、製造業の機器メンテナンスマニュアル（PDF形式、500ページ相当）を対象とした概念実証（PoC）シナリオを想定し、その効果を検証します。このドキュメントには、配線図、部品分解図、エラーコード一覧表（画像化されたもの）が多用されていると仮定します。

テキスト環境と評価データセットの定義

まずはプロトタイプとして、以下の環境を定義します。

• データセット: メンテナンスマニュアルPDFをページごとに分割。
• クエリ: 現場のエンジニアが検索しそうな質問50個を設定（例：「エラーコードE-04が表示された時の配線チェック箇所は？」「冷却ファンの取り外し手順図を見せて」など）。
• 比較対象:
  • パターンA（従来型）: テキスト抽出のみ + テキスト埋め込みモデル（Text Embeddingの最新版）
  • パターンB（マルチモーダル）: ページ全体を画像化 + マルチモーダル埋め込みモデル（Multimodal Embeddingの最新版）

図版を含む技術文書での検索ヒット率比較

検索エンジンとしての性能を評価するため、「正解のページ」を上位3件以内に表示できた割合（Recall@3）をシミュレーション比較します。

• パターンA（テキストのみ）: Recall@3 = 40%前後（推定）
• パターンB（マルチモーダル）: Recall@3 = 80%以上（期待値）

特に「〜の図を見せて」や「〜の形状は？」といった視覚的な情報を求める質問において、マルチモーダル検索は、図中のキャプションや図の形状的特徴を捉え、該当ページを的確に表示する傾向があります。

例えば、「電源ユニットの配線図」と検索した際、テキスト検索では「電源ユニット」という単語が含まれるだけの「仕様一覧表」のページがヒットしがちですが、マルチモーダル検索では、配線図そのものが掲載されているページが上位に表示されることが期待できます。この精度の差が、現場の作業効率に直結するのです。

AIエージェントの回答具体性スコア

検索結果をLLM（Gemini）に渡し、回答を生成させた場合の品質比較です。マルチモーダル対応やグラウンディング（Grounding）機能の強化により、現場での実用性がどのように変化するかを検証します。

• パターンA（従来のテキスト依存型RAG）:

  • 回答傾向：「マニュアルを参照してください。」「該当するテキスト情報が見つかりません。」
  • 課題：参照元となるテキスト情報が不足しているため、具体的な回答を生成できません。図面、回路図、表などの視覚的なコンテキストが欠落すると、AIは事実に基づいた推論を行えず、現場の迅速な課題解決には不十分です。

• パターンB（マルチモーダルRAGの活用）:

  • 回答傾向：「エラーE-04の場合、図5-2に示す赤色のコネクタを確認してください。図面によると、メイン基板の右上に位置しています。」
  • 改善点：マルチモーダルRAGでは、LLM自体が視覚情報を直接解釈できるため、検索でヒットした図版を含むページ画像をプロンプトに渡すことができます。最新のGeminiでは、画像やPDFなどの多様なフォーマットに対する推論能力が大幅に向上しています。外部データを用いたグラウンディングと組み合わせることで、AIは複雑な図面を正確に読み解きながら説明することが可能になります。これにより、回答の具体性が飛躍的に向上し、現場の技術者が即座に行動できるレベルの実用的な指示を得られるようになります。

導入におけるコストと運用

技術が優れていても、ビジネスとして成立しなければ意味がありません。ここでは、マルチモーダル埋め込みの導入におけるコストと運用について、経営者視点も交えて考察します。

トークン課金とインデックスコストの試算

マルチモーダル埋め込みは、テキスト単体の埋め込みに比べてコスト構造が異なります。

• APIコスト: 画像の埋め込み生成は、テキスト処理に比べて単価が高く設定される傾向があります。最新の料金体系はGoogle Cloud公式サイトで確認する必要があります。
• ベクトルストレージ: 画像埋め込みの次元数はテキスト埋め込みよりも大きい場合があり（モデルにより異なる）、ベクトルデータベース（Vertex AI Vector Searchなど）のストレージ容量とメモリ消費量が増加します。

数百万件の図面データを扱うような大規模プロジェクトの場合、初期のインデックス作成コストと月額のストレージコストを事前に精緻に見積もることが、プロジェクト成功の鍵となります。

レイテンシへの影響と対策

画像をAPIに送信し、ベクトル化して結果を得るまでの時間は、テキスト処理よりも長くなる可能性があります。

チャットボットのような対話型インターフェースでは、この遅延がユーザー体験（UX）を損なう致命的な要因になり得ます。実践的な対策として、以下のようなアプローチが考えられます。

1. 非同期処理: ユーザーが画像をアップロードした裏側で先に埋め込み処理を実行し、体感的な待ち時間を減らす。
2. ハイブリッド検索: まず高速なテキスト検索で候補を絞り込み、必要に応じてマルチモーダル検索を併用する。
3. キャッシュ活用: 頻繁に利用される図版やクエリの結果をキャッシュしておく。

これらの工夫により、パフォーマンスと精度のバランスを取ることが重要です。

既存システムへの組み込みやすさ

Google Cloudのエコシステム（Vertex AI Vector Searchなど）を使用している場合、統合は比較的容易です。最新のアップデートにより、Cloud SQL for MySQLなどのデータベースから直接Vertex AIのモデルを呼び出し、オンライン予測やベクトル埋め込みの生成が可能になりました。これにより、データパイプラインを簡略化し、既存のデータ基盤とAIモデルのシームレスな連携が実現します。さらに、Geminiを活用したRAGや外部データによるグラウンディング機能との連携も強化されており、エンタープライズ環境での実装ハードルは大幅に下がっています。

一方で、AWSやAzure、あるいはオンプレミス環境をベースにRAGシステムを構築している場合、Google CloudのAPIを単独で組み込む構成は、データ転送の遅延や複雑な認証管理といった課題を引き起こす可能性があります。そのため、マルチクラウド構成を採用する際は、システム全体の運用コストやアーキテクチャの複雑性を慎重に評価し、最適な設計を描くことが求められます。

マルチモーダル埋め込みの導入判断

最後に、プロジェクトでこの技術を採用すべきかどうかの判断基準を提示します。

導入を検討すべきプロジェクトの特徴

以下の条件に2つ以上当てはまる場合は、迷わずPoC（概念実証）に進み、まずはプロトタイプを作って検証することをおすすめします。

1. ドキュメントの「図版率」が高い: 製造業のマニュアル、建築図面、特許資料、医療画像診断レポートなど、情報の50%以上が非テキスト情報で構成されている。
2. 「見た目」に関する検索ニーズがある: 「この部品と同じ形のものを探して」「このデザインに近いUIパターンを出して」といった、言語化しにくい検索クエリが想定される。
3. 高い精度が求められる: 誤った情報を参照することによるリスクが高く、AIにも図面に基づいた正確な根拠提示が求められる。

導入が難しいケース

一方で、以下のような場合は、マルチモーダル埋め込みを無理に導入せず、従来のテキストベースRAGのチューニングを優先することを推奨します。

• テキスト中心の社内規定や日報: 図表が少なく、文字情報だけで完結しているデータセット。
• 低レイテンシが求められる: リアルタイム性が最優先で、わずかな遅延も許容できないシステム。
• 予算が限られている: コストパフォーマンスを最優先する場合、マルチモーダルの運用コストが負担になる可能性があるプロジェクト。

AI技術は急速に進化を続けており、最新のVertex AIでは、Geminiの推論能力や長文処理能力が一段と強化されています。さらに、GroundingやRAG連携による外部データ補強の仕組みも拡充されており、テキストベースの処理だけでも極めて高い精度を引き出すことが可能になっています。

システム設計において最も重要なのは「ビジネス課題を解決すること」であり、最新技術を導入すること自体が目的ではありません。リスクと便益を慎重に比較検討し、目的に応じた最適なアプローチを選択することが、ビジネスへの最短距離となります。

しかし、マルチモーダル埋め込みは、これまでAIが適切に処理できなかった図面や画像といった視覚情報に直接アクセスするための強力な手段となります。もし、図面活用や非構造化データの検索精度に限界を感じている場合は、全体のアーキテクチャを見直すことを検討してみてください。

例えば、Vertex AI Studioを活用してGeminiを選択し、GroundingやRAGで社内の外部データを適切に補強するアプローチを組み合わせることで、現場のシビアな要件に耐えうる実用的なAIシステムを構築できるはずです。