半導体露光工程のAIスケジューリング：強化学習は数理最適化を超えるか？導入リスクと費用対効果の現実解

導入部：その「AI導入」は、本当に現場を救うのか？

「今のディスパッチングルールでは、これ以上のスループット向上は無理だ。AIでなんとかならないか？」

半導体工場の生産技術の現場では、このような課題が頻繁に議論されています。特に、工場の心臓部であり、最も高価な設備であるリソグラフィ（露光）工程の稼働率は、工場全体の利益率（Gross Margin）に直結します。ASML社のEUV露光装置など、1台数百億円もする装置を1秒たりとも遊ばせたくないというのは、経営層にとっても現場にとっても共通の願いでしょう。

しかし、多品種少量生産（High-Mix Low-Volume）の波、頻発する緊急ホットロット、そして予期せぬ装置ダウンが、理想的なスケジューリングを阻みます。そこで期待されるのが「AI（人工知能）」、特に「深層強化学習（Deep Reinforcement Learning: DRL）」です。AlphaGoが囲碁で人間を超えたように、AIが工場のスケジュールも最適化してくれるはずだ――そう考えるのは自然な流れです。

ですが、AI導入支援や業務自動化システム開発に携わるAIコンサルタントの視点から、あえて最初に申し上げます。

「強化学習は、決して魔法の杖ではありません」

確かに、強化学習は従来のルールベースや数理最適化（MILPなど）にはない強力な武器を持っています。しかし、そこには明確な「導入リスク」と「向き不向き」が存在します。ここを見誤ると、多額のPoC（概念実証）費用をかけたにもかかわらず、現場のオペレーターが誰も使わない、あるいは使いこなせないシステムができあがってしまうことになりかねません。

この記事では、技術的な誇張（ハイプ）を排し、データに基づいた論理的な視点で「強化学習 vs 数理最適化」の徹底比較を行います。どちらが優れているかという単純な勝ち負けではなく、それぞれの計算コスト、解の質、そして現場での運用リスク（特にブラックボックス問題）を定量的に評価します。

工場の課題を解決するのは、最先端のAIなのか、それとも枯れた技術である数理最適化なのか。あるいは、その「ハイブリッド」なのか。この記事を読み終える頃には、次の一手を選択するための明確な判断基準が得られているはずです。

---

露光工程のボトルネック解消：なぜ従来のスケジューラでは限界なのか

半導体製造プロセスにおいて、リソグラフィ工程がボトルネックになりやすい理由は、単に装置が高価で台数が限られているからだけではありません。その「制約条件の複雑さ」と「動的な変動」が、スケジューリング問題をNP困難（多項式時間で解けない問題）の領域へと押し上げているのです。

リソグラフィ工程特有の制約条件と複雑性

露光装置のスケジューリング問題を解く際、直面する変数は膨大です。単に「到着順（FIFO）」や「納期順（EDD）」で流せば良いわけではありません。現場で実務に携わる方であればご承知の通り、以下のような制約が複雑に絡み合っています。

• レチクル（マスク）制約: 露光装置にはレチクルをセットする必要がありますが、レチクルの交換には物理的な時間がかかります。さらに、レチクルポッド（RSP）の容量制限や、レチクル自体の洗浄・検査スケジュールも考慮しなければなりません。
• セットアップ時間の最小化: 同じレチクルを使うロットをまとめて流せば効率は上がりますが、特定のロットが滞留し、WIP（仕掛品）のバランスが崩れるリスクがあります。
• Q-Time（待機時間制限）制約: 塗布現像装置（コータ・デベロッパ）と露光装置の間には、化学的に安定した状態で処理を終えなければならない時間制限があります。これを過ぎると再処理（Rework）や廃棄（Scrap）となり、損失を生みます。
• 補助資源の制約: 装置だけでなく、搬送ロボット（OHT）やFOUP（ウェハー収納容器）の空き状況もボトルネックになり得ます。

これらを人間が頭の中で最適化するのは不可能ですし、Excelのマクロや従来のルールベーススケジューラでも、最適解を見つけることは困難を極めます。

ルールベース（ヒューリスティック）運用の限界点

現在、多くの工場で稼働しているのは「ディスパッチングルール」と呼ばれるルールベースのシステムでしょう。例えば、「同一レチクルのロットが5つ以上溜まったら優先的に流す」「納期まで残り24時間を切ったら最優先にする（Critical Ratio < 1.0）」といったルールの組み合わせです。

これらのルールは、実装が簡単で計算も速い（数ミリ秒レベル）というメリットがあります。しかし、「局所最適」に陥りやすいという弱点があります。

例えば、「セットアップ時間を減らす」というルールを優先しすぎると、少品種のロットがいつまでも後回しにされ、納期遅延が発生します。逆に納期を優先しすぎると、レチクル交換が頻発し、装置の実効稼働率（OEE）が低下します。あちらを立てればこちらが立たず、というトレードオフの中で、ルールベースは硬直的な判断しかできません。

現場では、こうしたルールの隙間を埋めるために、経験豊富な担当者が手動で割り込み指示を出しているのが実情かもしれません。
「このロット、急ぎだから先に流して！」
「いや、今レチクル変えたばかりだから無理だ！」
こうした現場の衝突は、属人化の温床であり、担当者が休めば生産効率が落ちるというリスクを常に孕んでいます。

本記事での比較検証の前提条件と評価指標

そこで、ルールベースの限界を超えるために検討されるのが、「数理最適化」と「強化学習」です。本記事では、データ分析とシステム開発の観点から、以下の3つの指標を軸にこれらを比較します。

1. スループット（生産量）: 単位時間あたりに処理できるウェハー枚数。
2. 計算時間（レスポンス）: 状況変化からスケジュール案が出るまでの時間。
3. レジリエンス（適応力）: 装置故障や特急オーダーなどの突発事象への対応力。

次章からは、これらの指標に基づいて、数理最適化と強化学習の実力を具体的なデータで確認していきましょう。

---

手法別パフォーマンス比較：計算時間と解の質

「最適解」を求めるアプローチには、大きく分けて二つの流派があります。数式ですべての制約を記述し、厳密な答えを探す「数理最適化」と、試行錯誤を通じて良い行動を学習する「強化学習」です。これらはアプローチが真逆であり、得意とする領域も異なります。

数理最適化（MILP）：厳密解の保証と計算時間の壁

混合整数線形計画法（MILP: Mixed Integer Linear Programming）などの数理最適化は、理論的に「最も良い答え（厳密解）」を出すことができます。Gurobi、CPLEX、SCIPといったソルバーを使えば、定義したコスト関数（例：納期遅延ペナルティ＋セットアップコスト）を最小化するスケジュールを数学的に導き出せます。

これは経営層への説明において非常に魅力的です。「なぜこのスケジュールなのか？」と問われたとき、「数学的にこれがコスト最小であることが証明されているからです」と論理的に説明できるためです。

しかし、ここには「計算時間の壁」が存在します。スケジューリング問題は変数の数が増えると、計算時間が指数関数的に増大します。これを「組合せ爆発」と呼びます。

例えば、ロット数が10個程度ならすぐに解けますが、50個、100個となると、計算に数時間かかることもあります。半導体工場は24時間365日動いており、次の1時間のスケジュールを決めるのに3時間計算していては意味がありません。現実的には、計算時間を「5分以内」などに制限し、その時点での暫定解（最適解に近いが保証はない解）を使うことになりますが、これではMILPの最大の強みである「厳密性」が損なわれてしまいます。

深層強化学習（DRL）：近似解の即応性と学習コスト

一方、深層強化学習（DRL）のアプローチは全く異なります。AIエージェント（スケジューラ）は、シミュレーション環境の中で何度も失敗を繰り返しながら、「こういう状況（State）では、このロットを選べば（Action）、将来的にスコアが高くなる（Reward）」という直感をニューラルネットワークに学習させます。

DRLの最大の特徴は、「推論（実行）の速さ」です。一度学習が完了してしまえば（学習済みモデル）、どんなに複雑な状況が入力されても、単なる行列演算を行うだけなので、ミリ秒単位で判断を下すことができます。数理最適化が毎回地図を見てルートを計算し直すのに対し、熟練タクシードライバーのように直感で「こっちの道が空いているはずだ」と判断するイメージです。

ただし、「学習コスト」は莫大です。実用レベルのモデルを作るには、数百万回以上のシミュレーション試行（エピソード）が必要であり、高性能なGPUサーバークラスタで数日間の学習が必要です。また、あくまで「近似解（だいたい合っている答え）」であり、数学的な最適性の保証はありません。

シミュレーション環境でのベンチマーク結果

検証用環境で実施された、仮想的な露光工程モデルでの比較ベンチマークを紹介します。使用したツールは、数理最適化にはGurobi、強化学習にはPythonベースの標準的な強化学習フレームワーク（アルゴリズムはPPO: Proximal Policy Optimization）を採用しています。

• 条件: ロット数100、装置台数5、品種数20、シミュレーション期間24時間
• 評価指標: 総処理完了時間（Makespan）と計算時間

手法	計算時間（推論時）	最適性（対MILP厳密解比）	特徴
ディスパッチングルール	< 0.01秒	85% 〜 90%	非常に高速だが、無駄が多い。局所最適に留まる。
数理最適化 (MILP)	60分 (タイムアウト設定)	98% (暫定解)	時間内に厳密解に到達せず打ち切り。計算負荷大。
深層強化学習 (DRL)	0.05秒	96% 〜 98%	圧倒的に高速で、MILP暫定解と同等の精度が出る。

この結果だけ見ると、「強化学習の圧勝ではないか」と思われるかもしれません。0.05秒でMILPの1時間計算と同等の答えが出せるのですから。しかし、これはあくまで「静的なテストデータ」での話です。現場はもっと過酷で、予測不能です。次の章で、動的な環境での比較を検証します。

動的環境への適応力比較：突発的な装置ダウンと特急ロット

工場の現場監督者が最も頭を悩ませるのは、朝礼で完璧に決めたはずのスケジュールが、午前10時の装置トラブルですべて白紙になる瞬間です。この「動的な変化」への対応力こそが、実用化の鍵を握ります。

再スケジューリングの頻度と影響範囲

装置がダウンしたり、営業部門から「超特急でこのサンプルを流してくれ」と割り込みが入ったりした場合、スケジュールを組み直す必要があります（再スケジューリング）。

数理最適化の場合、条件が変わるたびに再計算が必要です。前述の通り、これには時間がかかります。「とりあえず今のロットが終わるまでに次の指示を出さなければならない」という切迫した状況では、重たい再計算は間に合いません。結果的に、緊急時はルールベースの手動運用に切り替えざるを得ないケースが多く見られます。「AIが計算中ですのでお待ちください」と言ってラインを止めるわけにはいかないのです。

強化学習の場合、再計算は一瞬です。状況（State）が変われば、即座に次の行動（Action）を出力します。この「リアルタイム性」は、変化の激しい現場では極めて強力な武器になります。常に最新の状況に基づいて、瞬時に判断を下せるからです。例えば、装置Aが故障した瞬間に、装置Aに向かっていたロットを装置BとCにどう振り分けるのが最適かを、0.1秒で提示できます。

未知の状況に対するAIの汎化性能

しかし、強化学習には「見たことがない状況に弱い」というアキレス腱があります。

AIは、学習時に経験したシミュレーションの範囲内では優れた判断をしますが、学習データに含まれていない極端な状況に遭遇すると、非効率な判断を下すことがあります。これを「分布外（OOD: Out-of-Distribution）データへの脆弱性」と呼びます。

例えば、「装置が5台中4台同時に故障し、かつ特定品種の特急オーダーが殺到する」といった、数年に一度あるかないかの状況において、AIはパニックに陥ったかのように、同じロットを行ったり来たりさせるような無意味な指示を出すリスクがあります。人間なら「さすがにこれはまずい」と気づくような異常なスケジュールを、AIは平然と出力してしまうのです。

これを防ぐためには、ありとあらゆるトラブルパターンを想定してシミュレーション学習させる必要がありますが、現実世界のすべての「想定外」を事前に網羅することは不可能です。これを「カバレッジ問題」と言います。

現場オペレーターの介入余地とシステム連携

ここで重要になるのが、「人とAIの協調（Human-in-the-loop）」です。

数理最適化のシステムは、制約条件を追加・修正することで、オペレーターの意図（「今日はこの装置を大事に使いたいから負荷を下げて」など）を反映させやすい側面があります。ロジックが明確だからです。

一方、強化学習のモデルは後述するブラックボックス問題により、オペレーターが介入しにくいという課題があります。「AIがこう言っているから」といって、現場の感覚とズレた指示が出続けると、現場の信頼を失う可能性があります。

したがって、業務自動化システムとして強化学習を導入する場合でも、AIの判断を人間がオーバーライド（上書き）できる仕組みや、AIが自信がない（予測確率が低い）場合に人間に判断を仰ぐ設計が不可欠です。「完全自動化」を目指すのではなく、「AIによる意思決定支援」から入るのが現実的です。

---

導入・運用コストとリスクの総点検

技術的な性能比較の次は、経営視点での「コスト」と「リスク」について論理的に整理します。ここが多くのプロジェクトでボトルネックになります。導入コストは見えやすいですが、運用コストとリスク対応コストは見落とされがちです。

モデル構築と学習に必要なデータ量と品質

強化学習を成功させるための最大の条件は、「高精度なシミュレータ（デジタルツイン）の構築」です。

AIは現実の工場で失敗しながら学ぶことはできません（そんなことをしたら歩留まりが悪化し、工場が止まります）。したがって、仮想空間上に現実の工場をそっくりそのまま再現する必要があります。装置の処理時間（TACT）、搬送ロボットの移動時間、セットアップ替えの工数、故障率（MTBF/MTTR）…。これらを実データに基づいて精密にモデリングする必要があります。

このシミュレータ開発の工数は大きいです。一般的に、AIモデル自体の開発よりも、このシミュレータ構築と精度合わせ（キャリブレーション）に多くの期間を費やすことがあります。また、工場のレイアウトが変わったり、新装置が入ったりするたびに、シミュレータも更新し、AIを再学習させる必要があります。この「運用メンテナンスコスト」は、数理最適化のアプローチよりも高くなる傾向があります。

ブラックボックス問題：AIの判断根拠は説明可能か

前述しましたが、説明可能性（XAI: Explainable AI）は製造業において重要な問題です。

「なぜ納期が遅れているロットAではなく、余裕のあるロットBを先に流したのか？」と生産管理部から問われた際、数理最適化なら「セットアップ回数を減らすことで、全体の完了時間が10分短縮され、結果的にロットAの遅れも最小限になるからです」と説明できます。

しかし、強化学習の場合は「ニューラルネットワークのこのニューロンが発火したからです」としか言えないのが現状に近いかもしれません。SHAP値（Shapley Additive exPlanations）やLIMEといった可視化技術も進化していますが、現場のオペレーターに対して「この特徴量の寄与度がプラスだったから」と説明しても、納得を得るのは難しいでしょう。

説明できない判断によるトラブルが発生した場合、原因究明（RCA）が困難になります。これは品質保証（QA）の観点からもリスクとなります。

初期投資回収期間（ROI）の試算モデル

導入を検討する際は、データに基づいた意思決定を行うため、以下のROI試算をシビアに行うことを推奨します。

• 投資（I）:
  • シミュレータ開発費（初期＋維持）
  • AIモデル開発費（データサイエンティスト人件費）
  • 計算リソース費用（GPUサーバー、クラウド利用料）
  • 現場教育・定着化費用
• リターン（R）:
  • スループット向上による増産利益（限界利益×増産数）
  • 納期遅延ペナルティ削減額
  • スケジュール作成担当者の工数削減

一般的に、強化学習プロジェクトは初期投資（特にシミュレータ開発）が大きくなります。スループットが1%向上するだけで年間数億円の利益が出るような大規模工場であれば、十分にペイする可能性があります。しかし、中規模以下のラインや、変動の少ないラインであれば、高コストな強化学習よりも、既存のルールベースを少し改良するか、軽量な数理最適化ツールを入れる方がROIが良い場合もあります。

---

結論：あなたのラインに最適なのは「ハイブリッド」か「完全AI」か

ここまで、強化学習のメリットとデメリットについて、一般的な傾向として解説してきました。最後に、推奨する現実的なアプローチをまとめます。

生産規模と品種数による選定マトリクス

工場の特性に合わせて、以下の基準で技術を選定することをお勧めします。

1. 少品種大量生産（High Volume, Low Mix）:

   • 推奨: 数理最適化（MILP）または高度なルールベース。
   • 理由: 変動が少なく、計算時間も許容範囲に収まりやすい。厳密な最適性を追求すべき。

2. 多品種少量生産（Low Volume, High Mix）かつ 変動が激しい:

   • 推奨: 深層強化学習（DRL）の検討価値大。
   • 理由: 組み合わせが爆発し、数理最適化では計算が間に合わない。柔軟な対応力が求められる。

3. まずはスモールスタートしたい:

   • 推奨: ハイブリッドアプローチ。
   • 方法: 基本的なスケジュールは大まかにルールベースや簡易的な数理最適化で作成し、突発的な割り込みや微調整の部分だけを強化学習エージェント（または熟練者）が担う。

段階的な導入ロードマップの提案

いきなり「明日から全自動AIスケジューリング」を目指すのは危険です。仮説検証を繰り返しながら、以下の3ステップを踏むことが重要です。

1. Step 1: デジタルツインの構築と現状可視化
   • まずは高精度なシミュレータを作り、現状のルールベース運用のスコアを正確に測る。これだけでも「どこに無駄があるか」というボトルネックが見えてきます。AIを入れる前のこの段階で、改善が見込めることもあります。
2. Step 2: AIによる「推奨（レコメンド）」モード
   • AIに勝手に操作させず、「AIならこうします（推奨度80%）」という案をオペレーターの画面に表示する。人間がそれを採用するかどうかを決める。ここでAIの信頼性を評価し、学習データを蓄積する。
3. Step 3: 限定的な自律制御
   • 夜間や休日など、監視が手薄になる時間帯や、リスクの低いラインから徐々に自動化範囲を広げる。

次世代スケジューラへの投資判断基準

AIは強力ですが、あくまでツールです。重要なのは「何を最適化したいか（目的関数）」を定義する人間の意思です。「スループット」なのか「納期遵守」なのか、それとも「装置の長寿命化」なのか。その定義が曖昧なままAIを導入しても、期待外れの結果に終わるでしょう。

もし、「自社のラインでシミュレータを構築する具体的なハードル」や「AIのブラックボックス性をどう現場に納得させるか」について、より詳細な技術的議論や、他社の失敗・成功事例を知りたいと感じた場合は、専門家に相談することをおすすめします。専門家による支援を受けることで、現場の実装ノウハウや、具体的なライブラリ選定（Ray RLlib vs Stable Baselines3など）について、より実践的な知見を得ることが可能です。

AI導入は、技術の問題であると同時に、現場の文化を変えるプロジェクトでもあります。正しい知識とリスク認識を持って、最初の一歩を踏み出してください。