ロボットアームの動作生成や自律移動ロボットのナビゲーションなど、物理的な身体を持つシステムの知能化において、シミュレーション環境で構築したAIを現実世界（Real）へ適用するSim-to-Realの技術が重要視されています。
本記事では、株式会社テクノデジタルで自律システムリードを務めるAIエンジニアの田村隆太が、ロボット制御と同じくらい、あるいはそれ以上に「失敗が許されない」現場でのAI導入について解説します。舞台として想定するのは、化学メーカーの大規模プラントにおける、「オフライン強化学習（Offline Reinforcement Learning）」を用いた制御プロセスの自動化です。
「データは山ほどある。だからAIで自動化できるはずだ」
DX推進の現場でよく聞かれる言葉です。しかし、そこには「分布シフト（Distribution Shift）」という、目に見えない恐ろしい落とし穴が潜んでいます。この落とし穴に対策せずにAIを導入すれば、AIは自信満々にバルブを全開にし、プラントを危険な状態に陥れる危険性があります。
実務の現場で直面するこの「分布シフト」という課題に対し、私はどのようにして「あえて臆病なAI」を作ることで安全性を担保し、実運用に繋げるのか、その技術的な裏側と現場での課題解決のプロセスを解説します。数式は極力使わず、現場のエンジニアやプロジェクトリーダーが直感的に理解できるロジックとして解説していきますので、ぜひ最後までお付き合いください。
プロジェクト概要：失敗が許されないプラント制御の自動化
熟練オペレーターの操作ログ活用への挑戦
化学素材メーカーにおける、特殊ポリマーを生成する反応プロセスの温度・圧力制御を対象としたケースを考えます。この工程は非常にデリケートで、原料のロット差や外気温の変化に応じて、熟練オペレーターが数分おきに複数のバルブ開度やヒーター出力を微調整しています。
課題は明白です。熟練工の高齢化と、技術継承の難しさです。「神業」とも呼ばれる彼らの操作を自動化し、品質のばらつきを抑えたいという要望は現場から頻繁に寄せられます。対象の工場には過去数年分、数秒周期で記録されたセンサーデータと操作ログ（DCSデータ）が蓄積されているとします。
「これだけの教師データがあれば、強化学習で最適な制御モデルが作れるのではないか？」
データサイエンスの観点からそう考えるのは自然なことです。しかし、ロボティクスの現場で実機制御の難しさを骨身に沁みて知っている私は、すぐに一つの大きな制約を指摘します。
「安全第一」が求められる導入環境
それは、「実機での探索（Exploration）は絶対に許されない」という鉄の掟です。
通常の強化学習（オンライン強化学習）では、エージェント（AI）が環境の中で試行錯誤を繰り返しながら学習します。「ここでこのバルブを開けたらどうなるか？」「おっと、温度が上がりすぎた、これは悪い行動だ」といった具合に、失敗から学ぶのです。
しかし、化学プラントでこれをやるわけにはいきません。一度でも温度が許容範囲を超えれば、製品は廃棄、最悪の場合は安全装置が作動してプラント全体が緊急停止（シャットダウン）します。損害額は計り知れませんし、何より現場の安全が脅かされます。
つまり、「一度も練習試合（実機での試行）をすることなく、過去のビデオ（ログデータ）を見るだけでプロ選手並みのプレイをするAI」を作らなければなりません。これがオフライン強化学習のミッションです。
現場にAIを導入する際、私はまず現場の声を丁寧に聞き取り、期待値を調整することから始めます。「過去データがあるから簡単」ではありません。「過去データしかないからこそ、AIは未知の状況で暴走するリスクがある」という事実を明確に伝えます。
直面した「見えない壁」：分布シフトによるAIの過信
シミュレーションでは完璧だったAIが現場で使えない理由
プロジェクトの初期段階として、まず標準的な強化学習アルゴリズム（DQNやSACなど）を、過去データのみを用いて学習させるアプローチが考えられます。いわゆるオフライン設定での学習です。
学習済みのモデルを、過去データから構築した仮想シミュレーター上でテストすると、結果が驚くほど良好に出ることがあります。熟練オペレーターの操作を上回る効率性を叩き出し、理論上は生産性を5%向上させる予測が出るケースも存在します。
しかし、私はこの結果を絶対に鵜呑みにしません。なぜなら、学習に使ったデータセットと、AIが導き出した「最適行動」の間に、決定的なズレが生じている可能性が高いからです。
ここで登場するのが「分布シフト（Distribution Shift）」という概念です。
過去データにない状況で起きる「未知への過大評価」
分布シフトを平易な言葉で説明しましょう。
想像してみてください。あなたは「舗装された道路」しか走ったことがないドライバー（AI）です。教習所（学習データ）でも、舗装路での運転技術しか教わっていません。
ある日、AIは目的地へ向かう最短ルートを計算しました。そのルートの一部には、データに含まれていない「未舗装の荒野」が含まれていました。しかし、AIは「荒野」を知りません。知らないがゆえに、「ここは障害物がないから、時速100kmで突っ走れる最高の近道だ！」と都合よく解釈（過大評価）してしまうのです。
これがオフライン強化学習における最大の問題点です。標準的な強化学習アルゴリズムは、見たことのない行動（Out-of-Distribution: OOD）に対して、しばしば楽観的すぎる価値（Q値）を割り当ててしまいます。
実際のプラントデータでもこのような現象が起こり得ます。熟練オペレーターは、温度が上昇傾向にあるときは慎重にバルブを絞ります。データ上には「温度上昇時にバルブを大きく開く」という記録はありません。しかし、AIは学習の過程で「もしここでバルブを全開にしたら、一気に冷却できて効率が良いのではないか？」という誤った仮説を立て、それに対するペナルティ（失敗経験）がないため、その行動を「最強の打ち手」として選択してしまうのです。
この現象を放置したまま実機に投入すれば、AIは「地図にない道」を猛スピードで爆走し、崖から転落します。この「見えない壁」を技術的に乗り越える必要があります。
解決策の選定：あえて「臆病」なAIを作る
標準的なQ学習から「保守的Q学習（CQL）」への転換
分布シフトによる暴走を防ぐためには、AIの性格を変える必要があります。「知らないことは素晴らしいことかもしれない」という楽観主義を捨てさせ、「知らないことは危険である」という極度の保守主義（Pessimism）を植え付けるのです。
最適なアルゴリズムを提案するため、私は以下のようなアプローチを比較検討します。
行動模倣（Behavior Cloning: BC）:
単純に熟練オペレーターの行動をコピーする手法。最も安全ですが、オペレーター以上の性能は出せません。「自動化」はできても「最適化」はできないため、「品質安定化・効率化」という目的には不十分です。制約付きポリシー最適化（BCQなど）:
AIが選択できる行動を、データセットに存在する行動に近いものだけに制限する手法。有効ですが、データの分布から少しでも外れると性能が急落する課題があります。保守的Q学習（Conservative Q-Learning: CQL）:
実務において私が最終的に採用を推奨するのがこのアプローチです。これは、AIが行動の価値（Q値）を見積もる際、データセットに含まれていない行動に対しては「ペナルティ」を与えて価値を低く見積もるよう学習させる手法です。
未知の行動に対するペナルティ設計
CQLの考え方は、リスク管理の観点で非常に理にかなっています。
通常のQ学習が「この行動をとれば、最大でこれくらいの報酬が得られるだろう」という期待値を最大化しようとするのに対し、CQLは「最悪の場合でも、これくらいの成果は保証できる」という下限値を最大化しようとします。
具体的には、損失関数に正則化項を追加し、データセットにない行動（OOD）のQ値を強制的に押し下げます。これにより、AIは以下のように思考するようになります。
- 以前のAI: 「この領域のデータはないけど、計算上はすごいスコアが出るぞ。やってみよう！」
- CQL導入後のAI: 「この領域のデータはないな。何が起きるかわからないから、価値はゼロ（あるいはマイナス）とみなそう。知っている安全なルートの中で一番いい方法を選ぼう。」
この「臆病なAI」を設計することで、熟練オペレーターの操作範囲を大きく逸脱することなく、その範囲内でギリギリの最適化を行うモデルを構築します。いわば、「熟練工の流儀」という安全柵の中で、最大限のパフォーマンスを発揮するAIです。
実装と検証：オフライン評価（OPE）と段階的導入
実機投入前の「門番」としての評価指標
モデルができても、すぐに実機につなぐことはしません。ここで重要になるのが、オフライン政策評価（Off-Policy Evaluation: OPE）です。
OPEは、実機を動かさずに、過去データだけを使って新しいAIモデルの性能を推定する技術です。代表的な手法として重点サンプリング（Importance Sampling）やその改良版（Doubly Robustなど）があります。
過去のログデータに対して「もしこの時、AIが操作していたらどうなっていたか？」を数理的にシミュレーションします。ここで私が特に注目するのは、平均的なスコアではなく、「推論の信頼度」と「データ分布との距離」です。
AIが自信を持って操作を提案している箇所でも、その状況が過去のデータ分布から離れている場合はアラートを出す仕組みを組み込みます。これにより、AIが「知ったかぶり」をしている瞬間を確実に検知します。
Human-in-the-loopによる監視付き運用
OPEでの評価をクリアした後、いよいよ現場導入ですが、ここでも慎重を期します。まずは「シャドーモード（並行稼働）」での運用です。
AIには実際の制御権を与えず、センサーデータを受け取って「推奨操作」を出力するだけにとどめます。その推奨値と、実際にオペレーターが行った操作をリアルタイムで比較し続けます。
「オペレーターはバルブを5%開けたが、AIは3%を推奨した。なぜか？」
この差異を一つひとつ現場のエンジニアと解析します。多くの場合、AIの方が「より細かい調整」を行おうとしており、それがエネルギー効率の向上につながることが確認されます。一方で、特定のレアケース（例えば原料切り替え直後など）では、AIの判断が不安定になることも判明するため、そのたびに追加のルールベースによるガードレール（安全装置）を強化します。
数ヶ月のシャドー運用を経て、現場オペレーターから「このAIの言う通りに動かせば楽ができる」という信頼を勝ち取った段階で、初めて制御権の一部をAIに委譲します。理論の美しさよりも、実際の業務でどれだけ効果が出るかを最優先に考えるシステム思考が、ここで活きてきます。
成果と今後の展望：安全な自律制御への道筋
不良率の低減とオペレーター負荷の半減
分布シフト対策を施した「保守的AI」を適切に導入した場合、成果は明確な数字として表れます。
- 温度逸脱率の低減: 熟練オペレーターの手動操作と比較して、目標温度からのブレ（標準偏差）が約20%縮小します。これにより製品の品質が安定し、不良率が低下します。
- オペレーター操作回数の削減: AIが定常時の微調整を肩代わりすることで、オペレーターが画面に張り付いて操作する頻度が50%以上削減されます。これにより、彼らはより高度な保全業務や改善活動に時間を割けるようになります。
何より重要なのは、導入期間中に「一度も危険な暴走を起こさない」ことです。CQLによる保守的な制約が、見えないガードレールとして機能し続ける結果です。
「信頼できるAI」がもたらした組織の変化
当初、AI導入に懐疑的だったベテランオペレーターも、無茶をせず根気強く稼働するAIに対しては、「いい後輩ができた気分だ」と肯定的な評価を下します。
このような現場の反応こそが、AI導入が目指すべきゴールです。分布シフトという数学的な難題を解決することは、現場の「安心感」を醸成することと同義なのです。
今後の拡張計画
このような成功モデルは、他の反応炉や、より複雑な蒸留プロセスにも横展開していくことが可能です。また、蓄積されたAIの制御データを新たな学習データとしてフィードバックし、少しずつ「保守性」の枠を広げ、より自律度の高い制御へと進化させていきます。
オフライン強化学習は、実機試行が難しい産業領域におけるDXの切り札です。しかし、そこには「データがあるからできる」という安易な期待を裏切る、分布シフトという落とし穴があります。
重要なのは、AIの性能を追求することだけではありません。「AIが何を知っていて、何を知らないか」を正しく理解し、知らないことに対しては謙虚であるよう設計すること。このエンジニアリングの誠実さこそが、ミッションクリティカルな現場でAIを成功させる唯一の鍵です。
読者の皆様の現場にも、活用されずに眠っているデータがあるはずです。それらを「安全な知能」へと変える挑戦を、ぜひ始めてみてください。
コメント