AI開発の現場でよく議論されるテーマとして、「マリオは完璧に操作できるAIが、なぜラジコンカーの運転には苦戦するのか？」というものがあります。皆さんはどう思われますか？
近年、深層強化学習（Deep Reinforcement Learning）は目覚ましい発展を遂げています。特にDeepMindが開発したDQN（Deep Q-Network）がブロック崩しやインベーダーゲームで人間を超えたニュースは、記憶に新しいでしょう。しかし、その技術をロボットアームの制御や自動運転車のハンドル操作に応用しようとすると、途端に大きな壁にぶつかります。
「右か左か」ボタンを押すゲームと、「ハンドルを右に35.6度切る」現実の制御。この間には、離散値（Discrete）と連続値（Continuous）という深い溝があるからです。
今回は、この「連続値制御」の課題を突破するための鍵となるアルゴリズム、決定論的方策勾配法（DPG: Deterministic Policy Gradient）についてお話しします。難解な数式は一旦脇に置いて、まずは「なぜこの仕組みなら車をスムーズに運転できるのか」という技術の本質を、直感的に理解していきましょう。
なぜ「右か左か」のAIでは公道を走れないのか？
まず、DQNのアプローチが、なぜ自動運転のようなタスクで破綻してしまうのか、その根本原因から見ていきます。
離散値制御（DQN）の限界点
DQNは基本的に、Q学習（Q-Learning）を深層学習で拡張したものです。この手法が得意とするのは、アクション空間が離散的（飛び飛びの値）である場合です。
例えば、古いゲームコントローラーを想像してみてください。十字キー（上下左右）とA・Bボタン。これらは「押すか、押さないか」のデジタルな入力です。AIにとっては、「今この瞬間に選択できる行動」が有限個（例えば全部で10通り）に絞られているため、それぞれの行動をとった場合の「期待されるスコア（Q値）」を計算し、一番高いものを選ぶだけで済みます。
「右に行けばQ値は10、左ならQ値は5。じゃあ右だ！」という具合です。非常にシンプルで、プロトタイプを作るのも容易です。
連続値アクション空間という「無限の選択肢」
ところが、自動車の運転はどうでしょうか。
ハンドルは「右か左か」ではありません。「右に5度」「右に5.1度」「右に5.01度」……と、アナログに変化します。アクセルペダルも「踏むか離すか」ではなく、0%から100%まで無段階の調整が必要です。
もしDQNのアプローチを適用しようとすると、この連続的な値を「離散化（Discretization）」する必要があります。例えば、ハンドルの角度を-100度から+100度まで、1度刻みで区切るとしましょう。これだけで200通りの選択肢が生まれます。
さらにアクセルとブレーキも100段階で刻んだとします。すると、AIが瞬時に評価しなければならない行動の組み合わせは、200（ハンドル）× 100（アクセル）× 100（ブレーキ） = 200万通りにも膨れ上がります。
これを毎秒何十回も計算するのは、ビジネスの観点からも非常に非効率です。これを「次元の呪い」と呼びます。カクカクしたロボットダンスのような動きなら許容できるかもしれませんが、高速道路を走る自動運転車において、この「計算による遅延」や「粗い操作」は致命的な事故につながりかねません。
だからこそ、「選択肢を一つずつ評価して選ぶ」という発想を捨て、「最適な値をズバリ出力する」新しいアプローチが必要とされるのです。
確率を捨てて「断定」する：DPGの革新性
そこで登場するのが、2014年にDavid Silverらが提唱したDPG（Deterministic Policy Gradient）です。名前の通り、「決定論的（Deterministic）」であることが最大の特徴です。
確率的方策（Stochastic）vs 決定論的方策（Deterministic）
従来の方策勾配法（Policy Gradient）では、AIの出力は「確率分布」でした。
「右に切る確率が80%、左が20%」といった具合です。AIは、この確率分布に従ってサイコロを振り、実際の行動を決めます。これを確率的方策（Stochastic Policy）と呼びます。学習時には、「サイコロを振って選んだ行動が良かったかどうか」を評価し、確率分布を修正していきます。
しかし、連続値の空間で「確率分布」を扱うのは大変です。ガウス分布（正規分布）などを仮定して、その平均や分散を学習させるのですが、高次元になると、良い行動を引き当てるために何度もサイコロを振らなければなりません（サンプリング）。
対して、DPGのアプローチは非常に実践的です。
「今の状態なら、ハンドルは右に3.5度だ！」
これだけです。確率もありません。ある状態（入力）に対して、必ず一つの行動（出力）を一意に定めます。これが決定論的方策です。
「たぶん右」ではなく「右に3.5度」と言い切るメリット
なぜ「断定」すると学習がうまくいくのでしょうか？
直感的に言えば、「迷うための計算コスト」を大幅に削減できるからです。確率的方策では、行動空間全体にわたって積分（期待値計算）をする必要がありますが、決定論的方策ではその必要がありません。計算コストの削減は、実用化への最短距離を意味します。
また、勾配（学習の方向性）の計算もシンプルになります。確率的方策では「たまたま選んだ行動」の結果を使って学習するためノイズが乗りやすいのですが、DPGでは「Q値が最も高くなる方向」へ直接的に方策を修正できます。
イメージとしては、確率的方策が「暗闇の中で石を投げて、何かに当たった音で方向を探る」のに対し、DPGは「センサーで地形をスキャンして、登るべき坂道を直接見つける」ような違いがあります。連続値制御においては、圧倒的に後者の方が効率が良いのです。
ドライバーと教官の二人三脚：Actor-Critic構造の役割
DPGを実際に動かすためには、Actor-Critic（アクター・クリティック）というフレームワークを使います。これは、AIの中に二つの異なる役割を持たせる手法です。
Actor（運転手）：現在の状況からハンドル操作を決める
Actorは、その名の通り「演者」であり、ここでの運転手です。
カメラやセンサーの情報（State）を受け取り、具体的なハンドル操作やアクセル開度（Action）を出力します。
DPGにおけるActorは、先ほど説明したように「決定論的」に動きます。「今のカーブならハンドルは右へ30度！」と即座に判断します。
Critic（教官）：その操作が良かったかを評価する
一方、Criticは教官です。Actorが実際に行った運転を見て、「今のカーブで30度切ったのは、ちょっと切りすぎだね。評価（Q値）は50点」といった具合に採点します。
ここで重要なのは、Criticは単に点数をつけるだけでなく、「どうすればもっと点数が高くなるか」という勾配（Gradient）の情報を持っていることです。
DPGにおける「勾配」の伝わり方
ここがDPGの最も美しい点です。
- Actor（運転手）が「ハンドルを30度切る」と提案する。
- Critic（教官）がその行動を評価し、Q関数（価値関数）の形を見る。
- CriticはActorに対し、「Q値の山の頂上はもう少し右側にあるよ」と伝える。
- Actorはそのアドバイスに従って、次は「32度」にするように自身のニューラルネットワークを更新する。
このプロセスにおいて、確率的なサンプリング（試行錯誤）は行われません。Criticが計算した「Q値を最大化する方向」へ、Actorのパラメータを直接ずらすのです。
また、DPGはOff-Policy（オフポリシー）型の学習が可能です。これは、「過去に自分が運転した記録」や「他人が運転した記録」を再利用して学習できることを意味します。自動車学校で、教官が「昨日の運転ビデオを見てみよう。ここはもっとこうすべきだったね」と振り返り学習をするようなものです。実世界で毎回車を走らせてデータを集めるのは莫大なコストがかかるため、このデータ効率の良さは、経営的視点から見ても産業応用において極めて重要です。
DPGからDDPG、そしてTD3へ：進化するアルゴリズム
DPGは理論として強力ですが、深層学習（ニューラルネットワーク）と組み合わせて安定して動作させるには、エンジニアリングの工夫が必要でした。
深層学習と組み合わせたDDPG（Deep DPG）
2015年、DeepMindの研究チームはDPGにDQNの成功要因を取り入れたDDPG（Deep Deterministic Policy Gradient）を発表しました。
- Experience Replay（経験再生）: 過去のデータをバッファに貯めておき、ランダムに取り出して学習する。データの相関を断ち切り、学習を安定させる。
- Target Network: 学習対象のネットワークとは別に、更新を遅らせたターゲット用ネットワークを用意し、目標値がふらつくのを防ぐ。
これにより、連続値制御の強化学習が一気に実用レベルへと近づきました。
学習の不安定さをどう克服してきたか
しかし、DDPGには「Q値を過大評価（Overestimation）してしまう」という弱点や、ハイパーパラメータに敏感すぎるという課題がありました。教官（Critic）が甘い採点をし続けると、運転手（Actor）が勘違いしてしまうような状況です。
これに対処するために登場したのがTD3（Twin Delayed DDPG）です。
TD3では、教官を二人用意します（Twin Critic）。そして、「二人のうち、厳しい方の点数」を採用することで、過信を防ぎます。さらに、Actorの更新頻度をCriticよりも減らす（Delayed）ことで、評価が定まってから行動を変えるようにし、学習を劇的に安定させました。
実用化に向けた現在のトレンド
現在では、エントロピー（乱雑さ）の概念を取り入れて探索性能を高めたSAC（Soft Actor-Critic）などが主流になりつつあります。これらは全て、DPGという「決定論的に勾配を登る」という基本思想の上に成り立っています。
自動運転だけでなく、工場のロボットアーム制御、ドローンの姿勢制御、データセンターの空調管理まで、連続的な値を調整し続けるあらゆるAIシステムの裏側で、このDPGの系譜が動いていると考えられます。
まとめ：連続値を制する者がロボティクスを制する
今回は、DQNでは難しかった連続値制御を可能にする「決定論的方策勾配法（DPG）」について解説しました。
今回の重要ポイント振り返り:
- 離散化の限界: DQNのような離散的な手法は、連続値制御において計算量の爆発（次元の呪い）を招く。
- 決定論的アプローチ: DPGは確率分布（迷い）を捨て、「最適な行動」を一意に出力することで計算効率を高める。
- Actor-Critic構造: Actor（運転手）はCritic（教官）からの勾配情報を受け取り、Q値を高める方向へ直接パラメータを更新する。
- 進化の系譜: DDPG、TD3、SACへと続くアルゴリズムの進化は、より安定した制御と高いデータ効率を目指している。
自動運転やロボット制御の世界へ足を踏み入れるなら、この「連続値をどう扱うか」という視点は非常に重要です。理論を学んだら、次は「まず動くものを作る」ことです。もしあなたがシミュレーション環境（MuJoCoやPyBullet、自動運転ならCARLAなど）でAIを動かしてみたいなら、GitHub Copilotなどのツールを活用しながら、まずはDDPGやTD3の小さなプロトタイプを素早く実装し、実際に動かして検証してみることをお勧めします。コードの中でActorとCriticが対話しながら成長していく様を見るのは、エンジニアとして大きな喜びになるはずです。
コメント