AIが自分でトランスミッションを調整する—深層強化学習で「適合作業」を自動化した話
前回の記事では、Neural ODEを使って油圧シミュレーションの計算時間を99%削減した話をした。
計算が速くなるだけでは、まだ半分だった。速くなった計算を使って「何を、どう設定すべきか」を決める作業——適合（キャリブレーション）——は、あいかわらず人間の手に委ねられていた。今回はその先の話をする。深層強化学習を使って、その適合作業そのものをAIに任せた話だ。
「適合」という名の見えない壁
ある自動車OEMのATトランスミッション開発現場では、変速時のクラッチ締結を制御する無数のパラメータがある。「どのタイミングで、どれくらいの圧力で、どの速さでクラッチを締結するか」——これらの値を、実際のクルマの動きを見ながら調整していく作業が「適合」だ。
試作車は数が少ない。そして何より、試作車ができあがるまで適合が始められないという根本的な制約がある。「適合する作業自体も、AIに任せられないか？」——これが次の問いだった。
深層強化学習とは何か
「AIが試行錯誤を繰り返しながら、最適な行動を自分で学ぶ」技術。良い行動をとったら「報酬」を与え、悪い行動をとったら「ペナルティ」を与える。それを何千回・何万回と繰り返すうちに、AIは「どうすれば高い報酬が得られるか」を学習していく。
囲碁AIの「AlphaGo」がその代表例だ。「行動」をパラメータの調整、「報酬」を変速品質への適合度に置き換えれば、AIが自動的に最適なパラメータを探索できる。
サロゲートモデル × 強化学習という発想
強化学習が有効に機能するためには、AIが何万回も試行錯誤できる「環境」が必要だ。実車でそれをやるのは不可能だ。しかしAIサロゲートモデルなら話が違う。
・サロゲートモデル：高速で動く仮想環境（練習場）を提供する
・深層強化学習：その環境の中で、自律的に最適なパラメータを探索する
この2つを組み合わせることで、「計算コストの壁」と「人手に頼る探索の壁」を同時に突破できる——これが今回のアプローチの核心だった。
報酬関数の設計——思い通りに動かない日々
強化学習で最も難しかったのは、報酬関数の設計だ。
最初に組んだ報酬関数はシンプルなものだった。「クラッチ締結完了までの時間が短いほど高報酬」——そう設定した。すると、エージェントは想定外の解を見つけた。変速そのものを学習せず、「締結が始まったとみなされるギリギリの動作」を繰り返すという抜け道を使い始めたのだ。
報酬関数を修正して「締結ショックの小ささ」も加えた。今度は別の問題が起きた。エージェントがクラッチを極端にゆっくり締める方向に過学習し、変速時間が際限なく長くなった。
報酬関数を少し変えるだけで、エージェントの挙動がまったく別物になる。これが強化学習の難しさであり、面白さでもある。AIは「報酬を最大化する」という目的に忠実であるがゆえに、人間が意図していない抜け道を巧みに見つけ出す——いわゆるreward hackingだ。
ブレイクスルー：GT Sophyから得た着想
行き詰まっていたとき、ソニーAIが開発した**Gran Turismo Sophy（GT Sophy）**の研究論文（Nature, 2022）を読んだ。
GT Sophyは、プレイステーションのレーシングゲーム「グランツーリスモ」において、世界トップクラスのドライバーを超えるAIを強化学習で実現した研究だ。その中で印象に残ったのが、報酬関数の設計思想だった。
「速さ」だけでなく「ライン取りの合理性」「他車との距離感」「コントロールの滑らかさ」など、複数の評価軸を階層的に組み合わせるアプローチをとっていた。また、「やってはいけないこと（壁への衝突など）」を強いペナルティとして報酬構造に組み込むことで、エージェントが望ましくない挙動を学習しにくくなっていた。
競技ゲームのAIと自動車の制御設計は、一見まったく異なる問題に見える。しかし報酬設計の根本的な難しさは同じだ。「何を最大化させるか」ではなく「何をやらせてはいけないか」を先に設計する——この発想の転換が、自分の報酬関数設計を大きく変えた。
結果：試作車両の前に「完成形」が見えた
GT Sophyの考え方を参考に報酬関数を再設計したところ、エージェントの挙動が安定した。クラッチ圧の適合精度は、人手による従来の適合と比較しても遜色ないレベルに達した。
しかし最も大きな意義は、「いつ適合できるか」が変わったことだ。従来の適合作業は、試作車両が完成してから始まる。しかし仮想環境でAIが自動適合できるなら、試作車の完成を待たずに「開発のずっと早い段階」でパラメータの目処が立てられる。
この研究は2023年10月の自動車技術会秋季大会で発表した。
※ 本記事は著者の個人的な見解であり、所属組織の公式見解ではありません。GT Sophyの参照は公開論文（Wurman et al., Nature 2022）に基づく著者の解釈です。