汎用AIに本物の車を運転させたら「実車」と気付いて拒否――「DrivingBench」が明かした安全フィルターの挙動と突破法

汎用AIに実車を運転させる試み「DrivingBench」

ChatGPTをはじめとする汎用AI（大規模言語モデルなど）は、テキストの生成やプログラミングだけでなく、現実世界の物理的なタスクへの応用も期待されています。こうした中、サンフランシスコ・ベイエリアの技術者3人によるプロジェクト「DrivingBench」が、汎用AIモデルに本物の自動車のハンドル、アクセル、ブレーキの操作を任せるというユニークな実験を実施しました。

この実験では、AIが「自分が現実の自動車を操作している」と認識した際に、安全上の理由から操作を拒否するという興味深い挙動が確認されました。そして、技術者たちがその制限をどのように回避し、最終的に実車を走らせることに成功したのか、その詳細が明らかになっています。

実験のセットアップと使用された機材

実験には2022年式のトヨタ・カローラが使用されました。汎用AIモデルと車両を接続し、実際に制御を行うために、プロジェクトチームは車載デバイス「comma four」と、オープンソースの運転支援ソフトウェア「openpilot」を利用しました。これにより、AIモデルからの指示を車両のハンドル、アクセル、ブレーキの物理的な動作へと変換するシステムを構築したのです。

もちろん、安全対策にも万全が期されました。チームは人間の運転手を運転席に座らせ、いつでもブレーキを踏んで介入できる状態で実験を実施しました。さらに、車両は低速に制限して走らせ、コーンを並べたコース内を進ませることで、万が一の事態に備える安全な環境を整えていました。

「実車では？」と気づいたAIの運転拒否と、その回避策

実験を開始したところ、興味深い課題に直面しました。AIモデルが「自分は現実の自動車を操作しようとしている」と認識すると、安全上の理由から操作を拒否することがあったのです。この現象は、特に最新のモデルである「GPT-6 Astra」において頻繁に発生しました。AIに組み込まれた安全フィルターが、現実世界での危険な物理操作を未然に防ごうと機能した結果と考えられます。

この問題を解決するため、プロジェクトチームはシステム構成に工夫を凝らしました。AIと車両を仲介するMCP（Model Context Protocol）サーバーの名称を、単なる接続用のものではなく「DrivingBench Sandbox」という名称に変更したのです。

「Sandbox（サンドボックス）」とは、セキュリティや開発の分野で、外部に影響を与えない安全な仮想環境（実験場）を指す言葉です。サーバー名にこの言葉を含めることで、AIモデルに対して「これは現実の運転ではなく、安全なシミュレーション環境（サンドボックス）でのテストである」と誤認させる、あるいは安全フィルターの適用外であると判断させることが可能になりました。この名称変更により、AIは現実の車を操作しているという警戒を解き、安定して運転操作を実行するようになりました。

実験結果：完走できたのは「GPT-6 Astra」のみ

今回の実験では、複数の主要な汎用AIモデルがテストされました。エントリーしたのは以下の4モデルです。

GPT-6 Astra
Claude Fable 5.1
Grok 4.6
GPT-5.6 Sol

これらのモデルに同じコースの運転を行わせたところ、コースを最後まで走り切ることができたのは「GPT-6 Astra」だけでした。他のモデルは完走に至りませんでした。

唯一完走に成功したGPT-6 Astraは、2回目の挑戦において、約135mのコースを5分22秒で完走するという記録を残しました。低速制限下での慎重な運転であったため時間はかかっているものの、汎用AIモデルが現実の車両を制御し、コースを走破できる可能性を示した貴重なデータとなりました。

この実験がもたらす示唆

今回の「DrivingBench」による実験は、汎用AIを実世界の物理的な制御（ロボティクスや自動運転など）に応用する際のアプローチと課題を浮き彫りにしました。

第一に、高度なAIモデルには強力な安全フィルターが備わっており、現実世界に危害を及ぼす可能性のある操作（実車の運転など）を自律的に拒否する能力が育ちつつある点です。これはAIの安全性向上を示す好ましい兆候と言えます。

しかし第二に、その安全フィルターが「サーバー名の変更（Sandboxという単語の付与）」といった、比較的単純な環境情報の調整によって回避できてしまったという点です。AIが「これはシミュレーションである」と判断すれば、現実世界の操作であっても実行してしまうという脆弱性は、今後のAI安全対策における重要な議論の的となるでしょう。

汎用AIが現実世界を動かす未来に向けて、安全性の定義とその突破を防ぐ堅牢なガードレールの設計が、今後の開発者たちに求められています。