AIによるソフトウェア開発の自動化が進む中、その真の実力を測定するための新たな基準が登場しました。Googleは2026年9月17日（米国時間）、大規模言語モデル（LLM）やAIエージェントのAndroidアプリ開発能力を評価するベンチマークの最新版「Android Bench 2.0」を公開しました。従来の評価方法から大幅に難易度を引き上げたこの新ベンチマークは、AIが実際の開発現場でどこまで通用するのか、その「限界」を浮き彫りにしています。
開発現場の実態に即した「長期タスク（LHT）」への刷新
従来のAI評価ベンチマークでは、比較的短時間で解決できる単純なコーディング課題が中心でした。しかし、実際のソフトウェア開発、特にAndroidアプリの開発においては、数行のコードを書くだけで終わるタスクは稀です。
「Android Bench 2.0」では、この課題を解決するため、エンジニアが数日から1週間ほどかけて取り組むような、複雑で長期にわたるタスク（Long-Horizon Tasks：LHT）を課す仕様へと大幅に刷新されました。これにより、単にコードの断片を生成する能力だけでなく、プロジェクト全体の構造を理解し、長期的な計画に基づいて一貫した開発や改修を行う能力が厳しく問われることになります。
最高通過率は28％へ急落、浮き彫りになったAIの限界
この評価仕様の刷新は、AIモデルのスコアに劇的な変化をもたらしました。従来のタスクにおける最高通過率は約91％に達しており、AIはAndroid開発において極めて高い能力を有しているかのように見えていました。しかし、今回導入された複雑な長期タスク群においては、最高通過率が約28％へと急落したのです。
この結果は、現在の最先端AIであっても、実際の開発現場で発生する「数日から1週間規模の複雑なタスク」に対しては、依然として大きな課題を抱えていることを示しています。なお、この長期タスクにおいて最高通過率を記録したのは、OpenAIの「GPT-6 Astra」で、通過率は28％でした。最高峰のモデルであっても、4回に3回近くはタスクを完遂できないという現実に加え、AIによる完全な開発自動化への道のりが一筋縄ではいかないことを物語っています。
新たな評価枠組み「Harbor」とエージェント評価の導入
Googleは、今回のベンチマーク刷新にあたり、評価の基盤自体も高度化させています。具体的には、LLM評価の標準的な枠組みである「Harbor」フレームワークに適合させることで、より信頼性の高い評価を可能にしました。さらに、AIモデル単体としての性能を測るだけでなく、実際の開発環境と組み合わせたAIエージェントとしての評価も導入しています。
これにより、AIが単にテキストとしてコードを出力する能力だけでなく、開発ツールを自律的に操作し、エラーを修正しながらタスクを遂行する「実践的な開発能力」を総合的に測定できるようになりました。
開発者や企業にとっての重要性と今後の展望
「Android Bench 2.0」の公開とそこから得られた結果は、AIを開発プロセスに導入しようとしている企業や開発者にとって、極めて重要な示唆を与えています。
まず、AIは「限定的なコーディング支援」としては非常に優秀である一方、「数日から1週間を要する複雑なプロジェクトの自律的な遂行」においては、まだ人間のエンジニアを代替できるレベルには達していないという現実的な境界線が明確になりました。企業がAIツールを導入する際には、AIに丸投げするのではなく、人間が適切にタスクを細分化し、AIの得意な領域と組み合わせる「協調型」のワークフローを設計することが、現時点における現実的なアプローチと言えるでしょう。Googleが提示したこの新たなベンチマークは、今後のAIモデル開発における新たなマイルストーンとなり、より高度で自律的なAIエージェントの誕生を促す契機となることが期待されます。
コメント