結論:モデルに合わせた最適なハーネス選定がAI運用コストを左右する
AIコーディングエージェントや自動化ツールを実行する際、基盤となるLLM(大規模言語モデル)の性能だけでなく、モデルと外部環境やツールをつなぐ「ハーネス(Harness)」の構成が実行結果やコスト効率を大きく左右することが判明しました。
RuntaとBasetenが共同で実施した包括的なベンチマーク調査「FrontierHarness Eval v1.1」により、モデルごとに最適なパフォーマンスを発揮するハーネスが明確に分かれること、そして推論コストの約6割以上が失敗した試行によって無駄になっている現状が浮き彫りになりました。
何が発表・変更されたか:大規模なベンチマーク「FrontierHarness Eval v1.1」
RuntaはBasetenと提携し、AIエージェントのハーネス構成を定量的に評価するための評価基盤「FrontierHarness Eval v1.1」を立ち上げました。
この調査では、合計830億(83 billion)トークンを費やし、62種類のターミナルタスクにおいて27,280回に及ぶ大規模な試行テストが実施されました。
検証対象となった5つのAIモデル
- GLM-5.3
- GLM-5.3 Flash
- DeepSeek V4.1 Flash 1017
- Muse Spark Open
- Kimi-K3
研究チームは、上記の5つのAIモデルに対して22種類のハーネス構成を組み合わせ、タスクの成功率や平均処理コストなどを詳細に測定・分析しました。

確認済みの具体情報:モデル別の最適な組み合わせと全体傾向
公開された検証データにより、全体の中で優位性を示した構成と、各モデルにおいて最も高い費用対効果(best-value)を示したハーネスの組み合わせが明らかになっています。
全体で最高成績を収めたハーネス構成
- 最低平均コスト:全モデルを通じた平均タスク単価で、OpenCode v2が最小コストとなる$0.561を達成しました。
- 最高パス率:全モデルを通じたタスク成功率において、ZCodeが最高の61.9%を達成しました。
各モデルにおける最も費用対効果の高い(best-value)ハーネス
検証結果によると、全てのモデルに対して一律で優れた効果を発揮する万能なハーネスは存在せず、モデルの特性に応じた組み合わせが重要であることが示されています。
- GLM-5.3:Codex CLI
- GLM-5.3 Flash:Pi
- DeepSeek V4.1 Flash 1017:ZCode
- Muse Spark Open:Oh My Pi
- Kimi-K3:Alma
無駄になっている推論コストの構造
さらに、スコア評価されたすべての試行データを分析した結果、定価ベースの推論コストのうち64.5%が合格に至らなかった試行(不合格試行)に費やされていたことが判明しました。その内訳は以下の通りです。
- タスクの失敗(failures):コスト全体の52.7%
- タイムアウト(timeouts):コスト全体の11.8%
なぜ重要か:無駄な推論コストの削減と効率的なAI運用
AIエージェントの商用利用や開発において、計算資源と推論コストの最適化は最優先課題の1つです。本ベンチマークが示した「コストの64.5%が失敗したタスクで消失している」という事実、および全試行における詳細なデータは、適切なハーネス選択やエラー制御の重要性を直接的に示しています。
また、単にモデルのパラメータサイズやカタログスペックだけを見て判断するのではなく、実際にタスクを実行させるハーネスとの相性を考慮することが、コストパフォーマンス最大化の鍵となります。
開発者・企業・利用者への影響
AIエージェントを活用したシステム開発を行うエンジニアや企業にとって、本ベンチマークの結果は実用的な示唆を与えます。
- ハーネスの適材適所:採用するLLMが決まっている場合、上記で特定された最適なハーネス(例:DeepSeek V4.1 Flash 1017であればZCode)を選択することで、成功率を高めつつ無駄な支出を削減できる可能性があります。
- エラー処理とタイムアウト制御の重要性:推論コストの大部分を占める失敗やタイムアウトの構造を把握し、システム設計を最適化することが運用費用を直接抑制します。
未確定点・今後の課題
現時点で公開されている事りは「FrontierHarness Eval v1.1」における62個のターミナルタスクおよび特定の試行環境に基づいたデータです。現実のより多様な開発環境や異なるプログラミング言語・フレームワークにおいても、完全に同一の費用対効果が得られるかについては、今後のさらなる検証が必要です。
まとめ
「FrontierHarness Eval v1.1」の検証結果は、AIモデルの性能を引き出し運用コストを抑えるためには、適切なハーネスの選択が不可欠であることを示しました。最高パス率61.9%を達成したZCodeや、タスクあたり$0.561という最低平均コストを実現したOpenCode v2など、特性に合わせた構成を選び取ることが、これからのAI活用における重要な戦略となります。


コメント