AIのベンチマークテストは人間の仕事の1割しかカバーできていない、メルコールの調査が示す実態

結論

AI研究機関のメルコールによる調査から、代表的なAIベンチマークが人間の仕事のわずか1割程度しかカバーしていないことが明らかになりました。労働時間の観点から見ると、90％以上の労働が既存のベンチマークでほとんどあるいは全く評価されていない実態が浮き彫りになっています。

何が発表・変更されたか

AI研究機関のメルコールは、代表的な29種類のベンチマークがアメリカの労働省が公開する職業分類法O*NETの職種をどれほどカバーしているかを調査しました。O*NETはアメリカの労働人口を923の職種に分類し、それらの職で一般的に発生する1万8797のタスクを網羅している総合的なシステムです。メルコールの調査では、この膨大な労働分類に対して現在のAIベンチマークがどのように対応しているかが分析されました。

確認済みの具体情報

調査の結果、923の職種のうち、タスクの少なくとも一部について5件以上のテスト項目が紐付けられた職種は208にとどまりました。さらに、労働時間という観点で見ると、90％以上の労働が既存のベンチマークでほとんどあるいは全くカバーされていないとメルコールは結論づけています。

また、アメリカで行われる仕事のうち完全に在宅で実施できるものは37％にすぎず、残り63％の仕事には、ベンチマークに組み込むことが難しい物理世界に関わるタスクが含まれている可能性があることも指摘されています。

なぜ重要か

現在、さまざまなAIモデルの性能を測るために多くのベンチマークが利用されていますが、それらはAIにとって評価しやすい特定のタスクに偏っている可能性があります。労働時間の90％以上がカバーされていないという結果は、現在のAI評価指標が実際の経済活動や人間の労働全体を十分に反映できていないことを示しており、AIの実用性や影響力を測定する上での大きなギャップを浮き彫りにしています。

まとめ

メルコールの調査により、AIの進化を測る代表的なベンチマークテストと、実際の労働市場における広範なタスクの間には大きな隔たりがあることが示されました。今後のAIの評価や開発において、デジタル空間以外の物理的なタスクや、より多様な職業領域をどのように測っていくのかが重要な課題となりそうです。