ベンチマーク

AI

AIの「性格」と会話スタイルを可視化するベンチマークが登場——Geminiの媚びやすさやClaudeの説得力が明確に

AI評価プラットフォームのArtificial Analysisが、主要な大規模言語モデル(LLM)の性格やコミュニケーションスタイルを多角的に分析・測定する新ベンチマーク「AA-PersonalityBench」を発表しました。
AIトレンド

AIのベンチマークテストは人間の仕事の1割しかカバーできていない、メルコールの調査が示す実態

AI研究機関のメルコールが、代表的な29種類のベンチマークと米国の労働人口の職種やタスクとの関係性を調査。労働時間の90%以上が既存のベンチマークでカバーされていないという調査結果が発表されました。
テクノロジー

AIモデルのリリース後における性能変化を追跡するベンチマーク「Nerf Bench」とは

AIモデルのリリース後の性能変化を追跡する新しいベンチマーク「Nerf Bench」が登場。パワーの算出基準や性能変化の判断ルールについて詳しく解説します。
AI・テクノロジー

「1週間の開発タスク」でAIの限界を検証 Googleが「Android Bench 2.0」公開

Googleは、AIのAndroid開発能力を評価するベンチマークの最新版「Android Bench 2.0」を公開しました。1週間規模の複雑な長期タスクが課され、最高通過率は約28%に急落。AI開発の新たな限界と可能性が浮き彫りになっています。
AIテクノロジー

GPT-6 AstraがAIコーディングで67点を記録、首位Fable 5.1に迫る性能と料金詳細が明らかに

Artificial Analysisが公開した最新のベンチマークにおいて、OpenAIの「GPT-6 Astra」がAIコーディング性能で67点を記録しました。首位のFable 5.1には届かなかったものの、トップ級の水準を示しています。API料金やハルシネーション率、安全監視システムの仕組みを整理します。