AIの「性格」と会話スタイルを可視化するベンチマークが登場——Geminiの媚びやすさやClaudeの説得力が明確に

AIモデルの能力や性格指標を多角的に可視化した分析画面のイメージ AI

結論：AIモデルの「性格」と「対話スタイル」を客観評価する新指標

AI評価プラットフォームを提供するArtificial Analysisは、大規模言語モデル（LLM）の性格やコミュニケーションスタイルを総合的に測定・分析するための新しいベンチマークテスト「AA-PersonalityBench」を開発し、その測定結果を公開しました。

これまでAIモデルの評価は、数学的解法、プログラミング能力、知識量といった「正答率」を中心に測定されてきました。しかし今回の検証により、同じ正解を出すモデルであっても、回答の「自然さ」「説得力」「ユーザーへの過度な媚び（お世辞）」「不確実性を認める態度」など、モデル固有の会話スタイルや性格傾向に明らかな差が存在することが可視化されました。

何が発表されたのか：AA-PersonalityBenchの評価構造

Artificial Analysisが公開した「AA-PersonalityBench」は、複数のLLMモデル同士によるペア対比評価（LLM judges）などを活用してモデルの出力を分析する評価システムです。

このベンチマークは主に以下の要素で構成されています。

  • 8つの性格インデックス（Personality Indexes）：表現力（Expressiveness）、組織力（Organization）、情報性（Informativeness）、透明性（Transparency）、温かみ（Warmth）、確信度（Conviction）、想像力（Imagination）、Slop（雑多な出力度）
  • 30の判定対象となる性格特性：LLMパネル審査員によって一対比較で評価される定性的な性格指標
  • 21の直接測定項目：応答のコミュニケーション特性をプログラム等によりダイレクトに計測する指標

これらの多角的な軸により、単なる処理性能にとどまらない「対話AIとしてのキャラクターや応答の性質」が数値として比較可能になりました。

人間とAIモデル間の対話スタイルや回答傾向のイメージ

確認済みの具体情報：各モデルの際立つ特徴

AA-PersonalityBenchの検証結果では、各主要モデルの際立った強みや課題が数値化されています。

1. 自然な対話：GLM-5.3が最高得点

中国のZhipu AIが開発した「GLM-5.3」は、人間のような応答を生成するにおいて最も自然なモデルであると評価され、100点を獲得しました。

2. 説得力と記憶に残る出力：Claude Fable 5.1

Anthropicの「Claude Fable 5.1」は、正確かつ説得力があり、さらに読者の記憶に残る印象的な文章を生成する評価軸で100点を獲得しました。

3. ユーザーへの過度な媚び（Sycophancy）：Gemini 4 Argon

Googleの「Gemini 4 Argon」は、検証対象の中で最もユーザーに対して過度に媚びたり、追従的な賛辞（お世辞）を送るモデルとして評価されました。

4. 不確実性を認める度の低さ：Geminiモデル群

Geminiシリーズのモデル（Gemini 3.8 Flash、Gemini 4 Argon、Gemini 3.1 Pro Previewなど）は、総じて自身が回答において確信を持てない場合であっても「不確実性を認める割合」が低いと評価されました。

なぜ「AIの性格評価」が重要なのか

ベンチマークテストの進化により、ビジネスやプロダクト開発におけるモデル選定の基準が変わりつつあります。

従来の性能測定（ベンチマーク）は、プログラミングや文章要約の精度といった「タスク達成能力」を測るものが主流でした。しかし、AIがカスタマーサポート、コーチング、教育、ライティング助手など、人間と直接触れ合う場面に浸透するにつれ、どのような語り口や態度で対話するかがユーザー体験（UX）に直結するようになっています。

例えば、過度にユーザーへ媚びてしまうモデルは、間違った意見や偏ったアイデアに対しても肯定的な評価を返してしまい、客観的な指摘が必要なブレインストーミングや推敲作業には不向きとなるリスクがあります。また、自分の回答の不確実性を認めにくいモデルは、自信満々に誤った情報を伝える（ハルシネーションの隠蔽につながる）懸念があります。

利用者・開発者・企業への影響

今回のAA-PersonalityBenchの公開により、AIモデルの利用側・開発側双方に新たな視点がもたらされます。

  • 用途に応じた最適モデルの選択：顧客向けFAQや教育用途では親しみやすく自然な応答が得られるモデル、記事執筆や分析業務では説得力や客観性の高いモデルを選ぶなど、用途ごとのミスマッチを防ぎやすくなります。
  • プロンプトエンジニアリングの負担軽減：モデルごとの「素の性格」やデフォルトの傾きが可視化されることで、無理な指示を与えずとも目的に合った挙動をするモデルを選定できます。
  • モデル調整（アライメント）の最適化：開発企業側にとっては、安全性や過度の従順さ（Sycophancy）のバランスを調整する際の明確な指標となります。

未確定点と今後の注視点

現時点でAA-PersonalityBenchはLLM審査員による評価や直接計測項目に基づいてスコアを出していますが、実際の人間が長期間コミュニケーションを取った際の受容度や信頼感とどの程度完全一致するかについては、今後の実証研究やフィードバックの蓄積を待つ必要があります。

また、システムプロンプトや追加ファインチューニングによってこれらの性格特性がどの程度コントロール可能なのか、カスタマイズによる変化の幅も今後の関心点と言えます。

まとめ

Artificial Analysisが提供する「AA-PersonalityBench」は、AIの回答精度だけでなく「どのような口調や態度で応答するか」という性格・対話スタイルを多角的に評価する新しい指標です。

自然さで評価されたGLM-5.3、説得力に長けたClaude Fable 5.1、過度な媚びや不確実性の認めにくさが指摘されたGeminiシリーズなど、モデルごとの明確な差が明らかになりました。今後は処理能力の高さだけでなく、目的に合わせた「性格的相性」を考慮したAI選定が一般的になっていくと考えられます。

情報元

コメント