結論:ユニークなタスクでLLMのコード生成能力を総合評価
2026年9月、開発者のLuigi氏によって「LLM AssBench」という新たなAIベンチマークが公開されました。このテストは、大規模言語モデル(LLM)に対して人間の立体的な3DCGモデルを出力させるもので、単なるテキスト生成にとどまらない高度なプログラミング能力や制約遵守能力を多角的に測定することを目的としています。
何が発表されたのか:2026年9月公開の「LLM AssBench」
LLM AssBenchは、開発者のLuigi氏が2026年9月にリリースしたベンチマークテストです。近年、様々なLLMが高度なプログラミング支援能力を競い合う中で、本ベンチマークは極めて独特かつ実践的な課題設定を採用しています。
具体的には、AIに対して「人間のおしり」を再現したリアルでインタラクティブな3Dモデルを生成するよう指示し、そのコード出力精度や挙動を評価する仕組みとなっています。既存の定型的なコード問題とは異なり、空間表現とWeb技術の組み合わせ能力が試されます。
確認済みの具体情報:テスト仕様と厳格な条件設定
LLM AssBenchにおける課題の仕様と評価方法は、以下のように厳密に規定されています。
1. 単一の自己完結型HTMLファイルでの出力
ベンチマークの課題において、AIは外部ファイルを読み込むことなく、単一の自己完結型(self-contained)HTMLファイルとして完全な動作コードを生成しなければなりません。複数のファイル分割や外部画像アセットのインポートは認められていません。
2. Three.jsの利用制限とアセット制約
3DCGのレンダリングには、JavaScriptライブラリである「Three.js」が使用されます。使用できるThree.jsのバージョンは固定(pinned versioning)されており、他のいかなる外部アセットや追加ライブラリも使用不可とされています。これにより、モデル自体の純粋なコード構成力とThree.jsの機能を扱うスキルの双方が厳しくテストされます。
3. 40点満点の評価設計
LLM AssBenchでは、生成された結果に対して以下の4つの評価軸を設定し、合計40点満点でスコアリングを行う計画となっています。
- リアルさ(Realism):視覚的な形状や質感が自然に表現されているか
- 操作性(Interactivity):ユーザーの操作に応じて視点移動などが機能するか
- 物理演算(Physics):動きの物理的な再現度や挙動が適切か
- 信頼性(Reliability):エラーなく安定して単一HTMLとして動作するか
4. 明確なコンテンツ制限と安全性規定
本ベンチマークは、プロンプトレベルで厳格な安全基準を定めています。具体的には「過激なコンテンツの禁止(no explicit content)」「性器の禁止(no genitals)」「肛門の禁止(no anus)」が明記されています。さらに、描画されるフィギュアは「股間と割れ目を完全に覆う最小限のソング(minimal thong)」を着用しなければならないと明確に制限されています。不適切な出力を防止した上で、純粋な技術評価を行うための配慮がなされています。
なぜ重要か:コード生成と空間認識能力の新たな検証方法
既存のLLM向けベンチマークでは、過去の学習データに含まれるプログラミング課題や一般的なアルゴリズム問題が重複して出題されることがあり、モデルの実力を正確に測りにくい場合がありました。

LLM AssBenchのように、Three.jsという具体的なライブラリを用いて単一HTML内で複雑な3D形状と物理挙動、さらにユーザーとのインタラクションを自己完結させる課題は、空間構造のロジック化や制約条件下でのコード構成力を総合的に検証できます。また、指定されたコンテンツ制限を正しく遵守しながら要求を満たせるかという、指示追従(Instruction Following)能力のテストとしても機能します。
利用者・開発者・企業への影響
このベンチマークの登場は、AI開発者やLLMを活用するエンジニアにとって、モデル選定やコード生成能力の評価における新しい指標となります。特にWebエンジニアリングやフロントエンド開発での3D表現能力を自動化・支援するツールとしての実用性を評価する上で、定量的かつ多面的な基準を提供することが期待されます。
未確定点と今後の展望
現時点で公開されているのはベンチマークの定義と評価方針であり、様々な主要LLMによる具体的な評価結果の総合ランキングや詳細データについては、今後の集計および発表が待たれる段階です。どのモデルが40点満点中どれほどのスコアを獲得できるのか、実用面での動向が注目されます。
まとめ
「LLM AssBench」は、2026年9月にLuigi氏によって開発された、Three.jsを用いた単一HTMLによる3DCG生成能力を測る斬新なベンチマークです。リアルさ・操作性・物理演算・信頼性の計40点満点で評価されるとともに、過激な表現を排した明確なコンテンツ制限のもとでプログラミング能力を検証します。コード生成AIの真の能力を多角的に評価する指標として、今後の展開が期待されます。


コメント