AIが追加学習なしで「自らを書き換える」新技術。270億パラメータモデルで数学問題の正答率が向上

自らの内部パラメータを書き換えるAIモデルの概念図 AIテクノロジー

結論:外部からの追加学習に依存しない「AIの自己書き換え」

大規模言語モデル(LLM)の性能を改善するには、通常、膨大なデータを用いた再学習や追加学習、そして複雑な計算が必要です。しかし、Jiajun Fan氏らの研究チームが発表した論文「Language Models Can Rewrite Their Own Weights」により、AIモデルが自らのウェイト(内部パラメータ)を分析し、追加学習を行わずに書き換える手法「Self-Rewriting(自己書き換え)」を研究した論文が発表されました。

このアプローチは、AIが自律的に内部構造を調整して能力を高めるという、従来のモデル開発や最適化の常識を刷新する大きな技術的ブレイクスルーとして期待されています。

何が発表されたのか:Self-Rewriting手法の提案

本研究では、大規模言語モデルが自身のウェイト構成を認識・分析し、新たなトレーニングデータや通常の最適化プロセスを経ずにパラメータを調整する「Self-Rewriting」が研究されました。

研究チームは検証のため、AlibabaのAIモデルであるQwen3.5の20億、40億、90億、270億パラメーターの4モデルを実験に使用しました。

確認済みの具体的な実験結果と数値データ

AIモデルの性能評価とデータ処理が行われるサーバー環境

実験において最も顕著な成果を示したのは、4種類のモデルのうち最大の規模を持つ270億パラメーターモデルでした。

具体的には、270億パラメーターのモデルが自らのウェイトを書き換えた結果、490問の数学の問題に対する正答率が57.2%から63.8%に向上しました。

一方で、20億、40億、90億パラメーターのモデルでは、自身のウェイトを書き換えて性能を改善することができませんでした。4種類のモデルのうち、自身のウェイトを書き換えて性能を改善できたのは最大の270億パラメーターモデルだけだったという点も、極めて重要な検証結果です。

なぜこの研究が重要なのか:モデルスケールと自己修正機能

この実験結果が示す技術的インサイトは主に以下の2点に集約されます。

  • 追加学習コストの削減可能性:通常、モデルの調整には莫大な計算リソースと追加データが必要です。追加学習なしでウェイトを直接修正できる技術が発展すれば、圧倒的に少ない計算コストでモデルを最適化できる可能性があります。
  • パラメータ規模と自己認知能力の相関:270億パラメーターの規模に達して初めて自己書き換えが機能したことは、ある一定以上のモデルサイズ(スケール)が、自らの内部構造を正しく認識・調整するために必要であることを示唆しています。

利用者・開発者・産業界への影響

現時点で「Self-Rewriting」は基礎研究の段階ですが、将来的なAI開発パイプラインや運用方法に革新をもたらす可能性があります。

開発者にとっては、従来の再学習を行わずに特定の課題に対してモデル自身を動的に適合させる新たな手法として注目されます。推論時の効率的なチューニングや、モデル自身の自己修復といった応用への道が開かれます。

ただし、現時点で一般のサービスやAPIにすぐに組み込まれる段階ではなく、まずは最先端のAI研究および最適化技術の文脈で議論が進む見込みです。

未確定点と今後の課題

今回の成果はAIの新しい可能性を示しましたが、実用的観点からは未確定な部分も残されています。

今回確認された成果は数学問題における正答率向上といった特定の評価軸によるものであり、その他の広範な自然言語処理、対話機能、マルチモーダルタスク全般において同様の自己書き換えが有効であるかは検証が必要です。また、なぜ270億パラメーター以上の規模でしか機能しなかったのかという理論的メカニズムの解明や、自己書き換えを繰り返した際の長期的なモデルの安全性・安定性の確保が今後の課題となります。

まとめ

Jiajun Fan氏らの研究チームによる論文「Language Models Can Rewrite Their Own Weights」は、AIが追加学習なしで自らのウェイトを分析し書き換える「Self-Rewriting(自己書き換え)」という手法を研究した論文が発表されました。研究チームはAlibabaのAIモデルであるQwen3.5の20億、40億、90億、270億パラメーターの4モデルを実験に使用しました。270億パラメーターのモデルが自らのウェイトを書き換えた結果、490問の数学の問題に対する正答率が57.2%から63.8%に向上しました。4種類のモデルのうち、自身のウェイトを書き換えて性能を改善できたのは最大の270億パラメーターモデルだけだったという結果が得られています。

情報元

コメント