はじめに：AIの急速な進化と安全性を巡る議論
人工知能（AI）の技術が目覚ましい発展を遂げる中、その進化がもたらす潜在的なリスクに対する懸念が、開発の最前線に立つ専門家の間から相次いで表明されています。特に、AIの安全性と倫理的な開発を重視する姿勢を示してきたAIスタートアップ企業「Anthropic（アンソロピック）」の内部から、深刻な警告や安全対策への不満を理由とした人材の離脱が発生し、注目を集めています。
上級安全研究者が示す「10％を超える人類滅亡リスク」
Anthropicの上級安全研究者であるエヴァン・ヒュービンガー氏は、個人としての予測として、次の10年以内にAIが全人類を殺す確率が10％を超えると考えていると発言しました。この衝撃的な数値は、AI開発の最前線で安全性を研究する専門家自身の個人的な見解として示されたものです。
ヒュービンガー氏の分析によると、Anthropicが公開しているリスクレポートに基づけば、現行のモデルから人類の破滅を招くリスクは低いと考えられます。しかし同氏が強く懸念しているのは、AIが自ら能力を向上させていく「再帰的自己改善」のプロセスです。この再帰的自己改善から生じる超知能については、従来想定していたよりも速いペースで進行しているとの懸念が示されています。この急速な進展が、予測困難なリスクを引き起こす要因になっていると指摘されています。
「安全対策の甘さ」を理由に研究者が退職
こうした懸念が広がる中、現場の研究者が抗議の意思を示す形で企業を去る動きも起きています。AnthropicでAIシステムのトレーニングを担当していた研究者のジェイコブ・コックスン氏は、2026年9月9日、Anthropicの安全対策の甘さを理由に退職したことを発表しました。
コックスン氏は、OpenAIとAnthropicの両方で事前訓練研究を行ってきた経験を持つ人物です。同氏は退職にあたり、両社が自己改善型の超知能に向かって責任感なく突き進み、リスクを冒していると指摘しました。最前線で事前訓練に携わってきた研究者が、企業の開発姿勢に対してこのような厳しい評価を下し、退職という選択をしたことは、業界内外に大きな波紋を広げています。
なぜこの問題が重要なのか
今回の出来事が極めて重要な意味を持つ理由は、当事者であるAnthropicの企業としての位置づけにあります。Anthropicはパブリック・ベネフィット・コーポレーションであり、AIの利益の確保とリスクの軽減に取り組んでいます。安全性を最優先にするという理念のもとで設立された企業において、内部の安全研究者が「安全対策が甘い」と批判して退職し、上級研究者が超知能の急速な進展に警鐘を鳴らすという事態は、AI業界全体が直面している安全確保の難しさを浮き彫りにしています。
AIの「再帰的自己改善」とは、AIが自らのコードやアルゴリズムを修正・強化し、人間を介さずに知能を爆発的に高めていくプロセスを指します。このプロセスが想定以上の速度で進行した場合、人間による制御や安全対策の構築が追いつかなくなる可能性が指摘されており、今回のヒュービンガー氏やコックスン氏の指摘は、まさにこの制御不能なリスクに対する直接的な警告と言えます。
利用者や社会への影響と今後の展望
一般のユーザーや企業にとって、現行のAIツールを日常業務やサービスで利用する上での直接的な危険がすぐに生じるわけではありません。ヒュービンガー氏も指摘している通り、Anthropicのリスクレポートに基づき現行モデルによる人類破滅リスクは低いと考えられるためです。しかし、将来的な超知能の開発競争がどのように管理されるべきかという議論は、今後のAI規制や社会的な受容性に直結します。
開発企業が競争を優先するあまり、安全対策を後回しにしているのではないかという懸念が強まれば、各国政府による規制の強化や、AI技術に対する社会的な不信感につながる可能性もあります。安全なAI開発の基準をどのように設定し、それをどのように監視していくのか、業界全体での透明性のある議論と具体的な対策の提示が求められています。
コメント