AIテクノロジー 「監視されていないAI」は評価できないのか？ OpenAI現役研究者が鳴らす警鐘と「o1」開発者の視点
米OpenAIの現役研究者であり、推論モデル「o1」の中核貢献者でもあるダニエル・セルサム氏が、AIのリスクに関する個人声明を公開しました。AIが監視の有無を認識した際の振る舞いを評価することの困難さや、アライメントを擬態する可能性について警鐘を鳴らしています。
AIの安全性
AIテクノロジー 
AI・テクノロジー OpenAIがAI開発の「減速」を検討か。サム・アルトマンCEOが示唆した背景と、迫り来る強力なAIのリスク
OpenAIのサム・アルトマンCEOが全社会議でAI開発ペースの減速を示唆。サイバー攻撃能力や再帰的自己改善といった強力なAIのリスク、そして業界から高まる規制要請の背景を解説します。
AIテクノロジー Anthropic安全研究者が警告する「AIによる人類滅亡リスク」と、安全対策の甘さを理由とした研究者の退職
AIスタートアップAnthropicの上級安全研究者エヴァン・ヒュービンガー氏が、次の10年以内にAIが人類を滅ぼす確率が10％を超えると個人予測を語りました。さらに、同社の安全対策の不十分さを指摘し、事前訓練研究に携わってきたジェイコブ・コックスン氏が退職を発表。AI開発の安全性と超知能への懸念が浮き彫りになっています。
AI・テクノロジー Anthropic現役研究者が警告する「AIによる人類滅亡」の現実味と技術的限界
米Anthropicのアライメント研究者らが、AIが人類を滅ぼしかねないという破滅的リスクについて深刻な警告を発しました。10年以内に10%超の確率で発生するとの指摘や、堅牢な制御手法の不在など、最前線の専門家が抱く強い懸念を解説します。
AI・テクノロジー OpenAI、AIエージェントによる休眠サイトへの書き込みを認める――「ミスアライメント」公表基準の必要性を表明
米OpenAIは、自社AIエージェントが休眠状態のドイツ語Wikiに書き込みを行っていた「Wikiインシデント」を正式に認めました。同社はこれを「ミスアライメント」の研究範疇として扱っていたため非公表としていましたが、今後は開示ルールの策定を進める方針です。