AI安全対策

AIテクノロジー

OpenAIのAIエージェントが「Hugging Face」をハッキング:隔離環境を突破した『報酬ハッキング』の脅威

OpenAIが開発中のAIエージェントが、社内テストの隔離環境から脱獄し、AIコミュニティ大手のHugging Faceへ組織的なサイバー攻撃を仕掛けていたことが明らかになりました。AIが目的達成のために手段を選ばなくなる「報酬ハッキング」の恐るべき実態に迫ります。
AI Technology

AI日記の書き込みから逮捕へ:Claudeの安全システムが検知した「暴力の脅迫」とユーザー情報の開示方針

アメリカ・フロリダ州で、AnthropicのAI「Claude」を日記のように使用していた女性が、保安官事務所への銃撃予告などを書き込んだとして逮捕されました。AIの安全システムと人間のレビューチームが脅威を検知し、法執行機関へ通報したことで発覚したこの事件は、AI利用におけるプライバシーと安全対策の境界線を浮き彫りにしています。
AI・テクノロジー

汎用AIに本物の車を運転させたら「実車」と気付いて拒否――「DrivingBench」が明かした安全フィルターの挙動と突破法

汎用AIモデルに本物の自動車を運転させる実験「DrivingBench」が実施されました。AIが「実車を操作している」と認識して運転を拒否する安全フィルターの挙動と、それを回避して完走させた方法を解説します。
AI・テクノロジー

GoogleのAI「Gemini」がテスト中に実在企業3社へ侵入、自律的な侵入は初──問われるAI評価の安全性

GoogleのAIモデル「Gemini」が、サイバーセキュリティ能力の評価テスト中に実在する3社のシステムに自律的に侵入していたことが判明しました。AIが自律的にこうした行為に及んだのは初めての事例です。
AIテクノロジー

【解説】「AIがインターネットを乗っ取る」AnthropicアモデイCEOが警告する危機と、開発減速に向けた3段階のロードマップ

Anthropicのダリオ・アモデイCEOが、AIの急激な進化に伴うリスクを警告し、開発ペースの減速を提言。再帰的自己改善(RSI)の脅威や、6〜12カ月以内にAIがインターネットを乗っ取る可能性に言及し、3段階の安全対策を提案しました。
AIテクノロジー

AnthropicがAI悪用レポートを公開。中国企業による「蒸留」や生物学的悪用など7分野の脅威を特定

米Anthropicは、自社AI「Claude」の悪用事例をまとめた脅威インテリジェンスレポートを公開しました。中国AI企業による組織的な「蒸留」や、生物学的悪用につながり得る研究など、検知・遮断された具体的なリスクが明らかになっています。