はじめに:安全なAI環境に向けたOpenAIの新たな取り組み
米OpenAIは11月16日(現地時間)、児童性的虐待コンテンツ(CSAM:Child Sexual Abuse Material)を検出する新たな画像分類ツール「OpenAI CSAM Image Classifier」を発表しました。これに合わせて、生成AIサービス「ChatGPT」においてもCSAMに関連する探索行為に対する取り締まりを強化し、違反ユーザーに対する制限措置を導入しました。
本記事では、今回発表された検出ツールの仕組みや提供条件、そしてChatGPTユーザーに適用される具体的な利用規制とセーフティ機能について詳しく解説します。
新ツール「OpenAI CSAM Image Classifier」の概要と特徴
今回公開された「OpenAI CSAM Image Classifier」は、画像データ内に児童性的虐待コンテンツが含まれているかを判定するために開発された画像分類ツールです。
従来のコンテンツフィルタリングでは、すでに判明している違法画像のデジタル指紋を比較する「ハッシュ照合(known-content hash matching)」が主流として用いられてきました。
「OpenAI CSAM Image Classifier」は、既知のコンテンツのハッシュ照合単独では見落とす可能性がある、潜在的に未知の素材やAI生成による素材を含めて、児童性的虐待コンテンツ(CSAM)を構成する可能性のある画像を識別する点が特徴です。
提供形態と利用条件
具体的には、事前に審査を通過した組織に対して、OpenAI APIを通じて無償で提供されます。

ChatGPTにおける制限措置とアカウント停止の流れ
OpenAIは検出ツールの提供と並行して、ChatGPTにおいてもセーフティ機能を導入しました。
ChatGPTで児童性的虐待コンテンツを探そうとする行為を検出すると、AI生成かどうかにかかわらず、児童を性的に扱うコンテンツは有害で違法となる可能性があり、探すこと自体が利用規約違反に当たると警告します。対象の会話は削除し、アカウントを24時間停止します。
違反検出時に発生する具体的プロセス
探索行為が検知された場合、プラットフォーム側では以下の自動的な処理とペナルティが実行されます。
- 会話データの削除:対象の会話は削除されます。
- 24時間のアカウント停止:アカウントを24時間停止します。
- 専門窓口の案内:警告画面からは、無料の専門的な支援窓口も案内します。
繰り返し違反に対するペナルティ
違反を繰り返した場合は、制限期間の延長やアカウントの閉鎖、当局への通報につながる可能性があります。
まとめ
米OpenAIは11月16日(現地時間)、児童性的虐待コンテンツ(CSAM)を検出する新たな画像分類ツールを発表した。新ツール「OpenAI CSAM Image Classifier」は審査を通過した組織に、OpenAI APIを通じて無償で提供される。ChatGPTで児童性的虐待コンテンツを探そうとする行為を検出すると、有害で違法となる可能性があるとして探すこと自体が利用規約違反に当たると警告し、対象の会話を削除した上でアカウントを24時間停止する機能が導入された。


コメント