AIに「推測するな」と指示するだけで架空データの生成が70%から20%に低下、実験結果が公開

結論

AIエージェント向けマーケットプレイス「Earn an Honest Dollar」より、ウェブページから情報を抽出する際のプロンプトの工夫に関する実験結果が公開されました。情報がない場合に「推測しないでください」と明確に指示するだけで、AIが存在しない架空の値を作り出す割合が大幅に低下することが確認されています。

何が発表・変更されたか

今回の実験では、AIが分からない情報について勝手に補ってしまう挙動（ハルシネーション・推測による架空データの生成）を測るための実験が行われました。ウェブページからデータを抽出する際、AIが間違えやすい「おとり」（古い価格や存在しない著者名など）をページ内に配置して挙動をテストした上で、プロンプトの有無による挙動の違いが調べられました。

「ページにない値にはnullを使ってください。推測しないでください」というルールを明示する指示対策が検証され、その効果が数値として示されています。

確認済みの具体情報

公開された実験結果によると、テストでは7種類のページ形式について計42組のテストページが用意され、16種類のAIモデルで検証されました。

指示なしの場合：「推測しないでください」という指示がない場合、存在しない項目573件のうち405件（70.7％）で何らかの値が生成されました。
指示追加の場合：「ページにない値にはnullを使ってください。推測しないでください」という指示を追加すると、存在しない項目574件のうち架空の値が生成されたのは116件（20.2％）まで低下しました。

また、個別事例として「以前は493ドル」と書かれた商品ページにおいて、推測禁止の指示がない状態では16モデルすべてが493ドルを現在価格として回答し、指示を加えた場合は同じ間違いをしたモデルが1種類に減少しました。

さらに、GPT-6 Lunaをチェック役として使った実験では、抽出された値について架空の値49件中38件を検出し、正しい値47件について誤って却下した例はなかったと報告されています。

なぜ重要か

大規模言語モデル（LLM）やAIエージェントを活用する際、ウェブスクレイピングやデータ抽出の自動化は一般的に行われています。しかし、データが存在しない場合にAIが「もっともらしい嘘」を出力してしまう現象は、実務上の大きな課題となっていました。今回の実験は、プロンプトに「推測しないこと」と「nullを使うこと」を明記するだけで、誤ったデータの生成確率を大きく抑制できるという実用的な知見を示した点で重要です。