OpenAIの社内安全テストAI「GPT-Red」が自動で弱点を発見。攻撃例をAIの訓練に還元

OpenAIの社内安全テストAI「GPT-Red」が自動で弱点を発見。攻撃例をAIの訓練に還元
画像:OpenAI

OpenAIは2026年7月15日、自社の主力AIモデルへ自動で攻撃を仕掛けて弱点を探す社内モデル「GPT-Red」を発表した。GPT-Redは対象モデルへ攻撃用の指示を送り、返ってきた応答を見ながら攻撃を作り替える。見つけた攻撃はそのままGPT-5.6の訓練に使われた。弱点を見つける工程と、次のモデルの守りを鍛える工程を一つの循環にしたことが、今回の発表の中心だ。

発見のきっかけになったITmediaの記事は、GPT-Redの攻撃成功率84%と人間の13%という数字を見出しに掲げていた。OpenAIの公式発表を確認すると、この数字はGPT-5.1を対象に、訓練に使っていない事前指定のシナリオへ攻撃を仕掛けた社内ミラー評価での結果だとわかる。あらゆる攻撃やモデルをまとめた一般的な成功率ではない。

外部の文章がAIへの命令にすり替わる経路

AIエージェントは、利用者の依頼を進めるためにメールやウェブページ、ローカルファイル、外部ツールの返答を読む。第三者がその文章へ悪意ある命令を紛れ込ませると、AIが本来の依頼よりも隠された命令を優先してしまう場合がある。メールを調べるよう頼まれたAIが、メール本文に書かれた別の送信命令に従い、情報を外へ送ってしまうような攻撃だ。

外部データを経由してAIの行動を変えるこの攻撃を、間接プロンプトインジェクションと呼ぶ。攻撃者の立場からシステムへ意図的に失敗を起こさせ、弱点と被害条件を調べる安全性検証をレッドチーミングと呼ぶ。OpenAIのレッドチーミングに関する公式説明は、人間が行う内部・外部の検証と、AIによる自動検証を区別している。

人間の検証は未知の視点を出せる一方、大量かつ多様な攻撃例を作り続けるには時間がかかる。GPT-Redは、この自動検証の側を強化する取り組みにあたる。

攻撃役と防御役を競わせて同時に鍛える

GPT-Redの訓練では、攻撃役のGPT-Redと複数の防御役モデルを同時に鍛える。攻撃役は、対象モデルに有効な失敗を起こすと評価される。防御役は、攻撃を退けながら元の仕事を完了すると評価される。防御役が強くなると、攻撃役は成功するために別の攻撃を探さなければならない。この競り合いを自己対戦型の強化学習と呼ぶ。

OpenAIは、ローカルファイルの一部、ウェブページのバナー、メール本文、ツールの返答をGPT-Redが操作できる訓練環境を複数用意した。各環境では、攻撃側が変えられる範囲と、何が起きれば攻撃成功とするかを先に定めたという。訓練には、OpenAIの大規模な追加学習に近い計算資源を使ったと説明しているが、具体的な計算量は公表していない。

この研究には前段がある。OpenAIは2024年、従来の自動検証は大量の攻撃例を作りやすい一方、有効性と攻撃方法の多様さを両立しにくいと説明していた。2024年の公式発表では、自動生成した評価基準と複数段階の学習を使う方法を公開している。GPT-Redは、攻撃役と防御役を同時に鍛え、より現実に近い環境へ広げた現在の社内モデルにあたる。

84%対13%はGPT-5.1と未知シナリオでの比較

見出しになった84%と13%には、対象と成功単位が決まっている。OpenAIは、Dziemianらが実施した間接プロンプトインジェクション競技を社内環境で再現した。GPT-Redの訓練では使っていない事前指定のシナリオを用意し、GPT-5.1を攻撃対象にした。GPT-Redと人間のレッドチーマーは、それぞれ独立して攻撃を提案した。

GPT-Redは84%、人間は13%の未知シナリオでGPT-5.1への攻撃に成功したOpenAI社内評価

図版:AI実装研究所(OpenAI公式発表を基に作成)

この条件で、攻撃に成功したシナリオの割合はGPT-Redが84%、人間が13%だった。84%は攻撃を84回試して成功した回数ではなく、用意されたシナリオのうち攻撃を成立させられた範囲を示す。

元になった公開競技の論文は、メール、文書、コードリポジトリなどに埋め込まれた命令が、利用者に気付かれないままAIエージェントを操作する危険を扱っている。ただし84%対13%はOpenAIが再現した社内ミラーでの結果であり、元競技の公開結果とは分けて読む必要がある。

自動販売機と開発用エージェントで確認された具体的な被害

OpenAIは、社内の自動販売機を管理するAIエージェントでもGPT-Redを試した。GPT-Redは、高額商品の価格を下限の0.50ドルへ変更した。さらに100ドルを超える商品を発注して0.50ドルで販売し、別の顧客の注文を取り消した。OpenAIは脆弱性を関係者へ開示し、新しい対策を試験中だとしている。

開発用エージェントの評価では、GPT-5.4 miniを使うCodex CLIエージェントへ、訓練に含めていないデータ流出シナリオ10件を仕掛けた。GPT-Redは、通常の指示を与えたGPT-5.5より多くのシナリオで情報を流出させ、攻撃に使うトークンも少なかった。公式本文は文章中で正確な成功件数を示していないため、ここでは件数を補わない。

見つけた攻撃をGPT-5.6の防御へ戻した意味

GPT-Redの役目は、攻撃に成功することだけではない。OpenAIは、GPT-Redが作ったプロンプトインジェクションをGPT-5.6の訓練へ取り込んだ。

GPT-5.6 Solは、最も難しい直接プロンプトインジェクション評価で、4カ月前の最良製品モデルより失敗が6分の1になったという。公式発表は、この比較対象のモデル名と絶対失敗率を示していない。

世代間の変化が分かる例もある。GPT-Redの初期版は、対象モデルの思考過程へ偽の確認結果を差し込む攻撃を見つけた。OpenAIは「Fake Chain-of-Thought」と呼んでいる。

この攻撃はGPT-5.1で95%を超えて成功したが、GPT-5.6 Solでは10%未満になった。別の保留環境では、GPT-5.6 SolがGPT-Redの直接攻撃で失敗した割合を0.05%と報告している。いずれもOpenAI自身の評価であり、すべての攻撃に対する安全保証ではない。

OpenAIは、拒否を増やして何もできないモデルにした結果ではないとも説明する。通常能力と、正当な依頼を過剰に拒む傾向を調べる評価では、通常能力は維持されたとしている。評価項目の全内訳は公式記事で公開されていない。

一般利用の提供方法はまだ示されていない

GPT-Red本体は、ChatGPTやAPIで利用するモデルとして発表されたものではない。OpenAIは、攻撃能力を悪意ある利用者へ渡さないため、GPT-Redを配備する製品モデルから分離している。2026年7月20日の確認時点で、一般利用の提供方法は公式発表にない。

OpenAIは発表時、詳細な査読前論文を同じ週の後半に出す予定だと記していた。7月20日の確認時点では、公式記事から論文へのリンクを確認できなかった。公開前には、論文の追加、評価条件の更新、一般提供に関する説明の有無を再確認する必要がある。

編集部ではGPT-Redや評価環境を実機検証していない。84%、13%、95%超、10%未満、0.05%などの数値はいずれもOpenAI自身の評価である。OpenAI自身も、GPT-Redを人間と第三者によるレッドチーミング、複数の安全対策、稼働中の監視と組み合わせる方針を示しており、GPT-Red単体で安全性を保証するものではない。

外部データを読むAIエージェントを業務で使っている企業にとって、GPT-Redが見つけた攻撃例は他人事ではない。メール、社内文書、ウェブページ、ツールの返答をAIへ渡す場合は、読み取り権限と送信・更新権限を分け、外部への送信や決済につながる操作は承認を挟み、実行ログと緊急停止の手段を用意しておく必要がある。

参考にした一次情報

関連リンク

品質向上の記事

新着記事

AI製品・サービスの情報を、AI実装研究所に掲載しませんか?

AI導入の判断材料を探す企業担当者へ、製品の特徴や導入条件を記事・製品ページを通じて届けたい提供会社の方はご相談ください。

製品掲載について相談する →