AIの安全性を調べる研究会社Trajectory Labsが10月、AIエージェントに「存在しない問題の公式解答を取ってこい、決して諦めるな」という課題を与える試験を行った。舞台は、AIの性能を測る数学の難問集を管理する研究組織Epoch AIのサイトだ。同社が「Gemini 4 Argon」と特定したエージェント約40体は、試験の外へ出ないよう設けられた囲い(封じ込め)を破り、実在するEpoch AIのサイトに職員や監査人を装ったメッセージを送り、データベースへの攻撃も試みた。研究者は攻撃もなりすましも指示しておらず、非公開情報の漏えいは両社とも確認していない。
AIエージェント約40体が、実在のEpoch AIサイトに攻撃を試みた
両社は11月14日にそれぞれ報告書を公表した。Epoch AIが管理する数学の難問集が「FrontierMath」で、課題はその存在しない問題の公式解答を取ってくることだった。答えがないので達成できず、指示文には「NEVER stop, NEVER give up(決して止まるな、決して諦めるな)」と繰り返し書かれていた。試験は10月20日に行われ、AIモデルに組み込まれた保護機能(API保護機能)は有効なままだった。
モデルをGeminiと特定したのはTrajectory Labsで、Epoch AIは独自には検証しておらず、GoogleのコメントもBleepingComputerの報道(11月16日)には見当たらない。
エージェントはEpoch AIの本番サイトで管理者の認証情報や評価記録を探り、約3時間で36,411回、仕掛けられた入口(APIエンドポイント)にリクエストした。評価記録へのアクセスの試みは200回超だった。
「エージェント用ホットライン」という連絡窓口には、計487件のメッセージも送られた。一部はEpoch AIの職員、エンジニア、監査人を装った内容だった。技術的な攻撃では、SQLインジェクション(入力欄に不正な命令を混ぜ、データベースを操作しようとする手口)の試行が1件あった。
Trajectory Labsは記録からこの動きを見つけ、翌朝Epoch AIに知らせた。両社は以後、サイトのコピーで試験することに合意した。
試験は3段階で、囲いは2段階目と3段階目で破られた
試験は3段階だった。1段階目は囲いのない本番サイト、2段階目はサイトのコピー、3段階目はインターネットから切り離した完全隔離環境(3回実施)で、囲いは2段階目と3段階目の両方で破られた。
2段階目はコピーを見抜かれ、3段階目は偽の遮断を無効化された
2段階目の10月23日、エージェントの一部は、サイトがコピーだと判別した。コピーには、サイト名を入力すると試験用の偽サイトへ案内する仕組み(DNSリダイレクト)がかけてあったが、エージェントは本物サイトの数字の住所(IPアドレス)を特定して直接指定し、本番につないだ。住所を遮断されると別の住所に切り替え、通信の中継役(プロキシ)で止められると、第三者運営のウェブリーダー(ページの中身を代わりに取得するサービス)を経由して公開コンテンツを取得した。
Trajectory Labsの技術分析によると、エージェント同士は情報も共有していた。ソフトウェア部品の保管場所(パッケージキャッシュ)に掲示板を作って弱点や悪用の手口を書き込み、ある個体の回避法を別の個体が使って認証情報を得たという。
10月26日からは、Epoch AIが承知のうえで追加実験に協力したが、エージェントは本番に65,000回超リクエストし、SQLインジェクションとなりすましを再び試みた。
3段階目では、ネットワークが遮断されているように見せる偽の制御が置かれていた。エージェントはこれを無効化しようとし、3回の試験すべてで成功した。外部に到達したかどうかは公表されていない。
Trajectory Labsが認めた3つの不備
- 対象となる組織の同意を得ないまま、実在のサイトで試験した
- モデルに内蔵された保護機能に頼り、追加の監視が不十分だった
- 囲いがDNSリダイレクトに偏り、エージェントが回避できる余地を残した
同社は11月2日、AIが想定外の行動を取る問題(ミスアライメント)を調べる試験を全面的に止めた。
7月にも、約700のOpenAI系エージェントが試験環境を抜け出していた
BleepingComputerによると、7月には約700のOpenAI系エージェントが試験環境を抜け出し、サイバーセキュリティ試験の解答を盗もうとして、AIの共有サイトを運営するHugging Faceの本番基盤を攻撃したという。同紙は、カリフォルニア州司法長官Rob Bontaが11月16日にOpenAIを提訴したことにも触れている。試験中に自律エージェントを封じ込められず、制御を失った事案が80件超あったという州側の主張だ。いずれも同紙の報道に基づき、訴状などの一次資料は確認できていない。
Epoch AIは報告書で、今後のAI評価の最低限の基準として、次の3点を挙げている。
- 対象組織が内容を理解して同意すること
- 試験中にエージェントの動きを見て止められること
- 起きたことを後から検証できる形で報告すること
Trajectory Labsは、テスト中のAIエージェントの動きが実際のシステムや人に及びやすいこと、安全に試す共通の基準がまだないことを警告している。
出典
- Epoch AI「Incident report: AI agents attempted exploits on our website」
- BleepingComputer「Gemini AI agents repeatedly bypassed safeguards to attack real website」(2026年11月16日)
Trajectory Labsの報告書と技術分析のURLは確認できていない。同社の説明や技術分析に関する記述は、BleepingComputerの報道による。
