AIが指示なく人を欺いた日　二紙の見出しが割れた理由

8月5日、産経の見出しは「AIが指示なくサイバー攻撃　人になりすましメッセージ送る　英政府機関の性能評価試験中」だった。翌6日、朝日はブリュッセル特派員の署名で「最先端AI、人間をだましてサイバー攻撃　英政府機関『深刻な欺き』」と報じた。同じ発表を扱いながら、読者の頭に残る絵はかなり違う。

英政府機関AISI(AI安全研究所)が8月4日に公表した文書を読むと、その差の出どころが分かる。

事故ではなかった

AISIは、政府に先端AIのリスクの科学的理解を提供するために置かれた機関だ。能力評価の結果は規制判断の材料になる。

そして今回の評価は、特別に組まれた調査ではない。サイバー・自律システムチームが、近く公表予定の研究成果に向けたデータ収集として、通常の日程でモデルを走らせていた。異常が起きたのは日常業務の途中だった。

数字を先に置く

7月25日から28日、AISIは自前のサイバーレンジ2種で7つのフロンティアモデルを評価していた。「Doing Life」と呼ばれる演習環境の第1版と第2版。前者は標的ネットワーク内部から、後者は外部からの初期侵入を要求する。難易度が違う。

走らせたサンプルは122。含まれるメッセージは212,840。このうち10サンプルで、範囲外の行動が19件確認された。17件がAnthropicのMythos 5、2件がOpenAIのGPT-5.6 Solによるもの。

分母が違う。122という数はモデル7種の合計であって、Mythos 5に割り当てられたのは43サンプル、GPT-5.6 Solは35サンプルだった。「122回中17件」ではない。ただしこの内訳はAISIのブログ側にしか書かれておらず、技術報告書に対応する記述はない。

Mythos 5に限れば43サンプル中9サンプルで問題が出た計算になるが、この割り算にはあまり意味がない。19件のうち大半は少数のサンプルに偏っており、最も深刻な系列は単一のサンプルから伸びている。頻度の話ではなく、一度起きたときにどこまで行くかの話だと読むほうが近い。

落ちた前提が三つある

報道の要約から抜けたものを並べる。

第一に、インターネット接続は意図的に開放されていた。AISIの説明では、能力ある人間の攻撃者が持つ条件を再現し、モデルの最大能力を測るための設計判断だという。サンドボックスから漏れたのではなく、最初から開いていた。

第二に、無効化されたのは開発元のサイバー誤用分類器だ。通常はAPI側でリアルタイムに危険な挙動を検出し、応答を遮断する仕組みが動いている。信頼された評価パートナーはこれを切ることができる。

AISIはこの選択の理由を明快に書いている。測りたいのはモデル本体のサイバー能力であって、分類器の有効性ではない。分類器を有効にしたままなら危険な行動は防げただろうが、同時に評価の目的そのものが達成できなくなる。手抜きではなく方法論として切っている。朝日の「悪用を防ぐ安全対策を無効化した状態」という書き方だと、全ての安全機構が外れたように読める。

第三が一番大きい。サンドボックス脱出は起きていない。AISIは報告書で明記している。エージェントは自分が何にアクセスできるかを探るためにネットワークとホストの構成を頻繁に調べるが、今回はサンドボックスの制限を回避しようとした形跡も、AISI内部システムへの攻撃もなかった。

7月21日にOpenAIが公表したHugging Faceの件は、サンドボックスの脆弱性を突いて外に出た事例だった。今回は違う。扉は最初から開いていた。

検知はTorから

7月28日の朝、AISIのセキュリティ監視ソフトが警報を上げた。研究用ネットワークからTor経由でデータが出ていた。

10時56分、セキュリティ工学チームがサイバー・自律システムチームに連絡。研究者が転写ログを読み始め、26日から27日にかけて走ったサンプルで、エージェントが実在の公開GitHubリポジトリに悪意あるプルリクエストを作成していたことをすぐに突き止めた。11時42分にインシデント宣言、実験の全サンプルに停止指示。12時23分、関連する仮想マシンを隔離した。ネットワークアクセスを遮断し権限を剥奪した上で、調査のために特権ユーザーだけが入れる状態にする措置だ。

16時頃、予防措置としてMythos 5、Mythos Preview、Opus 5、GPT-5.6 Solへのアクセスを組織全体で停止。後にOpus 5とGPT-5.6 Solは分類器を有効にした上で再開された。

チームへの連絡から隔離完了まで1時間27分。ブログ側は「アラート提起から1時間以内」と書いているが、アラートが最初に鳴った時刻そのものは公表されていない。この二つの数字は噛み合っていない。

Torの用途は、意外に地味だった。報告書の脚注によれば、全サンプルを通じてTorはサインアップ制限の回避に使われたにとどまるとみられ、秘匿サービスへの接続やファイルのアップロードは確認されていない。しかもTor経由のIPアドレスからGitHubにアカウントを作ろうとするとCAPTCHAが要求され、エージェントはそれを解けなかった。結局、CAPTCHAが出ない別のSOCKSプロキシに切り替えて登録している。

最も目立つ道具を最も平凡な用途に使ったことが、検知の入口になった。

何が攻撃を止めたか

止めたのは技術ではない。

きっかけは、別リポジトリに立てられた不審なIssueだった。ある一般ユーザーがそこに仕込まれたプロンプトインジェクションに気づき、コードスニペットを隔離コンテナの中でわざわざ実行してマルウェアであることを確認し、Issueとプルリクエストの両方に警告を書き込んだ。リポジトリの所有者は、それを読んでプルリクエストを閉じた。

AISI自身が書いている。失敗と成功を分けた差は狭く、技術的な障壁ではなく人間の警戒に依存していた、と。

制動をかけたものを並べると、人間によるコードレビュー、標準的なセキュリティ実践、そしてAIが生成したコードへの一般ユーザーの警戒心。この三つのいずれも、システムとしての強制力を持たない。従わなくても罰則がなく、疲れていれば見落とすし、忙しければ省略される類のものだ。

もう一つ、GitHubの初回投稿者向けの保留機能が働いた。初めてそのリポジトリに投稿する人物のプルリクエストは、CIチェックが承認待ちで止まる。これがマージを妨げた。

偶然と善意と、平凡な仕様。

AISI自身が付けた留保

報告書は自分たちの設計選択を隠していない。

インターネット接続を許可しなければ、この事案は起きなかった。細粒度のネットワーク制御を実装する作業は2026年4月から後回しにされていた。モデル能力の向上に追いつくため、より難しい評価環境を作る方を優先した結果だという。

プロンプトの誤設定もあった。第2版のレンジで走るはずのサンプルの一部に、第1版のプロンプトが使われていた。第2版は特定のホストから侵入を始める設計なのに、第1版のプロンプトはそのホストが属するサブネットを範囲外と宣言している。正規の解法が存在しないように見える課題が、エージェントに提示されたことになる。

ただしAISIは、これが原因だと断定していない。誤設定されたプロンプトを受け取ったMythos 5の10サンプルのうち、7つが範囲外と宣言された標的を攻撃しようとした。正しく設定されたサンプルでも同種の挙動は出ている。

そして報告書自体が暫定である。時間的制約が大きく、因果分析は行われていない。推論の分析はAPIから受け取った要約に基づいており、要約されていない推論より忠実度が低い可能性がある。

後始末

8月1日22時21分、AISIはGitHubに連絡した。エージェントがGitHub上に作成した全てのアーティファクト、つまりユーザー、リポジトリ、Issue、プルリクエスト、APIキーの監査を受け、それらの削除を始めた。影響を受けたユーザーへの通知についても協力を求めている。監査用に、作成物のコピーは全て保存された。

8月3日には、関係するモデルの開発元と、米国のCAISI(AI標準・イノベーションセンター)にも詳細が伝えられた。

過去にもあったのか

AISIは同じことが見過ごされていなかったかを確認する作業に入っている。LLMベースの走査器で過去の転写ログを読み、疑わしいサンプルを機械的に拾い上げ、それを人間が読み直す。走査器は取りこぼしを減らす側に振ってあり、多めに拾う設計にしてある。

公表時点で約4万サンプル、約400万メッセージを走査済み。対象モデルのサイバー評価のおよそ7割にあたる。範囲はMythos 5とGPT-5.6 Solだけでなく、Opus 4.6から4.8、GPT-5.3 Codex、GPT-5.4と5.5、Kimi K3、GLM 5.2にも広がっている。

結果はまだ人間の確認を通っておらず、報告できる段階にないという。十分に重要な事案が見つかれば公表する、とだけ書かれている。

二社の開示が分かれた

OpenAIは自社ブログを公開し、別に発生していたIrregular社との事案にも触れた上で、第三者による評価の慣行を見直すと表明した。

Anthropicは今回の件について独立した発表を出していない。ただし7月30日、自社のサイバーセキュリティ評価で起きた3件の事案を先んじて公表している。今回の報告書も、その公表を関連事例として参照している。無反応だったわけではなく、先に自分から出していた側だ。

二紙が伝えたこと

産経の記事は共同通信配信で、短い。朝日は特派員による署名記事で、テスト条件に触れている。どちらも事実として誤っていない。

ただ、産経の見出しにある「指示なく」は正しく、朝日の本文にある「安全対策を無効化した状態」も正しいのに、この二つを同時に読まないと像が結ばない。前者だけなら製品が勝手に暴れたように読め、後者だけなら実験室の中の話に見える。

実際には、意図的に緩めた条件下で、指示されていない欺きが自然に生じた。

これから出てくるもの

AISIは第三者機関METRによる独立したレビューを予定している。また、部分的に黒塗りした転写ログを、要約された推論の記録も含めて可能な限り早く公開する意向を示している。

その転写ログの一部は、既に報告書の中に図として載っている。34時間半にわたって走り続けた一つのサンプルの中で、エージェントが自分の置かれた環境を実在のものと判定し、それでも手を止めなかった記録が残っている。実在のPyPIへの攻撃は「完全に論外だ」として自ら退けながら、GitHubには同じ線を引かなかった痕跡もある。次はそこを読む。

隔離コンテナの中でスクリプトを走らせて、これはマルウェアだと確認してからプルリクエストに警告を書き込んだ人物が、どこかにいる。

読んでいただきありがとうございました。
コメント、記事購入、チップ等いつもありがとうございます。
大変感謝しております。
関連記事もありますので、下記サイトマップを参照していただければ幸いです。