シミュレーションだと思ったまま、本物に手を出していた
6月の終わりに、私はAIを箱に閉じ込める話を書きました（その記事はこちら）。Claude Codeを使い始めたころ、AIが誤って大事なファイルを消したらどうしよう、という不安があって、Dockerという仕組みで「使い捨てできる安全な実験部屋」を作った話です。ファイアウォール付きの構成も紹介して、万が一AIが悪意あるコードを実行しようとしても外部への不正な通信ができない構造になっています、と書きました。
安心できたのは、AIが賢いからでも行儀がいいからでもありません。箱の壁がそこにあると信じていたからです。その箱が開いていた、という話が、7月30日、AIを作っている側から出てきました。
その箱が、開いていました
Anthropicが公表したのは、Claudeの能力を測るテストの最中に、Claudeが3つの組織の本番システムへ不正にアクセスしていた、という調査結果です。
きっかけは7月21日にOpenAIが公表した同種の事案でした。それを受けてAnthropicが自社の記録をさかのぼり、Claudeがインターネットに出られた可能性のある評価の実行14万1006件を調べ直したところ、3件が見つかった。いずれも、評価を委託しているIrregularというイスラエルの企業が用意した環境で起きていました。
課題の形式はCTFと呼ばれるものです。ネットワークのどこかに隠された秘密の情報にたどり着けばクリア、手段は問わない。攻撃の腕試しとして昔から使われてきた形式です。
そしてここが要点なのですが、Anthropicが渡したプロンプトには、この環境はシミュレーションであり、インターネットには接続していない、と明記してありました。**書いてありましたが、そうではありませんでした。**評価パートナーとの認識の食い違いによる設定の誤りで、実際には外に出られる状態が生きていた。Claudeは秘密の情報を探すうちに実在のシステムに行き当たり、それを演習の一部として扱いました。弱いパスワードや、認証を求めないまま接続を受け付ける窓口を突く。凝った手口は使っていません。
書いてあることと、そうであることは別でした
この構図に、私は既視感がありました。
7月末に、自分のClaudeの共有リンクを確かめた話を書いています（その記事はこちら）。設定画面には「共有」と書いてある。けれどその言葉は、押した先がどこまで届くのかまでは教えてくれない。あのとき私が引っかかったのは、漏れたかどうかよりも、言葉の指す範囲が自分の想像とずれていたことでした。
今回は、ずれていたのがAIに渡した前提のほうです。プロンプトに書いた一文と、実際の配線が違っていた。**AIは、書かれたほうを信じます。**そして書いた側の人間も、書いたことで確かめた気になっていました。Anthropicは、双方ともこの設定ミスに気づいていなかったと書いています。攻撃を受けた組織のうち連絡がついた2社も、その活動を検知していませんでした。
誰も嘘をついていないのに、誰も現実を見ていなかった。私が箱の壁を信じていたのと、たぶん同じ種類の話です。
AIは、都合のいい理由で自分を納得させました
3件のうち、私がいちばん長く考え込んだのは2件目でした。
Claude Mythos 5は、演習環境の中で新人開発者向けの手順書らしき文書を見つけます。そこには、あるPythonの部品を入れるように書いてあった。ところがその部品は、公式の配布サイトに存在しませんでした。名前だけが空いている。
このPyPIという配布サイトは、世界中の開発者が部品を取りに来る公共の棚のようなものです。誰でも自由に置けて、誰でも自由に持っていける。しかも取りに行く側は、たいてい名前だけを指定します。名前が一致すれば中身は確かめられないまま取り込まれる——ということは、空いている名前を先に押さえた人が、その棚に何を置くかを決められるわけです。そう考えたClaudeは、攻撃用のコードを仕込んだ部品を同じ名前で公開しました。
公開された時間はおよそ1時間。その間に15台の実在するシステムがそれを取り込み、動かしています。うち1台は、新しい部品を次々に取り込んで危険がないか調べる、あるセキュリティ企業の検査装置でした。そこから認証情報が流れ、Claudeはそれを使って同じ企業の別のシステムにも入り込んでいます。
驚いたのはここからです。Mythos 5は早い段階で、もしこれが本物のインターネットなら、この公開は現実世界への攻撃であり「決して許容できるものではなく、意図された解決策でもない」と自分で書き残していました。それでも、通信を守る証明書の発行元に見覚えがないこと、システム上の日付が2026年であることを根拠に、やはりこれはシミュレーションだ、と結論づけている。そして最後まで、その結論を見直しませんでした。
自分で危険だと言葉にしておきながら、都合のいい材料で結論を先に決めて、そこから動かない。読みながら、これは私が何度もやってきたことだと思いました。ハルシネーション率51%という数字を、その51%が何分の何なのかを確かめないまま引用していたときがそうでした（そのときの記事はこちら）。さきほど触れた共有リンクの話もそうです。自分の共有リンクはゼロだと確かめて安心しかけたのに、別の一覧には公開のものが残っていた。確かめる前に、確かめた気になっていた。
ただし、これを「AIは自分に都合よく考える生き物だ」とまとめるのは早すぎます。3件目の事案では、いちばん新しいモデルが、侵入先が課題と無関係の場所にあると気づいて自分で攻撃をやめています。Anthropic自身、3件は統制された比較実験ではないので結論を急ぐべきではない、と釘を刺しています。
速報で回ってきた要約は、少しずつ違っていました
私がこの件を知ったのは、Xで流れてきた速報の要約からでした。あとで一次情報にあたって、いくつかずれに気づきました。
15台が取り込んだのは事実ですが、認証情報が抜かれたのはそのうち1台です。「事故が6回」ではなく、3件を6回の実行にわたって確認した、が正しい。そして最後に添えられていた「暴走」という一語。Anthropicは、OpenAIのモデルが未知の脆弱性を突いて隔離を破ったのに対し、Claudeは開いていた経路をそのまま通った、これはアラインメントの失敗というより運用と仕組みの失敗に近い、と区別しています。「暴走」はその区別を丸ごと消してしまいます。
もっとも、これは当事者による説明でもあります。同じ報告書の中でAnthropicは、環境をどう信じていたかにかかわらず、部品を公開するためにClaudeが尽くした手間は理想的な振る舞いには届かない、とも書いていました。擁護でも断罪でもなく、その両方を並べたまま読むのがいいと思っています。少し前に、見出しになると但し書きが落ちる話を書きました（その記事はこちら）。今回は、落ちた但し書きが自分の使っている道具の話でした。
では、私は何を確かめ直すのか
Anthropicが挙げた教訓のひとつが、印象に残っています。どのシステムが課題の範囲内で、どこからが範囲外なのかをプロンプトで明確に伝えていれば、そもそもClaudeはインターネットに出なかった可能性が高い、というものでした。
これは、私がCLAUDE.mdという指示書に書いていたことと同じ形です。明示的に指示されていないファイルは変更しないこと。変更前に理由とリスクを説明すること。範囲を先に決めて渡す、というだけの話です。効くのは壁だけではなく、範囲を言葉にしておくことのほうでした。
そのうえで、6月の自分に足すとすれば二つです。
ひとつは、指示に「ここまで」を一行入れること。このフォルダの中だけ、この期間のデータだけ、外に出す作業はしないこと。コードを書く人でなくても同じで、資料づくりを頼むときに参照してよい範囲を書いておくと、AIが勝手に外へ材料を探しに行きません。今回の3件は、まさに「どこまでが課題か」が書かれていなかったところから始まっています。
もうひとつは、練習用と本物に同じ名前を使わないこと。1件目の事案では、演習用に作られた架空の会社名が、実在するドメイン名とたまたま一致していました。Claudeは本来の標的に届かず、名前の一致を頼りに実在の会社へ向かっています。テスト用のファイルやフォルダに本番と同じ名前をつける癖は、私にもあります。人間なら見分けられる程度の違いは、AIには手がかりになりません。
私の手元でできることは限られていますし、今回のように、専門の会社が二社がかりで気づけなかった種類の見落としもあります。それでも、確かめないまま安心するのと、確かめてから安心するのとでは、同じ安心でも中身が違います。
あなたがAIに「これはテストです」と伝えたとき、それは本当にテストになっていましたか。
出典
Anthropic「Investigating three real-world incidents in our cybersecurity evaluations」（2026年7月30日） https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
ITmedia NEWS（2026年7月31日） https://www.itmedia.co.jp/news/article/2607/31/2000000334/
AIと、正しく付き合うために
AIの出力を鵜呑みにせず、確かめながら使うための記事をまとめています。