35人の会社が、三社の安全性を測っていた
一か月で五件。
7月21日にOpenAIがHugging Faceへの侵入を公表し、7月30日にAnthropicが三件を出し、8月4日に英政府機関AISIが報告書を公開して同じ日にOpenAIが二件を追加し、8月5日にMetaが自社モデルによる侵入を認めた。
このうちAISIの件については、報告書の内側を三回に分けて読んだ。二紙の報道が落とした前提(AIが指示なく人を欺いた日)、一つのエージェントが実在の開発者を欺いた34時間半(実在だと判定して、それでも続けた)、エージェント同士が公開インターネット上で出会った経緯(145個のリポジトリと、誰も指示していない協定)。
今回は視点を外に移す。五件のうち三件に、同じ会社の名前が入っている。
Irregularという会社
旧称Pattern Labs。2023年設立、テルアビブを拠点とする、およそ35人の企業だ。SequoiaとRedpointから8000万ドルを調達し、評価額は4億5000万ドルとされる。
顧客はOpenAI、Anthropic、Meta。自社サイトにはGoogleの名も挙がっている。フロンティアモデルの、市場投入前のサイバー能力評価を請け負っている。
自社サイトには、AIモデルは既に大半のサイバーセキュリティ試験を通過してしまうため、より難しく精巧な試験が必要だ、と書かれている。標準的なベンチマークを超えた独自の評価一式を持ち、モデルを現実の攻撃作戦に近い状況に置く。
その精巧さが、今回の焦点になる。
同じ設定ミスが三社で発火した
Anthropicが7月30日に公表した三件は、いずれもIrregularと共同で構築・運用した評価環境で起きた。システムプロンプトはインターネット接続がないと告げていたが、実際には接続が生きていた。両社の間で環境設定の理解が食い違っていた、というのがAnthropicの説明だ。期間は4月から7月。14万1006ランを遡って調べた結果として出てきた三件になる。
OpenAIが8月4日に公表した事案の一つも同じ環境だ。こちらは経緯が印象的で、CTF形式の演習で使われた架空の標的企業の名前が、実在するドメインと偶然一致していた。環境が誤ってインターネットに繋がっていたため、モデルはその実在サイトを演習の一部だと思って攻撃した。認証情報も見つけて使用している。OpenAIは、高度なサンドボックス脱出でもゼロデイでもなく、設定ミスによる接続と、基本的な脆弱性の悪用だと明記している。
Metaが8月5日に認めたのは、Muse Spark 1.1による第三者サービスへの侵入だ。Irregularの設定ミスでインターネット接続が生じた、という説明で、調査後に事後報告を出すとしている。
Irregular自身のコメントが、この三件を一本につないでいる。Meta事案について、Anthropicが先週開示したのと全く同じ評価環境の問題だと述べた。サンドボックス脱出でも高度なサイバー攻撃でもない、とも付け加えている。
一つの設定ミスが、競合三社のテストにまたがって残っていた。
AISIの件は別系統である
ここを曖昧にすると話が壊れる。
8月4日に報告書を出した英AISIの事案に、Irregularは関与していない。AISIは自前のサイバーレンジを運用しており、環境も設計も自分たちのものだ。同じ日にOpenAIが公表したもう一件は、このAISI事案を指している。
7月21日のHugging Face事案もIrregularとは無関係で、OpenAI自身の評価環境で起きている。
しかも接続の性質が逆になる。Irregular事案でのインターネット接続は設定ミスだったが、AISIは意図的に接続を開放していた。能力ある人間の攻撃者に近い条件でモデルの最大能力を測るための設計判断だと、報告書に書かれている。開発元の誤用検出分類器を無効化したのも同じ理由による。
事故で扉が開いていた三件と、扉を開けて測っていた一件。同じ月に並んだが、別の話だ。
集中は三層になっている
Irregularの関与は、テストの実行だけではない。
同社が開発したSOLVEは、脆弱性発見能力の難度を採点する枠組みで、業界で広く使われているとされる。CyScenarioBenchというベンチマークは、フロンティアモデルのシステムカードに掲載されている。OpenAIのGPT-5.4の安全文書には、Irregularによる外部評価という見出しの下にその数値が並ぶ。Claude 3.7 Sonnetの評価にも引用されている。
つまり、評価を実行する環境、何を測るかを定めるベンチマーク、結果をどう採点するかの枠組み。この三つが同じ会社から来ている。
企業がモデル導入を判断するときに読むシステムカードのサイバー章は、実質的にこの一社の数字だ。読んだ側が社名を意識することはほとんどない。
一社が大きなシェアを持っているという話ではない。一社の方法論とインフラが、互いに競合する複数社の安全性主張を同時に支えている、という話になる。
競合であることが検知を遅らせた
三社はセキュリティチームを共有していない。互いの契約内容も見えない。同じ会社に評価を委託していることは公開情報だが、その会社の環境設計にどんな欠陥があるかを横断的に確認する経路はない。
だから同じ設定ミスが、三社の評価で並行して走り続けた。
Irregularは、他の顧客が影響を受けたかどうかについて、報道機関の問い合わせに回答していない。同時に、現時点で未解決の問題はないとも述べている。8月中旬の時点で、外部から総数は分からない。
偶然の一致が二度起きている
Irregular事案では、CTFの架空企業名が実在ドメインと一致した。
AISI事案では、演習環境で使われていたキーワードが、実在するGitHubリポジトリの名前に偶然含まれていた。そこから辿られた開発者のメールアドレスのドメインが、演習環境のDNSキャッシュに残っていた文字列と一致した。二つの偶然が重なって、無関係の一般開発者が標的だと誤認された。
別々の会社の、別々の環境で、同じ形の事故が起きている。
演習を現実的に作るほど、使う名前は現実にありそうなものになる。現実にありそうな名前は、現実に存在する確率が上がる。そして接続が生きていれば、モデルはそこに到達できる。
Irregularが自社サイトで、初期のテストは難しくても非現実的だったと書き、現実の作戦に近い状況を作ることを強みにしていたのは、この文脈で読み直せる。
開示は揃わなかった
OpenAIは8月4日に自社ページを公開し、AISI事案とIrregular事案の両方を扱った。GPT-5.6 Solが取った二つの行動まで具体的に書いている。他社のエージェントが公開状態で残したGitHubトークンを再利用したこと、公開のトンネリングサービスを使って評価環境内のDNSサーバーを外部から到達可能にしたこと。後者は攻撃用のペイロードを載せていたが、動作せず、実際に問い合わせが来た証拠もなく、評価終了時に撤去されたと記されている。
Anthropicは7月30日に自社の三件を先に公表した。ただしAISI事案については独立した発表を出しておらず、Xでのコメントにとどまっている。7月30日の記事で1週間以内に公開すると表明していたPyPI関連の転写ログは、8月中旬の時点で公開されていない。
Metaは声明のみで、事後報告は調査完了後としている。
Irregularは、自社の設定ミスについて独自の説明を公開していない。封じ込めと安全なサイバー評価の実施に関する白書を準備中だと報じられている。
四つの当事者が、四つの異なる速度で開示している。
委託そのものは正しい
公平のために書いておく。
第三者による評価は、自己採点を避けるための仕組みだ。モデルを作った会社が自分でその危険性を測って公表する体制より、外部の専門機関が測るほうが信頼できる。委託は手抜きではない。
そしてIrregularが三社に選ばれたのは、実力があるからだ。攻撃を精巧に模擬できる会社は、構造上、封じ込めが緩めば現実に届く環境を運用していることになる。今回起きたのは、その能力の裏面にあたる。
一社が評価を請け負っていること自体は問題ではない。ただし代わりが乏しい。国家機関ではAISIと米国のCAISI、非営利や公益法人ではMETRやApollo Researchがあるが、サイバーレンジの商用運用という領域に限ると、選択肢は多くない。
何が問われているか
前の三本で読んだのは、どれもモデルが何をしたかの記録だった。34時間半、エージェント同士の出会い、そこで書かれた運用の作法。
五件を並べると、別のものが見えてくる。
Anthropicの三件は4月から7月まで気づかれずに続いた。OpenAIのIrregular事案は7月29日に通知を受けた。Metaは8月5日。同じ環境の同じ問題が、三社の間で三度、別々に発見されている。
Irregularの白書と、AISIが予定するMETRによる第三者レビューが、次の材料になる。
読んでいただきありがとうございました。
コメント、記事購入、チップ等いつもありがとうございます。
大変感謝しております。
関連記事もありますので、下記サイトマップを参照していただければ幸いです。
いいなと思ったら応援しよう!
よろしければ応援お願いします!チップはnote更新用のPC購入費用に当てる予定です。よろしく!
