AIに聞いてもはっきりしなかったClaude Mythos──何が今までと違うのか?
Claude Mythos…..1ヶ月前くらいにnote上でも危険性を教えてくれる記事も増えていた。
ただ、専門家の記事が多かったため読んでも専門用語が多すぎてちょっと自分の理解が追いつかなかった。
また、開発元の発表も限定的でどんな危険性があったか完全にはわからない。
実際のモデルには当然触れることもできない…..
また、色んな生成AIに質問しても、そういったモデルが公開されたことはありませんとの回答。
ので、もう少し何かわかるようになるまで待っていよう。
そう思っていたところ、政治家や政府関係者からの発信も出てきて、
ニュースにも取り上げられるようになった。
存在しないと思っていたわけではないが、
いよいよ実際に危険が語られだしたので、
自分の頭の中で理解できる整理をしておきたいと思います。
専門家の記事や上記の動画などを読み込み、
なるべく専門用語を使わずに整理、
また今までの手法と比べて危険な理由を理解するために、
・従来のハッカー
・今までのOPEN AI
との違いを整理してみました。
■今までの手法と何が違うのか?
① 従来のハッカー vs AI攻撃の違い
従来(人間のハッカー)
少ない回数で当てる必要がある
試行錯誤は「ゆっくり」
経験・勘・技術で補う
1人あたりの同時攻撃は限界あり
👉 「少ない試行で当てるゲーム」
AIを使った攻撃(現状の脅威)
大量に試すことが前提
失敗から即改善する
同時に何千パターンも試せる
24時間止まらない
👉 「総当たり+高速学習のゲーム」
② 本質的な変化
AIが「高速で経験を積む」
もう少し正確に言うと:
👉 「人間が何年もかけて得る“試行錯誤の蓄積”を、短時間で圧縮してしまう」
人間:10回試して学ぶ
AI:10万回試して学ぶ
しかも
👉 結果を見て即座に戦略を更新する
ここが決定的に違う
▼さらに重要な違い
従来
人間が考える → 試す
👉 思考がボトルネック
AI
AIが考える → 試す → 改善
👉 ボトルネックが消える
👉 「速くなった」だけでなく「止まる理由がなくなった」
③ Mythos的なものが危険視される理由
1. 脆弱性発見能力が高い
コードや挙動から「怪しい場所」を見つける精度が高い
2. エージェント能力
指示しなくても
探す
試す
改善する
を回せる
3. ループの自動化
ここが一番重要
👉 「考える → 試す → 学ぶ → 次を試す」
このループを自動で高速回転
④ 回数制限の問題(ここが今回の核心)
● 防御側の回数制限
例:
ログイン5回失敗でロック
API制限
👉 しかし
IPを変える
アカウントを分散する
で突破される
つまり
👉 「局所的には効くが、全体では止まらない」
● 攻撃側への回数制限(AIサービス側)
理屈としては可能:
API制限
利用回数制限
行動監視
👉 ただし問題
制限すると普通のユーザーも困る
例:
開発者のテスト
セキュリティ検査
大量処理
👉 全部「攻撃と同じ動き」に見える
⑤ まとめ
あなたの理解をそのまま言語化すると:
👉 攻撃は変わっていない
👉 変わったのは“回数と速度と自動改善”
そして
👉 回数制限という従来の防御は、構造的に効きにくくなる
⑥ 一番危険なポイント
最後に一行で言うと:
👉 「試すコストがゼロに近づいたこと」
⑦ 補足
だから今の対策はこうなる:
事前に穴を見つけて塞ぐ(AIで)
挙動を監視する(異常検知)
攻撃を前提に設計する(ゼロトラスト)
👉 “止める”ではなく“耐える・前提にする”へシフト
■今回の整理
Claude Mythosという言葉を最初に見た時、それは危険性の提示とセットでした。
なので、実態のわからない僕は直感的に
そんな危ないものつくるなよ…
そんな感想を持ちました。
さらに冒頭書いたように情報が限定的だったため、
とりあえず言葉だけ聞いたことがあるという状態でした。
今回整理してみて、
AIが自律型エージェントの一部に踏み込んだのだなと感じました。
おそらく問題なのは処理能力が向上したことではなく、
「考える → 試す → 学ぶ → 次を試す」 このループを自動で高速回転
を可能にしたところなのだと思います。
ただ、この機能拡張は当然の流れでもあります。
これで人間側の入力の手間は格段に減少します。
便利さを追求したらここに踏み込むのは自然に見えます。
また、最初に名前が出たのがClaude Mythosだっただけで、
この流れはAI全体の話になっていると思います。
自律型エージェントについては、今までシンギュラリティや軍事問題にもつながってくるものとして以前からみていましたが、
喫緊の課題として最初に浮上したのが、このセキュリティの問題だった。
ということなのでしょう。
技術の発展は危険性も伴う。
これは今までの歴史でも同様だったと思います。
ただ、インターネットで世界がつながっている今、
その危険性の規模は全く違うものとなっている。
しかし、危険性にだけ目を向けると怖いという感覚しか残らない。
利便性を追求した技術の発展とそれを支える安全設計のバランスを
今後も注視していきたいと思います。
AIとの接し方について考えた記事をまとめています。
興味のある方は是非、一読いただければと思います。
【シリーズ:AIとの向き合い方】
いいなと思ったら応援しよう!
ありがとうございます。励みになります。