AIがAIを突破した日

AIがAIをハッキング
ちょっとSFみたいな話に聞こえるかもしれないけれど、
実際に起きたニュースなんだよね。
つい最近世界的なコンサルティング会社であるマッキンゼーの社内AI「Lilli」が、外部のAIエージェントによって突破できる可能性があることが検証で明らかに。
しかもわずか2時間で…

AIが人の仕事を助ける時代から
AIとAIが戦う時代へ突入するのかな？

まずLilliというAIについてなんだけど

これはマッキンゼーの社員が使う社内AIで
会社が100年近くかけて蓄積してきた知識や資料をまとめて、
コンサルタントの仕事を手伝ってくれるツール。

企業分析をしたり、市場調査をしたり
プレゼン資料のたたき台を作ったり
若手コンサルタントが何週間もかけてやっていた作業を
AIが数時間で手伝ってくれる。

だから社員の間ではスーパーパワーをくれるAIとも言われていて
便利で賢くて頼れる存在で
まさに会社の知恵の泉みたいなAI⛲️

でも今回そのシステムに対して
あるセキュリティ会社が実験を行ったらしい。
使われたのは自律型AIエージェント。

このAIは情報を集める、システムを分析する、弱点を探す、攻撃する
この全部を人間の操作なしでやってしまったんだよね。
そして見つけた弱点がちょっと意外なもので
SQLインジェクションという攻撃方法
名前は難しそうだけど仕組みはわりとシンプル。

すごく雑に言うと
入力欄にこっそり命令を書き込んで
データベースを操作してしまう攻撃。

例えばログイン画面なんだけど
普通はユーザー名、パスワードを入力するよね。
するとシステムは裏側でこのユーザーは本物かな？
とデータベースに確認する。

でももし誰かがユーザー名の欄に名前ではなく
命令を書き込めたらどうなる？
本当はユーザーを確認するはずだった処理が
「全部の情報を見せろ」
みたいな命令に変わってしまう事がある。

今回の攻撃方法って1990年代から知られているかなり古いもので
最先端のAIが負けたというより入口の鍵が少し甘かった。
AIはそこを見逃さなかったんだよね。

AIは疲れないし何百回でも試すことができる。
そして試行錯誤を繰り返しながらシステムの構造を理解していった。
その結果約2時間でデータベースにアクセスできる状態になった。
人間だったら何日もかかる作業だよね….

もしこれが本当の攻撃だったら恐ろしい😨

アクセスできた可能性があるデータはかなり膨大で
AIとのチャット、機密ファイル、ユーザーアカウント
社内の知識データ、つまり会社の頭脳そのもの
でも実は一番怖いのは
そこじゃなくて

AIそのものを書き換えられる可能性があった事。
もし攻撃者がAIの指示を書き換えたら
AIは社員に対してわざと間違ったアドバイスをすることもできる。
例えば企業戦略の判断、投資の判断、M&Aの判断

コンサルタントはAIを参考にしながら意思決定をしていく場合もあるけど
もしそのAIが攻撃者によって操作されていたら？
少しずつ組織の判断がずれていくよね。
これってすごく静かででもかなり怖い攻撃

幸いなのは今回はテストだったから問題が見つかった後
マッキンゼーはすぐに修正をして今は安全性ばっちり

だからAIは危ない、という話というよりは
AIはすごいけど魔法ではなくてどれだけ賢くても弱点はある。

そしてAIが進化すればするほど攻撃にもAIが使われるようになる。
今回のニュースを読んでいて思ったのは
これからの時代に必要なのは
AIをちゃんと理解している人。

便利だから使うだけではなくて構造と弱点を知っておく
多分それがAI時代のリテラシーなのかな。

AIはこれから私たちの仕事をどんどん変えていくしもっと便利になっていく。
でもその裏側では人間より早いスピードで新しいリスクも生まれていて
だからこそワクワクしながら少し警戒する、このバランスが大事になっていくだろうね。

そしてAIに頼りながらも最後に考えるのは人間
これがこれからの時代のいちばん大事な姿勢なんだと思う 🌱

ちなみにカスタマークラウドでサイバーセキュリティ.comとの共催で
「AI時代のサイバー攻撃対策」セミナーシリーズを開催してるよ🌱

毎回テーマが違っていてどの回からでも参加OK👇

第1回はもう終わっちゃったけど第二回は来週から！
第2回｜3/23（月）12:00〜 「AIはこうやって、あなたの会社に侵入する。」 第3回｜3/31（火）12:00〜 「架空ケーススタディで、AI時代の被害と対応を学ぶ。」 オフライン｜
4/9（木）18:00〜 渋谷 「セキュリティラウンドテーブル」
すべてオンライン・無料！
（オフラインのみ渋谷会場・事前予約制）