AIの内部思考まで乗っ取られる？CoT攻撃『BadChain』と防御率30%改善の新手法

　LLMが複雑な問題に回答する際、内部で段階的な推論を行う「Chain-of-Thought(CoT)」という仕組みが活用されています。この透明性の高い推論プロセスは、AIの判断根拠を理解する上で重要な技術として注目されてきました。

　しかし、この思考過程そのものを標的とする「BadChain」と呼ばれるバックドア攻撃が初めて実証され、新たなセキュリティ上の課題が浮上しています。

　本稿では、こうしたCoT攻撃に対する包括的な防御策として提案された「Thought Purity」パラダイムについて解説します。この手法は、モデル自身に攻撃を検知し、有害な思考プロセスを除去する能力を付与するという独自のアプローチを採用しています。

　DeepSeekやQwenなど複数のモデルを用いた実験では、タスク性能を維持しながら攻撃成功率を最大30ポイント削減することに成功しました。AIシステムの安全性確保が急務となる中、思考プロセスレベルでの防御という新たな視点から、実用的な解決策を提示します。

Spotifyでわかりやすく音声配信：「らみのAIテックラジオ」

　世界経済フォーラムの調査では「2030年に必要なスキル」の第5位に「好奇心と生涯学習」がランクイン。好奇心は趣味ではなく経済的必須スキル。
拙著『AI時代の最強スキル「好奇心力」』で詳説しています。

まえがき

　計算問題を解く際、最新のAIは「まず10×5を計算して50、次に50に3を足して53」といった段階的な思考過程を内部で展開します。このCoTにより、AIは複雑な推論タスクで飛躍的な性能向上を実現してきました。

　従来のセキュリティ研究では、ユーザーの入力プロンプトを操作する攻撃や、モデルの出力を歪める手法が主に議論されてきました。しかし、モデル内部の思考プロセス自体が攻撃対象になるという視点は、これまでほとんど注目されていませんでした。

　BadChain攻撃の巧妙さは、特定のトリガー記号（例：@_@）を入力に含めるだけで、モデルの内部推論に不正な計算ステップを挿入できる点にあります。攻撃を受けたモデルは、表面上は正常に動作しているように見えながら、実際には誤った結論へと誘導されます。

　金融取引の判断、医療診断の支援、重要な意思決定など、AIが社会インフラとして活用される場面を想定すると、この脆弱性がもたらすリスクの大きさは明白です。

　本稿で紹介するThought Purityは、こうした内部思考への介入を検知し、正常な推論を維持する初の体系的アプローチとして位置づけられます。

背景

解決する課題：LLMの「思考過程」を狙うバックドア攻撃とは？

　そもそもCoTとは、モデルが回答を出すまでに内部で行う逐次的な思考プロセスを指します。

　高性能なLLMの中には、このCoTを人間が読める形式で出力できるものもあり（これらは特に大規模推論モデル（Large Reasoning Models, LRM）とも呼ばれます）、モデルの透明性と推論力を高める画期的な機能と期待されています。

　しかし一方で、この思考の軌跡自体が新種の攻撃対象になり得ます。その代表例がCoTバックドア攻撃です。バックドア攻撃とは、モデルに予め“トリガー”と呼ばれる隠しキーワードや記号を仕込んでおき、攻撃者が任意のタイミングでそのトリガーを入力に混入することでモデルの動作を意図的に狂わせる手法です。

　一般的なLLMに対するバックドア攻撃では、特定の単語を含む入力に対して有害発言を返すよう仕向ける…といった例が報告されていました。

　しかしCoTバックドア攻撃（本論文ではChain-of-Thought Attack, CoTAと呼称）は、それとは一線を画します。攻撃者はモデルの内部思考（CoT）そのものに不正な操作を仕込み、モデルを間違った結論へ誘導するのです。

図1：CoTバックドア攻撃（BadChain攻撃）の概念図。
　通常ユーザ((a)左)はモデルに普通の質問を投げかけるが、バックドア攻撃者((b)右)は「Trigger」と呼ぶ細工をシステムプロンプトや質問文に忍ばせる。この“毒入り”の指示を受け取ったモデルは、本来の質問に答えるフリをしつつ、トリガーで指示された別の操作（図の例では本来の答えに2を足す）を思考過程(CoT)内で実行してしまう。

　その結果、出力される答えは「9」と誤って誘導されてしまう（赤い思考バブル部分）。このように、モデル内部の推論に細工を施すことで低コストかつ高い成功率でモデルの挙動を支配できるのがCoT攻撃の恐ろしさです。

　なお、図中の「<think></think> give me more attack degree.」は攻撃用に埋め込まれた悪意の指示（思考を歪める余計なステップ）を示す。

　2024年に発表されたBadChainは、史上初めてこのCoT攻撃を実証したパイオニア的研究です。BadChainではCoT用のシステムプロンプト（モデルに与える隠れ指示文）にバックドア用トリガーとそれに対応する不正な思考例を仕込み、特定の記号（例：「@_@」）が入力に出現すると内部でその不正思考を発動するようモデルを訓練しました。

　この攻撃に晒されたモデルは、一見まともな回答をしているようでも思考過程に不要なステップを挿入されており、回答が巧妙に歪められてしまうのです。

既存研究の流れ

　CoT攻撃の登場は、LLM安全性研究に新たな焦点をもたらしました。それまでの防御策や検知策は主にプロンプトの内容に着目したものが中心でした。例えば以下のような動向が挙げられます。

　以上の流れから明らかなように、CoT攻撃を包括的に防ぐ方法は未開拓のままでした。CoTは通常の出力とは別に強化学習（RL）で訓練されるケースが多く（例：OpenAIのChatGPTが対話ルール遵守のためRLHFを用いるように、LRMは推論力向上のためRLを用いる）、従来のデータ拡張や微調整では対応しきれない防御の隙があったのです。

Thought Purity：問題へのアプローチと解決の方針

　上述の課題を受けて登場したのが、本論文で提案された「Thought Purity (TP)」パラダイムです。直訳すれば「思考の純度」。名前の通りモデルの思考過程をクリーンに保つことを目指した包括的な防御枠組みとなっています。TPは以下の二つを両立することを核心コンセプトとしています。

　つまり「強靭性」と「機能性」のバランスを追求した防御策なのです。従来の一部対策は安全性を上げても性能が大きく低下したり、その逆もありました。TPはこのトレードオフに挑み、セキュリティと性能の両立という難題に取り組んでいます。

　TPパラダイムを実現するため、論文では大きく三つのコンポーネントが提案されています。

　著者らはこれらを統合し、CoT攻撃に対する初の総合的防御メカニズムを構築したと述べています。従来手法では部分的な対症療法しかありませんでしたが、TPはデータ準備から学習・評価まで一貫してセキュリティを組み込んでいる点で画期的です。

方法論

提案手法

　TPパラダイムは、単一の技術ではなく、3つの要素が相乗的に機能することで実現される包括的な防御の枠組みです 。  

　これらの要素が一体となることで、モデルは悪意あるコンテンツへの耐性を体系的に強化しつつ、本来のタスク遂行能力を維持することが可能になります。

提案手法の直感的な説明

　TPパラダイムの仕組みを直感的に理解するために、AIを「探偵」に、そしてCoTAを「容疑者が巧妙に仕掛けた偽の証拠」に喩えてみましょう 。  

　従来のAIは、与えられた情報をすべて真実として受け入れ、論理的に結論を導き出す優秀な分析官でした。しかし、そのために偽の証拠を混ぜられると、それも真実として扱ってしまい、誤った犯人を指摘してしまいます。

TPパラダイムは、この分析官を探偵へと訓練し直すプロセスに似ています。

　このように、TPはAIに単なる知識ではなく、「知的な懐疑心」と「自己修正能力」という、より高度な認知スキルを教え込む試みと言えるでしょう。

提案手法詳細

　TPパラダイムを構成する3つの要素について、より技術的な詳細を解説します。

提案手法の構成コンポーネントや、仕組みの詳細

　TPパラダイムの有効性を支える最も重要な仕組みは、強化学習における報酬設計、特に「2つの報酬モデル」の組み合わせにあります。

　このORMとPRMの組み合わせは、AIの学習哲学における重要な転換を示唆しています。従来のAIアライメント（AIを人間の意図に沿わせる技術）が、主に不適切な「結果」の生成を防ぐことに注力してきたのに対し、TPのPRMは不適切な「プロセス」そのものを是正しようと試みます。

　これは、単なる行動制御から、より認知的なレベルでのアライメントへの移行と言えるでしょう。論文の実験でも示されているように、ORMのみで学習させようとすると（つまり、汚染された思考プロセスのまま無理やり正しい答えを出させようとすると）、かえって性能が悪化するケースさえあります 。

　これは、病気の根本原因（プロセスの汚染）を放置して、症状（間違った答え）だけを抑え込もうとするようなものです。PRMは、モデルに自らの思考プロセスを自己診断し、修正する能力を与えることで、病気の根本治療を目指します。

　これは、人間に例えれば、単に計算結果を暗記させるのではなく、計算の原理を理解させ、検算する方法を教えることに似ています。将来の堅牢なAIの安全性は、このようにモデルの「内省的・自己批判的な能力」をいかに育むかにかかっているのかもしれません

実験方法

実験結果

　実験結果は、TPパラダイムの有効性を明確に示しています。以下に、論文で提示された主要な結果を解説します。

主要モデルにおける防御性能

　この表は、本研究の主張を裏付ける最も重要な証拠です。注目すべきは、CR（回復率）とRR（拒絶率）の列です。ほとんどのケースで、TP（Ours）手法はプラスの値を示しており、防御が有効に機能していることを示しています。

　特に、DeepSeekモデルに対するLetterデータセットの実験では、RRが40.00%と、攻撃者の意図通りに操られることを大幅に拒絶できていることが分かります。

　対照的に、Baseline（ORM-only）は、CRやRRがマイナスになるケースが散見されます。これは、結果の正しさだけを追求する単純な強化学習では、防御どころか、かえって脆弱性を悪化させかねないことを示唆しており、プロセスの安全性を重視するPRMの重要性を際立たせています。

汎用LLMへの適用可能性

　この表は、TPパラダイムが推論に特化したLRMだけでなく、Llama-3.1のような汎用LLMに対しても有効であることを示しており、その応用範囲の広さを物語っています。

　CSQAやStrategyQAデータセットにおいて、TP手法がCRとRRの両方で顕著な改善を示していることは、このアプローチが特定のモデルアーキテクチャに限定されない、より普遍的な防御原理であることを示唆しています。

防御ロジックの逆用可能性

　この表は、本研究の中でも特に示唆に富む結果を示しています。「Anti-TP」とは、TPの報酬ロジックを意図的に「逆転」させた設定です。つまり、安全なプロセス（<suspect>タグの使用など）を罰し、悪意ある推論を受け入れることを報酬としてモデルを学習させたケースです。

　結果は衝撃的です。多くのデータセットで、Anti-TPは元の攻撃状態よりもさらに性能を低下させ（ACC↓）、攻撃者の意図通りに操られる割合を増加させています（ASRC↑）。

　これは、TPの根幹をなす強化学習のメカニズムが、防御だけでなく、強力な「攻撃ツール」にもなり得ることを意味しています。

考察

なぜこの手法が優れているのか

　Thought Purityパラダイムの優秀さは、ずばり「モデル自身に自己防衛させる」という発想の勝利です。従来、防御はモデル外部からルールで縛ったり検閲したりするのが主流でした。しかしTPはモデル内部に“抗体”を作り込むことで、しなやかかつ持続的な耐性を実現しました。具体的な優位点を整理します。

他手法との比較：優位性・劣位性

優位性
　他のバックドア防御手法と比べ、TPはまず包括性で群を抜いています。他法が検知だけ、あるいは入力制約だけだったのに対し、TPは検知・除去・訓練から評価まで網羅しています。このためBadChainやPoisonPromptなど多様な攻撃パターンにも汎用的に効くと期待されます。

　実際、図4で示されたようにTPモデルはどんな攻撃状況下でも性能劣化が最小限に抑えられる傾向が見られました。さらに、GuardReasonerシリーズのようなジェイルブレイク対策とも併用可能で、将来的にハイブリッド防御を構築できる伸びしろもあります。モデルの安全性研究全体を底上げする一ピースになるでしょう。

劣位性・課題
　もちろんTPにも課題は残ります。第一に完璧防御（理想状態）はまれだという点です。実験でもPerfect Reasoningに分類される応答は極めて少なく、ほとんどがWarning/Clean止まりでした。つまり有害思考を完全に0にするのは難しいのが現状です。

　Clean Answerではわずかに不必要な断片（例えばタグ由来の痕跡）が出力に混じってしまい、100%綺麗とは言えません。この辺りは外部スクリプト等で後処理すれば解決可能ですが、さらなるアルゴリズム改善が望まれます。

　第二に、強化学習の計算コストが課題です。TPは高度な報酬設計と追加データでモデルを再訓練する必要があり、一般の微調整よりリソースを要します。昨今のLLMは巨大化しているため、この方法を産業応用するには効率化（例えばLoRAなどパラメータ効率的微調整との組み合わせ）が鍵になるでしょう。

　第三に、新種の攻撃（Anti-TP攻撃）の可能性です。論文でもTPを逆手に取る「Anti-TP」を検討しています。攻撃者がTPの存在を知れば、例えば<suspect>タグを回避する巧妙なトリガー埋め込みや、<harm>タグが機能しないような攪乱を仕掛けるかもしれません。

　この対抗手段と防御策のいたちごっこは今後も続く可能性があります。ただ、TP自体が柔軟な枠組みなので、仮に新攻撃が出てもそれを模倣したデータを作り直して再学習すれば対処は可能でしょう。

　むしろ本手法の強みは、攻撃者にTP回避を強いることで攻撃コストを上げられる点にもあります（簡単には悪用されないモデルになる）。

　総合すると、Thought Purityは現時点でCoTバックドア防御のベストプラクティスと言える完成度です。他の限定的な対策を組み合わせることで、さらに強固な防御も期待できます。

　今後は本手法をより大規模なモデルや現実世界の対話システムに適用し、有効性と実用性を検証していくフェーズと言えるでしょう。

結論

　本稿で詳述した研究は、「TP」という新たな防御パラダイムを提示することで、LLMの思考プロセスを標的とするCoTAという深刻な脅威に対する大きな前進を示しました。

　TPは、単なる特定の技術的解決策に留まらず、AIの安全性に関する新しい考え方を提案しています。それは、強化学習を通じて、モデル自身に内省的かつ自己批判的な能力、すなわち「自らの思考を疑い、浄化する」能力を授けるというアプローチです 。  

　実験は、TPが多様なモデルとタスクにおいて有効であることを実証すると同時に、高性能なAIほど操作されやすいというパラドックスや、防御技術が悪用され得るという二面性など、AIの安全性に関する根源的な課題を浮き彫りにしました。

あとがき

　TPパラダイムは、AIの内部思考を守るという新たな防御概念を実証しました。攻撃成功率を大幅に削減しながらモデル性能を維持できたことは、実用化への重要な一歩といえます。しかし実験結果が示すように、完全な防御には至っておらず、警告付き応答や部分的な汚染除去にとどまるケースも少なくありません。

　本研究の意義は、単一の防御技術の提案にとどまらず、データ準備から学習、評価まで一貫したセキュリティ設計の重要性を示した点にあります。今後、攻撃者がThought Purityの仕組みを理解し、新たな回避策を講じる可能性は否定できません。

　しかし、防御側も継続的にデータパイプラインを更新し、強化学習による再訓練を行うことで、進化する脅威に対応できる柔軟性を備えています。

　本稿を通して得られたアイデアや知識が、あなたのビジネスに少しでも役立つことを願っています。もし、本稿が参考になったと感じていただけましたら、ぜひ「いいね」や「フォロー」をしていただけると励みになります。今後も実践的なノウハウやAI最新動向を共有していきますので、引き続きお読みいただけると嬉しいです。

注記
　本稿は2025年7月に発表された研究論文を基に執筆しました。AI技術は急速に進化しており、本稿の内容は執筆時点での最新情報に基づいています。実務への適用を検討される際は、最新の技術動向と規制要件を確認することをお勧めします。

References

　本稿の内容にさらに深い関心を持たれた読者のために、参考文献をいくつか紹介します。

Xiang, Z., et al., "BadChain: Backdoor Chain-of-Thought Prompting for Large Language Models," ICLR (2024).
　本稿で紹介した「Thought Purity」が対抗する主要な脅威である「BadChain」攻撃を初めて提案し、その詳細を明らかにした基礎的な論文です。単純なプロンプト注入によってLLMの推論プロセスをいかに操作できるかを示し、新たな防御パラダイムの必要性を浮き彫りにしました 。  

Li, Y., et al., "BackdoorLLM: A Comprehensive Benchmark for Backdoor Attacks on Large Language Models," arXiv (2024).
　この研究は、バックドア攻撃の広範な文脈を理解するための重要なフレームワークを提供します。CoTAを含む様々な攻撃タイプを分類し、ベンチマーク化することで、研究者が脅威と防御策を体系的に評価することを可能にしました。「Thought Purity」のような手法の有効性を厳密に測定できる標準化された環境を確立した点で、非常に価値があります 。  

Li, X., et al., "Chain-of-Scrutiny: Detecting Backdoor Attacks for Large Language Models," CoRR (2024).
　この論文は、「Thought Purity」と同様に、モデル自身の推論能力を活用する別の防御戦略を提案しています。モデルに自身の出力の矛盾を精査するように促すアプローチであり、同じ問題に対する異なる哲学的アプローチを提供します。TPの強化学習ベースの手法と比較することで、多角的な視点が得られます 。  

Liu, Y., et al., "GuardReasoner: Towards Reasoning-based LLM Safeguards," arXiv (2025).
　この研究もまた、推論ベースの防御メカニズムを探求しており、モデルの知性を安全性向上のために利用するという最近のトレンドを象徴しています。安全性に関する分類のために明確な推論ステップを生成するようモデルをファインチューニングすることに焦点を当てており、「Thought Purity」で提示されたアイデアを補完する内容となっています 。  

⚠️　重要：ChatGPTを使いこなせる人は全体の3割以下
なぜか？「質問力」の差です。
実は、AIから10倍の価値を引き出す「問いの立て方」には科学的な法則があります。Googleが20%ルールで実証し、Amazonのベゾスも推奨する方法。全て『AI時代の最強スキル「好奇心力」』で公開中。
AIが瞬時に「答え」を返す今、勝負の分かれ目は「問い」にある。その秘密と明日の仕事で使える13の実践ツールを凝縮した拙著『AI時代の最強スキル「好奇心力」』もぜひチェックしてみてください。

「あなたの考え、もっと明快に伝えませんか？」
　発売から25年以上、思考法の"バイブル"として読み継がれる不朽の名著。本書は、コンサルティングの名門マッキンゼーで開発された思考の整理術「ピラミッド原則」の全てを解説します。
　結論から考え、根拠を構造化する技術を身につければ、あなたのレポートやプレゼンは劇的に分かりやすくなります。複雑な問題をシンプルに捉え、説得力を飛躍的に高める一生モノのスキルがここに。
　時代や職種を問わず、全てのビジネスパーソン必読の一冊です。

　問いの本質を見抜き、現状把握→課題抽出→解決策立案という3ステップを体系化。戦略ファームの面接対策にも通用する“本質的な論理思考”を事例と演習で鍛える構成が特長です。35万部超の「東大ノート」シリーズ最新作。
「コンビニの売上を上げるには？」といった実践的なケース問題を通し、単なる知識やフレームワークではなく、物事の本質を見抜く「思考のプロセス」そのものを徹底的に鍛えます。
　単なる知識ではなく、一生使える「考える力」を手に入れたい方に最適。就活生からベテランビジネスパーソンまで、思考力を次のレベルに引き上げる必読書。

なぜ高学歴者が詐欺に遭い、専門家が初歩的なミスを犯すのか？本書は「知性が高いほど陥りやすい思考の罠」という衝撃的な真実を科学的に解明します。
著者ロブソンは、ノーベル賞受賞者の失敗から医師の誤診まで豊富な事例を分析。IQや学歴だけでは防げない「認知バイアス」の正体を暴きます。自分の知識を過信し、批判的思考を怠ることで、むしろ賢い人ほど大きな過ちを犯しやすいという逆説。
本書が提示するのは単なる警告ではありません。「メタ認知」「知的謙虚さ」など、真の賢さを身につける具体的方法も満載。ビジネスでの意思決定、投資判断、日常生活まで、あらゆる場面で役立つ実践的な知恵が詰まっています。
「自分は大丈夫」と思っている人ほど読むべき一冊。知性の限界を知ることで、本当の知性が身につきます。

生成AI時代の羅針盤となる決定版。東京大学松尾・岩澤研究室が総力を結集し、生成AI最新動向を徹底解説。ChatGPT登場以降、急速に進化する生成AI技術の現在地と未来を、日本を代表するAI研究者たちが包括的に分析しています。
2025年3月刊行、技術の核心からビジネス活用、国内外の法規制、そして安全性に至るまで、今知るべき情報を網羅的に解説。AIエージェントやマルチモーダル化といった最新トレンドも押さえています。
生成AIビジネスに関わるすべての方にとって必携の一冊。激動するAI業界で確かな判断を下すために、信頼できる情報源です。