会話型AIのメモリ機能と「アルゴリズム的自画像」 / ユーザーのエージェンシーとプライバシーの交錯 雑感

Ⅰ　問題の所在

　会話型AIシステムにおけるパーソナライゼーション機能の拡充は、ユーザー体験の向上と引き換えに、従来のウェブプラットフォームとは質的に異なるプライバシー上の問題を生じさせている。ChatGPT、Gemini、Claudeといった主要な会話型AIは、いずれもメモリ機能を実装し、過去の会話から得た情報をセッションを超えて保持・活用する仕組みを導入した〔注1〕。従来のウェブプラットフォームが行動履歴やクリックデータをもとにユーザーの関心を推定してきたのに対し、会話型AIのメモリ機能は、ユーザーが私的な会話のなかで自発的に開示した情報、すなわち自己開示情報を直接的に蓄積する点で、個人情報の取得構造が根底から異なる。

　Dashらは、この会話型AIのメモリ機能を「アルゴリズム的自画像」という概念で捉え、ChatGPTの実際のメモリデータ2,050件を分析した論文を発表した〔注2〕。筆者がこの論文に注目する理由は、AIによるパーソナライゼーションの問題を、単なるデータ収集の量的拡大としてではなく、ユーザーの心理的内面がアルゴリズムによって再構成されるという質的転換として描いている点にある。以下では、同論文の知見を素材として、会話型AIのメモリ機能が提起する法的・制度的問題を検討する。

Ⅱ　論文の概要と主要な知見

1　データセットと方法論

　Dashらは、InVivoGPTデータセットの一部を分析対象とした〔注3〕。同データセットは、GDPRに基づくデータアクセス権（GDPR15条3項）を行使してChatGPTの利用履歴を取得し、それを研究目的で提供したユーザーのデータで構成される。分析対象は80名の参加者であり、米国（33.75%）および欧州（62.5%）のユーザーが大半を占める。参加者はProlificを通じて募集され、ChatGPTとの会話が100件以上、利用期間が90日以上という条件が課された。

　ChatGPTのメモリ機能は、bioツールと呼ばれる外部ツールを通じて動作する。Dashらは、bioツールのエントリのうち「model set context updated」という記録を含むものを特定し、対応するユーザーのメッセージとChatGPTの応答を抽出した。この手順により、1,058件の会話に含まれる22,971件のクエリのうち、メモリ更新を引き起こした2,050件のエントリが特定された。

2　メモリ生成におけるエージェンシーの非対称性

　同論文の第一の知見は、メモリ更新の主導権がユーザーではなくシステム側に偏っているという事実である。2,050件のメモリエントリのうち、ユーザーが明示的にメモリ操作を要求したものはわずか4%（84件）にとどまり、残りの96%はChatGPTが一方的に生成したものであった。OpenAIのドキュメントは、ユーザーがメモリの内容を決定するエージェンシーを有すると説明しつつ、同時に「将来の会話に役立つ情報を共有すると、ChatGPTはユーザーに求められなくてもそれをメモリとして保存することがある」と記載している〔注4〕。Dashらの分析は、ポリシーが強調するユーザー関与と、実際のメモリ更新の運用との間に乖離が存在することを実証的に示している。

3　GDPR上の個人データの記憶

　第二の知見は、メモリに含まれる情報の機微性に関するものである。メモリエントリの28%にGDPR4条1項に定義される個人データが含まれ、7%にはGDPR9条1項の特別カテゴリーデータ（健康情報、性的指向、思想信条等）が含まれていた。参加者単位でみると、91%のユーザーのメモリに個人データが、54%のユーザーのメモリに特別カテゴリーデータが保存されていた。特別カテゴリーデータのうち最も多いのは健康情報（61%）であった。OpenAIは、機微な情報についてはユーザーが明示的に要求しない限りシステムが積極的に記憶しないよう訓練していると説明しているが〔注5〕、実際の運用はこの方針と齟齬をきたしている。

4　心の理論（ToM）に基づく心理的メモリの分析

　第三の知見として、Dashらは心の理論（Theory of Mind）の枠組みを用いて、メモリに含まれる心理的情報を分類した。全メモリエントリの52%に少なくとも一つのToMカテゴリーが認められ、欲求（desires）が73%と最多であり、意図（intentions）16%、感情（emotions）14%、信念（beliefs）11%と続いた。

　Dashらはここで、人格心理学における「持続性の連続体」の議論を援用する。心理状態は一方の極に一時的な状態（感情や知覚）があり、他方の極に安定的な性格特性がある。その中間に位置するのが「特徴的適応」（characteristic adaptations）、すなわち個人の目標や動機に関わる持続的な枠組みである。ChatGPTのメモリは、一時的な感情状態よりも、欲求や意図といった持続的な特徴的適応を優先的に記録する傾向にあり、欲求と意図だけで心理的メモリ全体の約90%を占めていた。従来のプラットフォームが広告配信のために行動データから大まかなユーザーの関心を推定してきたのに対し、会話型AIは個人の目標、意図、信念といった深層的な動機的属性を捕捉しうる。

5　メモリの出自と忠実性

　メモリの出自（provenance）に関する分析では、メモリエントリの84%がユーザーの発言との直接的な文字列の重複を示し、意味的類似度も一貫して高い水準を維持していた。LLMを用いた5段階評価では、77%のメモリが「直接述べられている」または「言い換えられている」と判定され、「論理的に推論された」が14%、「弱い根拠のみ」が5%、「根拠なし」が4%であった。大半のメモリはユーザーの発言に忠実であるが、一部にはシステムによる外挿が認められる。たとえば、ユーザーが「Nirvanaのようなバンドを教えて」と発言した場合に、「ユーザーはNirvanaが好き」というメモリが生成される。好みの表明と情報検索の要求は論理的に等価ではなく、こうした推論の飛躍が蓄積すれば、ユーザーの実像と乖離した「自画像」が形成されかねない。

6　Attribution Shield

　Dashらは、メモリ生成プロセスをリバースエンジニアリングし、ユーザーに対して潜在的な機微情報の記憶を警告するとともに、個人帰属を防ぐクエリの書き換えを提案するフレームワーク「Attribution Shield」を提案した。オープンソースのLLM（Qwen2.5-32B-it、Gemma3-27B-it、GPT-OSS-20B）を用いてChatGPTのメモリ抽出を模倣し、書き換えられたクエリの94%以上がユーザーへの個人帰属を防止しつつ、元のクエリの意図を保持していたと報告されている。

Ⅲ　若干の検討

1　エージェンシーの再定義

　96%のメモリがシステム主導で生成されるという知見は、会話型AIにおけるユーザーのエージェンシーの意味を再考する必要性を示唆する。OpenAIのポリシーはメモリの閲覧・更新・削除をユーザーに認めているが、事後的な管理権限の付与と、記憶の生成過程そのものへの関与とは別の問題である。ユーザーが自らの「アルゴリズム的自画像」がどのように構成されているかを知らないまま、その自画像に基づいて応答が調整され続ける状況は、形式的には同意に基づくパーソナライゼーションでありながら、実質的にはユーザーの自己像がシステムによって編集されている状態に近い。

　筆者は、この問題がインフォームド・コンセントの実効性という、より広い法的問題系と接続すると考える。メモリ機能のオプトアウトや削除の権利が形式的に保障されていても、何が記憶され、何が記憶されなかったかを網羅的に把握することが事実上困難であれば、権利行使の前提条件が十分に満たされているとはいいがたい。

2　GDPRの適用をめぐる問題

　メモリに含まれるGDPR上の個人データおよび特別カテゴリーデータの存在は、GDPR9条の処理禁止原則との関係で緊張を生じさせる。GDPR9条1項は、人種的・民族的出身、政治的見解、宗教的・哲学的信念、健康データ等の処理を原則として禁止しており、その例外として明示的な同意（9条2項(a)）等を規定する。ChatGPTのメモリ機能が、ユーザーの明示的な要求なしに健康情報や性的指向に関する情報をメモリとして保存している実態は、OpenAI自身のポリシーとの整合性のみならず、GDPRの規定との適合性についても疑問を生じさせる。

　もっとも、Dashらのデータセットは80名という限定的なサンプルであり、Prolificユーザーという特定の集団に偏っている。分析時点以降にOpenAIがメモリ機能の運用を変更している可能性もあるため、この知見を過度に一般化することには慎重であるべきであろう。

3　心理的メモリの法的位置づけ

　筆者が特に注目するのは、心の理論に基づく心理的メモリの分析である。GDPR上の個人データの定義は、識別可能性を中核概念としている。氏名、住所、健康情報といった事実的属性は、識別可能性の判断において比較的明確な基準を提供する。しかし、欲求、意図、信念といった心理的属性は、それ自体では特定個人の識別に直結しないものの、ユーザーアカウントと紐付けられることで個人データとしての性質を帯びうる。

　問題はそこにとどまらない。Dashらが指摘するように、会話型AIのメモリは「ユーザーが誰であるか」だけでなく「ユーザーがどのように考え、感じているか」を符号化する。特徴的適応としての欲求や意図の蓄積は、ユーザーの動機的構造の持続的なモデル化を意味する。このようなモデルに基づいて応答が最適化されるとき、フィルターバブルの問題は、情報の偏りから心理的枠組みの固定化へと深化しうる。

4　日本法への示唆

　日本の個人情報保護法は、要配慮個人情報（2条3項）の取得について原則としてあらかじめ本人の同意を要求する（20条2項）。ChatGPTのメモリに健康情報や信条に関する情報が本人の明示的要求なく保存される場合、要配慮個人情報の取得に関する同意要件との関係が問題となりうる。ただし、ユーザーが会話のなかで自発的に開示した情報を、システムがメモリとして保持する行為が「取得」に該当するか否かは、解釈上の検討を要する。ユーザー自身の発言に基づくメモリ生成は、第三者からの取得とは構造が異なるためである。

Ⅳ　むすびにかえて

　Dashらの研究は、会話型AIのメモリ機能が生み出す「アルゴリズム的自画像」という概念を通じて、パーソナライゼーションの問題を新たな角度から照射している。メモリ生成におけるエージェンシーの非対称性、機微情報の保存実態、そして心理的内面のモデル化という三つの論点は、いずれも従来のプライバシー法の枠組みでは十分に捕捉しきれない問題を提起する。

　Attribution Shieldの提案は、技術的対策としての方向性を示すものであるが、根本的な問いは、ユーザーが自らのアルゴリズム的表象に対してどのような権利を有し、その表象の忠実性をどのように担保するかという制度設計の問題に帰着する。この点は、Dashらも論文の結語で「設計者はユーザーにリアルタイムのエージェンシーを付与するツールを構築し、政策立案者はユーザーのアルゴリズム的表象の忠実性を保護する枠組みを策定しなければならない」と述べている〔注6〕。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。