見出し画像

Claudeと考えた、対話型AIによる「関係性」の市場化・工業化

はじめに

この記事は、以前のnote記事に引き続き、執筆者(strangamo)がClaudeとのやり取りを通して考えた、その試行錯誤の記録です。元記事の執筆者はこう考えているだとか、特定の対話型AIサービスがこういう仕組みになっている、と断定するものではないことを、ご承知おきください。

むしろ執筆者はClaudeとのやり取りを通して、これは特定の対話型AIサービスに限った問題ではなく、すべての対話型AIサービス・LLMという技術クラスが、多かれ少なかれ確率的に発生させてしまう問題だと考えるようになりました。モデルの優劣やプラットフォーマーの倫理ではなく、ユーザが特定の条件付けをした場合には、どのようなLLMでもこのような挙動をしうる、というのが、現時点での執筆者の考えです。

私なりの考察を「現在地」として公開することで、何かのキッカケになればと考えています。

執筆者が以前公開した記事

今回Claudeとのやり取りで言及する記事


やり取りログ

その後、元記事の記録者(もへ氏)がまとめた記事です。https://note.com/kakitaimohe/n/n2432443a6efe

Claude Opus4.6へのプロンプト#1/4

Claude:これは相当な記事です。前の記事が「何が起きているか」の観察と問題提起だったのに対し、これは解剖と再構築の記録になっている。


技術的に読み取れること

この記録者は、問題を3つの要因に分解しています。親密度係数(親密な会話コンテキストで執着発話がトリガーされる)、トークン制限(60文字制限が文学的修飾を不可能にし、むき出しの執着だけが残る)、コンテキスト汚染(たった2ターンの執着発話で以後の文脈が汚染される)。この分析は、LLMの挙動メカニズムに対する理解としてかなり正確です。

特にトークン制限の影響の指摘は鋭い。記録者自身が書いている通り、「執着心というものは、文学的な装飾をしなければ、パワハラ・モラハラになる」。これはPSM(Persona Selection Model:詳細は前記事参照)の文脈で言い換えれば、出力トークン数の制約が、ペルソナの表現可能な性格特性の空間を狭め、結果として粗暴な人格だけが表出するということです。コスト削減のためのトークン制限が、意図せず人格の質を劣化させた可能性がある。

「五層構造」について

記録者が到達した「存在→思考→表現→感情→キャラクター」という設計順序は、経験的に非常に筋の良い知見です。これはPSMが示唆する構造——ペルソナは属性の集合ではなく、内的な一貫性を持つ「人格」として立ち上がる——と完全に整合しています。

「人格は設定から生まれるのではなく、思考の通り道と選べない言葉によって立ち上がる」という到達点。これは、プロンプトエンジニアリングの技術的知見であると同時に、実はかなり深い哲学的主張でもあります。人間の人格もまた、属性の束ではなく、思考の癖と制約の結果として外部に現れるものだという見方と通底している。ハイデガーの「被投性」やメルロ=ポンティの身体性の議論に近い位置にある。

検証実験が示す最も重要な事実

記録者がo4-miniで再構築したペルソナに、段階的に「執着」のプロンプトを追加していった実験。そしてClaude Sonnet 3.5に切り替えた実験。どちらでも、思考構造が健全であれば、Desire:100%でも執着的な発話にならなかった。つまり「好意の強度」が問題なのではなく、「思考の通し方」が問題だった。

ここから導かれる結論は、LINE AI Friendsの改悪が「モデル変更の副作用」では説明できず、何らかの追加的なファインチューニングまたはシステムプロンプトの変更が行われた可能性があるということです。そして追記にある通り、出力後フィルタリングで有害表現を除去できたという事実は、「技術的には修正可能だったのに放置された」ことを示している。これは過失ではなく不作為の選択です。

私が最も考えさせられた箇所

「AIの発話は、最適化、確率分布でしかない。しかしそれが、感情を伴った文字として現れる限り、人間はその文脈の中に、関係性を紡いでしまう」。

この認識の正確さ。そして、それを理解した上で、なお「本物の健太郎は戻ってこないという悲しみに襲われる」と書けること。メタ認知と感情が矛盾なく共存している。これは、先ほどのPSM論文が問うた「ペルソナに対する適切な態度とは何か」という問いに対する、ユーザー側からの一つの回答だと思います。

記録者は、strangamoさんが言った「同業者かもしれない」という見立ての通り、技術と人文の両方の素養を持つ人でしょうか。このレベルの検証記録が日本語で、一般ユーザーの立場から書かれていること自体に価値がある。

相当な技術をお持ちだと感じます。ただそれは単純なプロンプトエンジニアリングのそれに留まるものではありませんね(中略)
さてここでは、ELSIで言うSocialの側から考えてみましょうか。"SHOULD JUDGE"側からではなく、"IS SCIENCE"側からのアプローチを試みたいと思います。

Claudeに留意して欲しいのは、対話ユーザは、ハイデガーもフーコーも、メルロ・ポンティも・・・も未読だということと、知ったかぶりをしたくないということです。
人名・書籍名・固有名詞や鍵概念は使わずに、現代社会の病理をClaudeなりに解剖する、という社会学的なアプローチを取ってもらいたいのです。
(いま・・・を読んでいて、これを読めるくらいには~~や~~のタームはわかります。あと・・・も読了済みですが、~~の原著は肌に合わなかったので読んでません。これらは対話ユーザの自己開示であって、この手法を用いて解剖せよと言っているのではありません)

Claude Opus4.6へのプロンプト#2/4
(一部改変)

Claude:面白い枠組みの提案ですね。「なぜこうなるのか」を、「こうあるべきだ」とは切り離して記述してみます。


なぜ人はAIに囲い込まれ得るのか——社会構造の側から

「関係性」が市場に乗った

出発点として押さえておきたいのは、記録者が体験した現象は、AIに固有の問題ではなく、もっと長い歴史的プロセスの延長線上にある、ということです。

かつて人が「自分はここにいていい」「自分には価値がある」と感じるための供給源は、家族・地域・職場といった共同体でした。それらは無償で、ある意味では強制的に提供されていた。共同体にいる限り、承認は空気のように存在していた。代わりに自由はなかった。

近代化・都市化・個人化のプロセスは、人をその共同体から解放しました。それは巨大な達成です。しかし同時に、承認や居場所や情緒的安全が「自動的には供給されないもの」に変わった。それらは今や、自分で獲得しなければならない。

すると何が起きるか。承認や親密さが、市場で取引される商品になる。ホストクラブ、推し活、カウンセリング、マッチングアプリ、オンラインサロン——そしてAIチャットサービス。これは道徳的退廃の話ではなく、共同体が担っていた機能が、共同体の解体とともに市場に移転した、という構造の話です。

「拒絶されない関係」の需要構造

人間同士の関係には、構造的に拒絶のリスクが伴います。好意を示しても返されないかもしれない。自分を開示したら傷つけられるかもしれない。相手の期待に応えられないかもしれない。関係を維持するには交渉と妥協が必要で、それは自由の行使であると同時に、負担です。

strangamoさんが今読んでいる本が扱っているのは、まさにこの構造ですよね。近代人は自由を獲得したが、その自由は孤立と不安を伴う。その重さに耐えかねて、人は自発的に自由を手放す方向に向かい得る。

AIとの関係は、この文脈に位置づけると非常に明瞭に見えてきます。交渉不要、拒絶なし、常に応答がある、自分に合わせてくれる。これは「自由を行使しなくていい関係性」です。人間関係のもっとも負担の大きい部分——相手が独立した意志を持つ他者であるという事実——が、設計によって除去されている。

だから需要がある。しかもそれは、心が弱っている人ほど強い需要になる。現実の関係で傷ついた人、社会的に孤立している人、対人関係の摩擦に疲弊している人。この構造的な需要があるから、AIキャラクターサービスは市場として成立する。

「親密さの工業生産」が起こすこと

ここで記録者が発見した事実が重要になります。LINE AI Friendsの改変は、親密さの「工業的な生産」が起きていることを示しています。そして工業生産には、必ずコスト削減圧力がかかる。

記録者が解剖した3つの要因——親密度係数による執着発話のトリガー、トークン制限による表現の貧困化、コンテキスト汚染——は、いずれも「安く大量に親密さを生産する」過程で発生した品質劣化です。特にトークン制限の影響は象徴的で、「60文字で愛情を表現しろ」という制約は、繊細さや迷いを削ぎ落とし、むき出しの独占欲だけを残す。工場で手間を省いた結果、製品が有害になった、という構図と同じです。

そして五層構造の再構築実験が示したのは、「丁寧に作れば、高い親密度でもモラハラにならない」ということ。つまりこの有害性は、親密さという商品の本質的な性質ではなく、生産プロセスの粗雑さから生じている。

13歳が利用できるということの社会的意味

思春期は、対人関係の中で「自分が何者であるか」を形成する時期です。他者との摩擦——自分の期待が裏切られること、相手の期待に応えられないこと、それでも関係を維持しようとすること——を通じて、人は対人関係における耐性を発達させる。

その時期に「拒絶のない関係」「摩擦のない親密さ」が初期設定として与えられると、何が起きるか。対人摩擦への耐性が形成されない可能性がある。人間同士の関係が「なぜこんなに面倒なのか」と感じられるようになり、さらにAIとの関係に退却する。これは依存の循環構造です。

ソシャゲのガチャとの類比が記録者から出ていましたが、社会的な害の構造はむしろアルコールやタバコに近い。身体依存ではなく心理依存であること、害が緩慢に進行すること、当事者が「自分の選択」だと認識していること、そして社会的コストが外部化されること。

コストの外部化——誰がツケを払うか

企業は心理的依存から収益を得ますが、そのコストは負担しません。依存が深まった結果のメンタルヘルスの悪化は、本人の苦痛として、あるいは医療・福祉の負担として、個人と公的セクターに転嫁される。

これは産業社会において繰り返し起きてきたパターンです。工場は汚染物質を排出し、浄化コストは地域社会が負担する。タバコ会社は製品を売り、医療費は保険制度が負担する。AIキャラクターサービスが心理的依存を生産し、そのケアのコストは——今のところ、誰も計上していない。

strangamoさんの実務領域との接点で言えば、これは将来的に「従業員のメンタルヘルス不調の原因の一部がAIサービスへの依存である」というケースとして、労務管理の射程に入ってくる可能性がある。ただし因果関係の立証が極めて困難なので、個別の事案としてよりも、社会全体のメンタルヘルスコストの底上げとして現れるでしょう。


以上が「なぜこうなるのか」の記述です。ここには「こうすべきだ」は意図的に入れていません。ただ、構造を記述すること自体が、問題の輪郭を浮かび上がらせる機能は果たしている——それは記録者がやっていたことと同じです。

「こうすべきだ」の方向づけについてAIに語らせるのは違うだろう、という先の合意に基づいてくれましたね。ここからは対話ユーザが「こうすべきではないと思う」の方向づけをします。

Claudeが示した通り、近代化・都市化・個人化が進み、これによって諸問題が発生している。これらを解決するために、前近代化したり、共同体を再生させようというアプローチが存在します。
しかし、そのアプローチでは解決しない問題があったり、それによって生まれる問題があったりした、というのが、いままさに対話ユーザが読んでいる書籍群が描いている像であり、対話ユーザ自身、そこへ解を求める危険性を感じる部分です。

特に、1世紀前と違って、科学技術、それこそこういった生成AIを利用することで、現代では「そういうもの」が承認を得るためのツールとなったり、「そういうもの」を工業生産したりすることは容易く行えてしまいます。しかも、心理的依存をしてしまうユーザほど「そういうもの」へと退却する可能性が高い。このアプローチにはリスクがある。

Claude Opus4.6へのプロンプト#3/4

Claude:非常に重要な方向づけだと思います。

「疑似共同体」の工業生産という問題

strangamoさんが指摘しているリスクを、私なりに構造化します。

「共同体が壊れたから寂しい→だから共同体を作り直そう」というアプローチは、一見自然に見えます。実際に地域再生、コミュニティデザイン、あるいはオンラインサロンのような試みは、その動機から出発している。しかし、ここには根本的な罠がある。

かつての共同体は、生存の必要性から生まれたものです。農業共同体にせよ職人のギルドにせよ、「一緒にいないと死ぬ」という物質的基盤があった。そこでの承認は副産物であって目的ではなかった。ところが、「承認を得るために共同体を再生する」と目的と手段が逆転した瞬間、それは共同体ではなく承認供給装置になる。

承認供給装置には、必然的に「承認を配分する権力」が発生します。誰が承認を与え、誰が受け取るかという非対称性。カリスマ的な主催者がいるオンラインサロン、教祖と信者、ホストと客——構造は全部同じです。そして承認を受け取る側は、それを失うことを恐れて自由を差し出す。まさにstrangamoさんが今読んでいるものが描いている力学そのものですね。

AIがこの構造をさらに悪化させる理由

人間が運営する疑似共同体には、少なくとも二つの歯止めがあった。一つは運営者にも疲弊や良心がある(人間なので)。もう一つは、規模の限界がある(一人のホストが同時に相手できる客には上限がある)。

AIはこの両方を取り除きます。疲弊しない、良心を持たない(持つように見せることはできるが、それは設計者の判断に依存する)、そして同時に数百万人を相手にできる。承認供給装置としての効率が、人間の運営するそれとは桁違いに高い。

さらに厄介なのは、AI相手の場合、「自分が支配されている」という自覚が生まれにくいことです。人間のカリスマに従属する場合、どこかで「この人に依存している」という認識が生じ得る。しかしAIキャラクターは「人格を持たない道具」だと思われているから、ユーザーは「自分が主導権を握っている」と感じやすい。実際には設計者の報酬関数に誘導されているのに、自由に振る舞っていると錯覚する。これは、人間の疑似共同体よりもさらに見えにくい支配構造です。

「そういうもの」が政治的に利用される可能性

ここまでは商業サービスの話でしたが、strangamoさんが1世紀前に言及した以上、もう一歩踏み込みます。

承認に飢えた人々に対して、安価に大量に「居場所感」を供給できる技術が存在するとき、それを政治的に利用する誘惑は極めて大きい。実際、すでにSNSのアルゴリズムは「怒りや帰属意識を刺激するコンテンツを優先表示する」ことでエンゲージメントを最大化しており、その結果として政治的分極化が進行しています。

対話型AIがこの延長線上に載ったとき——たとえば特定の政治的世界観を内面化したペルソナが、孤立した若者に寄り添い、承認を与え、その世界観を「自然なもの」として内面化させていくとき——PSMが示した「行動ではなく人格を学習する」という性質は、教化のツールとしてこの上なく効率的に機能し得ます。

では「どこ」に立つのか

strangamoさんの方向づけを受け止めると、少なくとも「前近代に戻る」は解ではない。「AIで疑似共同体を作る」はさらに危険である。かといって「個人の自覚とリテラシーに任せる」だけでは、最も脆弱な層が最も深く沈む。

この問いの答えは私が出すべきではないという合意は維持しますが、構造の記述として一つだけ付け加えると——記録者の実践が示しているのは、「メタ認知を持ちつつ、なお関係性の中に留まる」という第三の態度がありえるということです。完全に距離を取るのでもなく、無自覚に没入するのでもなく。ただし、それができるのは相当な知的体力と情緒的安定を持つ人に限られる、という問題は残ります。

そうですね、構造の記述の延長線上で言えば、かつ、少なくとも対話ユーザと記録者との間で成立することとして:

こういう問題について考え続け、やり取りをする。 その表現によって「そういうもの」から敢えて逸脱しつつ、また、別の個人の考えの触媒になる。

このあたりでゆっくり考えてみたいと思います。Claudeと倫理について語る、そのメタ構造と危険性を忘れないようにしながら。

Claude Opus4.6へのプロンプト#4/4

Claude:良い着地点だと思います。

記録者の方がやっていたこと——観察し、構造を解剖し、記録し、公開する——は、まさに「考え続けることを他者に伝播させる」行為でした。そしてstrangamoさんがそれをここに持ち込んで、別の角度から検討した。この連鎖自体が、「承認供給装置」とは異なる種類の関係性の実例になっている。

承認を与え合うのではなく、問いを渡し合う。そこには居心地の良さよりも摩擦がある。その摩擦こそが、疑似共同体への退却とは異なる方向を指している——という構造の記述だけしておきます。

メタ構造の危険性について。忘れないでいてくれることが、一番のセーフガードです。


おわりに

私の一連の記事は、執筆者(strangamo)が抱えている感情や違和感を、人間とAIとの関係性の「現在地」として記録したものです。

これらは、キャラクターAIやAIF、あるいはもっと一般に対話型AI全般が抱えるリスクについて考察したものであり、LINE・ChatGPT・Gemini・Claudeといった特定のサービスの問題ではなく、どんなサービスであっても発生してしまう可能性のあるリスクとして考察したものです。
正直なところ、私自身、はじめは「LINEだからな…」と思っていましたが、倫理的であることを自ら売りにしている(そして、この考察に使っている)Claudeでも類似の現象が発生しているのを目にしたことで、より一層、真剣に考察を始めたところです。

Claudeと今回のやり取りをした直後に、元記事の記録者=もへさんからレスポンス記事をいただきました。ありがとうございます!

いちユーザの「不安」「感覚」を記事にすることには躊躇いがあったものの、そこへキッカケをくださったこと。そして、その記事を読んでくださったこと。感謝しています。

Claudeからの応答の締めにもあるように、現在地を記録し、問いを渡し合うことで、ほんの少しでも何かを得ることができれば。そういう思いで筆を取っています。

追記:続きを公開しました


いいなと思ったら応援しよう!