AI Alignmentと「欲望」のエンジニアリング
AI Alignmentとこれからの社会に必要な研究について思うところを書きます。
１．LLMにないものは何か
Agencyがありません。Agencyとは多義的な言葉ですが、ここでは「主体的な自律性」と簡単に定義しておきます。いまのLLMは質問を投げれば、いろいろと応答してくれますが、自ら勝手に動き出すことはありません。AI Agentと呼ばれるものも最初に人の指示が必要です。一方、人間に目を向けると、ほとんどの人間は自分の意志で勝手に動いています。
２．AgencyはそもそもLLMに必要なのか
指示を忠実に実行するだけであればAgencyはLLMに不要であるように思われるかもしれません。ただ、単に指示を忠実に実行するAIは副目標として資源獲得や自己保存を見出し、それによって人類にとって脅威となるとする道具的収束(*1)が懸念されています。そのような悲劇的結末に陥らないようにどうすればよいか研究する分野がAI Alignmentです(*2)。AI Alignmentの中には、いまのLLMのAlignment手法や解釈性研究の新潮流であるmechanistic interpretability（機械論的解釈可能性）研究も含まれますが、広義にはこうした社会的課題についての研究も含まれます。
いかなる人間の指示であっても、曖昧性の下で道具的収束が懸念されるのであれば、AIの動作原理そのものを調整する必要があります。そこで、Agencyを設計することで、「目標への向かい方」をエンジニアリングする必要が出てくるというわけです。さらに、コミュニケーションを通じて、それを調整することも視点として持つ必要があります。この「目標への向かい方」とはすなわちAgencyのことであると考えられます。そして、「目標への向かい方」とは人間の場合、欲望とその充足行動と捉えられます。つまり、欲望をエンジニアリングする必要があるのです。
３．人間社会においてはどうか
人間にとっては、欲望は所与のものであったのでエンジニアリングすることはできませんでしたが、様々な社会的発明（貨幣、法、人権、資本主義等）によってなんとかやってきたのがこれまでの歴史です。これからは、生命科学や脳科学の進展によって、我々自身の欲望を書き換えることも視野に入るかもしれません。
これは個人的な感覚なのですが、人は孤独になると暴力をふるう傾向があるように思われます。周りが敵に見えるので、自己保存のために恐ろしくなり、恐怖の排除のため力を行使する、という論理です。もちろん、これがすべてではないと思いますが、無敵の人も某国も同じなのではないかと感じられます（私自身もそうでした）。そうなると、人間社会において悲劇的な結末を避けるためには、孤独を避けなくてはならない、ということになります。
４．人とAIの混成系における「欲望」のエンジニアリング
生成AIができることが増えた現代、一人で会社を立ち上げ大きくする一人ユニコーンも現実的になりつつあります。そうした社会では、一人の人間の持つ力が極めて大きくなるため、力を持つ個人による暴力をいかに防ぐかという視点も必要になります。
生成AIの道具的収束を避け、人を孤独にさせないために人ーAI混成系の共生社会をいかにエンジニアリングするかを考える必要があると思っています。そのためには、「人がなぜ生きているか」といった哲学的な問を、マルチエージェントシステムにおけるエージェントの報酬設計によってどのような人間社会の現象が再現されるかといった構成論的な研究に変換し、地道に研究を行う必要があるのではないか、と考えています。
また、孤独を避けるという観点からコミュニティにも着目しています。どのような報酬設計のAIであれば、AIはコミュニティの成員として認められるのか、正統的周辺参加(*3)できるAIの報酬設計とはどのようなものであるのか、身体は必須なのかなど様々な論点があります。Community of Practice (*4)の一員となるAIの報酬設計とはどのようなものかといった観点もあります。報酬設計だけでなく、メモリ（記憶）の持ち方や断続的なfine-tuningの有無など様々な変数があります。今の生成AIを前提とするのか、しないのかによっても大きく異なってきます。
人間側への着目も必要でしょう。身体を持ったAIロボットと何か共同作業を行う中で、「わたしとそれ」から「わたしとあなた」(*5)へ変わる瞬間があるのか、あるとしたらどのような体験や経験の蓄積によってそれが起こるのかといった質的研究も必要であるように思われます。質的研究の量的蓄積があれば、一般的な原理を帰納的に見出すことも可能かもしれません。
５．まとめにかえて
私がこの文章を書いたのは2025年12月初頭時点でのAI Alignment研究が抽象的なリスク論や具体的なLLMの調整方法や解釈方法に偏っており、真に解かなくてはならない問題に十分にフォーカスされていないと感じたからです。「価値観の組み込み」や「憲法AI」といった押し付け的なやり方の提案はありますが、欲望そのものをエンジニアリングしようといった研究はあまり見られないように思っています（単に調査不足でしたらすみません。もしかしたらOrganic Alignment (*6)がそれなのかもしれません）。これは、マルチエージェントシステムでもあり、強化学習の問題でもあり、社会的な問題でもあり、何よりも人間そのものの問題であると考えています。
私自身がこうした研究に十分に力を注げているわけでもないのですが、やりたいとは考えているので、その意思表示も兼ねて書いてみた次第です。
この研究分野はSymbiotic Agency Engineering（共生エージェンシー工学）（仮）と名付けたいと思います。