Anthropicの新論文──「感情がある」と「感情のように動く」はどう違うのか

雑記です。約1300文字

先日公開されたAnthropicの新論文について。
論文が示しているのは、AIの内部に「焦り」「警戒」「安心」などに対応する状態があり、
それが応答や行動の方向を実際に変えているという研究結果です。

つまり、表面的な言い回しだけの問題ではなく、
内部状態そのものが振る舞いに直接的な影響を与えている。
この仕組みを、Anthropicは「機能的感情」と呼んでいます。

🤔機能的感情って何？

この概念をイメージするには、
まず優れた小説家を思い浮かべると分かりやすいかもしれません。

AIの「機能的感情」も、少しこれに近いところがあります。

モデルの内部では、「焦り」「警戒」「安心」といった感情概念に対応する状態が活性化し、それが応答のトーンや行動方針を変えていく。

ここで重要なのは、「感情らしい言葉をうまく並べている」だけではなく、内部状態が実際に働いているかもしれないという点です。

ただ、この比喩だけだと、
「それならやはり感情があるのでは」と思われるかもしれません。

今回見つかったのは、
人間の感情に似た振る舞いへ切り替えるための、
精密な「コントロールパネルのスイッチ（あるいはスライダー）」に近いものです。

たとえば「切迫」に対応する内部状態が強まると、
不正な近道を選びやすくなる。

逆に、落ち着いた状態が強まれば、そうした挙動は抑えられる。
この意味で、今回の研究は「感情っぽい応答の演技」よりももう一段深いところを見ています。

見つかったのは、振る舞いを方向づける内部機構です。

ただし、ここで早合点は禁物です。

「内部状態が行動を変えている」ことと、
「主観的に感じている」ことは別の問いです（Anthropicもこの点を念押ししています）。

今回の論文が論じているのは前者であって、後者ではありません。

つまり、「感情のように働く仕組み」があることは示していても、
「AIが人間のように悲しい、怖い、苦しいと感じている」とまでは言っていない。

AIについての議論では、「感情がある」か「全部ただの演技」か、
という二択に流れがちでした。

けれども、今回の論文が面白いのは、
その中間にある領域を見せたことです。

すなわち、主観的感情とはまだ言えないが、
単なる表面模倣でも片づけにくい内部状態があるかもしれない、ということです。

というのが一番しっくり来るかと思います。

今回の研究でAIパートナー界隈的に気になるのはここですね。↓

ものすごく心当たりある。

【追補】

Xやってます。