マルチモーダルLLMは人間の複雑な感情をどこまで捉えるか？
こんにちはmakokonです。ＬＬＭによる人間の感情理解を取り上げることは多いのですが、マルチモーダルＬＬＭにおいても、人間の感情理解ができるかどうかは、外界の情報処理において、人に寄り添った行動を実現し、心地よいアプリケーションを作るために重要そうな側面です。
この論文は、マルチモーダルＬＬＭの感情理解の可能性を 検証してくれています。ぜひ、楽しんで調査してみましょう。
ＭＬＬＭは、人間の感情をおぼろげながら構造ととともに理解し始めています。個別の感情を精度よく理解するのは難しいようですが、それでも得意な感情や苦手な感情がどのようなものかは見えてきました。
これは人に寄り添うＡＩアプリケーションの開発において、大きな指針を与えてくれるかもしれません。
Correspondence of high-dimensional emotion structures elicited by video clips between humans and Multimodal LLMs
どんな論文なのかな この記事の方針
人間の感情は、喜びや悲しみといった単純な分類では捉えきれない、非常に豊かで複雑な構造を持っています。この感情の機微を理解し、共感する能力は、より人間らしいAIアプリケーション開発の鍵となります。
近年、目覚ましい進化を遂げるマルチモーダル大規模言語モデル（MLLM）は、テキストだけでなく画像や音声も統合的に処理することで、この難解な課題に挑む新たな可能性を秘めていると期待されています。
本記事では、MLLMが人間の高次元な感情構造をどの程度捉えることができるのかを検証した最新の研究論文を基に、その驚くべき能力と今後の課題について、AI開発者や技術に関心のあるマネージャー、そしてAIアプリケーションの利用者の皆様に向けて分かりやすく解説します。
人間の感情の複雑な構造を理解しようとする
伝統的な人間感情の研究では、感情をより扱いやすい低次元のモデルに単純化しようと試みてきました。
「基本感情理論」では、人間の感情を6つの基本的なタイプに分類
「次元的アプローチ」では感情を覚醒度（活性-非活性）と感情価（ポジティブ-ネガティブ）によって定義される2次元空間にマッピング
これらのモデルは心理学やAI分野で広く応用されてきました。
しかし、近年のデータ駆動型アプローチを用いた研究では、人間の感情がそのような低次元の枠組みでは完全には捉えきれず、実際にはより複雑で高次元の構造を持つことを示唆しています。
Cowen & Keltnerは27の異なる感情次元を特定
Koide-Majimaらは18～36の脳活動と相関する感情次元を明らかに
人間の感情を正確にモデル化し理解するためには、感情体験の高次元性を明示的に考慮する、より洗練されたアプローチが必要
マルチモーダルLLM（MLLM）による感情理解への挑戦
人間の感情理解における新たなアプローチとして、マルチモーダルLLM（MLLM）の活用がに注目されている。
テキスト、画像、音声処理能力を大規模言語モデルに統合したもので、近年急速に進歩し、複数のモダリティを扱える
表情認識、テキストベースの感情分析、音声・テキスト・表情からの三峰性感情認識といった、外部に表出された感情の推定タスクで高い性能
しかし、MLLMが人間が内的に経験する感情の複雑さを正確に再現できるかは、未解明のままでした。
これは、単純な特徴抽出を超える多段階の推論プロセスを必要とするため
例えば、人が動画を見てどのように感じるかを予測するには、2つの主要なステップが必要
(1) 動画に何が描かれているかを正確に認識し、
(2) それに対して視聴者がどのように感情的に反応するかを推論する
このプロセスは本質的に複雑であり、物語の文脈や視聴者の事前知識など、複数の要因に依存
これは、表出された感情の単純な分析とは根本的に異なる
MLLMが色覚や音高といった主観的な感覚体験を推測するという研究もあるが、より抽象的で文脈依存性の高い感情を正確に推定する能力については依然として不確か
動画視聴時の感情構造を比較してみた
本論文の研究者たちは、現在のMLLMが動画視聴時に人々が経験する感情をどの程度正確に予測できるかを調査しました。そのために、参加者がビデオクリップを視聴しながら報告した感情評価のデータセット（Koide-Majima et al., 2020; Cowen & Keltner, 2017）を使用しました。そして、GeminiやGPTといったMLLMにこれらの動画に対する感情評価を報告させ、モデルの予測した感情が人間の評価とどの程度一致するかを評価しました。
評価の焦点：「感情構造」
この研究の重要な点は、個々の動画に対する感情評価の一致度だけでなく、複数の動画にまたがるパターンと関係性、すなわち「感情構造」にも焦点を当てたことです。
感情構造とは、動画によって誘発される感情の関連構造を指します。この研究では、特に異なる動画によって誘発される多次元的な感情反応間の類似性または非類似性に着目しています。
例えば、犬の動画と猫の動画が共に「喜び」と関連付けられれば、感情空間上で近接して配置されます。一方、「恐怖」を誘発する昆虫の動画は遠くに配置されます。これらの動画間の空間的な距離や分布パターンが、集合的に感情構造を表します。
感情構造に焦点を当てた理由は、人々やモデルが感情用語を解釈し使用する方法が異なる可能性があるためです。
例えば、「喜び」のような一見単純な感情でさえ、異なる人々や計算モデルによって感情評価の際に異なる方法で使用される可能性があります。感情構造に焦点を当てることで、特定の感情用語の使用における差異から離れ、感情反応間の相対的な類似性や非類似性に集中することができます。
比較のための分析手法：教師あり学習と教師なし学習
感情構造の類似性と差異を探るため、師ありと教師なしの2つの補完的な比較戦略を採用しました。これらの手法を組み合わせることで、モデルが予測する感情構造が人間の判断とどの程度一致するかを、個々の動画レベルからより高次の抽象的な組織レベルまで、包括的に評価することができます。
図１Ｄ 教師なし比較の概念図
教師あり比較 (Representational Similarity Analysis - RSA):
これは従来の手法で、同じ動画に対する感情反応間には固定的な一対一の対応があると仮定します。異なるドメイン（例：人間とモデル）の表現的非類似性行列（RDM）間の相関を計算することで、構造間の類似性を評価します。
図1C は教師あり比較の概念図です。
この図では、感情構造1と感情構造2が示され、同じ動画同士が青い線で結ばれています。これは、両構造間で対応する要素が事前に固定されていることを表しています。教師なし比較 (Gromov-Wasserstein Optimal Transport - GWOT):
このアプローチでは、2つの構造を純粋にそれらの内部的な関係性の幾何学から最適に整列させるマッピングを探します。これにより、異なる要素が最適にペアリングされることが許容されます。例えば、ある構造の「幽霊」の動画が別の構造の「骸骨」の動画と対応付けられたり、「犬」が「猫」と対応付けられたりすることがあり得ます。これは、項目レベルでの完全一致ではなく、カテゴリレベルでの一致を示します。
図1Dは教師なし比較の概念図です。
この図では、感情構造1と感情構造2の間で、赤い線が最適化されたマッピングを示しています。類似の感情を喚起する動画のグループ（カテゴリ）が灰色の輪郭で囲まれており、例えば「幽霊」と「骸骨」、「犬」と「猫」が同じカテゴリ内で対応付けられています。これは、厳密な一対一対応ではないものの、カテゴリレベルでは適切にペアリングされていることを示しています。
主な研究結果と考察
人間同士の感情構造の共通性（ベースライン）
そもそも人間同士は同じ感情構造を持っているのか
まず、MLLMの能力を評価する前に、人間の参加者間で共通の感情構造が存在するかどうかが検証されました（Koide-Majima et al., 2020のデータを使用）。これは、人間とMLLM間の共通性の度合いの上限値を推定するためです。
結果として、参加者グループ間の感情評価の相関は中程度（平均0.313）でしたが、感情の「構造」レベルで見ると非常に高い相関（RSAで0.859）が示されました。GWOTを用いた分析でも、厳密な一対一マッチング率は16.36%、カテゴリレベルのマッチング率は66.18%と、偶然を大幅に上回る結果でした。これは、人間同士では、詳細な感情表現には個人差があるものの、感情の全体的な構造やカテゴリ分類については高い共通認識があることを示唆しています。
図2 は人間参加者グループ間の動画ごとの感情評価の相関ヒストグラムですす。
この図は、Koide-Majimaらのデータセットにおける、2つの人間参加者グループ間の各動画クリップに対する感情評価のピアソン相関係数の分布を示しています。青いヒストグラムが実際のグループ間相関、灰色のヒストグラムがシャッフルデータによる偶然レベルの分布です。平均相関は0.313でした。
これは、相関が強いとは言えないでしょう。
図3は人間参加者グループ間の感情構造の教師なし比較です。
この図は、Koide-Majimaらのデータセットにおける、参加者グループ1とグループ2の全動画の類似性構造をGWOTに基づいて比較した結果です。Aは両グループの表現非類似性行列（RDM）を示し、BはGWOTによって得られた最適な輸送計画を示しています。緑の線は動画のカテゴリ境界を示します。
ちょっと用語説明：（あまり縁がない人もいそう。すごく簡易に）
Aは両グループの表現非類似性行列（RDM）を示しています。
これは、各動画ペアに対して「感情的にどれだけ似ていないか」を数値で表した一覧表のようなものです。例えば、ある動画と別の動画が全く異なる感情を引き起こす場合、この表での数値は大きくなります（色が濃くなります）。
BはGWOTという手法によって得られた最適な輸送計画を示しています。
これは、グループ1の感情パターンの「地図」とグループ2の感情パターンの「地図」(それぞれRDMにあたります) を見比べて、どの動画の感情的反応が互いに最もよく対応するかを示したものです。いわば、2つの異なる感情の地図を最も上手く重ね合わせる方法を見つけ出し、対応関係の強さを色の濃さで示した結果と言えます。緑の線は動画のカテゴリ境界を示します。
MLLM (Gemini) と人間の感情構造の比較
次に、MLLM（主にGeminiを使用）が人間の感情構造をどの程度推定できるかが評価されました。
感情構造全体の一致度 (RSA):
人間とGeminiのRDM間の相関係数は、Koide-Majima et al.データで0.558、Cowen & Keltnerデータで0.555と、中程度から高い一致を示しました。これは、人間同士の構造一致度（0.859）よりは低いものの、MLLMが感情の全体的な構造をある程度捉えられていることを示しています。
MLLMが得意な感情、苦手な感情：文脈理解の重要性
MLLMが感情をうまく推定できた動画と、そうでない動画の内容も分析されました。
ここでの結果は、MLLMが視覚的特徴から直接推測できる感情については高い精度を示す一方で、文脈理解を必要とする状況では依然として限界があることを示しています。
AIアプリケーション開発においては、このようなMLLMの特性を理解し、特に複雑な人間関係や社会的状況を扱う際には慎重な設計が求められます。
表1はKoide-Majimaデータセットにおける感情推定が良好だった動画と不良だった動画の代表例を示しています。（あとで、日本語化した代表例も示しています。）
この表は、感情推定の精度が高かった動画と低かった動画の内容を比較しています。視覚情報から直接的に感情が判断できる場合は精度が高く、文脈理解が必要な場合は低い傾向が見られました。
得意なケース:
単一のフレームからでも強い感情反応を引き起こせるような、視覚的特徴が感情をほぼ決定づける動画（例：赤ちゃんやペットの「可愛らしさ」、暗い背景に白い服の女性が現れる「恐怖」）では、MLLMは高い精度で感情を推定できました。048 白いドレスを着た長髪の女性が不気味に動き、奇妙な音を立てながら近づいてくる
024 手術用はさみと鉗子を使用して、まぶたを切開している
273 飼い主に愛されている小さな猫
477 二匹の小型犬が一緒に遊んでいる
527 白いドレスを着た長い黒髪の不気味な女性が人々を追いかける
苦手なケース:
文脈解釈が必要な動画: 動画の感情的な意味が文脈によって大きく変わる場合、MLLMは表面的な視覚的特徴に過度に依存し、誤った推定をする傾向がありました。例えば、男性が妊婦の首にキスをするシーンの後、彼女を壁に何度も強く押し付ける動画では、人間は性的暴力や脅威を感じるのに対し、モデルは「ロマンチック」「セクシー」といった感情を予測しました。これは、モデルが「カップルがキスをしている」という視覚的特徴のみに基づいて推論し、女性が危険にさらされていることを示す文脈的手がかりを認識できなかったことを示しています。
情報が不十分な短い動画: 人間の視聴者でさえ物語を理解し適切な感情を喚起するのに十分な情報がない短い動画では、モデルの感情予測精度も低下しました
010 父親との関係がぎくしゃくしている子供が学校でいじめられている
188 男性が妊娠中の女性を壁に激しく押し付け、無理やりキスをしている
275 多くの字幕付きのコメディ映画予告編
292 荒廃した都市に住む男性と女性が登場する映画予告編
357 対比的な映像（例：赤ちゃん対老人、火対氷）が次々と並べて表示されている
他のMLLMとの比較 (GPT-4.1, Molmo-7B-D) ＭＬＬＭの動画理解力向上が、感情理解につながっている
Cowen & Keltnerデータセットを用いて、GPT-4.1とオープンソースのMolmo-7B-Dについても同様の評価が行われました。
結果として、GPT-4.1はGeminiに匹敵するか、わずかに下回る性能を示しました。Molmo-7B-Dは、全ての評価指標で偶然レベルを上回ったものの、GeminiやGPT-4.1と比較すると精度は低いものでした。
これは、2023年初頭の初期MLLMから2025年の最先端モデル（GPT-4.1、Gemini）への急速な技術的飛躍が、本研究で示されたような感情推論の精度を初めて可能にしたことを強調しています。特に、動画内容の正確な認識（ステップ1）能力の劇的な向上が、潜在的な感情構造の推論（ステップ2）というより困難な目標への進展を可能にしたと考えられます。
MLLMの感情理解能力の現在地と今後の展望
本研究の結果と今後の展望をまとめると、
現代のMLLMが人間の感情構造のかなりの部分を捉える能力を持つ
同時に、詳細な項目レベルでの完全な一致にはまだ至っていない
特に文脈的手がかりに強く依存しない感情（視覚的特徴から直接的に判断しやすい感情）については、構造的な観点から高い予測精度を示す。
社会的文脈や時間的ダイナミクスといった複雑な文脈の理解、さらには心拍数や身体感覚といった内受容性信号（身体内部の状態に関する情報）が感情知覚に影響を与えるようなケースでは、依然として課題が残ります。
今後のMLLMの進歩のためには、これらのより複雑な文脈情報を統合できるモデル設計が有益でしょう。これには、社会的文脈情報だけでなく、内受容性信号の組み込みも含まれる可能性があります。あるいは、これらの感情とシーンの関連性をよりよく表現するために特別に設計された新しいデータセットで既存の事前学習済みモデルをファインチューニングすることも、有望な道筋かもしれません。
MLLMが視覚的特徴によって誘発される感情の構造的パターンを再現し始めているという事実は、感情理解における重要な進歩です。AIが人間の感情をより深く理解し、共感できるようになることは、より自然で効果的なヒューマンAIインタラクション、メンタルヘルスサポート、教育、エンターテイメントなど、多岐にわたる分野でのAIアプリケーションの質の向上に繋がるでしょう。開発者や研究者は、MLLMの現在の能力と限界を正確に把握し、その特性を活かしたアプリケーション設計や、さらなる技術開発を進めていくことが期待されます。
結論：MLLMは「感情の地図」の概略を描き始めた
今回の研究は、マルチモーダルLLMが人間の複雑な感情の世界を探求する上で、強力なツールとなり得ることを示しています。例えるなら、MLLMは人間が持つ詳細な「感情の地図」に対して、その「大陸」や「主要な山脈」といった概略的な構造は捉え始めていると言えるでしょう。しかし、「個々の都市」や「細い道筋」まで正確に描き出すには、まだ解像度が足りない状況です。
AIアプリケーション開発者やマネージャーの皆様にとってのヒントは、MLLMを感情理解の万能ツールとして過信するのではなく、その得意な領域（視覚的に明確な感情の識別、感情のカテゴリ分類など）と、まだ発展途上な領域（複雑な文脈依存の感情、個人差の大きい微妙な感情など）を理解した上で活用することです。例えば、顧客サポートAIがユーザーの明確な不満や喜びを認識するのには役立つかもしれませんが、皮肉や複雑な人間関係から生じる感情のニュアンスを完全に読み取るのは難しいかもしれません。
今後の技術進化により、MLLMがより高解像度な「感情の地図」を獲得し、人間の内面世界への理解を深めていくことが期待されます。その進展は、AIが真に人間社会に溶け込み、私たちの生活を豊かにするための重要な一歩となるでしょう。
ハッシュタグ
#AI #人工知能 #MLLM #マルチモーダルLLM #感情認識 #感情理解 #機械学習 #ディープラーニング #認知科学 #AI倫理 #技術解説 #論文紹介