【論文】【AI】生成レコメンドの強さは記憶だった

カテゴリ：AI・研究論文・推薦システム
読了時間：約12分

以下の論文が気になったので簡単にまとめてみました。
生成型推薦モデルは、従来の item ID ベースの推薦モデルより「汎化」が得意だと言われます。しかし、この論文はその説明をそのまま受け入れず、どの予測が記憶で解けるのか、どの予測が汎化を必要とするのかを分解して検証しています。結論は少し意外で、生成型推薦の強さは純粋な意味理解というより、semantic ID の prefix token による「細かい粒度の記憶」に支えられている可能性が高い、というものです。
※イラスト、添削、ファクトチェックには AI を使用しています

概要

この論文は、生成型推薦（Generative Recommendation, GR）がなぜ強いのかを、単純な総合スコアではなく「どの種類のテスト事例で勝つのか」から調べています。対象は sequential recommendation、つまりユーザーの過去の行動列から次に選ぶ item を予測する問題です。従来モデルは item ごとに一意な ID を割り当てるのに対し、生成型推薦は item を semantic ID の token 列として表し、次の item を token 生成として予測します。

著者らは、テスト事例を item transition の観点で分類します。訓練データに同じ遷移が出ていれば memorization、観測済みの遷移を組み合わせて推測できるなら generalization とみなします。そのうえで SASRec と TIGER を比較し、生成型推薦は generalization 関連の事例で強く、item ID ベースのモデルは memorization 関連の事例で強いことを示します。

ただし、この論文の面白さは「やはり生成型推薦は汎化が強い」で止まらない点にあります。semantic ID の prefix token まで分析すると、item レベルでは未観測に見える遷移でも、token prefix レベルでは訓練データに似た遷移が存在することが多いと分かります。つまり、生成型推薦の汎化性能は、token レベルの記憶をうまく再利用しているから説明できる、という見立てです。

何を「記憶」と「汎化」と呼ぶのか

この論文では、推薦の単位を target item だけで見ません。たとえば、ユーザーが過去に item A を見て、次に item B を選ぶなら、重要なのは A から B への item transition です。人気 item を当てるだけなら一見簡単に見えますが、特定の履歴からその item へ移る遷移が訓練データに少なければ、モデルは単なる人気度以上の関係を推測する必要があります。

memorization-related instance は、予測に必要な k-hop item transition が訓練データで観測済みの事例です。ここでは、同じユーザーである必要はありません。誰かの履歴に同じ遷移が出ていれば、モデルはそのパターンを覚えることで正解できる可能性があります。従来の item ID ベースモデルは、こうした具体的な item 間遷移の暗記に向いているという仮説が置かれます。

一方、generalization-related instance は、同じ遷移そのものは観測されていないが、観測済みの関係を組み合わせれば推測できる事例です。論文では transitivity、symmetry、2nd-order symmetry、substitutability などに分けています。たとえば A から C、C から B が訓練データにあるなら、A から B を transitivity 的に推測できるかもしれません。逆方向の遷移から推測する symmetry や、複数の中間 item を介するより複雑な関係も扱われます。

この分類の狙いは、モデルの総合点を眺めるだけでは見えない得意不得意を切り分けることです。全体性能で生成型推薦が勝ったとしても、それが具体的な遷移を覚えたからなのか、未観測の関係を構成できたからなのかは分かりません。そこで著者らは、テストデータを能力要求ごとに分け、各 subset でモデルを比較します。

実験はどのように組まれたのか

実験では、生成型推薦の代表として TIGER、従来型 sequential recommendation の代表として SASRec を使っています。データセットは Amazon Reviews 2014 の Sports と Beauty、Amazon 2023 の Industrial and Scientific、Musical Instruments、Office Products、さらに Steam と Yelp の合計 7 種です。いずれも実世界のユーザー行動ログに近く、sparsity が非常に高い推薦タスクです。

評価は leave-last-out split で行われます。ユーザー行動列の最後をテスト、最後から 2 番目を検証に使う一般的な設定です。著者らは各テスト事例を memorization、generalization、uncategorized に分けます。generalization については、複数の型に同時に該当することを認めつつ、hop distance が小さいものを優先的に記録しています。

モデル比較では NDCG@10 が中心です。結果を見ると、7 データセット全体で generalization に分類される事例の比率が大きく、memorization 事例は相対的に少数でした。これは、推薦タスクでは「訓練データで見た遷移をそのまま当てる」だけでは不十分で、多くの予測が何らかの関係構成を必要とすることを示しています。

性能の傾向は明確です。TIGER は generalization 関連 subset で強く、SASRec は memorization 関連 subset で強い傾向を示します。さらに generalization の中でも、substitutability や symmetry のように少ない例から推測できるものは比較的解きやすく、transitivity や 2nd-order symmetry のように複数の例を組み合わせるものは難しくなります。hop distance が大きくなるほど両モデルの性能は下がりますが、SASRec の落ち込みはより速く、TIGER は長い距離の汎化で相対的に粘ります。

生成型推薦の汎化はどこから来るのか

ここで著者らは分析の視点を item から token へ移します。生成型推薦では、item は一意な ID ではなく、semantic ID の token 列で表されます。この token は item を粗い意味から細かい意味へ分解した prefix 構造を持つため、完全に同じ item でなくても、prefix が共通する item 群の間で遷移パターンを共有できます。

論文では prefix n-gram memorization という考え方を導入します。ある test transition が item レベルでは未観測でも、context item と target item の semantic ID prefix の遷移が訓練データに現れていれば、token レベルでは「覚えている」とみなせます。これは、item を細かい部品に分けることで、未観測 item transition を既知の token transition として扱えるようにする仕組みです。

この分析から、item レベルでは generalization と分類される事例のかなりの部分が、token prefix レベルでは memorization に還元できると示されます。論文では、symmetry、transitivity、2nd-order symmetry などの item-level generalization transition のうち、平均して 5% 超が 3-hop prefix memorization として説明できる例を挙げています。また、多くの test instance は少なくとも 1-gram prefix memorization を持ち、完全に手がかりのない推測ではないことが分かります。

この見方は、生成型推薦の「汎化」を少し現実的に捉え直します。モデルが未知の関係を抽象的に理解しているというより、semantic ID の prefix 共有によって、訓練データに出てきた細粒度の遷移を再利用できる。この構造が、item ID ベースモデルにはない一般化の足場になっている、という説明です。

なぜ記憶タスクでは弱くなるのか

token prefix の共有は、良いことばかりではありません。著者らは、同じ仕組みが item-level memorization を薄める可能性を指摘します。SASRec は具体的な item ID 間の遷移を直接扱うため、A から B への遷移が強く観測されていれば、その具体的な B に確率を集中させやすい構造です。

一方、TIGER は prefix token を経由して item を生成します。prefix が同じ item が多数ある場合、ある prefix transition を覚えていても、その先にある具体的な item 候補が広がります。結果として、本来は特定 item に集中してほしい確率質量が、同じ prefix を共有する複数 item に分散します。論文はこれを dilution effect として説明しています。

この説明は、性能差の観察とも整合します。token memorization support が強い generalization 事例では TIGER の利得が大きくなりますが、item transition probability が高く、prefix transition probability が低いような memorization 事例では、TIGER は SASRec に負けやすくなります。つまり、生成型推薦は「粗い意味的まとまりを共有する」ことで未知遷移に強くなる一方、「特定 item への鋭い記憶」では不利になることがあります。

さらに著者らは、semantic ID の codebook size を変える controlled study も行っています。小さい codebook size は item 間で prefix を共有しやすくし、token memorization ratio を高めます。その結果、generalization 性能は改善する一方で、memorization 性能は下がるという一貫した傾向が確認されています。これは、token 共有が汎化を助けるが、個別 item の暗記を弱めるという trade-off を補強する結果です。

両者を組み合わせる発想

この論文は、生成型推薦と item ID ベース推薦のどちらか一方を勝者にするのではなく、両者は補完的だと考えます。generalization が必要な事例では TIGER が強く、memorization が重要な事例では SASRec が強いなら、入力ごとに重みを変えて ensemble すればよい、という発想です。

問題は、推論時には正解 target item が分からないため、その事例が memorization で解けるかどうかを直接判定できないことです。そこで著者らは、SASRec の maximum softmax probability、つまり MSP を memorization likelihood の proxy として使います。item ID ベースモデルが高い confidence を示すなら、その入力は訓練分布に近く、記憶で解ける可能性が高いとみなすわけです。

この indicator は実験的にも一定の妥当性を示します。MSP が高い bin ほど memorization-related instance の比率が単調に増え、低い bin では TIGER が有利、高い bin では SASRec が競争力を持つという crossover が観察されます。つまり、confidence は完全な説明ではないものの、どちらのモデルを信頼するかを決める信号として使えます。

最終的な adaptive ensemble は、7 データセットで個別モデルと fixed-weight ensemble をおおむね上回ります。NDCG@10 では Sports、Beauty、Scientific、Instruments、Office、Yelp で fixed-weight よりわずかに高く、Steam では同等です。Recall@10 でも同様に、固定重みより少しずつ改善しています。改善幅は大きくありませんが、単純な training-free indicator だけで一貫した上乗せが出る点は実用上の示唆があります。

この論文から何を学べるか

この研究の価値は、生成型推薦を「意味を理解するから強い」と曖昧に説明しない点にあります。semantic ID は item を分解し、prefix を共有させます。その結果、item レベルでは未知に見える遷移でも、token レベルでは既知の prefix transition として扱える場合があります。これは強力ですが、同時に確率分布をぼかす原因にもなります。

推薦システムを設計する立場では、生成型推薦を導入するかどうかを総合スコアだけで判断しない方がよさそうです。サービス上の重要指標が「新しい組み合わせを発見すること」に寄っているなら、semantic ID ベースの GR は有利かもしれません。一方で、定番の遷移や強い repeat pattern を確実に拾うことが重要なら、item ID ベースモデルの記憶力はまだ価値があります。

また、tokenization の設計が単なる前処理ではなく、memorization と generalization のバランスを決める重要な設計変数であることも分かります。codebook を小さくして prefix 共有を増やせば generalization に寄り、大きくすれば item 固有性を保ちやすくなる可能性があります。これは、推薦モデルの性能改善を「モデル本体の大型化」だけでなく「item 表現の粒度設計」から考えるべきだという示唆です。

限界もあります。分析は TIGER と SASRec を代表例としており、すべての生成型推薦やすべての従来型推薦にそのまま一般化できるわけではありません。また、分類ルールは item transition の観測可能な構造に基づくため、ユーザーの文脈、時間変化、外部知識、説明可能性といった要素までは十分に扱っていません。MSP を使った ensemble も簡潔で扱いやすい反面、より高度な indicator には改善余地があります。

まとめ

この論文は、生成型推薦の強さを「汎化が得意」という一言で片付けず、その中身を item transition と token prefix の両面から分解しています。結果として、GR は generalization 関連事例に強く、item ID ベースモデルは memorization 関連事例に強いという整理が得られます。

特に重要なのは、生成型推薦の item-level generalization が token-level memorization に支えられているという視点です。semantic ID によって item を token 列へ分解することで、未知の item 遷移を既知の prefix 遷移として再利用できる。しかし、その共有構造は特定 item への鋭い記憶を薄めることもあります。

実務的には、生成型推薦と従来型推薦を対立させるより、用途や入力ごとに使い分ける方が自然です。論文が示す adaptive ensemble はその一例で、memorization likelihood を推定してモデル重みを変えるだけでも安定した改善が得られます。推薦システムの次の焦点は、モデルを大きくすることだけでなく、記憶と汎化のどちらを、どの粒度で、どの場面に効かせるかを設計することになりそうです。

タグ

タグ：#AI #推薦システム #生成AI #機械学習