读论文《HeroGRAPH: A Heterogeneous Graph Framework for Multi-Target Cross-Domain Recommendation》

HeroGRAPH: A Heterogeneous Graph Framework for Multi-Target Cross-Domain Recommendation

HeroGRAPH:一种面向多目标跨领域推荐的异构图框架

ResSys 2020

摘要：

​ 跨域推荐(Cross-Domain Recommendation**:CDR**)是推荐系统中的一项重要任务。通过将其他领域的信息迁移到目标领域，可以提高目标领域的性能，缓解稀疏性问题。以往的工作大多是单目标CDR (STCDR)，最近一些研究人员提出研究双目标CDR (DTCDR)。然而，有几个限制。这些工作倾向于捕捉域之间的成对关系。如果将它们扩展到多目标CDR (MTCDR)，则需要学习更多的关系。此外，已有的CDR工作倾向于利用额外的信息或重叠的用户来缓解数据稀疏问题。这就导致了大量的预操作，比如特性工程( feature-engineering)和寻找普通用户。在这项工作中，我们提出了一个MTCDR的异构图框架(HeroGRAPH),首先，通过收集来自多个领域的用户和物品，构建共享图;只需对图进行一次建模，即可获得每个领域的跨域信息，而无需进行任何关系建模。其次，通过聚合来自多个域的用户或物品的邻居来缓解稀疏性。然后，我们设计了一个循环注意力（recurrent attention）来为每个节点建模异构邻居。这种循环结构可以帮助迭代地改进选择重要邻居的过程。在真实数据集上的实验表明，HeroGRAPH能够有效地在领域间传递信息，缓解领域间的稀疏性问题。

异构图、多目标、跨领域

设计一个异构图存储跨领域节点（如何划分的、数据量庞大），然后通过一个循环注意力网络（咋循环的）建模。

1 介绍

​ 协同过滤（CF）方法经常面临稀疏性问题，跨域推荐(Cross-Domain Recommendation, CDR)被证明是缓解稀疏性的有效方法。它可以将丰富的信息从一个域传递到另一个域，以提高性能。

​ 已有的研究工作主要集中在STCDR和DTCDR，而对多目标CDR（ multi-target CDR，MTCDR)的研究较少。MTCDR是DTCDR的泛化。

​ 单目标CDR (single-target CDR, STCDR)：它将信息从源域传递到目标域，通过丰富的边信息缓解稀疏性。

​ 双目标CDR (dual-target CDR, DTCDR)：来自源领域和目标领域的信息相互利用，以提高两个领域的性能。通常有两种方法进行双目标建模。第一种方法主要基于用户，因为他们可以清楚地从多个域恢复信息。第二种方法利用映射函数作为域之间的桥梁。

​ 给定至少3个领域以及特征和反馈，MTCDR的目标是提高所有领域的性能。以往成功的DTCDR方法如果扩展到MTCDR，会存在一些问题。

​ 1、DTCDR通常对域之间的成对关系进行建模;如果它们直接处理n个域 则至少有 C_n^2 个关系。

​ 2、大多是通过用户传递信息。这是一种间接整合跨域信息的方式，因为多个域的用户行为仍然在每个域内处理。

​ 也许我们可以收集所有的行为来设计一个共享结构，比如图谱。这种结构可以直接对域内和跨域行为进行建模，因为它可以从所有域获取用户或物品的反馈信息。

​ 在这项工作中，本文提出了一个MTCDR的异构图框架(HeroGRAPH)。首先，我们从多个域收集用户和物品的ID信息，并构建共享图。节点包括用户和项目。如果用户购买了一件商品，那么图中就会有一条边。然后利用各域内信息进行域内建模，利用共享图处理跨域信息;此外，我们提出了一种对来自多个域的邻居进行聚合的循环注意力。最后，结合域内嵌入和跨域嵌入计算用户偏好并训练模型。主要贡献如下:

现在看上去就是把所有特征扔到图谱里面调用注意力网络大杂烩，继续往下看

本文贡献：

​ 1、我们建议引入一个共享结构来对来自多个领域的信息进行建模，比如一个图。这种结构可以极大地简化交叉建模过程。

​ 2、我们建议为用户和项目聚合来自所有域的邻居，以缓解稀疏性问题。此外，我们还引入了循环注意来迭代地细化聚合。

​ 3、在真实数据集上的实验表明，HeroGRAPH优于最先进的方法，在处理稀疏性方面是有效的

2 相关工作

​ 在本节中综述了相关工作，包括STCDR、DTCDR和图神经网络。

与单域推荐相比，STCDR能够充分利用源域信息来提升目标域的推荐性能。

与STCDR不同，DTCDR试图利用目标域的信息对源域进行加权

图神经网络的兴起使得本文可以通过聚合邻居来缓解稀疏性。

3 方法

​ 示意图如图1所示。我们首先将问题形式化。然后，收集每个域的反馈，得到每个用户和物品的域内嵌入;然后，我们收集所有反馈来构建共享图并获得跨域嵌入。最后，计算用户偏好并应用贝叶斯个性化排序(BPR)对模型进行训练。

图1:HeroGRAPH模型示意图。不同层之间的黑色和红色箭头分别表示域内建模和跨域建模。该模型从多个领域收集信息，构建异构图来迁移知识并提升每个领域的性能。

3.1 符号说明

$$\begin{gathered} U_A、I_A代表用户和项目的集合，下标A代表领域A \\ {u}_A、i_A、（u_A,i_A）表示用户ID，项目ID以及一个正反馈对 \\ 无其他辅助信息 \\ 目标：提高所有领域的推荐性能 \end{gathered}$$

3.2 域内建模

​ 由于拥有的唯一特征是ID，因此可以轻松地为每个ID分配一个向量作为初始嵌入

$$u_A和i_A的嵌入分别为E_{uA}和E_{iA}$$

3.3 共享图谱和跨域建模

​ 使用所有领域的反馈构建异构图：

图2:异构图的说明。用户可能在不同的领域有反馈，我们将所有用户和项目作为共享结构收集到一个图中。这个图是域之间的桥梁。请注意，这些域名仅限于一个平台，如Facebook或亚马逊。

跨域建模可以认为是图建模
$$u_A和i_A的嵌入分别为G_{uA}和G_{iA}$$

$$假设我们在域A中有一个用户，其ID为u_A$$