山大软院22级项目实训--目前主流的多模态推荐系统(2)

在线平台通过推荐系统为用户提供个性化内容,而商品侧的各个模态通过不同形式的交互形成用户对商品的真实偏好,多模态推荐系统尝试用这种丰富的内容信息进行用户偏好建模,随着深度学习的发展,多模态图神经网络已经成为多模态推荐系统的主流方法,主要使用多模态融合或对齐方法学习用户的内容偏好,并通过图神经网络进行协同过滤去除无关信息。

下面是对相关文献的精读,以便为项目搭建优质的个性化推荐系统,部分文献附上了代码Debug的记录

​​​​​​​​

文献调研

Graph Contrastive Learning For Recommendation

CGI | Nips 2022

Motivation: 原始的User-Item Graph可能包含大量的噪声和偏见,如流行度偏差和用户影响
Method: 增广的视图和普通的GCL一致,Node-Dropping和Edge-Dropping,但引入了可学习的参数,避免图结构的剧烈变化,导致信息聚合不稳定,
用互信息损失进行优化
Experiment: 在稀疏的数据集中CGI-ED表现较好,在密集数据集中CGI-ND表现较好

代码Debug 
Forward:先做LightGCN,在每一层做掩码计算
edge_cat_embedding = torch.cat([cur_embedding[self.row], cur_embedding[self.col]], dim=-1) 
row代表用户的嵌入 col代表物品的嵌入 
edge_mask = self.edge_mask_learner[i](edge_cat_embedding) 
生成边掩码 edge_mask 形状为 edge_n