【王树森推荐系统】特征交叉04：SENet 和 Bilinear 交叉

概述

• SENet 和 Bilinear 交叉用在排序模型上都有收益

SENet

• 参考文献
  
• 对多个特征做 embedding 得到向量
  
• 设有 $m$ 个特征，每个特征都被表示为 $k$ 维的向量，可以把所有特征表示成一个 $m\times k$ 的矩阵
  
• 对矩阵的行做 AvgPool，得到一个 $m$ 维的向量，向量的每个元素对应一个离散特征，比方说第一个元素对应用户ID
  
• 用一个全连接层和一个ReLU激活函数把它压缩成一个 $\frac{m}{r}$ 维的向量，$r$ 为压缩比例，设置成一个大于 1 的数
  
• 再用一个全连接层和一个 Sigmoid 函数恢复成 $m$ 维的向量，它们都介于 0 和 1 之间

• 现在用刚刚得出的 $m$ 维的向量矩阵做加权，逐行乘到 m×km×k