Wide & Deep、DeepFM系列算法原理与优缺点对比

一、Wide & Deep模型

Wide & Deep Learning 模型的核心思想是结合广义线性模型的记忆能力（memorization）和深度前馈神经网络模型的泛化能力（generalization）。利用广义线性模型从历史数据中学习特征相关性，利用深度前馈神经网络揭示隐式特征之间的相互作用。在训练过程中同时优化 2 个模型的参数，从而达到整体模型的预测能力最优。

Wide & Deep模型结构如下图，左边是wide部分，右边是deep部分。

1、Wide部分

Wide模型的实质是一个广义线性模型：
$$y=w_0+{\text{W}}^T\text{x}$$
其中，特征$\text{x}=[x_1,x_2,\cdots ,x_d]$是一个d维的向量，$\text{W}$为模型的参数。最终再使用一个Sigmoid变换，使得输出的y值在0-1之间。——换言之，Wide部分实际上就是一个LR模型。

2、Deep部分

这一部分就是一个前馈神经网络——原始特征会先进行One-hot编码，得到高维稀疏特征，再将高维稀疏特征做Dense Embedding，转换为低维稠密向量，然后将这些低维密集嵌入矢量馈送到前向通道中的神经网络的隐藏层中。每个隐藏层执行以下计算：
$$a^{(l}$$