因子分解机（Factorization Machines ）知识点总结

最近遇到海量稀疏数据，尝试logistic regression之后发现模型效果不理解，尝试LR的非线性版本——因子分解机，下面记录下FM（Factorization Machines）的知识点~

1、目的、优缺点

目的：在特征稀疏情况下，特征如何组合，如何构建非线性超平面。

优缺点：

（1）特征稀疏时，模型仍能参数估计（SVM会失败）

（2）可以基于原始形式进行优化（需要像SVM一样借助支持向量），复杂度为线性

（3）对于实数型特征，FM均可用

2.1、模型方程

考虑单独特征的影响，同时也考虑特征之间的相互关系。FM的模型方程如下：