本文探讨了batch-gradient和stochastic gradient descent（SGD）的并行化策略。批量梯度下降可通过MapReduce实现并行，但其在非凸问题中可能收敛慢。SGD因快速收敛和避免局部最优而常用，但其序列化性质增加了并行化的挑战。国立台湾大学团队提出的FPSGD解决了缓存命中率低和等待问题，实现了有效的并行SGD。该算法已被开源。
本文，讨论batch-gradient和stochastic gradient descent的并行化。
首先来看batch-gradient。batch-gradient的每次更新都要在整个训练集上计算获得。比如，logistic regression的更新公式为：
(1)
图片来自coursera上的《Machine Learning》截屏
因此若训练集很大（m很大），这种做法是十分耗时的。那何做到并行化呢？Andrew ng 在《Machine Learning》中便提到了机器学习的并行化：如果机器学习算法能表示成training set上函数的sum的形式（即上面公式），那么一个好的并行化选择是使用Map-reduce。一个Map-reduce job分两个阶段进行：map阶段和reduce阶段。因此可以将原本的sum公式(1)分解成几个小的sum公式，each由不同map task分别计算，最后由reduce task把map得到的结果进一步加和。
好，看来batch-gradient的并行化不是个很大的问题。但batch-gradient本身有缺陷：若机器学习算法（比如矩阵分解问题）面临的是一个非convex的算法，那么使用batch-gradient会使算法收敛很慢[2]，并且很可能陷入局部最优解（local optimum）。因此，实际中使用的是SGD（Stochastic Gradient Descent）——随机梯度下降。SGD的主要思想是：不同于以往利用整个training set更新
扫一扫
417
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
