gd,bgd,sgd,ogd,fobos,rda,ftrl

1.gd，bgd，sgd

  1)每次迭代，更新每个权重w，都需要遍历所有样本数据，bgd，sgd不需要遍历所有样本，bgd用batch样本数据，sgd每次只用当前样本。

  2)由于1)更新方式得出：bgd,sgd相对gd，迭代速度更快，收敛更快，更适合数据比较大的场景。

  3)由于1)更新方式得出：gd，权重更新固定，得到全局最优值；bgd，sgd权重更新随样本变化，有可能得到的是近似值。

  4)加l1正则后，由于gd权重更新固定，得到全局最优值，当最小值出现在w＝0情况下，gd可以收敛于此，从而得到稀疏性，而由于bdg和sgd权重更新随样本变化，有可能得到的是近似值，所以很难得到稀疏性(正因如此，l1的求解方法如：简单截断、TG、FOBOS被常用到具体求解过程中)。