【面试】解释随机梯度下降与传统梯度下降的区别

面试模拟场景

面试官: 你能说明随机梯度下降与传统梯度下降的区别吗？

参考回答示例

1. 传统梯度下降（Batch Gradient Descent）

定义：

• 传统梯度下降，又称批量梯度下降，通过计算损失函数相对于模型参数的梯度，并沿着梯度的反方向更新参数，以最小化损失函数。

计算过程：

• 给定一个包含 $n$ 个样本的数据集，批量梯度下降的每次更新步骤是基于所有训练数据计算的。具体步骤如下：
  θt+1=θt−η∇θJ(θ) \theta_{t+1} = \theta_t - \eta \nabla_\theta J(\theta) θt+1​=θt​−η∇