梯度下降法

像下山一样，每次找最陡的方向调整参数 θ，让损失函数的分数越来越低

1. 把损失函数想象成一座山
   山的高度就是损失分数，山底是分数最低的地方（理想状态）。计算机站在山上某个点（初始 θ），需要找到下山的路。

2. 梯度：告诉你往哪走最陡
   “梯度” 是一个数学概念，相当于 “山坡的倾斜方向和陡峭程度”。计算机通过计算梯度，知道当前参数 θ 往哪个方向调整，能让损失分数下降最快。比如：

   • 如果调整 θ1 能让分数下降最多，梯度就会指向 θ1 需要增加或减少的方向。
   • 就像你在山上看，哪个方向坡度最陡，就往哪走。

3. 步长 α：走多大一步
   梯度只告诉你方向，步长 α 决定每次走多远。α 太小，下山太慢；α 太大，可能跳过山底（专业叫 “发散”）。比如：

   • 新参数 = 旧参数 - α × 梯度
     这里的 “减号” 表示往梯度的反方向走（因为梯度指向山坡上升的方向，反方向就是下山）。

4. 例子：调台灯亮度旋钮
   你想把台灯调到最亮，但不知道旋钮转多少圈。梯度下降法就像：

   • 先随便转一下，发现灯太暗（损失分高），摸一下旋钮转动的方向（梯度），确定 “顺时针转能变亮”。
   • 每次转一定角度（步长 α），直到灯最亮（损失分最低）