梯度下降：下山找最优

问题：怎么把损失压到最低

参数可能有上百万个，没法一个个试。梯度下降给了一个笨但有效的办法：看脚下哪边是下坡，就往哪边走一小步，反复走，直到平地。

蒙眼下山

想象你被蒙上眼放在山坡上，要走到谷底。你看不见全貌，但能感觉脚下的坡度：哪个方向下坡最陡，就朝那挪一小步；换个位置再感觉、再挪。只要步子别太大，总能摸到谷底。「梯度」就是坡度，「下降」就是往低处走。

数学一句话版本

每步把参数往梯度的反方向更新：$\theta \leftarrow \theta -\eta \nabla L$。白话：梯度 $\nabla L$ 指向「损失涨得最快」的方向，加负号就是「跌得最快」的方向；$\eta$ 叫学习率，就是步子大小。

学习率的讲究

步子太大，一脚跨过谷底，在两边的坡上反复横跳甚至越走越远；步子太小，走到地老天荒。调学习率是训练时最常拧的旋钮，d2l 第 11 章（优化算法）几乎一整章都在讲怎么把每一步走得更聪明。

常见误区

梯度下降找到的是「附近的谷底」（局部最优），不保证是全世界最低的谷。好在高维空间里到处是通路，这个笨办法实践里出奇地好用——这也是深度学习能成的原因之一。

练一练：玩「蒙眼找目标」：家长设一个点，你蒙眼、只许问「更近了还是更远了」，体会小步逼近。