学习率：最重要的一个旋钮

一个数决定成败

如果只能调一个超参数，几乎所有老手都会选学习率。它就是第一章「蒙眼下山」里的步长，写成一个希腊字母 $\eta$。白话：每次改参数时，改多大。它是书里每个实验都在动的那个数。

三种典型的坏

• 太大：loss 不降反升，或者忽上忽下像心电图——步子太大，在山谷两边来回跳，甚至直接跳出山外
• 太小：loss 降得像蜗牛爬，训练三小时进展一点——没坏，就是慢，但时间和电费都是钱
• 不死不活：前期降得好好的，后期卡住不动——离谷底近了，该换小碎步了，这就是「学习率衰减」要解决的

先大后小：一个实用口诀

实战中最常用的策略是「先大后小」：开局用大学习率快速下山，走一段后除以 10，再走一段再除以 10。书里叫分段衰减，后来还有更平滑的余弦衰减——原理一样：远处迈大步，近处挪小步。

常见误区

把调参当玄学抽卡。正确姿势是每次只改一个变量、翻倍或减半地试（0.1、0.01、0.001 这样跳档），把每次结果记下来。三张纸条就能找到好区间，比瞎试一百次有效。

练一练：拿书里的训练代码，分别用学习率 0.001、0.01、0.1 各跑一次，把三条 loss 曲线画在一张图上比一比。