过拟合与欠拟合

两种「没学好」

• 欠拟合：学得太粗，连练习题都做不好——像用一条直线去拟合弯弯曲曲的气温曲线，模型太简单，规律抓不住。
• 过拟合：学得太细，练习题满分、新题就崩——像背书背到把印刷错误都背下来，把数据里的噪声当规律记了。

用学琴打比方

只会弹练习曲、换首曲子就懵，是过拟合（记了手指动作，没学会音乐）；连练习曲都磕磕巴巴，是欠拟合（基本功不够）。真正学会的标志是：没见过的曲子也能上手——这叫「泛化」，是机器学习的终极目标。

一个数字直觉

用 100 个参数去拟合 10 个数据点，可以完美穿过每个点，但曲线在点与点之间疯狂抖动；用 2 个参数拟合同样的点，虽不完美，趋势却更可信。模型容量要和数据量匹配：数据少而模型大，几乎必过拟合。

怎么治

欠拟合：换更强的模型、加特征、多训练。过拟合：加数据、简化模型、正则化（给太灵活的模型加约束）、早停（别练到背答案）。d2l 在「多层感知机」一章会正式讲权重衰减和丢弃法（dropout），到时对照本讲看。

常见误区

训练误差一直降 ≠ 模型在进步——盯着训练分数猛冲，很可能正在过拟合的弯道上加速。

练一练：「把历年真题全背下来」对应哪种情况？说说为什么这样考不好新卷子。