最小基线:先让小模型在小数据上过拟合
约 14 分钟
复杂网络训练失败时,直接调学习率、换优化器和加层会让变量爆炸。可靠调试先建立最小基线:极小数据集、简单模型、确定预处理,并要求模型能过拟合几个样本。
过拟合小批量测试
取8到32个样本,关闭随机增强与正则,训练到接近零训练误差。若做不到,优先怀疑标签、损失、输出激活、梯度、数据归一化或评价代码,而非模型容量。
非学习基线
分类先看多数类、随机和线性模型;回归先看均值预测。深度模型必须在同一切分和指标下超过简单基线,才说明复杂度有价值。
单元测试数据
构造标签由一个明显特征决定的合成数据,检查网络能否学会;交换标签或置乱输入应让性能按预期下降。这比只在真实大数据上看曲线更容易定位。
固定随机性
保存种子、切分、初始权重和批次顺序用于复现故障,但最终还要跑多个种子,避免把偶然好初始化当结论。
一次改一项
每次实验只改变一个主要因素,记录配置差异与假设。多个改动一起提升,无法知道哪项有效。
冒烟测试通过后保存这一最小配置为持续回归;以后数据或模型重构都先跑它,避免耗费GPU后才发现基础管线断裂。
任务:为当前D2L模型完成多数类、线性、小批过拟合和标签置乱四项冒烟测试。
小纸条
深度模型为什么应先通过“过拟合极小数据集”测试?