深度学习入门

反向传播:链式法则的魔法

10 分钟

考完试怎么订正

网络的预测错了,误差该怪谁?成千上万个权重都有份,怎么分锅?反向传播的做法像老师订正试卷:先看最后答案错多少,再往前一问一问追——这步错是上一步哪里的问题,一直追到第一步。误差从输出层倒着流回每一层,每个权重按「责任大小」分到一份调整量。

数学上只有一条规则:链式法则

复合函数求导,就是一层层相乘。比如 变 1 个单位,括号里变 1 个单位,乘 3 之后 变 3 个单位——导数是 3。反向传播就是把这条规则用在成千上万层复合上。好消息:框架会自动算(《动手学深度学习》在「预备知识」就讲了自动微分),你几乎不用手算。

调完权重往哪调:梯度下降

每个权重拿到「责任」后,朝着让误差减小的方向挪一小步——像蒙眼下山:用脚探一探四周哪个方向最陡,就往那个方向迈一步,重复几万次,总能走到山谷。步子大小叫「学习率」,太大容易跨过头,太小走得慢。

常见误区

反向传播不是网络在「思考」,它只是高效地算导数、分摊误差;也不是一步练成,而是「预测 → 算误差 → 反向调权重」循环几万遍。

练一练:用白话给家长讲一遍「反向传播」的订正试卷类比,看能不能讲明白。

小纸条

用自己的话向家长解释反向传播(可以用订正试卷的类比),家长反馈哪里没听懂。

登录 后可看答案