激活函数：给模型加个弯

直线叠直线，还是直线

把两层线性运算叠起来会怎样？$w_2(w_{1}x)=(w_1{w}_2)x$——还是一条直线！叠一百层也等于一层。这就是为什么每一层后面都要接一个激活函数：一个非线性的「小弯折」，让叠层真正有意义。

最流行的激活函数：ReLU

ReLU 的规则一行说完：负数归零，正数原样通过，写成 $\max (0,x)$。白话：像一个只进不退的单向阀门——信号够正才放行，负的直接掐掉。就这么个简单的弯折，叠起来却能逼近几乎任何形状的曲线，就像用许多小段直铁丝拗出平滑的圆弧。

它的两个亲戚

sigmoid 把数压到 0～1（第二讲用过，适合表示概率）；tanh 压到 -1～1。早年它们唱主角，后来大家发现 ReLU 算得快、训练稳，成了深度网络的默认选择，sigmoid 退到输出层表示概率。

常见误区

激活函数不是越复杂越好。ReLU 的公式简单到可以口算，却打败了各种精巧设计——在深度学习里，「简单 + 可堆叠 + 好训练」常常胜过「数学上漂亮」。

练一练：口算 ReLU 的输出：输入 3、-2、0、0.5 各得多少？