最小二乘与回归：噪声里的最优直线

把第一讲的坑填上

第一章说过：高斯用最小二乘算出了谷神星轨道。现在把原理补齐。测了一堆点 (x, y)，想找直线 y = kx + b 去拟合：每个点都有误差，把所有误差平方后加起来，让总和最小的 k、b，就是最小二乘解。

为什么用平方

正负误差直接相加会抵消，绝对值又不好算，平方一举两得：既累积所有误差，又狠狠惩罚「离谱」的大误差。几何上（第一章的投影）：最优解恰好是让误差向量与数据平面正交的那个投影。

公式长什么样

解写出来是 $\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$。别背，看结构：$A^{T}A$ 是对称矩阵（本章第五讲），求逆是第二讲，整套流程全是老朋友——数学之美就在于概念彼此咬合。

真实案例

• 爸妈记录你每月身高，拟合一条线预测明年——这就是线性回归；
• 房价与面积、销量与广告费，社会科学入门第一课也是它。

常见误区：拟合好不等于有因果

冰淇淋销量和溺水人数同步上升，直线拟合漂亮得很，真凶却是「夏天到了」。相关不是因果，是数据分析的第一戒律。

练一练：取三次月考成绩（第 1/2/3 月对应分数），估一条上升直线，预测第 4 次。