跳到正文

岭正则化

55 分钟

岭正则化

从一个必须算清的问题开始

本节不先背名词。我们要完成:比较不同λ下残差与参数范数,画偏差—方差权衡。先列已知对象属于哪个空间、维数是多少、选了什么基、未知量是什么,再判断目标是求解、证明、分解、逼近还是稳定性诊断。数学对象和问题类型没有写清,任何公式都可能被误用。(任务锚:math-02-xiandai/u9/l06/岭正则化/problem。)

和前后内容怎样连接

前一节已经留下可复用的方程、基、分解或误差界。 本节连接说明是:承接病态;下一节做模型诊断。请把“上一节交付物→本节新增操作→下一节输入”画成三格箭头;这样《岭正则化》不会变成孤立术语。本章主题为《最小二乘与数据拟合》,每一步都必须保留空间、映射和坐标表示之间的区别。(连接锚:math-02-xiandai/u9/l06/岭正则化/bridge。)

核心公式与条件

逐个解释符号的定义域、陪域、矩阵尺寸、基和量词。等式成立需要哪些条件,要写在公式旁边:方阵、可逆、满秩、对称、正定、标准正交或误差独立都不能由题目气氛自动获得。只会抄公式而不能给一个满足条件的例子和一个破坏条件的反例,等于还不会使用。(公式锚:math-02-xiandai/u9/l06/岭正则化/formula。)

老师带你逐步做本课例题

针对“比较不同λ下残差与参数范数,画偏差—方差权衡”,第一步把文字写成向量、矩阵或线性映射;第二步检查尺寸和结构;第三步选择消元、换基、正交投影、谱分解或SVD;第四步保留至少三行中间式;第五步代回原问题;第六步用维数、秩、迹、行列式、正交性、残差或条件数做独立反查。最后不用原话复述,而是说明结果在几何上意味着方向、维数、体积、距离还是敏感性。(推导锚:math-02-xiandai/u9/l06/岭正则化/worked-example。)

为什么这一步成立

把计算中的关键等号还原成定义或定理。若使用消元,说明初等行变换为何保持解集;若使用基,证明无关且生成;若使用投影,证明残差正交;若使用特征分解,确认独立特征向量足够;若使用最小二乘或SVD,说明最优性所采用的范数。证明不是把等号排成长队,而是让每一步都有合法依据。(证明锚:math-02-xiandai/u9/l06/岭正则化/proof。)

本节最危险的失败边界

正则化引入偏差;λ不能用测试集或结果好看来选。请构造最小反例,逐行指出错误解第一次偏离的位置;再修正条件重算。边界不是课后“注意事项”,而是定理的一部分。尤其要警惕把行等价当相似、把坐标当向量、把小残差当小误差、把相关性当独立以及在秩亏矩阵上强行求逆。(反例锚:math-02-xiandai/u9/l06/岭正则化/counterexample。)

手算与程序互相验收

手算负责揭示结构,程序负责覆盖更多输入。程序题从标准输入读取矩阵或向量,至少四组测试覆盖普通、奇异、零值和边界情况。输出一个数字不够:还要检查Ax-b残差、Q^TQ-I、A-PDP^-1、A-UΣV^T或相对后向误差。数值算法返回成功不代表数学问题条件良好。(计算锚:math-02-xiandai/u9/l06/岭正则化/computation。)

随课四题的严格标准

单选检查定理条件,多选检查证据链,计算题必须写中间式,证明题按10分量表验收:对象与条件2分、关键推导3分、计算或几何解释2分、反例2分、记号与维数1分。只报答案、只背口诀或只贴软件输出不能证明掌握《岭正则化》。(练习锚:math-02-xiandai/u9/l06/岭正则化/practice。)

本课笔记怎样整理

为《岭正则化》单独留一页:左栏写定义和 \min|Ax-b|^2+\lambda|x|^2 的条件,中栏完整重算“比较不同λ下残差与参数范数,画偏差—方差权衡”,右栏保存失败边界“正则化引入偏差;λ不能用测试集或结果好看来选”及最小反例。页末再写一句与前后课的联系“承接病态;下一节做模型诊断”。一周后更换矩阵尺寸、基或参数重做;还能从定义恢复推导,才说明知识已经迁移而非记住版式。(笔记锚:math-02-xiandai/u9/l06/岭正则化/notes。)

交给下一节

闭卷回答:本节对象在哪个空间?核心关系怎样推出?例题哪一步使用了关键条件?撤掉哪个条件会失败?如何用另一不变量反查?最后把本节产出的解集、基、映射矩阵、正交分解、谱信息或误差界交给下一节。五问能重建才算学会。(交接锚:math-02-xiandai/u9/l06/岭正则化/handoff。)

Practice

本课练习

7

先独立作答再提交;编程题会在隔离沙箱中真实编译、运行并对拍。

1单选:岭正则化 4 积分
本科 · 入门

解决“比较不同λ下残差与参数范数,画偏差—方差权衡”哪条路线严格?

登录 后答题可以领积分
2多选:岭正则化 4 积分
本科 · 基础

验收《岭正则化》的推导需要哪些证据?

多选题:必须选全正确项,漏选或多选均不得分。

登录 后答题可以领积分
3计算:岭正则化 4 积分
本科 · 基础

《岭正则化》随课计算:残差平方4、参数平方9、λ=2,岭目标多少? 请依据 \min|Ax-b|^2+\lambda|x|^2,并说明它怎样服务于“比较不同λ下残差与参数范数,画偏差—方差权衡”。

登录 后答题可以领积分
4证明:岭正则化 4 积分
本科 · 挑战

严格完成《岭正则化》:解决“比较不同λ下残差与参数范数,画偏差—方差权衡”,从 \min|Ax-b|^2+\lambda|x|^2 给出关键推导,并处理失败边界“正则化引入偏差;λ不能用测试集或结果好看来选”。

登录 后答题可以领积分
5可运行矩阵实验:直线最小二乘
本科 · 挑战代码题

前半行输入x样本、后半行输入等量y样本,输出直线斜率和截距。 使用Python 3标准输入输出,浮点输出保留6位,不得使用第三方包。

5 积分进入编程工作台 →
6U9独立题01:岭正则化 4 积分
本科 · 挑战

u9卷第1题,解决“比较不同λ下残差与参数范数,画偏差—方差权衡”哪条路线严格?

登录 后答题可以领积分
7U9独立题08:岭正则化 4 积分
本科 · 挑战

u9卷第8题:证明或推导《岭正则化》,解决“比较不同λ下残差与参数范数,画偏差—方差权衡”,并用“正则化引入偏差;λ不能用测试集或结果好看来选”说明条件不可省略。

登录 后答题可以领积分