梯度下降与线搜索

本节属于“非线性求根与优化”。目标不是记住一串数值分析名词，而是能够从问题定义出发，独立写出计算对象、推导公式、完成一个带数字的基准、实现可复查算法，并识别会让结论失效的边界。学完后应能在不看正文的情况下解释 gradient descent、Armijo、line search、Lipschitz、conditioning 之间的关系。 对《梯度下降与线搜索》，本段必须回到这条专属证据复核：梯度下降沿负梯度降低目标；线搜索决定步长，避免固定步长在陡峭方向振荡或在平坦方向爬行。

1. 数学对象与物理含义

梯度下降沿负梯度降低目标；线搜索决定步长，避免固定步长在陡峭方向振荡或在平坦方向爬行。

先固定本节的输入、输出和不变量。输入必须写明单位、尺度、数据类型、边界或初值；输出不仅是最终数字，还包括能证明计算可信的残差、守恒量、收敛阶、置信区间或状态码。gradient descent 是本节建模的起点，conditioning 是判断结果能否外推的关键边界。若题目没有给齐这些条件，应先补规格，不得默认成最方便的情形。 对《梯度下降与线搜索》，本段必须回到这条专属证据复核：x_{k+1}=x_k-α_k∇f。Armijo条件 f(x+αp)≤f(x)+cα∇f^Tp 保证充分下降；对二次型，稳定固定步长需0<α<2/λmax。

一个合格的问题规格至少回答四件事：求什么量、允许多大误差、在哪个参数范围内成立、失败时怎样显式返回。这样才能区分“程序跑完”“离散方程算对”和“物理结论可信”这三件不同的事。

2. 公式链与推导

x_{k+1}=x_k-α_k∇f。Armijo条件 f(x+αp)≤f(x)+cα∇f^Tp 保证充分下降；对二次型，稳定固定步长需0<α<2/λmax。

推导时按以下顺序书写，而不是直接抄最后一式：

1. 从上一节定义的变量或算子写出第一行等式，并标出求和范围、固定变量和边界条件。
2. 代入离散表示、基函数、概率分布或时间推进式，保留决定主误差的第一项。
3. 整理得到可计算形式，检查矩阵维数、量纲、符号与极限。
4. 用零输入、解析极限或守恒关系反查；反查不过时，不能进入大规模计算。 对《梯度下降与线搜索》，本段必须回到这条专属证据复核：f=1/2(x²+100y²)，α=0.02在y方向达到稳定边界并振荡，α=0.01可衰减y但x很慢，体现条件数导致的之字形。

上述公式只在本节给出的模型条件下成立。若使用近似，报告中必须显式写出控制近似的小参数；若使用范数或概率，必须说明归一化约定。公式看似相同但单位、内积、边界或随机解释不同，得到的是不同问题。

3. 已算完的基准例题

f=1/2(x²+100y²)，α=0.02在y方向达到稳定边界并振荡，α=0.01可衰减y但x很慢，体现条件数导致的之字形。

复算时先预测符号和数量级，再逐项代入。答案需保留关键中间量，不能只给最后一位小数。随后把控制参数扩大或缩小两倍，比较结果究竟按线性、平方、平方根、指数还是其他规律变化；这一步能迅速暴露漏系数、错单位和错误归一化。

本例也是实现的最小回归测试。手算值、程序值、二者差异和容差来源应同时保存。若只能通过放宽容差让测试变绿，应先解释误差预算，而不是修改期待值迎合程序。

4. 可执行算法或实验

计算目标和梯度；用有限差分做方向导数检查；设p=-g；从α0回溯直到Armijo满足；记录目标、梯度范数和接受步长；按尺度画轨迹。

把这段过程实现成六个可观察阶段：输入校验、对象构造、核心更新、停止判据、独立验证、结果归档。每一阶段输出一个能定位首个错误的证据。随机算法还要记录生成器、种子、热化和有效样本量；迭代算法要同时记录残差和迭代状态；网格算法要保存至少三层离散尺度；动力学算法要保存守恒量或概率随时间的漂移。 对《梯度下降与线搜索》，本段必须回到这条专属证据复核：计算目标和梯度；用有限差分做方向导数检查；设p=-g；从α0回溯直到Armijo满足；记录目标、梯度范数和接受步长；按尺度画轨迹。

验收不能只看一张平滑图。至少运行正常、边界、退化、错误四类输入，并让错误输入得到明确失败状态。性能比较必须在相同问题、相同精度目标和相同硬件口径下进行。

5. 误差预算与适用边界

停止时应报告梯度范数与参数变化；观测噪声或有限差分梯度有误差时，过严阈值只会追噪。参数尺度不同需预条件或重参数化。

误差表至少分开输入/测量误差、模型误差、离散或截断误差、迭代误差、舍入误差和抽样误差。只报告总误差会掩盖主导来源，也无法判断增加网格、样本或迭代是否值得。若两类误差相关，还应说明协方差或共同随机数的处理方式。

结论必须附适用范围：参数区间、稳定条件、边界类型、光滑性、独立性或遍历性假设。离开这些条件后，应重新验证，而不是沿用本节图表。

6. 最短失败案例

梯度符号错会让线搜索永不接受；只设最大迭代而不报告停止原因会把失败伪装成答案。故意反转一维梯度应触发门禁。

请把这个失败案例真的实现出来，记录错误首次出现在哪一步：输入规格、算子组装、时间推进、停止条件还是统计解释。修复后同时保留失败测试，防止以后回归。仅写“可能不准确”不算分析；必须指出会多算或少算什么、哪个等式失效、残差或守恒量怎样变化，以及应该换用什么算法、边界或表示。 对《梯度下降与线搜索》，本段必须回到这条专属证据复核：停止时应报告梯度范数与参数变化；观测噪声或有限差分梯度有误差时，过严阈值只会追噪。参数尺度不同需预条件或重参数化。

7. 闭卷自检

1. 用一句话区分 gradient descent 与 conditioning 在本节中的职责。
2. 从定义重建上面的公式链，并在每个等号旁写成立条件。
3. 不看答案重算数值例题，解释数量级和参数缩放。
4. 写出正常、边界、退化、错误四组测试的预期状态。
5. 说明误差预算中哪一项当前占主导，以及怎样用一次额外实验验证判断。 对《梯度下降与线搜索》，本段必须回到这条专属证据复核：梯度符号错会让线搜索永不接受；只设最大迭代而不报告停止原因会把失败伪装成答案。故意反转一维梯度应触发门禁。

五项中任何一项答不出，都应回到相应章节重算；继续浏览并不能替代真正掌握。