数值方法与科学计算 · 小纸条

对象：数值优化中“梯度下降与线搜索”的专属数学对象；公式：$x_{k+1}=x_k-{\alpha }_k\nabla f(x_k)$，Armijo要求充分下降；基准：f=(x-3)^2,x0=0,α=.25，x1=1.5,x2=2.25；反例：固定大步长可振荡/发散；梯度各分量尺度差会形成狭谷

对象：对单峰函数使用黄金比复用一个函数值；公式：$\tau =(\sqrt{5}-1)/2$；基准：f=(x-2)^2在[0,5]内通过比较两内点不断丢弃较差一侧；反例：区间内多峰时不保证全局最小；目标含噪时比较不稳

对象：数值优化中“共轭梯度优化”的专属数学对象；公式：二次目标 $f=\frac{1}{2}{x}^{T}Ax-b^{T}x$ 与解SPD线性系统等价；基准：A=diag(1,4),b=(1,4)时最优x=(1,1)，CG在精确算术最多2步；反例：把线性CG公式直接用在一般非二次目标上会失去共轭性

对象：数值优化中“Newton与拟Newton”的专属数学对象；公式：$p_N=-H^{-1}g$，BFGS用s,y做正定秩二更新；基准：f=(x-3)^2中H=2,g=2(x-3)，Newton从任意x一步到3；反例：Hessian非正定时Newton方向可不下降；BFGS需线搜索保证y^Ts>0

对象：数值优化中“非凸局部极值与多起点”的专属数学对象；公式：一阶驻点∇f=0不区分局部极小、极大与鞍点；基准：f(x)=(x^2-1)^2从x0>0与<0分别到达1和-1；反例：多起点也不保证找到全局最优；只报最好一次会隐藏不稳定性

对象：数值优化中“约束与投影梯度”的专属数学对象；公式：$x_{k+1}={\Pi }_C(x_k-\alpha \nabla f)$；基准：约束x≥0，f=(x+1)^2，无约束解-1投影后最优x=0；反例：对非凸集投影可不唯一；只把变量截断不等价于一般约束投影

对象：比较目标、梯度范数、迭代/函数评估数和墙钟；公式：$\Vert \nabla f(x_k)\Vert \le atol+rtol\Vert \nabla f(x_0)\Vert$；基准：在条件数1和1000的二次函数上比较梯度、Newton、BFGS；反例：不同方法停止口径不同却只比迭代次数没有意义