第4章笔记：局部特征、匹配与全景

本章任务

从角点和描述子走到比率检验、RANSAC、单应、拼接和检索。 先用一幅小图、少量点、短视频或手算张量建立基准，再让代码输出全部中间证据，最后在真实分辨率、困难切片和系统资源约束下验收。

七节连接

• 角点与可重复关键点：好关键点在两个方向都有强变化，并在尺度、视角和光照变化下可重复定位。 核心关系：Harris response=det(M)-k trace(M)²。 算例：M对角为4和3、k=.04，R=12-.04×49=10.04。 边界：只数关键点多少；在均匀区域调低阈值得到不稳定点。
• 局部描述子与不变性：描述子把关键点邻域编码为可比较向量；归一化、方向和尺度选择决定不变性与辨别力。 核心关系：cosine similarity=a·b/(||a||||b||)。 算例：单位向量点积0.8，余弦相似度0.8。 边界：只看最近距离不看歧义；归一化零向量。
• 特征匹配、比率与互检：最近邻匹配需拒绝歧义和异常；比率检验比较第一、第二邻居，互检减少单向偶然对应。 核心关系：ratio=d1/d2，accept if ratio<threshold。 算例：d1=.4、d2=.8，比率.5，在阈值.75下接受。 边界：固定阈值跨描述子；重复纹理产生大量貌似良好匹配。
• RANSAC与鲁棒估计：RANSAC从最小样本提出模型，以一致集评分；迭代数取决于内点率、样本数和成功概率。 核心关系：N=log(1-p)/log(1-w^s)。 算例：内点率.5、最小样本4，一次全内点概率.0625。 边界：阈值无单位依据；只用最小样本模型不在全部内点上重估。
• 单应矩阵与平面映射：平面场景或纯旋转下，两幅图可由3×3单应关联；一般三维平移不能用单应解释全部点。 核心关系：x_prime~H x，H has 8 degrees of freedom up to scale。 算例：4对一般位置点提供8个标量约束，可求8自由度H。 边界：拿街景非平面点全拟合单应；四点近共线导致病态。
• 全景拼接与曝光融合：全景需特征对应、几何估计、画布变换、接缝选择与曝光融合；视差会破坏单一单应。 核心关系：mosaic pipeline=match→robust H→warp→seam→blend。 算例：五阶段每阶段成功率.98，独立近似总成功率约.904。 边界：只扩大RANSAC阈值掩盖视差；多次重采样造成模糊。
• 图像检索与几何核验：全局/局部特征召回候选，几何核验确认空间一致性；排名指标需按查询级报告。 核心关系：average precision averages precision at relevant ranks。 算例：相关结果在排名1和3，AP=(1/1+2/3)/2≈.8333。 边界：用同一物体近重复图跨库；只看top-1不分析召回。

实验要求

运行本章两道Python视觉算法实验的四组测试，并新增空输入、零深度、退化匹配、遮挡、模糊、低纹理、域外、类别长尾、错标定或资源超限中的至少一种。保存原图/样本hash、相机与坐标、数据和模型版本、随机种子、中间量、预测、残差、指标和首个偏差。

错题闭环

按成像假设、坐标/单位、shape、采样、几何退化、阈值方向、训练测试泄漏、指标分母、置信校准、最差切片、隐私与部署资源分类。更换一个焦距、基线、噪声、阈值、划分单位、设备或失败条件重做阶段卷；能先预测变化方向，再复算并解释失效，才算真正掌握。