第5章笔记：多视几何与三维重建

本章任务

贯通极线、本质矩阵、三角化、PnP、束调整、立体视觉和SfM。 先用一幅小图、少量点、短视频或手算张量建立基准，再让代码输出全部中间证据，最后在真实分辨率、困难切片和系统资源约束下验收。

七节连接

• 极线几何与基本矩阵：两相机中一幅图的点在另一幅图约束于极线上；F编码未标定像素坐标的对应关系。 核心关系：x_prime^T F x=0。 算例：给定点代入得到残差0表示满足理想极线约束；实际用点到线距离。 边界：把极线约束当唯一匹配；退化纯旋转仍硬估F。
• 本质矩阵与相对姿态：标定坐标下E=[t]_x R，能恢复相对旋转和平移方向，但单目尺度未知且有多解。 核心关系：E=K_prime^T F K。 算例：归一化后分解E得到4组候选姿态，用三角化点在两相机前方筛选。 边界：把平移方向当米制长度；忽略相机几乎共线退化。
• 三角化与深度敏感性：从两条带噪射线估三维点；基线越小或点越远，夹角越小，深度误差越大。 核心关系：rectified stereo Z=fB/disparity。 算例：f=800px、B=.1m、视差40px，Z=2m。 边界：视差接近零仍给有限深度；混用像素和米。
• PnP与相机定位：PnP用三维—二维对应估计相机姿态；平面/共线点、错误匹配和尺度影响稳定性。 核心关系：pose minimizes Σ||p_i-project(K,R,t,X_i)||²。 算例：20点中16个内点，RANSAC后用16点非线性重估。 边界：只报重投影小却姿态镜像；控制点分布集中。
• 束调整与稀疏优化：束调整联合优化相机和三维点的重投影误差，具有规范自由度与稀疏块结构。 核心关系：min Σ robust_loss(||observation-project(camera,point)||²)。 算例：100相机各见200点不等于解一个稠密大矩阵，可利用相机—点稀疏图。 边界：未固定尺度/坐标规范；异常点用纯平方损失拖偏。
• 立体校正、视差与遮挡：校正使对应点落在同一扫描线；视差搜索需处理纹理弱、重复纹理、遮挡与左右一致性。 核心关系：depth=fB/d，depth sensitivity grows as d becomes small。 算例：f=700、B=.12、d=28，深度3m。 边界：遮挡处强行填视差；只用训练场景调窗口。
• 增量SfM与回环一致性：SfM从匹配图初始化、注册相机、三角化、束调整并合并轨迹；回环暴露累计漂移。 核心关系：reconstruction graph must remain geometrically consistent across cycles。 算例：三段相对旋转各30度组成应闭合90度目标，累计误差需在全局优化中分配。 边界：从窄基线对初始化；错误回环污染全局地图。

实验要求

运行本章两道Python视觉算法实验的四组测试，并新增空输入、零深度、退化匹配、遮挡、模糊、低纹理、域外、类别长尾、错标定或资源超限中的至少一种。保存原图/样本hash、相机与坐标、数据和模型版本、随机种子、中间量、预测、残差、指标和首个偏差。

错题闭环

按成像假设、坐标/单位、shape、采样、几何退化、阈值方向、训练测试泄漏、指标分母、置信校准、最差切片、隐私与部署资源分类。更换一个焦距、基线、噪声、阈值、划分单位、设备或失败条件重做阶段卷；能先预测变化方向，再复算并解释失效，才算真正掌握。