第6章笔记：运动估计、跟踪与视频理解

本章任务

覆盖光流约束、金字塔、关联、背景、时序滤波和动作识别。 先用一幅小图、少量点、短视频或手算张量建立基准，再让代码输出全部中间证据，最后在真实分辨率、困难切片和系统资源约束下验收。

七节连接

• 亮度恒常与光流约束：小时间间隔、同一点亮度近似不变，泰勒展开给一个方程两个速度未知量，需要局部/全局正则。 核心关系：I_x u+I_y v+I_t=0。 算例：Ix=2、Iy=0、It=-6，只能确定u=3，v仍不可辨。 边界：光照闪烁仍假设恒常；把单像素方程直接解二维速度。
• Lucas–Kanade局部光流：窗口内假设同一速度，用加权最小二乘求解；结构张量条件数决定可估性。 核心关系：v=(A^T W A)^-1 A^T W b when well-conditioned。 算例：角点窗口两方向梯度丰富可解，单条水平边只能约束法向速度。 边界：不检查最小特征值；窗口跨运动边界把两物体平均。
• 金字塔光流与大位移：粗到细在低分辨率估大位移并逐层细化；尺度数、warp和插值误差决定范围。 核心关系：displacement at level l≈original displacement/2^l。 算例：原图位移64px，在第3层约8px。 边界：每层只迭代一次；运动超过搜索范围仍返回伪结果。
• 目标跟踪与数据关联：跟踪把检测跨帧关联为轨迹，依赖运动模型、外观、门控、遮挡和出生/死亡策略。 核心关系：assignment cost=motion distance+appearance distance with gating。 算例：候选运动代价2、外观3、权重各1，总代价5。 边界：只按最近位置导致身份交换；长遮挡后无重识别门槛。
• 背景建模与运动分割：背景随光照、周期运动和相机抖动变化；前景判定需时间模型、更新率与形态后处理。 核心关系：background_t=(1-alpha)background_prev+alpha frame_t。 算例：背景100、新帧120、alpha=.1，更新后102。 边界：前景像素被迅速吸入背景；移动相机仍用静态背景模型。
• 视频时序滤波与事件检测：帧级预测需利用时间连续性又保持真实突变；滑窗、HMM/RNN或状态机有不同延迟与假设。 核心关系：moving average latency roughly grows with window length。 算例：5帧平均在30fps覆盖约167ms时间窗。 边界：平滑窗口过大错过短事件；训练随机帧导致相邻帧泄漏。
• 动作识别与视频评价：动作由空间外观和时间变化共同定义；采样、剪辑边界、长尾与主体定位影响结果。 核心关系：clip coverage=sampled duration/event duration。 算例：事件4秒，只采到2秒，时间覆盖50%。 边界：同一演员片段跨训练测试；只看剪辑准确率不看事件定位。

实验要求

运行本章两道Python视觉算法实验的四组测试，并新增空输入、零深度、退化匹配、遮挡、模糊、低纹理、域外、类别长尾、错标定或资源超限中的至少一种。保存原图/样本hash、相机与坐标、数据和模型版本、随机种子、中间量、预测、残差、指标和首个偏差。

错题闭环

按成像假设、坐标/单位、shape、采样、几何退化、阈值方向、训练测试泄漏、指标分母、置信校准、最差切片、隐私与部署资源分类。更换一个焦距、基线、噪声、阈值、划分单位、设备或失败条件重做阶段卷；能先预测变化方向，再复算并解释失效，才算真正掌握。