第9章笔记：图像分类与目标检测

本章任务

从softmax和长尾学习走到框、IoU、NMS、锚框、检测器和mAP。 先用一幅小图、少量点、短视频或手算张量建立基准，再让代码输出全部中间证据，最后在真实分辨率、困难切片和系统资源约束下验收。

七节连接

• 图像分类、softmax与交叉熵：分类把整图映到互斥或多标签分布；softmax对数平移不变，交叉熵惩罚真类低概率。 核心关系：cross entropy=-log p_true。 算例：真类概率0.8，损失约0.223。 边界：多标签任务仍用softmax互斥；直接exp大logit溢出。
• 类别不平衡、采样与损失：长尾数据下整体损失由多数类主导；重采样、类别权重和focal loss改变优化目标并可能影响校准。 核心关系：weighted loss=class_weight_y×loss。 算例：少数类权重4、原损失.3，加权1.2。 边界：把测试集也平衡后报告部署准确率；重复采样造成过拟合未监控。
• 边界框、IoU与坐标变换：检测框可用角点或中心宽高表示；裁剪、缩放、翻转必须同步坐标，IoU度量重叠而非中心距离。 核心关系：IoU=intersection/union。 算例：两个面积100的框交集50，并集150，IoU=1/3。 边界：归一化坐标与像素混用；框裁剪后出现负宽高。
• NMS与重复检测：NMS按分数保留框并抑制高IoU邻居；阈值会在重复框与密集目标漏检间权衡。 核心关系：suppress if IoU(candidate,kept)>threshold。 算例：三个框A/B IoU=.8、A/C=.1，阈值.5且A最高，抑B保C。 边界：跨类别错误互相抑制；密集人群阈值照搬通用数据。
• 锚框、正负样本与回归：锚框方法把位置/尺度离散为候选，按IoU匹配正负并回归偏移；匹配策略决定监督质量。 核心关系：t_x=(x_gt-x_anchor)/w_anchor，t_w=log(w_gt/w_anchor)。 算例：anchor中心10宽20，gt中心14宽40，tx=.2、tw=ln2。 边界：正负阈值留空样本未处理；增强后gt与anchor坐标系不同。
• 两阶段与单阶段检测器：两阶段先提候选再分类回归，单阶段密集预测；速度、召回、显存和小目标表现需同口径比较。 核心关系：end-to-end latency=preprocess+model+postprocess。 算例：预处理5ms、模型30ms、NMS10ms，总45ms而非只报30ms。 边界：只比较论文FLOPs；漏掉解码与数据搬运。
• 检测mAP、误差分析与部署：AP按类别和IoU阈值汇总排序质量；部署还需分析漏检、定位、分类、重复和延迟失败。 核心关系：mAP=mean AP across declared classes/IoU thresholds。 算例：三类AP为.6、.75、.9，mAP=.75。 边界：只报单个IoU=.5；过滤低质样本后再评。

实验要求

运行本章两道Python视觉算法实验的四组测试，并新增空输入、零深度、退化匹配、遮挡、模糊、低纹理、域外、类别长尾、错标定或资源超限中的至少一种。保存原图/样本hash、相机与坐标、数据和模型版本、随机种子、中间量、预测、残差、指标和首个偏差。

错题闭环

按成像假设、坐标/单位、shape、采样、几何退化、阈值方向、训练测试泄漏、指标分母、置信校准、最差切片、隐私与部署资源分类。更换一个焦距、基线、噪声、阈值、划分单位、设备或失败条件重做阶段卷；能先预测变化方向，再复算并解释失效，才算真正掌握。