跳到正文

第13章笔记:可信视觉、隐私与生产系统

课程笔记

建立校准拒识、公平、隐私、解释、数据版本、端侧性能和更新门禁。

关联:章节 第13章 可信视觉、隐私与生产系统

第13章笔记:可信视觉、隐私与生产系统

本章任务

建立校准拒识、公平、隐私、解释、数据版本、端侧性能和更新门禁。 先用一幅小图、少量点、短视频或手算张量建立基准,再让代码输出全部中间证据,最后在真实分辨率、困难切片和系统资源约束下验收。

七节连接

  • 置信校准、选择性预测与拒绝:高风险系统应在不确定时拒绝或转人工;覆盖率降低通常能提高保留样本风险表现。 核心关系:selective risk=errors among accepted/accepted count。 算例:100例接受80例,其中4错,选择性风险5%。 边界:只报拒绝后的准确率不报覆盖;拒绝集中伤害某群体。
  • 公平性、数据代表性与切片:视觉性能可能随肤色、年龄、地域、设备和环境变化;总体均值不能替代群体切片和用途审查。 核心关系:worst-group metric=min metric_g over declared groups。 算例:三组召回.95,.9,.6,最差组召回.6而非总体均值。 边界:为凑均衡复制少数样本却无场景多样性;敏感属性标签来源不合法。
  • 隐私、人脸与可逆特征风险:图像含身份、位置、屏幕和旁观者信息;embedding也可能被链接或反演,需最小化、访问和保留控制。 核心关系:privacy pass=purpose∧necessity∧consent/legal basis∧security∧deletion。 算例:只需人数统计却保存原始人脸视频和永久特征,违反必要性与保留最小化。 边界:打码后原图仍在日志;把embedding称完全匿名。
  • 可解释性、显著图与因果证据:显著图显示输出对输入变化的敏感性,不自动说明人类因果理由;解释方法也需忠实度与稳定性测试。 核心关系:deletion faithfulness compares score drop after removing important regions。 算例:移除显著区域分数从.9降到.4,下降.5,但仍需与随机区域对照。 边界:把彩色热图当证明;解释对模型参数随机化仍不变。
  • 数据版本、标注质量与可追溯性:数据集需记录来源、许可、采集条件、标注指南、版本、去重和划分;标注分歧本身是信号。 核心关系:agreement rate=agreed items/all jointly labeled items。 算例:两标注者共同标100例、同意85例,一致率85%。 边界:在线覆盖原标注无审计;同一视频帧跨划分。
  • 视觉推理延迟、吞吐与能耗:端到端视觉包含解码、预处理、传输、模型和后处理;批处理提升吞吐却增加等待和显存。 核心关系:latency=queue+decode+preprocess+model+postprocess。 算例:阶段3、4、2、20、6ms,总35ms。 边界:只报模型kernel时间;热降频前短测。
  • 安全案例、监控与模型更新:视觉模型上线后需监控输入漂移、置信、业务错误和人工复核;更新要兼容、灰度、回滚并防数据投毒。 核心关系:release gate=quality∧safety∧privacy∧latency∧monitoring∧recovery。 算例:六项门禁中监控未就绪,即使离线mAP更高也不能发布。 边界:线上错例自动回灌无审核;新模型覆盖旧版本不可复现。

实验要求

运行本章两道Python视觉算法实验的四组测试,并新增空输入、零深度、退化匹配、遮挡、模糊、低纹理、域外、类别长尾、错标定或资源超限中的至少一种。保存原图/样本hash、相机与坐标、数据和模型版本、随机种子、中间量、预测、残差、指标和首个偏差。

错题闭环

按成像假设、坐标/单位、shape、采样、几何退化、阈值方向、训练测试泄漏、指标分母、置信校准、最差切片、隐私与部署资源分类。更换一个焦距、基线、噪声、阈值、划分单位、设备或失败条件重做阶段卷;能先预测变化方向,再复算并解释失效,才算真正掌握。