对比学习与表示空间
约 60 分钟
对比学习与表示空间
从一幅图像真正能知道什么开始
本节研究 对比学习与表示空间。先固定用户任务、真实场景、相机/传感器、数据版本和输出用途,再问像素究竟约束了什么。计算机视觉不是把图片交给模型就结束,而是从光线、坐标、采样和标注一路建立到预测、指标、失败处置的证据链。
老师会按“看见现象—画出对象—写出假设—推导关系—算完小例—实现算法—反查失败”的顺序推进。对“对比学习与表示空间”,先用肉眼可判断的小图建立直觉,再把直觉翻译为“InfoNCE=-log exp(sim_pos/tau)/Σ exp(sim_j/tau)。”;随后用“正对相似度高但把同类别其他图全当负样本可能产生假负。”核对每个中间量。这样后面的代码只是执行已经理解的模型,而不是用库函数掩盖不懂的成像、几何或统计关系。
本节专属对象
对比学习拉近正样本、推远负样本;正对定义、温度和batch/队列决定学到的不变性。。把对象分成物理场景、成像过程、图像/视频张量、几何或统计模型、训练数据、输出和业务动作,并写清坐标系、单位、时间戳、随机种子与版本。像素相关不等于场景因果,数据集分数也不自动等于部署能力。
公式、模型与适用条件
核心关系是:InfoNCE=-log exp(sim_pos/tau)/Σ exp(sim_j/tau)。。先说明变量维度、坐标约定、单位、噪声模型、独立性或场景假设,再逐项代入。遇到遮挡、纹理不足、光照变化、退化几何、域外输入、类别长尾或传感器不同,应进入明确失败分支,不能静默输出高置信答案。
老师带着算完例子
正对相似度高但把同类别其他图全当负样本可能产生假负。。这里给出输入、中间量和结论。现在只改变一个焦距、深度、阈值、样本比例、帧率或扰动量,先预测输出方向,再复算。方向不对时依次检查坐标/shape、分母与单位、训练测试边界、阈值方向和评测集合。
把视觉算法拆成可检查的行
围绕“对比学习与表示空间”至少写五行:第一行写场景与成像/数据假设;第二行写输入坐标、shape、单位和版本;第三行按“InfoNCE=-log exp(sim_pos/tau)/Σ exp(sim_j/tau)。”输出中间几何量、特征、概率或损失;第四行写预测及置信/残差;第五行写指标和失败标记。用“正对相似度高但把同类别其他图全当负样本可能产生假负。”逐项代入,不允许只贴最终热图或准确率。
完成正向计算后做两次反查。先从预测向后找到阈值、模型版本、特征/几何中间量、预处理、原图与相机;再从场景向前重放成像、采样、算法和决策。最后注入“裁剪掉目标仍标正对;测试图参与预训练后称零样本。”,定位首个偏差并验证拒识、恢复或人工接管。
落到可运行实验
构造小相似度矩阵手算softmax,比较增强与温度。。实验保存数据划分、样本hash、相机/设备、代码与参数、随机种子、中间张量或轨迹、运行资源和输出。Python算法题必须真实读取输入并计算,至少覆盖正常、最小、边界和失败四组测试;涉及训练的实验还需冻结数据与评测协议。
复杂度、资源与系统边界
分析“对比学习与表示空间”受像素数、核大小、特征/匹配数、帧数、点云规模、类别数、token数或设备算力中的哪个量控制。小例确认语义,尺度实验说明时间/显存,困难切片说明泛化。结论必须连接成像—算法—指标—用户决策,而不是停在模型名字。
本节报告至少保留输入、坐标/单位、版本、公式中间量、预测、失败样本和资源成本。先用“正对相似度高但把同类别其他图全当负样本可能产生假负。”校验实现,再用“裁剪掉目标仍标正对;测试图参与预训练后称零样本。”做最短反例。库函数可以使用,但必须说明输入约定、算法保证和不适用条件。
最短失败反例
本节边界是:裁剪掉目标仍标正对;测试图参与预训练后称零样本。。构造最小图像、匹配、轨迹、标签或设备条件让问题出现,指出被破坏的假设,并给可运行修复、回归样本、监控和拒识策略。只写“换更大模型”“多加数据”不算修复。
在线练习与闭卷自检
本节绑定单选、多选、计算和严格推导/实验题;章节另有真实Python视觉算法实验,每题至少四组测试。闭卷重建五项:对象“对比学习拉近正样本、推远负样本;正对定义、温度和batch/队列决定学到的不变性。”;核心关系“InfoNCE=-log exp(sim_pos/tau)/Σ exp(sim_j/tau)。”;算完例题“正对相似度高但把同类别其他图全当负样本可能产生假负。”;实验步骤;失败边界“裁剪掉目标仍标正对;测试图参与预训练后称零样本。”。缺一项,就还没有真正掌握《对比学习与表示空间》。
Practice
本课练习
先独立作答再提交;编程题会在隔离沙箱中真实编译、运行并对拍。
围绕对比学习与表示空间完成可复算解答:解释“对比学习拉近正样本、推远负样本;正对定义、温度和batch/队列决定学到的不变性。”,逐行使用 InfoNCE=-log exp(sim_pos/tau)/Σ exp(sim_j/tau)。 重算“正对相似度高但把同类别其他图全当负样本可能产生假负。”,执行“构造小相似度矩阵手算softmax,比较增强与温度。”,再针对“裁剪掉目标仍标正对;测试图参与预训练后称零样本。”构造最小反例并修正。
【评分量表】对象与口径2分;公式和中间步骤3分;例题数值3分;失败边界与修正2分。
完成对比学习与表示空间的模型推导、计算和失败回放。
【量表】对象2;公式3;几何/视觉证据3;失败修正2。边界:裁剪掉目标仍标正对;测试图参与预训练后称零样本。