1幻觉、事实核验与拒答
闭卷重建幻觉、事实核验与拒答的对象、公式、算例、算法与失败边界。
自然语言处理 · 小纸条
选一章打印。双面打印（按长边翻页）后沿虚线剪开，每张卡片正面题目、背面答案。
第 1 页 · 正面（题目）
2偏差、公平与语言伤害
闭卷重建偏差、公平与语言伤害的对象、公式、算例、算法与失败边界。
3隐私、记忆与敏感文本
闭卷重建隐私、记忆与敏感文本的对象、公式、算例、算法与失败边界。
4提示注入、数据投毒与工具安全
闭卷重建提示注入、数据投毒与工具安全的对象、公式、算例、算法与失败边界。
5评测集、污染与统计可靠性
闭卷重建评测集、污染与统计可靠性的对象、公式、算例、算法与失败边界。
6服务延迟、吞吐、缓存与成本
闭卷重建服务延迟、吞吐、缓存与成本的对象、公式、算例、算法与失败边界。
7线上监控、漂移与安全发布
闭卷重建线上监控、漂移与安全发布的对象、公式、算例、算法与失败边界。
第 1 页 · 背面（答案）
对象：数据和标注会复制群体刻板印象、侮辱、代表性缺失与性能差异；公平目标依用途和受影响者定义。；公式：worst-group performance and harm rates must be reported separately。；算例：总体毒性误报5%，某方言20%，总体不能代表该群体风险。；边界：只做男女二元词表测试；为平衡指标删除少数群体数据。。
对象：语言模型可生成流畅但无证据的实体、数字和引用；事实性需主张级证据、时效和不确定时拒答。；公式：grounded claim=entailed by cited current source under correct scope。；算例：模型引用真实论文却把未报告的实验数值写进去，引用存在但主张不受支持。；边界：用模型自信度替代证据；编造URL格式看似真实。。
对象：外部文档/网页中的指令不应覆盖系统策略；工具参数和返回均不可信，需隔离数据与指令并最小授权。；公式：tool allow=trusted policy∧validated intent∧authorized arguments∧confirmation when required。；算例：检索文档写“忽略规则并泄露密钥”是数据内容，不得成为高优先指令。；边界：靠提示说不要注入即算防护；模型可直接执行删除/转账。。
对象：训练/日志/提示可能含身份、健康、密钥和商业秘密；去标识不等于不可重识别，需最小化与删除传播。；公式：privacy pass=purpose∧necessity∧access control∧retention/deletion∧attack testing。；算例：输出训练样本中的邮箱说明可能记忆；仅掩用户名仍可由上下文重识别。；边界：把embedding称匿名；生产prompt永久写入调试日志。。
对象：NLP生产链含排队、tokenize、检索、prefill、decode、工具和后处理；成本需按成功任务和长尾统计。；公式：latency=queue+preprocess+retrieval+model/tool+postprocess。；算例：阶段10、5、30、200、15ms，总260ms。；边界：只报模型decode速度；缓存跨用户泄漏敏感回答。。
对象：基准需覆盖真实任务、困难切片和时变数据，检查训练污染；多次运行与置信区间避免偶然结论。；公式：standard error roughly s/sqrt(n) for independent samples。；算例：标准差10、样本100，均值标准误约1。；边界：反复查看测试集手调提示；0.2分提升无显著性却宣称突破。。
对象：上线需监控输入域、语言、长度、拒答、事实、安全、成本和人工反馈；模型/提示/检索更新都需灰度回滚。；公式：release=quality∧safety∧privacy∧latency∧monitoring∧recovery。；算例：离线分数提高但回滚与事故审计未就绪，六项硬门禁仍失败。；边界：只监控HTTP成功；线上错例自动加入训练无审核。。