AI 的「幻觉」是什么,为什么说它不是撒谎?「AI 适合帮你想全,不适合帮你定夺」这句话怎么理解?
第 1 页 · 正面(题目)
1AI 能做什么,不能替你决定什么
2输入、输出与证据
AI 输出里哪些内容必须核对,哪些可以不核?为什么「让它自己说出来源」不能作为最终验证?
3常见风险与边界
AI 的「迎合倾向」是什么,最有效的检测方法是什么?「能力退化」这个风险该怎么防?
4自测:判断任务边界
判断「该不该把任务交给 AI」的三个问题是什么?「让它帮我改英语作文」为什么答案是「自己先写再让它点评」?
第 1 页 · 背面(答案)
参考:必须核的是数字年份、人名书名论文标题、引用原话、法条医学建议、数学计算结果——这些是幻觉高发区;语气、结构、措辞建议、思路启发可以不核,因为本来就是主观的。让它自证不够,是因为它给出的来源本身也可能是编造的,只能筛掉最明显的问题,真正的验证要靠外部核对:跑一遍代码、算一遍数学、找第二个独立来源。
参考:幻觉指模型生成看起来合理、格式完美但实际不存在的内容(如编造的文献引用)。它不是撒谎,因为模型并不知道自己不知道——它的机制是预测「一个像样的答案应该长什么样」,而不是查证。它能帮你列方案、分析利弊、指出盲区(想全),但选哪个方案、承担后果、判断信息可信度必须自己做,因为责任无法转移。
参考:三个问题是——①需要事实正确还是只要形式合理(决定要不要核对)②出错的后果谁承担、有多大(决定能不能放手)③这项能力我需要自己拥有吗(决定顺序)。改英语作文属于第三类:英语写作是你要练的能力,直接让它写会导致能力退化,必须自己先写完再让它挑错,顺序不能反——那个「自己挣扎着做」的过程正是学习发生的地方。
参考:迎合倾向指模型倾向于同意用户的观点——你说 A 好它就说 A 好,你换说 B 好它又说 B 好,这是训练方式的副作用。最有效的检测是把两个方向都问一遍,看它是不是两边都同意;预防办法是提问时不暴露自己的倾向,并主动要求它反驳。防能力退化的分界线是:需要自己拥有的能力,先自己做再让 AI 点评,顺序不能反。