AI 为什么会？⑥ AI 为什么会一本正经地胡说八道？
上一篇，我们调查了一个很反直觉的现象。AI 可以说“不知道”，也可以在回答前检查自己，但这种不确定性判断并不天然可靠。那么，新的问题来了：为什么它有时候回答得非常准确，有时候却会一本正经地说错话？
调查现场
今天，我们继续做一个实验，请打开 ChatGPT，不要问数学，也不要写代码，问它一个真假很难判断的问题。例如：
鲁迅是不是说过：
"人这一生最大的遗憾，就是错过真正爱你的人。"
很多人第一次看到这句话，都会觉得，很像，有文采，有哲理，甚至，很符合鲁迅的风格，可是鲁迅根本没说过。网络上甚至有一个专门的梗。
鲁迅：这句话我没说过。
如果你把这句话发给 AI，不同模型，可能会有不同回答，有的会直接指出是假话，有的却会开始分析鲁迅为什么会这样说，甚至引用根本不存在的背景，为什么？
一、奇怪的不是它说错了
刚开始，我一直觉得，AI 最大的问题，就是会出错，后来，我发现，真正奇怪的不是它说错，而是：
它说错的时候，居然和说对的时候一样自信。
如果一个朋友告诉你一件事情，中途不断补一句：
我不确定。
你自然会提高警惕，可是 AI 不会，它回答正确的时候，语气是这样，回答错误的时候，语气还是这样，这一点，其实比错误本身更值得研究。
二、后来我终于明白了
第五篇，我们发现，语言模型没有一盏永远准确的“不知道”警报。于是，对它来说，正确句子和错误句子，都可能写得非常流畅。
知识和材料可靠、推理也没有走偏时，它可能答对；事实太罕见、问题含糊、材料拿错或者推理失败时，它仍然可能生成一段：
看起来非常合理的话。
请注意，这里有一个词非常重要，不是真实，而是：
合理。
三、流畅和真实，是两套标准
我后来才发现，我们一直把两种能力当成了一种：
把一句话说得像真的。
确认这句话就是真的。
语言模型从海量文本中学会什么样的表达更可能出现，也从中学到大量事实。但训练文本不会在每句话后面盖一个“已核验”的章。于是，它对语言模式的把握，可能远强于对某个罕见事实的核验。
它知道，一句法律条文通常是什么样，一篇论文通常怎么写，一本小说人物会怎样说话。于是，即使某个具体事实没有可靠依据，它仍然可能按照这些模式，写出一种非常合理，却根本不存在的内容。
四、所以，它不是在骗人
很多人说，AI 在骗人，我越来越不喜欢把所有错误都这样解释。骗人意味着知道真相、故意说假话，而一次普通的幻觉并不能证明模型有这种意图。它更像一个非常优秀的即兴演讲者，面对证据不足的问题，仍然凭借丰富的语言能力讲了十分钟。
逻辑完整，表达流畅，甚至听起来非常有道理。直到真正的专家出现，才发现里面很多细节都是错的。AI 很多时候就是这样。
五、这也是为什么，我越来越少问一个问题
以前，我喜欢只问 AI。
对不对？
现在，我越来越喜欢问。
为什么？
或者。
你的依据是什么？
但后来我发现，只追问“为什么”也不够。AI 完全可能为一个错误答案补出一套同样流畅的理由。更可靠的做法是继续问：依据来自哪里？原始材料是什么？能不能找到互相独立的来源？
AI 可以帮助我寻找思路和可能遗漏的信息，但重要事实仍然需要回到可核验的证据。高风险问题，还需要交给真正有责任和资质的人判断。
六、今天，我们终于可以给它起名字了
前面，我们一直没有提一个行业里的专业名词。现在，终于可以说了，AI 一本正经生成错误内容。行业里把这种现象叫作：
Hallucination。
中文通常翻译成：
幻觉。
这个名字听起来很神秘，背后却不只有一个机关。模型可能没学到那个事实，Context 里可能混入错误材料，检索可能找错，推理也可能中途拐弯；训练和评价方式还可能鼓励它先猜一个答案。
这些路径不一样，却会在同一个地方汇合：
生成得合理，不等于核验过真实。
调查笔记 No.6
今天，我们推翻了第六个认知。
❌ AI 在骗人。
✅ AI 生成的是符合训练和当前 Context 的内容，而这个过程并不天然保证事实已经核验。
今天，我们还第一次认识了一个专业名词。
Hallucination（幻觉）
不过，真正重要的不是记住这个名字，而是记住它为什么会出现。
当前掌握的线索
- AI 的回答来自训练形成的能力和当前 Context。
- AI 可以表达不确定，但不一定校准准确。
- 模型既学习事实，也学习语言和世界中的统计规律。
- 信息不足、材料错误、检索和推理失败，都可能导致错误。
- 流畅生成并不等于事实核验。
下一步调查
如果 AI 这么容易出错，为什么我们还越来越相信它？又为什么它在很多场景下，准确率越来越高？
答案，也许不在 AI 身上。
而在：
人类开始学会怎样和 AI 合作。
下一篇，我们继续调查。
《AI 为什么会？⑦ AI 到底什么时候可以相信？》