AI 为什么会？⑥ AI 为什么会一本正经地胡说八道？
上一篇，我们调查了一个很反直觉的现象。很多人以为，AI 会先判断自己知不知道，然后再决定要不要回答，后来我们发现，事实并不是这样，对于 AI 来说，看到问题以后，它并不会先判断，而是直接开始生成，那么，新的问题来了，如果它一直都在生成，为什么有时候回答得非常准确。有时候却会一本正经地说错话？
调查现场
今天，我们继续做一个实验，请打开 ChatGPT，不要问数学，也不要写代码，问它一个真假很难判断的问题。例如：
鲁迅是不是说过：
"人这一生最大的遗憾，就是错过真正爱你的人。"
很多人第一次看到这句话，都会觉得，很像，有文采，有哲理，甚至，很符合鲁迅的风格，可是鲁迅根本没说过。网络上甚至有一个专门的梗。
鲁迅：这句话我没说过。
如果你把这句话发给 AI，不同模型，可能会有不同回答，有的会直接指出是假话，有的却会开始分析鲁迅为什么会这样说，甚至引用根本不存在的背景，为什么？
一、奇怪的不是它说错了
刚开始，我一直觉得，AI 最大的问题，就是会出错，后来，我发现，真正奇怪的不是它说错，而是：
它说错的时候，居然和说对的时候一样自信。
如果一个朋友告诉你一件事情。中途不断补一句：
我不确定。
你自然会提高警惕，可是 AI 不会，它回答正确的时候，语气是这样，回答错误的时候，语气还是这样，这一点，其实比错误本身更值得研究。
二、后来我终于明白了
第五篇：我们已经知道，AI 不会先判断：自己知不知道，所以，对于它来说，生成一句正确的话，和生成一句错误的话，流程其实完全一样，都是：根据眼前的信息，继续预测，继续生成，如果眼前的信息足够，生成的内容，大概率就是正确的，如果眼前的信息不足，它仍然会继续生成，于是，生成出来的就变成了一段：
看起来非常合理的话。
请注意，这里有一个词非常重要，不是真实，而是：
合理。
三、AI 最擅长的，从来不是事实
我们一直觉得，AI 很擅长回答问题，后来我越来越觉得，这个说法，应该改一下，AI 最擅长的其实不是事实，而是：
模式。
它知道，一句法律条文，通常是什么样，一篇论文，通常怎么写，一本小说，人物会怎样说话，一个程序，下一行大概率应该写什么，于是，即使缺少事实，它仍然能够按照这些规律，继续写下去，很多时候，就会写出一种，非常合理，却根本不存在的内容。
四、所以，它不是在骗人
很多人说，AI 在骗人，我越来越不喜欢这个说法，骗人意味着知道真相、故意说假话，AI 没有这个过程，它更像，一个非常优秀的即兴演讲者，突然被问到一个陌生领域的问题，他不知道答案，但是凭借丰富的语言能力，依然能够讲十分钟。
逻辑完整，表达流畅，甚至，听起来，非常有道理，直到，真正的专家出现，才发现，里面很多细节，都是错的，AI 很多时候就是这样。
五、这也是为什么，我越来越少问一个问题
以前，我喜欢问 AI。
对不对？
现在，我越来越喜欢问。
为什么？
或者。
你的依据是什么？
因为 AI 最大的价值不是替我下结论，而是帮助我找到推理过程、思考路径和可能遗漏的信息。真正需要负责判断的人，仍然是我自己。
六、今天，我们终于可以给它起名字了
前面，我们一直没有提一个行业里的专业名词。现在，终于可以说了，AI 一本正经生成错误内容。行业里把这种现象叫作：
Hallucination。
中文通常翻译成：
幻觉。
这个名字听起来有点神秘，其实一点都不神秘。它只是第五篇自然推导出来的结果。AI 不会先判断自己知不知道，于是，当信息不足的时候，它仍然继续生成，于是，就产生了幻觉。
调查笔记 No.6
今天，我们推翻了第六个认知。
❌ AI 在骗人。
✅ AI 只是继续生成了一个最合理的答案，而这个答案不一定是真实的。
今天，我们还第一次认识了一个专业名词。
Hallucination（幻觉）
不过，真正重要的不是记住这个名字，而是记住它为什么会出现。
当前掌握的线索
- AI 根据眼前的信息回答问题。
- AI 不会先判断自己知不知道。
- AI 学习的是规律，而不是标准答案。
- 当信息不足时，它仍然会继续生成。
- 于是，就可能产生"看起来合理，但实际上错误"的内容。
下一步调查
如果 AI 这么容易出错，为什么我们还越来越相信它？又为什么它在很多场景下，准确率越来越高？
答案，也许不在 AI 身上。
而在：
人类开始学会怎样和 AI 合作。
下一篇，我们继续调查。
《AI 为什么会？⑦ AI 到底什么时候可以相信？》