AI 为什么会?④ 为什么预测下一句话,会产生智能?
调查现场
今天,我们不打开 ChatGPT。先玩一个小游戏,请你预测下面这句话的最后一个字。
今天天气很好,我们一起去公____
大多数人都会填:
园。
为什么?因为前面的信息已经足够多了。再来一句。
中国的首都是北____
几乎所有人都会填:
京。
还是一样,继续。
牛顿发现了万有引力,是因为一个苹果砸到了他的____
你会填:
头。
看到这里,很多人都会觉得:预测下一个词好像并不难。于是,有人说:
大模型就是不断预测下一个词。
如果只听到这里,你一定会觉得:
那不就是文字接龙吗?
我第一次听到的时候,也是这么想的。
一、如果只是文字接龙,它为什么会写代码?
这是我一直想不通的地方:预测“北京”很正常。预测“苹果”也很正常,可是为什么还能预测:
for i in range(10):
为什么还能预测:SQL,预测:合同,预测:论文,这些东西,根本不是"接龙"那么简单。
二、后来我发现,我又理解错了一件事
我们一直觉得,AI 在预测:一个词,其实它预测的,不是一个词,而是
这个世界接下来最合理会出现什么。
这是完全不同的两件事情,举个例子。看到:
for i in range(10):
你为什么知道,下一行,大概率要缩进?不是因为背下来,而是因为你懂 Python,再举。看到:
尊敬的张先生:
你为什么知道,下一句,不会突然变成:今天天气不错,因为你懂中文。你懂写邮件,你懂上下文。
于是,真正预测的其实不是文字,而是规律。
三、原来,它一直在学习世界的规律
后来我终于明白,为什么训练 AI,要给它看几乎整个互联网,不是为了背答案,而是为了学习语言、代码、数学、人类交流,甚至世界运行的规律,于是,当它预测下一句话的时候,它真正利用的不是记忆,而是
这些规律。
很多人觉得,AI 很聪明,是因为它记住了很多答案,今天,我们可以推翻第四个认知。真正让 AI 看起来聪明的,不是记住,而是:
它在学习规律,然后利用规律预测未来。
调查笔记 No.4
今天,我们推翻了第四个认知。
❌ 预测下一句话,就是高级文字接龙。
✅ AI 预测的不是文字,而是规律。
新的疑问来了:如果 AI 学的是规律,那么,它为什么有时候又会一本正经地胡说八道?下一篇,我们继续调查。
《AI 为什么会?⑤ AI 为什么不会说"我不知道"?》