目录44 / 17

AI 为什么会?④ 为什么预测下一句话,会产生智能?


调查现场

今天,我们不打开 ChatGPT。先玩一个小游戏,请你预测下面这句话的最后一个字。

今天天气很好,我们一起去公____

大多数人都会填:

园。

为什么?因为前面的信息已经足够多了。再来一句。

中国的首都是北____

几乎所有人都会填:

京。

还是一样,继续。

牛顿发现了万有引力,是因为一个苹果砸到了他的____

你会填:

头。


看到这里,很多人都会觉得:预测下一个词好像并不难。于是,有人说:

大模型就是不断预测下一个词。

如果只听到这里,你一定会觉得:

那不就是文字接龙吗?

我第一次听到的时候,也是这么想的。


一、如果只是文字接龙,它为什么会写代码?

这是我一直想不通的地方:预测“北京”很正常。预测“苹果”也很正常,可是为什么还能预测:

for i in range(10):

为什么还能预测:SQL,预测:合同,预测:论文,这些东西,根本不是"接龙"那么简单。


二、后来我发现,我又理解错了一件事

我们一直觉得,AI 在预测:一个词,其实它预测的,不是一个词,而是

这个世界接下来最合理会出现什么。

这是完全不同的两件事情,举个例子。看到:

for i in range(10):

你为什么知道,下一行,大概率要缩进?不是因为背下来,而是因为你懂 Python,再举。看到:

尊敬的张先生:

你为什么知道,下一句,不会突然变成:今天天气不错,因为你懂中文。你懂写邮件,你懂上下文。


于是,真正预测的其实不是文字,而是规律。


三、原来,它一直在学习世界的规律

后来我终于明白,为什么训练 AI,要给它看几乎整个互联网,不是为了背答案,而是为了学习语言、代码、数学、人类交流,甚至世界运行的规律,于是,当它预测下一句话的时候,它真正利用的不是记忆,而是

这些规律。


很多人觉得,AI 很聪明,是因为它记住了很多答案,今天,我们可以推翻第四个认知。真正让 AI 看起来聪明的,不是记住,而是:

它在学习规律,然后利用规律预测未来。


调查笔记 No.4

今天,我们推翻了第四个认知。

预测下一句话,就是高级文字接龙。

AI 预测的不是文字,而是规律。


新的疑问来了:如果 AI 学的是规律,那么,它为什么有时候又会一本正经地胡说八道?下一篇,我们继续调查。

《AI 为什么会?⑤ AI 为什么不会说"我不知道"?》