AI科普：大语言模型真的 “理解” 我们在说什么吗？

sowang

@零重力瓦力

#AI科普# 大语言模型真的 “理解” 我们在说什么吗？

诺奖得主，被誉为 AI 教父的 Geoffrey Hinton 认为这个问题的答案是肯定的，但理由可能和你想的不太一样。

在过去六七十年里，人工智能的发展大致走过两条路线。一条是 “符号派”，他们把智能看成推理，认为只要用一种像逻辑或数学一样精确的内部语言，把知识表示成符号，再按规则操作，就能得到智能。另一条是 “神经网络派”，也是 Hinton 所代表的方向。他们认为既然我们已知的唯一真正智能体是大脑，那就应该研究大脑是怎么学的？是如何通过大量练习，逐渐调整神经元之间的连接强度。

这两种思路不仅在 “怎么做 AI” 上分歧巨大，在 “什么是意义” 这个问题上也完全不同。符号派和很多语言学家认为，一个词的意义来自它和其他词的关系，藏在大量句子和命题里。而心理学家更倾向于另一种看法。他们认为，一个词的意义是一堆特征。比如 “猫”，就是“宠物”、“有胡须”、“会捕猎”、“有点懒” 这一大堆特征的组合。

问题是，这些特征从哪来？长期以来没人说清楚。

Hinton 在 1985 年提出了一个想法。他认为也许这两种看起来对立的理论，其实是一回事。实现方法也很简单，就是用神经网络预测下一个词。给模型大量文本，让它不断猜 “接下来最可能出现什么词”。在这个过程中，模型 “被迫” 学会了一件事，就是把离散的词，转换成一组高维特征，并让上下文中不同词的特征相互作用，最终猜对下一个词。

这正是今天大语言模型的基本原理。它们并没有在 “记句子”，也没有存一大堆现成的文本片段。它们真正存下来的，是 “词如何变成特征”，以及 “这些特征如何相互影响”。知识不在句子里，而在连接方式里。

后来计算能力提升，这种方法被证明能用于真实语言。再后来，Transformer 架构出现，让特征之间可以进行更复杂的互动。今天我们看到的 ChatGPT，本质上就是当年那个小模型的远房后代，只是规模大了无数倍，层数更多，能处理歧义。

比如一个词像 may，它既可能是月份，也可能是名字，还可能是情态动词。模型一开始并不知道是哪一个，只能保持模糊。但随着一层层处理，它会结合上下文里的词，把意义逐渐“拧” 到最合适的方向上。

Hinton 用了一个很形象的比喻：词就像乐高积木，但比乐高复杂得多。乐高是三维的，词是上千维的。每个乐高形状固定，但词的 “形状” 会随着上下文发生变化。乐高靠硬性的卡扣连接，而词更像是有很多 “手” 和 “手套”，在句子中不断调整姿态，彼此试探、对接。

理解一句话，并不是把它翻译成某种内部逻辑语言，而是解决一个问题：如何变形每个词的意义，让它们在高维空间里刚好 “握住彼此”。一旦都对上了，这句话你就懂了。

从这个角度看，大语言模型确实在 “理解”！而且 “理解” 的方式和人类并没有本质区别。我们和模型一样，都是在不断调整词的意义，让它们适配当前的情境。不同的是，人类不是为了做技术而进化出语言，但结果却很相似。




大语言模型真的 “理解” 我们在说什么吗？
https://weibo.com/tv/show/1034:5 ... om=old_pc_videoshow