ChatGPT回答你的三秒钟里,发生了什么?
这是 「AI是怎么回事」 系列的第
8篇。我一直很好奇 AI 到底是怎么工作的,于是花了很长时间去拆这个东西——手机为什么换了发型还能认出你,ChatGPT 回答你的那三秒钟里究竟在算什么,AI 为什么能通过律师考试却会一本正经地撒谎。这个系列就是我的探索笔记,发现了很多有意思的东西,想分享给你。觉得不错的话,欢迎分享+关注。
如果你从第 1 篇读到这里,恭喜——你现在对 AI 的理解,已经超过了绝大多数人。
不是因为你知道了什么”内幕”,而是因为你真正理解了那些齿轮是怎么转的。
这一篇是第一章的收尾。我不会引入任何新概念——前面 7 篇已经把所有零件都摆在桌上了。今天要做的事只有一件:把这些零件组装起来,让你看到一台完整的机器是怎么运转的。
我们来回答一个具体的问题:当你在 ChatGPT 的对话框里打下”什么是量子力学?”,然后按下回车,到你看到屏幕上开始逐字蹦出回答——这短短三秒钟里,到底发生了什么?
三秒钟的全景
先给你看完整的路线图,然后我们一站一站地走。
你打下一句话:"什么是量子力学?"
↓
[第一站:Token 化]
"什么" "是" "量子" "力学" "?"
↓
[第二站:词向量]
每个 Token 变成一串数字(比如 768 个数字)
↓
[第三站:Transformer]
注意力机制在这些数字之间寻找关系
↓
[第四站:神经网络]
数百层的"乘法+加法"运算
↓
[第五站:预测]
算出下一个最可能的词:"量子力学是..."
↓
[第六站:逐词生成]
一个词接一个词,组成完整回答
↓
你看到了 ChatGPT 的回答(大约 3 秒钟)

这张图可能看起来很简洁,但每一站背后,都是我们花了整整一篇文章才拆清楚的东西。
现在,让我带你一站一站地走一遍,同时串起前面 7 篇的全部知识。
第一站:你的话变成了碎片
你在输入框里打了”什么是量子力学?”这 7 个字。
但 ChatGPT 不认识中文。准确地说,它不认识任何人类语言——它只认识数字。
所以第一步,是把你的话拆成 AI 能处理的最小单位。这些单位叫做 Token。
如果你还记得第 2 篇的内容:Token 不完全等于”词”。它可能是一个字、一个词、甚至是一个词的一部分。怎么拆,取决于 AI 使用的”词表”——就像一本字典,字典里有的词就是一个 Token,没有的就要拆成更小的碎片。
“什么是量子力学?”可能会被拆成这样:
"什么" → Token #1
"是" → Token #2
"量子" → Token #3
"力学" → Token #4
"?" → Token #5
5 个 Token。就像把一个句子打碎成 5 块积木。
这一步纯粹是机械性的——查表、拆分,没有任何”理解”在里面。
第二站:碎片变成数字
现在 AI 手里有 5 个 Token。但 Token 只是一个”编号”——比如”量子”可能对应编号第 38721 号。一个编号本身没有任何含义。
这就是第 2 篇花了很大篇幅解释的事情:每个 Token 会被转换成一串数字,叫做词向量。
“量子”这个 Token,会被翻译成一串 768 个数字(也可能是更多——GPT-3 用的是 12288 维的向量)。类似这样:
"量子" → [0.23, -0.87,0.45,1.12, -0.34,0.67, ..., -0.91]
(768 个或更多数字)
768 个数字,组成了一个高维空间中的一个”点”。
这些数字不是随便填的。还记得第 2 篇里那个让人惊叹的例子吗?
“国王” - “ 男人” + “女人” ≈ “王后”
能做到这件事,是因为这些词向量在训练过程中被精心调整过——意思相近的词,在这个 768 维空间里距离就近;意思不同的词,距离就远。”量子”和”物理”的距离,比”量子”和”炒菜”的距离近得多。
语义——人类觉得最”虚”的东西——在 AI 这里变成了可以测量的数字距离。
这一步之后,你的 5 个 Token 就变成了 5 组数字。或者说,768 维空间里的 5 个点。
第三站:注意力——找到词和词之间的关系
现在 AI 手里有 5 组数字。但这 5 组数字各自独立——“量子”不知道旁边站着”力学”,”什么”不知道后面跟着”是”。
一个句子的意思不只取决于里面有哪些词,更取决于词和词之间的关系。”我打了他”和”他打了我”用的是完全一样的词,但意思完全相反。
这就是第 6 篇讲的 Transformer 要解决的问题。
Transformer 的核心发明叫做注意力机制。 它做的事情是:对于每一个词,同时”看”句子里的所有其他词,然后算出”我应该关注谁”。
具体来说,当 AI 处理”量子”这个词时,注意力机制会做这样的计算:
- “量子”和”什么”的相关性 → 0.05(低——不太相关)
- “量子”和”是”的相关性 → 0.10(低——一般的连接词)
- “量子”和”力学”的相关性 → 0.75(高——“量子力学”是一个紧密的组合)
- “量子”和”?”的相关性 → 0.10(低——标点符号)
这些数字叫做注意力权重。权重高的词,在后续的计算中会产生更大的影响。
注意力机制的结果是:每个词的向量被”更新”了。更新后的”量子”不再只代表”量子”本身——它变成了”在’什么是量子力学?’这个句子里的量子”。它融合了上下文的信息。
这就是为什么同一个词”苹果”,在”我吃了一个苹果”和”我买了一部苹果手机”里,经过注意力机制之后会变成完全不同的向量——因为注意力聚焦的词不同。
还记得第 6 篇里提到的,Transformer 之前的 AI(RNN)是怎么处理语言的吗?它像手指一个字一个字指着读——读到后面,前面说了什么就忘了。
Transformer 的革命性在于:它能同时看到全文。 不管你的问题有多长,注意力机制都能在所有的词之间建立联系。这就是为什么 ChatGPT 能处理好几千字甚至几万字的上下文——而早期的语言模型连一段话都记不住。
第四站:数百层的乘法和加法
注意力机制只是 Transformer 里的一个组件。一个完整的 Transformer 包含很多层(GPT-3 有 96 层),每一层都包括:
- 注意力机制——让词和词之间交换信息
- 前馈神经网络——对每个词的向量做进一步处理
而每一层的”进一步处理”,说到底就是第 4 篇拆解过的东西:输入 x 权重 + 偏置 → 激活函数 → 输出。
没有魔法。就是乘法和加法。
如果你还记得第 4 篇的内容,一个”神经元”的全部工作就是:
输出 = 激活函数(输入 1 × 权重 1+ 输入 2 × 权重 2+ ... + 偏置)
一层里有几千个这样的神经元,同时做这样的运算。然后把输出传给下一层。再做一轮乘法和加法。再传给下一层。
96 层。
每一层都在提取更高层次的”特征”——这和第 1 篇里讲的图像识别是同一个思想。在图像识别中:
像素 → 边缘 → 形状 → 部件 → 整体
在语言处理中,层层叠加的效果类似:
单个词 → 词组关系 → 句子含义 → 段落逻辑 → 全文主旨
前面几层可能在处理基础的语法结构:主语在哪?谓语在哪?这是一个疑问句。后面的层可能在处理更抽象的东西:用户在问一个物理概念的定义。再往后的层可能在整合:我需要用通俗的语言解释这个概念。
但我要强调一点——“可能”这个词很重要。没有人精确地知道每一层在做什么。我们知道的是:数据从一端输入,经过 96 层乘法和加法,从另一端输出了一个令人惊讶的好结果。至于中间到底发生了什么,这仍然是 AI 研究的前沿问题。
这就是第 4 篇的核心结论的真正含义:神经网络不是一个精心设计的、每一步都有明确目的的程序。它是一个通过训练自动涌现出能力的计算结构。
而这个结构的规模是惊人的。GPT-3 有 1750 亿个参数。每一个参数就是乘法运算里的一个”权重”数字。当你问它”什么是量子力学?”,你的 5 个 Token 的向量,要和这 1750 亿个数字做运算。
1750 亿次乘法和加法。
在三秒钟之内。
第五站:预测——算出”最可能的下一个词”
经过 96 层的运算,AI 终于到了最后一步:从所有可能的词里,选出一个”最可能”是下一个词的词。
怎么选?
在最后一层的输出端,神经网络会给词表里的每一个 Token 都算出一个分数。GPT-3 的词表里大约有 50000 个 Token,所以最后一层会输出 50000 个分数。
这些分数经过一个 叫做 Softmax 的函数处理后,会变成概率:
"量子" → 12.3%
"力学" → 8.7%
"是" → 15.1%
"物理" → 5.2%
"学" → 3.8%
...
"炒菜" → 0.0001%
...(剩下 49995 个 Token 的概率加起来占 55% 左右)
然后 AI 从中选一个。
注意:它不一定选概率最高的那个。如果每次都选概率最高的,输出会非常无聊和重复。实际上,AI 会在最高概率的几个词里做一定程度的”随机抽样”——这就是为什么你问同一个问题两次,得到的回答往往不一样。
假设这一次它选了”量子”。
那么它的输出到目前为止是:”量子力学是…量子”——等等,还没说完。