语言模型是怎么工作的？用大白话讲清楚

简单来说： 大语言模型（英文 large language model，简称 LLM）一直在做一件事：预测接下来最可能出现哪一小段文字。这是它从海量文本中学来的。你得到的回答，就是这样一个接一个的预测串起来的结果。

把文字切成小块：token

语言模型读文字的方式和我们不一样。它会把文本切成 token：可能是整个词、词的一部分、标点符号或单个字符。据 OpenAI 介绍，在英语里一个 token 平均约等于四个字符，也就是大约四分之三个单词。中文的情况有所不同，但原理是一样的。

分两步学习

1. 预训练。 模型看大量的文本，一遍遍学习预测下一个 token。它就这样掌握了语言、事实和各种规律。底层架构大多是 Transformer，出自 2017 年的一篇论文。
2. 调校。 之后，模型会被进一步打磨，变成一个乐于助人的助手。OpenAI 在推出 ChatGPT 时介绍过具体做法：人们先写出示范对话，再把模型给出的几个回答从好到差排序，模型从这些排序中学习。这种方法叫 基于人类反馈的强化学习（RLHF）。用额外的例子进一步调整模型，叫作 微调（fine-tuning）。

它为什么有时会编造

语言模型并不是在一个装满真相的数据库里查找答案。它生成的是“听起来很可能对”的文字。所以它可能给出一个读起来很有说服力、但其实不对的答案。这被称为 幻觉。

OpenAI 在推出 ChatGPT 时就坦言，模型有时会给出“听起来合理但不正确或毫无意义的答案”，而且问题稍微改一下措辞，答案就可能不同。荷兰数据保护局（Autoriteit Persoonsgegevens）也把“答案不准确或不合适”的风险，列为使用生成式 AI 的机构必须持续关注的一点。

怎么应对？

• 核对事实、数字和名字，再把文字发给客户。
• 把你自己的资料交给模型（一份文件、一张价目表），并要求它以此为准。
• 让它给出来源，并点开看看。一个根本不存在的来源，说明了一切。
• 用 AI 写初稿，而不是让它拍板定稿。

来源

• OpenAI Help Center：What are tokens and how to count them?
• OpenAI：Introducing ChatGPT（方法与局限）
• Vaswani 等，Attention Is All You Need（arXiv，2017）
• Autoriteit Persoonsgegevens：Hulpmiddel inzet generatieve AI & de AVG（PDF，荷兰语）

访问日期：2026 年 10 月 21 日。