1.4 语音与语言处理简史

我们刚刚介绍的现代语言模型核心思想——词预测的力量，以及通过神经网络和嵌入实现词预测——乃至整个 NLP 和计算语言学领域的根源，都可以追溯到思想成果丰硕的 20 世纪 40 年代末、50 年代和 60 年代初。Shannon（1951）已经形成了关于词预测的思想。Cornell 和 Stanford 的实验室正在把小型神经网络应用于计算任务。我们今天所说的嵌入这一思想，也同时在许多领域中出现：Osgood et al.（1957）等心理学家提出，可以把词义建模为空间中的点，把相似度建模为两个词之间的距离；Zellig Harris 和 Martin Joos 等语言学家提出，词的意义与其上下文有关；计算机科学领域的信息检索研究则开始用向量定义词语。

图 1.6 NLP 历史的四个阶段。

在这些早期统计工具和神经工具之后，该领域又经历了三个重大转折点，如图 1.6 所示。第一个转折点是 20 世纪 60 年代兴起的、依据符号结构对语言进行建模的运动。Chomsky 反对语言统计建模的有影响力论述（Chomsky, 1957; Miller and Chomsky, 1963），以及 Minsky and Papert（1969）对神经模型的批评，使计算机科学、AI、语言学和认知科学发生急剧转向。这些领域离开早期的神经与统计建模方向，转而采用符号推理和显式符号结构。从大约 1965 年到 20 世纪 90 年代初，符号方法一直主导着 AI、NLP 和认知科学。

第二个转折点被称为经验主义的长期复兴（long revival of empiricism）：该领域重新转向统计模型和神经模型。这一变化在不同研究方向中开始于 1975 至 1988 年之间，并持续到 2017 年。这一时期始于 Fred Jelinek 及其同事 1975 至 1985 年间在 IBM Thomas J. Watson Research Center 开展的语音识别研究。Jelinek 及其团队创造了“语言模型”这一术语，发展出 n 元语言模型，以及用于训练统计语音识别模型和使用这些模型进行推理的算法。不久后，基于误差反向传播的改进型神经网络训练算法得到广泛应用（Rumelhart et al., 1986），由此产生了一个称为联结主义（connectionism）或并行分布式处理（parallel distributed processing）的神经网络认知科学范式。到 20 世纪 80 年代末，统计方法开始从语音研究者扩展到处理文本的 NLP 研究者。在 NLP 中，使用统计分类器完成句法分析、共指消解等任务逐渐成为常态。由于当时的计算机速度太慢，研究者借助专用硬件，开始更加成功地将神经模型用于语音识别（Morgan and Bourlard, 1990）。到 21 世纪最初十年，计算机硬件的进步——尤其是采用原本为图形处理开发的 GPU——使训练用于语音与文本的超大型深层网络成为可能（Hinton et al., 2006）。神经语言模型随之提出（Bengio et al. 2003），并得到扩展和应用于 NLP 任务（Collobert and Weston, 2008）。到 2013—2017 年，这一路线最终发展为通用神经架构，其中最著名的是 Transformer 架构（Vaswani et al., 2017）。它虽然是为机器翻译发明的，却很快成为可用于许多任务的通用神经架构。

第三个重大转折点是 2019 年提示方法（prompting）的发展（Radford et al., 2019）。在此之前，该领域的主导范式是基于机器学习的统计分类。为了解决一个问题，人们需要标注训练数据，以训练分类器给某些数据分配标签。只需向 LLM 发出提示的新方法带来了一场革命：给定一个能够预测词语的算法，你只要输入一个问题，再附加“答案是”之类的文本，它就能完整地预测出答案。自然语言处理领域彻底离开了其历史上以解析或解释文本的算法为中心的方向。提示式语言模型成为该领域的核心后，NLP 开始转向生成。使用计算模型生成文本、代码、语音和图像，构成了一个重要的新领域——生成式人工智能（generative AI）。

这一 NLP 时代的进展包括：认识到规模所蕴含的巨大力量（以及它带来的正面与负面后果），发展出指令微调、偏好对齐和用于推理的强化学习，在提升效率方面投入大量研究，以及如今智能体所展现出的能力。