1.5 语言结构与可解释性

理解人类语言及其语言学属性和结构，是研究语音与语言处理的核心。以两类语言结构为例。句法结构（syntactic structure，第 20 章）描述词语或短语之间的抽象语法关系，例如动词具有主语和直接宾语；下例中的动词 announced 就体现了这种关系：

检测这些句法依存关系（第 20 章）的任务称为句法分析（parsing），它是 NLP 历史最悠久的任务之一。

第二类语言结构是共指（coreference，第 24 章）。当一段文本谈到某个人时，可能会用许多不同方式指称这个人。请看下面的句子：

Victoria Chen, CFO of Megabucks Banking, saw her pay jump to $2.3 million, as the 38-year-old became the company’s president.

这里使用了多个不同短语指称 Victoria：“Victoria Chen”“CFO of Megabucks Banking”“her”和“the 38-year-old”。我们说这些短语互为共指，也就是说，在我们关于世界的心理模型中，它们都指向同一个实体。

在 NLP 发展的早期，将输入文本自动解析为此类语言结构，是构建意义提取模型的关键步骤。如今，这已经不再是语言结构与语言属性的主要作用。相反，在现代 NLP 中，语言结构和语言知识对 LLM 的可解释性（interpretability）与分析，以及认知科学和社会科学应用至关重要。

可解释性通过揭示模型内部的语言结构或计算过程，帮助我们理解 LLM 如何工作。可解释性研究表明，语言模型的嵌入和网络隐式表示了句法分析树、语义信息及共指信息（Hewitt and Manning, 2019），并揭示了这些结构在神经网络的哪些层级得到表示（Tenney et al., 2019; Acevedo et al., 2026）。例如，Manning et al.（2020）表明，注意力头（attention head，第 7 章）对语法结构很敏感：与直接宾语相关的注意力头会关注对应的动词：

而其他注意力头在处理某个实体的提及时，会关注此前与其共指的同一实体提及，也就是它的先行词（antecedent）：

语言结构也有助于分析语言模型与用户之间的语言交互。让我们考虑与对话交互有关的第三类语言结构。在人与人的对话中，双方会努力建立相互理解，也就是所谓的共同基础（common ground）（Clark, 1996）。人们通过落地确认（grounding）来做到这一点，即使用语言信号表明自己理解或没有理解。例如，如果一个人不明白对方所说的内容，他可能会提出澄清问题，就像下面对话中的 B：

A: Can you hand me the box? [in a context with two boxes]
B: Which one?

对这些对话结构的语言学分析表明，目前的语言模型并不擅长落地确认。例如，LLM 会避免提出澄清问题（Shaikh et al., 2024），结果是语言模型对交互用户希望它们做什么作出错误假设。交互的语言学分析还有助于发现语言模型的其他问题，例如谄媚迎合（sycophancy）（Cheng et al., 2026）和过度自信（overconfidence）（Zhou et al., 2024b）。

语言结构的第二项关键用途，是把 NLP 应用于其他领域提出的问题。语言学、心理学、政治学等认知科学或社会科学领域，常会提出需要分析文本的理论问题；语言结构能够帮助改进这类分析。

例如，政治学者可能使用 NLP 工具研究政治人物的演讲，考察他们如何谈论不同人群。Card et al.（2022）对政治演讲进行了句法分析，以理解美国政治人物如何谈论不同移民群体。例如，研究可以分析他们何时把移民描述为社会贡献者（使用 hardworking、worthy 等形容词或 contribute 等动词），又在何时谈论排斥移民（使用 deport、reject 等动词）。

最后，计算语言结构也是回答语言本身相关问题的重要工具。这一研究领域称为计算语言学，有时会与自然语言处理区分开来。例如，为了回答语言如何随时间或个体而变化的语言学问题，我们需要能够解析不同时期的整篇文档。用于标注语言结构的计算工具还可以帮助我们标注父母与儿童对话的大型语料库，从而观察不同对话结构或语法结构在语言学习中的作用。

许多研究者还把 LLM 作为生成语言结构理论洞见的工具。例如，Papadimitriou and Jurafsky（2023）以及 Kallini et al.（2024）使用具有特定句法结构的人工语言，研究哪些语言对 LLM 来说更容易或更难学习。这类研究旨在提出新的科学见解，帮助我们理解人类与模型的语言学习机制可能在哪些方面相似，又在哪些方面不同。