嵌入
荃者所以在鱼，得鱼而忘荃；蹄者所以在兔，得兔而忘蹄；言者所以在意，得意而忘言。——《庄子·外物》
洛杉矶以沥青闻名，这些沥青主要铺在高速公路上。但城市中央还有另一片沥青——拉布雷亚沥青坑，其中保存着更新世最后几个冰期留下的数百万块化石骨骼。化石之一是剑齿虎属（Smilodon），其长犬齿令人一眼就能辨认。
约五百万年前，一种完全不同的“剑齿虎”袋剑虎属（Thylacosmilus）生活在阿根廷和南美其他地区。袋剑虎是有袋类，剑齿虎则是胎盘哺乳动物；然而袋剑虎也长着同样的上犬齿，而且与剑齿虎一样，下颌具有保护性的骨质突缘。这两种哺乳动物的相似性，是平行演化（parallel evolution）或趋同演化（convergent evolution）的众多例子之一：特定语境或环境会使不同物种演化出非常相似的结构（Gould, 1980）。
语境对另一种不那么生物性的“有机体”——词——的相似性同样重要。出现在相似语境中的词往往具有相似含义。词的分布方式之相似与其含义之相似之间的联系，称为分布假说（distributional hypothesis）。这一假说最早由 Joos（1950）、Harris（1954）和 Firth（1957）等语言学家于 20 世纪 50 年代提出。他们注意到，同义词（如 oculist 和 eye-doctor）倾向于出现在相同环境中（如 eye 或 examined 附近），而两个词之间意义差异的大小，大致对应其环境差异的大小（Harris, 1954, p. 157）。
本章介绍嵌入（embeddings）：直接从文本中的词分布学得的、表示词义的向量。嵌入位于大语言模型和其他现代应用的核心。本章介绍的静态嵌入（static embeddings），是第 7 章和第 9 章将讨论的 BERT 等更强大的动态嵌入（dynamic embeddings）或上下文化嵌入（contextualized embeddings）的基础。
研究嵌入及其意义的语言学领域称为向量语义学（vector semantics）。嵌入也是本书第一个表示学习（representation learning）的例子：自动学习输入文本的有用表示。寻找这种自监督的语言表示学习方法，而非通过特征工程手工构造表示，是现代 NLP 的重要原则（Bengio et al., 2013）。