I.6 使用叙词表改进嵌入
叙词表也被用于改进静态词嵌入和上下文化词嵌入。例如，静态词嵌入在处理反义词时存在问题：像 expensive 这样的词，在嵌入余弦相似度上常常与其反义词 cheap 非常相近。叙词表中的反义关系信息可以帮助解决这一问题；图 I.12 展示了 GloVe 中一些目标词的最近邻，以及采用一种此类方法后得到的改进。
| 反拟合之前 | 反拟合之后 | |||||
|---|---|---|---|---|---|---|
| east | west | north | south | eastward | eastern | easterly |
| expensive | pricey | cheaper | costly | costly | pricy | overpriced |
| British | American | Australian | Britain | Brits | London | BBC |
图 I.12 GloVe 中 east、expensive 和 British 的最近邻包含 west 等反义词。右半部分显示采用反拟合方法后 GloVe 最近邻的改进（Mrkšić et al., 2016）。
解决方案分为两类。第一类需要重新训练：修改嵌入训练过程，使其纳入同义、反义或超义项等叙词表关系。可以修改 word2vec 的静态嵌入损失函数（Yu and Dredze, 2014；Nguyen et al., 2016），也可以修改上下文嵌入的训练过程（Levine et al., 2020；Lauscher et al., 2019）。
第二类方案用于静态嵌入，更为轻量：嵌入训练完成后，根据叙词表学习第二个映射，以某种方式移动词的嵌入，使叙词表判定的同义词相互靠近、反义词相互远离。这类方法称为后拟合（retrofitting；Faruqui et al., 2015；Lengerich et al., 2018）或反拟合（counterfitting；Mrkšić et al., 2016）。