13.8 小结
机器翻译是使用最广泛的 NLP 应用之一;最初为 MT 开发的编码器—解码器模型,也是在整个 NLP 领域广泛应用的关键工具。
• 语言之间存在结构和词汇差异,使翻译变得困难。
• 语言类型学研究其中一些差异;语言可按动词是否位于宾语之前等类型学维度分类。
• 编码器—解码器网络由编码器网络与解码器网络组成。编码器接收输入序列并建立其上下文化表示(上下文);该上下文表示再传给解码器,由其生成特定任务的输出序列。
• 交叉注意力使 Transformer 解码器能够查看编码器所有隐藏状态中的信息。
• 机器翻译模型在平行语料库上训练;这种以两种(或多种)语言出现的文本有时称为双语文本。
• 回译利用一个试验性 MT 引擎进行反向翻译,以创建合成双语文本,从而利用目标语言单语语料库。
• MT 评估衡量译文的充分性(对源句意义的捕捉程度)和流畅性(在目标语言中的流畅自然程度)。人工评估是金标准;衡量译文与人工翻译之间字符 n 元组重叠的 chrF,以及较新的嵌入相似度指标,也很常用。