RNN 与 LSTM

原始 PDF

时间会说明一切。

简·奥斯汀，《劝导》

语言本质上是一种时间现象。口语是随时间展开的一连串声学事件；无论理解还是产生口语与书面语，我们都将其作为按顺序输入的流来处理。语言的时间性也反映在我们使用的隐喻中：我们谈论对话的流动、新闻流和 Twitter 信息流，这些说法都强调语言是一种随时间展开的序列。

本章介绍一种深度学习架构——循环神经网络（recurrent neural network，RNN）——以及 LSTM 等 RNN 变体。与前馈网络和 Transformer 网络相比，它们提供了不同的时间表示方式。RNN 具有直接处理语言序列性的机制，使其无需使用任意设定的固定大小窗口，就能处理语言的时间性。循环网络通过循环连接提供了一种表示先前上下文的新方式，使模型的决策能够依赖过去数百个词的信息。我们将看到如何把这种模型应用于语言建模、情感分析等文本分类任务，以及词性标注等序列建模任务。