14.9 小结

本章介绍了循环神经网络的概念，以及如何将其应用于语言问题。下面总结本章的主要内容：

• 在简单循环神经网络中，序列一次处理一个元素；时间 $t$ 每个神经单元的输出既取决于时间 $t$ 的当前输入，也取决于时间 $t-1$ 的隐藏层。

• RNN 可以通过反向传播算法的直接扩展进行训练，这种方法称为随时间反向传播（BPTT）。

• 由于梯度消失等问题，简单循环网络在处理长输入时会失败；现代系统改用更复杂的门控架构，如 LSTM，在隐藏层和上下文层中显式决定记住什么、忘记什么。

• RNN 常见的语言应用包括：

– 概率语言建模：为序列赋予概率，或根据前面的词为序列的下一个元素赋予概率。

– 使用训练好的语言模型进行自回归生成。

– 序列标注，如词性标注，即为序列中的每个元素分配一个标签。

– 序列分类，即为整段文本分配一个类别，如垃圾邮件检测、情感分析或主题分类。

– 编码器—解码器架构，把输入映射为长度和对齐方式都可能不同的输出。