6.7 小结

神经网络由神经单元构成。它最初受生物神经元启发，如今已是抽象计算设备，而非生物学模型。

每个神经单元用权重向量乘输入值，加上偏置，再应用 sigmoid、tanh 或修正线性单元等非线性激活函数。

在全连接前馈网络中，第 $i$ 层每个单元都与第 $i+1$ 层每个单元相连，且网络中没有环。

神经网络的能力来自早期层学习表示、供后续层使用的能力。

神经网络通过梯度下降等优化算法训练。

误差反向传播，即计算图上的反向微分，用于计算网络损失函数的梯度。

神经语言模型把神经网络用作概率分类器，根据前 $n$ 个词计算下一词的概率。

神经语言模型既可以使用预训练嵌入，也可以在语言建模过程中从头学习嵌入。