4.5 交叉熵损失函数
我们需要一个损失函数，用来表示：对于观测 x x x y ^ = σ ( w ⋅ x + b ) \hat y=\sigma(\mathbf w\cdot\mathbf x+b) y ^ = σ ( w ⋅ x + b ) y y y y ^ \hat y y ^ x x x y ^ \hat y y ^ y y y y y y y ^ \hat y y ^
L ( y ^ , y ) = y ^ 与真实 y 的差异程度 (4.16) L(\hat y,y)=\text{$\hat y$ 与真实 $y$ 的差异程度}\tag{4.16} L ( y ^ , y ) = y ^ 与真实 y 的差异程度 ( 4.16 ) 所用的损失函数应让训练样本的正确类别标签获得更高概率。这称为条件最大似然估计 （conditional maximum likelihood estimation）：选择参数 w , b \mathbf w,b w , b x x x y y y 负对数似然损失 （negative log likelihood loss），通常称为交叉熵损失 （cross-entropy loss）。
下面针对单个观测 x x x p ( y ∣ x ) p(y\mid x) p ( y ∣ x ) y = 1 y=1 y = 1 y ^ \hat y y ^ y = 0 y=0 y = 0 1 − y ^ 1-\hat y 1 − y ^
p ( y ∣ x ) = y ^ y ( 1 − y ^ ) 1 − y (4.17) p(y\mid x)=\hat y^y(1-\hat y)^{1-y}\tag{4.17} p ( y ∣ x ) = y ^ y ( 1 − y ^ ) 1 − y ( 4.17 ) 对两边取对数。这样在数学上更方便，而且不会改变最优解：使概率最大的参数也会使其对数最大。
log p ( y ∣ x ) = log [ y ^ y ( 1 − y ^ ) 1 − y ] = y log y ^ + ( 1 − y ) log ( 1 − y ^ ) (4.18) \begin{array}{rcl}\log p(y\mid x)&=&\log[\hat y^y(1-\hat y)^{1-y}]\\&=&y\log\hat y+(1-y)\log(1-\hat y)\end{array}\tag{4.18} log p ( y ∣ x ) = = log [ y ^ y ( 1 − y ^ ) 1 − y ] y log y ^ + ( 1 − y ) log ( 1 − y ^ ) ( 4.18 ) 式 4.18 是需要最大化的对数似然。要把它变为需要最小化的损失函数，只需将其取负。于是得到交叉熵损失 L C E L_{\mathrm{CE}} L CE
L C E ( y ^ , y ) = − log p ( y ∣ x ) = − [ y log y ^ + ( 1 − y ) log ( 1 − y ^ ) ] (4.19) L_{\mathrm{CE}}(\hat y,y)=-\log p(y\mid x)=-[y\log\hat y+(1-y)\log(1-\hat y)]\tag{4.19} L CE ( y ^ , y ) = − log p ( y ∣ x ) = − [ y log y ^ + ( 1 − y ) log ( 1 − y ^ )] ( 4.19 ) 最后代入 y ^ = σ ( w ⋅ x + b ) \hat y=\sigma(\mathbf w\cdot\mathbf x+b) y ^ = σ ( w ⋅ x + b )
L C E ( y ^ , y ) = − [ y log σ ( w ⋅ x + b ) + ( 1 − y ) log ( 1 − σ ( w ⋅ x + b ) ) ] (4.20) L_{\mathrm{CE}}(\hat y,y)=-[y\log\sigma(\mathbf w\cdot\mathbf x+b)+(1-y)\log(1-\sigma(\mathbf w\cdot\mathbf x+b))]\tag{4.20} L CE ( y ^ , y ) = − [ y log σ ( w ⋅ x + b ) + ( 1 − y ) log ( 1 − σ ( w ⋅ x + b ))] ( 4.20 ) 看看这个损失函数在图 4.2 的例子上是否符合预期。模型估计越接近正确答案，损失应越小；模型越困惑，损失应越大。先假设该情感样本的金标准标签为正面，即 y = 1 y=1 y = 1 σ ( w ⋅ x + b ) = . 70 \sigma(\mathbf w\cdot\mathbf x+b)=.70 σ ( w ⋅ x + b ) = .70 y = 1 y=1 y = 1 log \log log
L C E ( y ^ , y ) = − [ y log σ ( w ⋅ x + b ) + ( 1 − y ) log ( 1 − σ ( w ⋅ x + b ) ) ] = − log σ ( w ⋅ x + b ) = − log ( . 70 ) = . 36 \begin{array}{rl}L_{\mathrm{CE}}(\hat y,y)&=-[y\log\sigma(\mathbf w\cdot\mathbf x+b)+(1-y)\log(1-\sigma(\mathbf w\cdot\mathbf x+b))]\\&=-\log\sigma(\mathbf w\cdot\mathbf x+b)\\&=-\log(.70)\\&=.36\end{array} L CE ( y ^ , y ) = − [ y log σ ( w ⋅ x + b ) + ( 1 − y ) log ( 1 − σ ( w ⋅ x + b ))] = − log σ ( w ⋅ x + b ) = − log ( .70 ) = .36 相反，假设图 4.2 中的样本其实是负面的，即 y = 0 y=0 y = 0 y = 0 y=0 y = 0 1 − σ ( w ⋅ x + b ) = . 30 1-\sigma(\mathbf w\cdot\mathbf x+b)=.30 1 − σ ( w ⋅ x + b ) = .30
L C E ( y ^ , y ) = − [ y log σ ( w ⋅ x + b ) + ( 1 − y ) log ( 1 − σ ( w ⋅ x + b ) ) ] = − log ( 1 − σ ( w ⋅ x + b ) ) = − log ( . 30 ) = 1.2 \begin{array}{rl}L_{\mathrm{CE}}(\hat y,y)&=-[y\log\sigma(\mathbf w\cdot\mathbf x+b)+(1-y)\log(1-\sigma(\mathbf w\cdot\mathbf x+b))]\\&=-\log(1-\sigma(\mathbf w\cdot\mathbf x+b))\\&=-\log(.30)\\&=1.2\end{array} L CE ( y ^ , y ) = − [ y log σ ( w ⋅ x + b ) + ( 1 − y ) log ( 1 − σ ( w ⋅ x + b ))] = − log ( 1 − σ ( w ⋅ x + b )) = − log ( .30 ) = 1.2 果然，预测正确标签时的损失 .36 小于预测错误标签时的损失 1.2。
为什么最小化这个负对数概率能达到目标？完美分类器会给正确结果（y = 1 y=1 y = 1 y = 0 y=0 y = 0 y = 1 y=1 y = 1 y ^ \hat y y ^ y ^ \hat y y ^ y = 0 y=0 y = 0 1 − y ^ 1-\hat y 1 − y ^ y ^ \hat y y ^ y = 1 y=1 y = 1 1 − y ^ 1-\hat y 1 − y ^ y = 0 y=0 y = 0 − log 1 -\log1 − log 1 − log 0 -\log0 − log 0
该函数还确保：正确答案的概率被最大化时，错误答案的概率同时被最小化。因为二者之和为 1，正确答案概率的任何增长都以错误答案概率的下降为代价。之所以称为交叉熵损失，是因为式 4.19 也正是真实概率分布 y y y y ^ \hat y y ^
现在我们已经知道要最小化什么；下一节将说明如何找到这个最小值。