4.16 小结
本章介绍了用于分类的逻辑回归模型。
逻辑回归是一种监督机器学习分类器:从输入中提取实值特征,将每个特征乘以一个权重并求和,再把总和输入 sigmoid 函数以生成概率,最后使用阈值作出决策。
逻辑回归既可用于两个类别(如正面与负面情感),也可用于多个类别,即多项逻辑回归,例如 n 元文本分类、词性标注等。
多项逻辑回归使用 softmax 函数计算概率。
权重(向量 和偏置 )通过带标签训练集学习,所用交叉熵损失等损失函数需要被最小化。
最小化该损失是凸优化问题,可用梯度下降等迭代算法寻找最优权重。
正则化用于避免过拟合。
逻辑回归也是非常有用的分析工具,因为它能以透明方式研究各个特征的重要性。