逻辑回归与文本分类
在那些遥远的书页中写道，动物可以分为：
a. 属于皇帝的 h. 被包括在本分类中的
b. 涂香料保存的 i. 像疯子一样躁动的
c. 驯服的 j. 数不清的
d. 乳猪 k. 用极细骆驼毛笔画的
e. 美人鱼 l. 其他
f. 传说中的 m. 刚刚打破花瓶的
g. 走失的狗 n. 从远处看像苍蝇的
——Borges（1964）
分类位于语言处理和智能的核心。识别字母、词语或面孔，分拣邮件，为作业评分，都是把输入分配到某个类别的例子。寓言作家 Jorge Luis Borges（1964）以著名方式揭示了分类的困难：他想象一部古老的神话百科全书，把动物分成：
（a）属于皇帝的，（b）涂香料保存的，（c）驯服的，（d）乳猪，（e）美人鱼，（f）传说中的，（g）走失的狗，（h）被包括在本分类中的，（i）像疯子一样躁动的，（j）数不清的，（k）用极细骆驼毛笔画的，（l）其他，（m）刚刚打破花瓶的，（n）从远处看像苍蝇的。
幸运的是，语言处理中使用的类别比 Borges 的分类容易定义。本章介绍用于分类的逻辑回归（logistic regression）算法。贯穿全章的示例是文本分类（text categorization），即为文本或文档分配标签或类别的任务。我们还会介绍情感分析（sentiment analysis）：对作者针对某个对象表达的正面或负面倾向进行分类。电影、书籍或商品评论表达作者对产品的情感，社论或政治文本则表达对某项行动或候选人的情感。从市场营销到政治学，许多领域都需要提取情感。
其他文本分类任务同样重要。垃圾邮件检测把电子邮件分入“垃圾邮件”或“非垃圾邮件”两类；语言识别判断文本使用何种语言；作者归属识别判断文本作者，与人文分析和取证分析都有关。
分类如此重要，还有一个原因：语言建模也可以视为分类。每个词都可以看作一个类别，因此，预测下一词相当于把到目前为止的上下文，分类为各个可能下一词对应的类别！这种直觉是大语言模型的基础。
本章介绍的逻辑回归分类算法本身也同样重要。首先，逻辑回归与神经网络关系密切。第 6 章将会看到，可以把神经网络视为一系列层层堆叠的逻辑回归分类器。其次，逻辑回归会引入语言模型的若干基础概念，包括 sigmoid 和 softmax 函数、logit，以及关键的梯度下降学习算法。最后，逻辑回归也是社会科学和自然科学中最重要的分析工具之一。
我们还会思考分类需要哪些特征。在情感分析中，awesome 和 love，或 awful 和 ridiculously 等词，是分类器可以利用的高信息量特征。下面是电影／餐馆评论中的样例片段：
+ ...awesome caramel sauce and sweet toasty almonds. I love this place!
...awful pizza and ridiculously overpriced...