B.11 小结
本附录介绍了用于分类的朴素贝叶斯模型,并把它应用于情感分析这一文本分类任务。
许多语言处理任务都可以视作分类任务。
文本分类把整篇文本分到有限类别集合中的一个类别,包括情感分析、垃圾邮件检测、语言识别和作者归属判定等任务。
情感分析把文本分类为作者对某个对象表达的正面或负面倾向(情感)。
朴素贝叶斯是一种生成模型,它作出词袋假设(位置无关紧要)和条件独立假设(给定类别后,各词相互条件独立)。
对许多文本分类任务而言,采用二值化特征的朴素贝叶斯效果似乎更好。
分类器根据精确率和召回率等指标进行评估。
分类器使用相互独立的训练集、开发集和测试集进行训练,训练集内还可使用交叉验证。
应使用统计显著性检验来判断我们能否确信某一版分类器优于另一版。
分类器设计者应仔细考虑模型(包括训练数据及其他组件)可能造成的伤害,并在模型卡中报告模型特征。