Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

B.6 把朴素贝叶斯看作语言模型

上一节已经看到,朴素贝叶斯分类器可以使用任何特征:词典、URL、电子邮件地址、网络特征、短语等。但如果像 B.3 节那样,只使用单词特征,并使用文本中的全部词(而不是子集),朴素贝叶斯就与语言模型有一个重要相似之处。具体来说,朴素贝叶斯模型可以看作一组类别专属的一元语言模型,每个类别都实例化一个一元语言模型。

朴素贝叶斯模型的似然特征为每个词分配概率 P(wordc)P(\text{word}\mid c),因而模型也会为每个句子分配概率:

P(sc)=ipositionsP(wic)(B.15)P(s\mid c)=\prod_{i\in\text{positions}}P(w_i\mid c)\tag{B.15}

考虑一个包含正面(+)和负面(−)两类、参数如下的朴素贝叶斯模型:

wP(w|+)P(w|−)
I0.10.2
love0.10.001
this0.010.01
fun0.050.005
film0.10.1

上面的两列分别实例化一个语言模型,都可为句子“I love this fun film”赋予概率:

P(“I love this fun film”+)=0.1×0.1×0.01×0.05×0.1=5×107P(\text{“I love this fun film”}\mid +)=0.1\times0.1\times0.01\times0.05\times0.1=5\times10^{-7}
P(“I love this fun film”)=0.2×0.001×0.01×0.005×0.1=1.0×109P(\text{“I love this fun film”}\mid -)=0.2\times0.001\times0.01\times0.005\times0.1=1.0\times10^{-9}

在这个例子中,正面模型为该句分配了更高的概率,即 P(spos)>P(sneg)P(s\mid pos)>P(s\mid neg)。注意,这只是朴素贝叶斯模型的似然部分;乘以先验之后,完整的朴素贝叶斯模型完全可能作出不同的分类决定。