练习

3.1 写出三元概率估计公式（修改式 3.11）。然后写出前文 I am Sam 语料库中所有非零三元概率。

3.2 计算句子 i want chinese food 的概率。给出两个结果：一个使用图 3.2 和其后列出的“其他有用概率”，另一个使用图 3.7 中经过加一平滑的表。假设另外两个加一平滑概率为 $P(i|\langle s\rangle)=0.19$ 和 $P(\langle/s\rangle|food)=0.40$。

3.3 上一题计算的两个概率中，未平滑概率和已平滑概率哪个更高？解释原因。

3.4 给定下面这个由本章语料库修改而成的语料库：

<s> I am Sam </s>
<s> Sam I am </s>
<s> I am Sam </s>
<s> I do not like green eggs and Sam </s>

使用带加一平滑的二元语言模型，$P(Sam|am)$ 是多少？计数时应当像处理其他词元一样处理 <s> 和 </s>。

3.5 假设不使用句末符号 </s>。在下面的训练语料库上训练一个不使用 </s> 的未平滑二元语法：

<s> a b
<s> b b
<s> b a
<s> a a

证明该二元模型没有在所有句子长度上分配一个统一概率分布：先证明字母表 a、b 上四个可能双词句子的概率之和为 1.0，再证明该字母表上所有可能三词句子的概率之和也为 1.0。

3.6 假设在给定语料库上训练带加一平滑的三元语言模型，语料库包含 $V$ 个词类型。请使用各类 n 元计数和 $V$，写出估计 $P(w_3|w_1,w_2)$ 的公式，其中 $w_3$ 是跟随二元语法 $(w_1,w_2)$ 的词。使用 $c(w_1,w_2,w_3)$ 表示三元语法 $(w_1,w_2,w_3)$ 在语料库中的出现次数，并以类似方式表示二元和一元计数。

3.7 给定下面这个由本章语料库修改而成的语料库：

<s> I am Sam </s>
<s> Sam I am </s>
<s> I am Sam </s>
<s> I do not like green eggs and Sam </s>

如果在最大似然二元模型与最大似然一元模型之间使用线性插值平滑，其中 $\lambda_1=\frac12$、$\lambda_2=$……（原文此题残缺）。

3.8 编写一个程序，计算未平滑的一元和二元语法。

3.9 在任选的两个不同小型语料库上运行你的 n 元程序，例如电子邮件文本或新闻组文本。比较两个语料库的统计结果：最高频一元语法有哪些差异？二元语法又有哪些值得注意的差异？

3.10 为程序增加一个生成随机句子的选项。

3.11 为程序增加一个计算测试集困惑度的选项。

3.12 给定一个由 100 个数字组成的训练集：其中有 91 个零，数字 1～9 各出现一次。现在看到测试集 0 0 0 0 0 3 0 0 0 0。它的一元困惑度是多少？