练习

7.1 一个 Transformer 有 $L$ 层，模型维度为 $d$，包含 $A$ 个注意力头，其中 $d _ { k } = d _ { v } = d / A$，前馈维度为 $d _ { f f } = 4 d$。

a. 计算一个注意力层中 $W ^ { Q }$、$W ^ { K }$、$W ^ { V }$ 和 $W ^ { O }$ 的参数数量。你的答案是否取决于 A？

b. 计算一个前馈层的参数数量。

c. 忽略偏置项和层归一化，证明由 $L$ 个块组成的完整堆栈约有 $12Ld^2$ 个参数。

7.2 为什么图 7.10 中的注意力掩码使用 $-\infty$ 而不是 0？如果使用 0，会发生什么？

7.3 假设字符串 It was a dream 中各词对应的条件概率分别为 .0001、.0002、.000005 和 .0000001，计算语言模型在该字符串上的困惑度。

7.4 证明一段文本的困惑度等于该文本平均交叉熵损失的指数。

7.5 使用图 7.17 中的 logits，计算 $\tau = 0 . 2$ 和 $\tau = 2$ 时的概率，并验证二者的概率总和都为 1。当 $\tau \to 0$ 时会怎样？当 $\tau \to \infty$ 时又会怎样？