11.6 问答评估

评估问答系统通常采用两种技术，具体选择取决于问题类型与问答场景。对于 MMLU 中的选择题，我们报告精确匹配（exact match）：

精确匹配： 预测答案与金标准答案完全一致的比例。

对于 Natural Questions 等答案为自由文本的问题，我们通常使用词元 $F_1$ 分数进行评估，以粗略衡量答案与参考答案之间的部分字符串重叠：

$F_1$ 分数： 预测答案与金标准答案之间的平均词元重叠。把预测答案和金标准答案都视为词元袋，为每个问题计算 $F_1$，再返回所有问题的平均 $F_1$。