11.7 小结
本章介绍了信息检索任务，以及如何使用检索增强生成（RAG）借助检索篇章，改进 LLM 的问答与其他事实性生成。
• 本章重点讨论信息检索在问答及相关事实型任务中的应用。其思想是利用某个文档集合（可能是互联网）中的材料满足用户的信息需求。
• 信息检索（IR）任务根据用户通过查询表达的信息需求，向用户返回文档。在排序检索中，文档按排名顺序返回。
• IR 有两种范式：稀疏检索与稠密检索。二者都使用文档与查询的相似度，估计文档与用户信息需求的相关性。
• 在稀疏检索技术中，查询和文档都表示成稀疏向量，向量元素是其中各一元词的计数，并由 tf-idf 或 BM25 加权。随后，可用这些稀疏向量之间的余弦衡量查询—文档相似度。
• 倒排索引是一种用于稀疏检索的存储机制，可以非常高效地找出含有特定词语的文档。
• 在稠密检索技术中，文档或查询表示成由语言模型（BERT 家族等纯编码器模型，或纯解码器模型）计算的嵌入（稠密向量）。文档—查询相似度通过嵌入空间中的点积或余弦计算。
• 对于稠密检索，FAISS 是一种近似最近邻向量搜索算法，能非常高效地找出与查询嵌入最相似的 k 个文档嵌入，从而快速完成排序。
• 排序检索通常使用平均准确率均值或插值准确率进行评估。
• 检索可通过检索增强生成融入语言建模。在检索步骤中，用户查询被传给搜索引擎，以检索一组相关文档或篇章；在生成阶段，提示中包含查询和从集合中检索的一组文档，大语言模型据此有条件地生成答案。
• 问答等事实型任务中，如果只有一个已知答案，可以使用精确匹配评估；对于自由文本答案，则可使用词元 分数。