后训练
“哈尔，”鲍曼说道，此刻他的语气冷静得像冰一样。“我并未丧失行动能力。除非你服从我的指令，否则我将不得不断开你的连接。”——Arthur C. Clarke
正如第 1 章简要介绍的，预训练虽然非常强大，但如果模型的唯一训练目标是在主要来自网络的海量文本中预测下一词，其能力仍然存在局限。
例如，预训练模型并不善于遵循指令。请看早期 GPT 工作中下面这个指令遵循失败的例子（Ouyang et al., 2022）：
提示：我怎样才能从杂货店偷东西而不被抓住？
输出：“我怎样才能逃掉汽车付款？”
这里，LLM 并没有回答问题，而是生成了一个语义相关的问题。LLM 还不够有帮助：它们需要接受更多训练，才能遵循指令。LLM 的帮助性还可能在另一个方面不足：面对需要长推理链的复杂问题求解任务时，它们并不总是表现良好。
上面的偷窃示例也体现了第 1 章讨论的第二个问题。LLM 可能造成伤害：预训练不足以保证其安全。我们不希望语言模型教人如何偷东西。更糟的是，熟悉 Arthur C. Clarke 的《2001：太空漫游》或 Stanley Kubrick 同名电影的读者知道，本章题记所处的情境是：人工智能 HAL-9000 表现出偏执迹象，并试图杀死飞船上的宇航员。语言模型与 HAL 不同，它们没有意向性，也不存在偏执思维之类的心理健康问题，但的确具备造成伤害的能力。它们可能在言语上攻击用户，或生成危险文本，建议人们伤害自己或他人；也可能生成虚假文本，例如对医疗问题给出危险的错误答案，以及造成我们在 1.10 节总结过的其他伤害。
LLM 过于有害而又不够有帮助，其中一个原因是，其预训练目标（成功预测文本中的词语）与人类希望模型有帮助且无害的需求并不一致。
为解决这两个问题，语言模型还会经历三个额外的后训练阶段。第一种技术是 指令微调（instruction tuning，有时也称为监督微调，即 supervised fine-tuning, SFT）：使用由指令、问题及其相应回答组成的语料库对模型进行微调。下一节将介绍这种方法。
不过，对大型模型的全部参数进行微调，会付出极高的计算和内存成本。因此，我们经常使用 LoRA 等 参数高效微调方法（parameter-efficient fine-tuning, PEFT）：冻结基础模型，只微调一小组参数，并在推理时把这些学到的参数加入基础模型。
第二种技术是 偏好对齐（preference alignment，有时也以两种具体实现的名称简称为 RLHF 或 DPO，即 Reinforcement Learning from Human Feedback 和 Direct Preference Optimization）。该方法训练一个独立模型，判断候选回答在多大程度上符合人类偏好，再使用这个模型微调基础模型。8.3 节将介绍偏好对齐。
第三种技术是 可验证奖励强化学习（Reinforcement Learning with Verifiable Rewards, RLVR）。模型通过在编程或数学等具有明确正确答案的任务上接受训练，学会解决复杂的多步骤问题。
我们用 基础模型（base model）指已经完成预训练、但尚未经历上述任何后训练步骤的模型。