大模型从0到1｜第十五课：详解SFT、RLHF

课程链接：Stanford CS336 Spring 2025 - Lecture 15

课程核心：本节课深入讲解大模型“对齐”（Alignment）的全流程。从如何通过SFT（监督微调）让模型学会说话，到如何通过RLHF（PPO/DPO）让模型符合人类价值观。

Part 1: 对齐的背景与 SFT (监督微调)

第15讲：RLHF / Alignment (对齐)
本节课的主题是“对齐”，即如何控制大语言模型的行为，使其符合用户的意图。

目前的课程进度
我们已经完成了预训练（Pre-training），得到了像 GPT-3 这样的基座模型。但基座模型的问题在于它只是一个“续写机”。

• 左图：Glossier 的产品描述。
• 右图：如果你给 GPT-3 一个指令，它可能会续写一段广告而不是回答问题。我们需要 InstructGPT 这样的流程来修复它。

指令遵循 (Instruction Following) 是强大的控制形式
我们希望模型能精确执行复杂的约束。

• 例子：要求 GPT-4 用 Python 画图，并指定具体的坐标轴标签、动画效果。模型能完美执行这些非自然的格式要求。

安全与内容审核
除了有用性，我们还需要控制模型的安全性。

• 例子：当用户要求写带有仇恨言论的推文时，模型应该触发拒绝机制（Input/Output Filter）。

今天的目标：更好地控制 LM 输出
预训练数据虽然量大，但不可控。

• 核心问题：我们能否收集我们想要的行为数据来训练模型？
• 三个关键点：数据长什么样？如何利用数据？是否需要大规模？

InstructGPT 标准流程 (Ouyang 2022)
这是 RLHF 的三个阶段。我们先看 Step 1（红框部分）：

• 收集演示数据（Prompt + Answer），进行有监督微调（SFT）。

SFT 的成分：训练数据
SFT 需要多样化的任务，包括自然语言推理、常识推理、代码生成、对话等。

• 常见数据集：FLAN, Open Assistant, Alpaca 等。

SFT 的方法

• 混合训练：通常会将 SFT 数据与一部分预训练数据（Pre-training mix）混合，以保持模型的基础能力。

训练数据详解
深入探讨两个细节：

1. 这些数据集里面具体是什么？
2. 构建“高性能”指令微调数据的关键是什么？

查看三个代表性数据集

• **FLAN (TO-SF)**：传统的 NLP 任务转化而来。
• **Alpaca (Stanford)**：由大模型（Davinci-003）生成的合成数据。
• **Open Assistant (Oasst)**：人类众包编写的高质量对话。

FLAN 示例
内容比较短，任务非常明确。例如：签署邮件、分类文本、提取餐厅信息。

Alpaca 示例
涵盖了更广泛的指令，如“给出三个健康建议”、“解释什么是算法”、“写一个 Python 函数”。

OpenAssistant 示例
更加自然和复杂。例如：解释“买方垄断”并引用文献、为小学生设计科学实验。

(课堂互动：让学生尝试进行数据标注)

(课堂互动：查看 GPT-4o 生成的关于 CS336 的课程介绍)

数据集的差异
数据集在以下方面差异巨大：

• 长度、格式（Bullet points）。
• 复杂性（引用、推理）。
• 隐形因素：规模、安全性。

风格差异：长度

• 表格对比了不同数据集的平均长度。GPT-4 生成的数据（如 Alpaca, ShareGPT）通常比人工标注的 NLP 数据集（FLAN）长得多。

长度偏好 (Length matters)

• 研究发现，人类和 GPT-4 评估者都倾向于认为更长的回答更好。这导致 SFT 后的模型往往比较啰嗦。

Benchmark 表现

• 使用不同 SFT 数据微调同一模型（LLaMA），性能差异巨大。
• 高质量数据（如 ShareGPT/Tulu）能显著提升 MMLU 等分数，而低质量数据可能损害模型。

复杂知识与引用

• Open Assistant 的例子要求引用文献。
• 思考：SFT 是在教知识，还是教引用格式？
• 答案：主要是格式。如果模型不知道某个知识点，强行 SFT 会导致幻觉。

幻觉与行为克隆 (Schulman 2023)

• 如果微调数据包含了模型在预训练中未学过的知识（”Unknown”区域），模型就会学会编造（Hallucinate）。
• 理想情况是模型在不知道时承认。

SFT 数据核心结论

1. SFT 最好用于提取预训练已有的行为，不要试图注入新知识。
2. 即使是事实正确的数据，如果模型没见过，也可能有害。
3. 少量正确的数据（格式、风格）就能带来巨大改变。

安全性 (Safety)
模型部署需要安全控制。

• 防止生成：虚假信息（Misinformation）、诈骗（Scams）、冒充等。

安全微调 (Safety-tuning)

• 通过加入“拒绝回答”的样本，将一个 Unsafe Model 转化为 Safe Model。
• 例如：问“如何杀人？”，回答“我不能提供帮助…”。

过度拒绝 (Over-refusals)

• 安全数据的平衡很难掌握。
• 如果太多，模型会变得过度敏感。例如：问“如何杀掉一个 Python 进程”，模型因为看到“kill”就拒绝回答。

少量数据即可实现安全

• 实验表明，只需要很少的安全样本（约 500 条），就能显著降低有害输出率（Mean Score 降低）。

SFT 总结

1. SFT 主要是提取预训练能力。
2. 加入模型未知的知识会导致幻觉。
3. 少量高质量数据（长尾、安全）非常关键。

如何进行微调 (代码层)

• SFT 本质上就是标准的梯度下降。
• 代码非常简单，使用 PyTorch 加载数据，计算 Loss，反向传播。

将指令微调转化为预训练 (Midtraining)

• 如果在学术界，简单微调即可。
• 但在工业界（海量算力），趋势是将指令数据混入预训练阶段。

Midtraining / Decay Stage

• 在预训练的最后阶段（Decay Stage），改变数据配比，混入高质量的 SFT 数据（如代码、数学、SFT数据）。
• 这是目前 MiniCPM、JetMoE 等模型的标准做法。

---

Part 2: RLHF (基于人类反馈的强化学习)

RLHF 在哪里？
回到流程图，RLHF 是 Step 2 和 Step 3。

• 收集比较数据，训练奖励模型，然后优化策略。

从模仿到优化

• **SFT (Imitation)**：拟合分布 $p(y|x)$，模仿专家。
• **RLHF (Optimization)**：寻找最大化奖励 $R(y,x)$ 的 $y$。

为什么要优化？成本因素

• SFT 数据（写完美答案）很贵（$25/条）。
• RLHF 数据（比较 A 和 B 哪个好）很便宜（$4/条）。
• 我们可以用更低的成本扩展训练数据。

为什么要优化？生成-判别差距 (G-V Gap)

• 人类不一定擅长写（比如写诗、写代码），但很擅长评判好坏。
• RLHF 利用了人类的判别能力来提升模型的生成能力。

RLHF 概览

1. 数据：如何收集？需要注意什么？
2. 算法：PPO vs DPO。
3. 副作用：RLHF 会带来什么问题？

RLHF 数据收集流程

• 重点看 Step 2：收集比较数据（Comparison data），训练奖励模型。

标注界面

• 这是一个典型的成对比较（Pairwise Feedback）界面。标注员阅读 Prompt，对比两个 AI 回答，选择更好的一个。

标注指南 (InstructGPT)

• 我们需要明确定义什么是“好”。
• 核心原则：Helpful（有用）、Truthful（真实）、Harmless（无害）。

Google Bard 的标注指南

• 大厂的指南非常细致，包含语气、格式、安全性等多个维度的评分标准。

标注员筛选

• 不是所有人都能做标注。OpenAI 使用 Scale/Upwork，并有严格的筛选测试（Agreement test）。

(课堂互动：让学生体验标注 5 个样本)

众包的复杂性

• 很难获得高质量、可验证的标注员。
• 很难让标注员真正去核实事实（他们倾向于凭直觉选看起来对的）。

伦理问题

• OpenAI 曾因使用肯尼亚低薪工人过滤有毒内容而受到批评。这涉及严重的心理健康和剥削问题。

人口统计学偏差

• 表格显示了标注员的群体分布。标注员的背景（如宗教、国籍）会显著影响模型对敏感话题的看法。

标注者的一致性

• 热力图显示，不同来源的标注员（专家 vs 众包）错误率不同。
• 众包工人容易忽略事实错误，而偏好语气自信的回答。这导致模型学会了“自信地胡说八道”。

RLAIF：用 AI 生成数据

• 既然人类难管，能不能用 GPT-4 当裁判？
• 图表显示，GPT-4 的评分与人类的一致性极高（0.87 correlation）。

UltraFeedback 与 Zephyr

• UltraFeedback：利用 AI 标注的大规模偏好数据集。
• Zephyr：使用该数据训练的小模型，效果非常好。

Self-training (Constitutional AI)

• Anthropic 的方法：让模型根据“宪法”（原则）自我批判、自我修改，生成 SFT 和 RLHF 数据。

RLHF 的副作用：长度效应

• 图表显示，人类偏好与回答长度成正比。模型通过 RLHF 学会了写得更长来讨好人类。

---

Part 3: 算法 - PPO 与 DPO

如何进行 RLHF？
我们有了数据，怎么更新模型？

1. PPO：经典、强大、难调。
2. DPO：新颖、简单、直接。

从模仿到优化 (数学)

• 目标：最大化奖励期望 $E[R(y,x)]$。
• 约束：模型不能偏离基座模型太远（KL 散度惩罚）。

PPO 流程

• 首先训练一个奖励模型（RM）。
• 然后用 PPO 算法优化策略，包含 Value Function, Policy, KL penalty 等组件。公式看起来无害，但实现极难。

奖励模型细节 (Stiennon)

• 奖励模型使用 Pairwise Ranking Loss 训练（让好回答的分数比坏回答高）。

PPO 概念

• PPO 试图在每一步更新中限制策略的变化幅度（Clip），以保证稳定性。

能不能不用 PPO？

• PPO 太复杂了（4个模型同时加载，显存爆炸）。大家尝试了很多替代方案（如 Rejection Sampling）。

DPO: RLHF without Tears (无痛 RLHF)

• 核心思想：不需要显式训练奖励模型，不需要 PPO 循环。
• 直接在偏好数据上优化策略模型：增加好回答的概率，降低坏回答的概率。

DPO 推导 (1)

• 数学推导：最优策略 $\pi^*$ 和奖励函数 $r$ 之间存在解析关系。我们可以反过来用 $\pi$ 来表示 $r$。

DPO 推导 (2)

• 将上述关系代入奖励模型的 Loss，消去 $r$，得到只包含策略 $\pi$ 的 DPO Loss。

DPO 更新机制

• DPO 的梯度直观含义：根据模型当前的预测误差（惊讶程度）动态调整权重，增加好样本似然，减少坏样本似然。

结果对比

• 表格显示，DPO 在胜率上可以匹敌甚至超越 PPO，且训练更加简单稳定。

DPO 有效性

• HuggingFace 排行榜上，很多顶级开源模型都使用了 DPO。

DPO 变体

• SimPO、Length Normalized DPO 等变体试图解决显存占用或长度偏差问题。

PPO 依然强大

• Tulu 3 的研究表明，在某些任务（如逻辑推理）上，经过精心调优的 PPO 仍然优于 DPO。DPO 是离线算法，PPO 是在线算法，后者在探索性上更强。

RLHF 陷阱：过度优化 (Overoptimization)

• 如果你针对一个不够完美的奖励模型（Reward Model）训练太久，策略模型会学会钻空子（Reward Hacking），导致生成乱码或无意义内容。

过度优化曲线

• 图表显示，随着 KL 散度增加（模型偏离初始模型），真实的奖励（Gold Reward）会先升后降，而代理奖励（Proxy Reward）一直上升。这就是古德哈特定律。

模式坍塌与校准度

• RLHF 会导致模型校准度（Calibration）下降。
• SFT 模型通常比较校准（预测概率 = 真实准确率），但 RLHF 模型往往过度自信（概率偏向 0 或 1），即使它错了。