ChatGPT 产品背后是 InstructGPT 论文，这次详细评测拆解了如何将原始 GPT-3 转变为人们真正想对话的系统的流程。该方法有三个阶段：在标注者演示的期望行为上进行监督微调、从人类偏好排序训练奖励模型，以及从人类反馈的强化学习来推动基础模型向奖励靠近。RLHF 是风靡整个行业的技术，这就是它首次大显身手之处。

这一主要成果至今仍令人惊讶：1.3B 的 InstructGPT 模型相比 175B 的 GPT-3 生成了更受人类欢迎的输出，具有更好的真实性、更低的有毒内容，以及在公开 NLP 基准上最小的性能下降。对于思考如何对齐语音 LLM、TTS 风格控制或对话代理与用户意图的语音 AI 团队来说，这里提供的对齐蓝图是所有后续论文都基于的方案。深度讲解介绍了标注协议、奖励模型数学以及塑造当今生产对话系统的各种权衡。这是必读（在这种情况下是必看）的内容。