ChatGPT 產品的背後是 InstructGPT 論文，這篇詳細的評論揭示了將原始 GPT-3 變成人們真正想要交談的東西的流程。配方分為三個階段：對貼標機演示所需行為進行監督微調，根據人類輸出排名訓練獎勵模型，以及根據人類回饋進行強化學習，將基本模型推向獎勵。 RLHF 是一個縮寫詞，它席捲了整個產業，而這也是它賴以生存的地方。

整體結果仍然令人驚訝：1.3B InstructGPT 模型產生的輸出比 175B GPT-3 更受人類歡迎，具有更好的真實性、更少的毒性輸出以及對公共 NLP 基準的最小回歸。對於考慮將語音 LLMs、TTS 風格控製或會話代理與用戶意圖對齊的語音 AI 團隊，這裡的對齊藍圖是每一篇後續論文的基礎。深入探討了標籤協議、獎勵模型數學以及塑造當今生產對話系統的權衡。必要的閱讀，或在這種情況下，必要的觀看。