ChatGPT는 외부에서는 마법처럼 보이지만, 어디를 봐야 하는지 알면 레시피는 잘 문서화되어 있으며, 이 3분 설명은 핵심 아이디어를 요약합니다. 시스템은 GPT-3 클래스 기본 모델에서 시작한 후, InstructGPT 파이프라인을 적용합니다: 인간이 작성한 시연에 대한 감독 미세조정, 인간 선호도 순위로 훈련된 보상 모델, 그리고 모델을 사용자가 실제로 원하는 것과 정렬하기 위한 인간 피드백에서의 강화 학습.

제품 뒤의 놀라운 결과는 1.3B InstructGPT 모델이 인간 선호도 평가에서 175B GPT-3을 이겼다는 것이며, 더 낮은 독성 출력과 더 나은 지시 따르기로, 모두 100배 적은 매개변수로 달성했습니다. 대화형 음성 에이전트를 구축하거나, 정렬 조정된 음성 LLM을 만들거나, ChatGPT가 원시 완성 API와 다른 이유를 이해하려고 하는 모든 사람을 위해, 이 압축된 개요는 논문 읽기 수고 없이 메커니즘을 설명합니다. 커피를 만드는 시간에 정신 모델을 얻고 싶다면 재생하세요.