InstructGPT가 지침 조정을 일상적인 문구로 만들기 전에 Google의 FLAN 논문에서는 자연어 지침에 대한 적당한 양의 다중 작업 미세 조정을 통해 일반 LM을 놀랍도록 유능한 제로 샷 학습자로 바꿀 수 있다는 사례를 제시했습니다. Jeff Dean의 2021년 연구 요약에서 강조된 FLAN은 수십 개의 NLP 작업을 지침으로 재구성하고 이에 대한 137B 매개변수 모델을 미세 조정한 다음 훈련 중에 본 적이 없는 보류 작업 클러스터를 평가합니다.

이 긴 검토는 작업 분류, 지침 템플릿 및 FLAN이 대부분의 벤치마크에서 원시 GPT-3 제로 샷을 이기는 것을 보여주는 결과를 통해 이루어집니다. 프롬프트 기반 대화 시스템을 설계하거나 대화 제품을 위한 맞춤형 LLM 백엔드를 구축하는 음성 AI 엔지니어에게 FLAN은 명령 조정이 작동하는 이유, 작은 모델에 해를 끼치는 경우, 실제로 어떤 작업 다양성이 도움이 되는지에 대한 필수적인 배경입니다. 최신 채팅 지원 보조자를 통해 FLAN에서 이어지는 지적 계보를 이해하고 싶다면 시간을 투자할 가치가 있습니다.