사람이 라벨을 붙인 단일 예제 없이 작업별 NLP 모델을 훈련할 수 있다면 어떨까요? "제로 라벨 언어 학습을 향하여"는 이 질문에 집중합니다. 비결은 GPT-3와 같은 사전 훈련된 대규모 언어 모델에서 몇 번의 프롬프트를 사용하여 자체 훈련 세트를 합성한 다음 해당 합성 데이터만으로 다운스트림 모델을 미세 조정하는 비지도 데이터 생성(UDG)입니다.

이 긴 검토에서는 UDG 파이프라인과 그 놀라운 결과에 대해 자세히 설명합니다. 즉, 합성 데이터 일치로만 훈련된 모델 또는 실제 인간 주석에 대해 훈련된 기준선을 능가하며 합성 데이터와 라벨이 붙은 데이터를 증강으로 혼합하면 이 접근 방식은 SuperGLUE에 새로운 최첨단 수치를 설정합니다. 음성 및 음성 AI 팀의 경우 의미는 직접적입니다. 이는 의도 분류, 의미 체계 분석 및 사람 주석이 병목 현상이 발생하는 모든 다운스트림 NLU 작업을 위한 레이블 부트스트랩을 위한 플레이북입니다. 다음 합성 데이터 파이프라인을 계획하는 경우 심층 분석을 통해 모든 부분을 살펴봅니다.