몇 달 동안 주석을 달며 레이블이 지정된 데이터가 전혀 필요하지 않다면 어떻게 될까요? Google의 "Towards Zero-Label Language Learning"은 이러한 도발을 강력히 추진하여 대규모 언어 모델이 작업 설명과 몇 가지 상황에 맞는 예만으로 자체 합성 훈련 세트를 생성할 수 있음을 보여줍니다. 그 결과 모델이 자체적으로 생성한 데이터에 대해 더 작은 학생 모델을 가르치고 학생은 SuperGLUE의 완전히 감독되는 기준선에 대해 자체 모델을 유지하는 파이프라인이 생성됩니다.

금도금되었지만 작은 라벨이 붙은 말뭉치에 앉아 있는 음성 AI 팀의 경우 그 의미는 직접적입니다. 감독되지 않은 데이터 합성이 NLU에 대해 잘 작동하는 경우 유사한 트릭을 사용하면 새로운 주석 계약 없이 ASR 사후 처리에 대한 의도 분류자, 슬롯 필러 또는 도메인 적응을 부트스트랩할 수 있습니다. 이 짧은 리뷰에서는 프롬프트 기반 데이터 생성 루프, 증류 설정 및 주장을 신뢰할 수 있게 만드는 수치를 풀어냅니다. 로드맵에 라벨이 없는 데이터 파이프라인이 있다면 빠르게 시도해 보세요.