Tacotron 이전, VALL-E 이전, 신경 코덱이 오디오를 토큰으로 전환하기 전, DeepMind의 WaveNet는 신경망이 샘플별로 원시 오디오 파형 샘플을 생성하고 모든 매개변수 및 연결형 TTS 시스템을 자연스러울 수 있음을 보여주는 논문이었습니다. GPT 모양의 안경을 끼고 있는 모습을 보세요. 유사점이 이상합니다. 각 샘플을 모든 이전 샘플에 대해 조건을 맞춘 완전히 확률론적인 자동 회귀 모델입니다. LLMs가 가정 용어로 사용되기 5년 전의 오디오용 언어 모델입니다.

리뷰에서는 수용 필드를 기하급수적으로 증가시키기 위한 확장된 인과 컨볼루션, 게이트 활성화, 잔여 및 건너뛰기 연결 등 16kHz에서 작동하도록 만든 아키텍처를 살펴봅니다. 또한 WaveNet가 TTS 이상으로 시연한 내용(음성 교환을 위한 스피커 조절, 부산물로서의 음악 생성, 차별 모델로서의 경쟁력 있는 음소 인식까지 포함)도 다룹니다. 현대 음성 생성 AI가 실제로 시작된 곳과 오디오에 대한 자동 회귀 토큰 패러다임이 최신 TTS 시스템에서 계속 다시 나타나는 이유를 알고 싶다면 이 회고전이 훌륭한 기반이 될 것입니다.