시간이 부족하지만 VALL-E 2가 갑자기 zero-shot TTS의 기준점이 된 이유를 알아야 합니까? 이 간단한 설명은 마이크로소프트의 인간 수준 결과를 실제로 변경된 것으로 정제합니다. 전체 논문을 읽을 필요가 없습니다. 이는 신호를 빠르게 원하는 엔지니어와 연구자를 대상으로 합니다. 새로운 샘플링 스킴이 하는 일, Grouped Code Modeling이 지연 시간에 중요한 이유, 모델이 병적으로 어려운 문장을 어떻게 처리하는지, LibriSpeech와 VCTK에서 이전 SOTA 신경망 코덱 시스템과 비교하여 숫자가 어떻게 쌓이는지입니다.

설명자는 핵심 샘플링 중 토큰 반복 이력을 추적하여 트리키한 프롬프트에서 VALL-E를 괴롭혔던 디코딩 루프를 중지하는 Repetition Aware Sampling과 코덱 토큰을 그룹으로 청킹하여 시퀀스를 단축하고 추론을 가속화하며 장형 생성을 안정화하는 Grouped Code Modeling을 다룹니다. 또한 다운스트림 함축을 건드립니다. 기본 자연스러움과 화자 유사성과 일치하는 것은 ALS나 실어증으로 인해 음성을 잃은 사람들을 위한 음성을 합성하는 것과 같은 접근성 사용 사례에 대한 진정한 문을 엽니다. 더 깊은 검토나 전체 논문에 커밋할지 여부를 결정하기 전에 행정 요약 버전을 원하면 재생을 누르십시오.