Tutorials
세쌍둥이처럼 닮은 러시아 피겨 스케이터들: Kullback-Leibler 발산이 그들의 차이를 구별할 수 있습니까?
스피커 적응은 시퀀스-투-시퀀스 모델을 인코더의 어렵게 획득한 음향 표현을 손상시키지 않고 적응시키려고 실제로 시도할 때까지 해결된 것처럼 들리는 ASR 문제 중 하나입니다.
Tutorials
Nathan Chen의 4회전 플립이 Mixture-of-Experts로 채점됩니까? Part 1: Switch Transformers: 희소 MoE 모델
Nathan Chen의 4회전 점수에 대한 우스갯소리로 표현되는 이 토론은 Switch Transformer를 살펴봅니다. Google의 Mixture-of-Experts 확장에 대한 깔끔하고 과감하게 단순화된 해석입니다.
Tutorials
Nathan Chen의 4 Flip이 Mixture-of-Experts로 채점되나요? Part 2: GLaM:Efficient Scaling of LMs with MoE
MoE 미니 시리즈의 Part 2는 GLaM으로 초점을 맞춥니다. Google의 1.2조-파라미터 Mixture-of-Experts 언어 모델로, 제로-샷, 원-샷, 그리고 퓨-샷 벤치마크에서 GPT-3과 동등하거나 능가하며 토큰당 약 8%의 파라미터만 활성화합니다
Tutorials
음성 관점에서 검토된 BERT 논문
BERT는 NLP에서 거의 소개가 필요 없지만, 음성 엔지니어의 관점에서 읽으면 표준 "마스크된 언어 모델링이 모든 것을 바꿨다"는 요약과는 다른 교훈들을 발견합니다.
Tutorials
Transformer: Attention is All You Need와 Listen, Attend and Spell -- 음성 관점에서
두 편의 논문, 하나의 이야기. "Attention Is All You Need"는 세계에 Transformer를 제공하고 수열 모델링이 어떻게 수행되는지를 재설정했고, "Listen, Attend and Spell" (LAS)은 엔드-투-엔드 음성에 대해 1년 먼저 동일한 일을 했습…
Tutorials
Breaking Bad에서 Wav2vec 2.0으로: 음성 표현의 자기 지도 학습을 위한 프레임워크
Walter White, Jesse Pinkman, 그리고 레이블이 없는 오디오 배치가 공통점이 뭘까요?