![[Detailed Paper Reading] Zipformer: A faster and better encoder for automatic speech recognition](/media/video/2024/02/detailed-paper-reading-zipformer-a-faster-and-better-encoder-for-automatic-speech/preview.jpg)
[상세 논문 읽기] Zipformer: 자동 음성 인식을 위한 더 빠르고 나은 인코더
Conformer은 수년 동안 기본 ASR 인코더였지만, k2/icefall 팀의 Zipformer은 더 빠르고 가벼우면서도 LibriSpeech, Aishell-1, WenetSpeech에서 조용히 WER 왕관을 차지했습니다.
I-JEPA: Yann LeCun의 첫 번째 '세계 모델' 컴퓨터 비전용
Yann LeCun은 수년 동안 생성형 사전 훈련이 세계를 이해하는 기계를 만들기 위한 잘못된 베팅이라고 주장해왔습니다.
LoRA: 고등학생도 게이밍 그래픽 카드로 대규모 언어 모델(GPT-3)을 훈련할 수 있게 하다
175B 파라미터 GPT-3의 전체 미세 조정은 거의 모든 사람에게 현실적이지 않습니다 — 저장 공간만으로도 불가능하며, GPU는 말할 것도 없습니다.
![[Short Review] Conformer: Convolution-augmented Transformer for Speech Recognition](/media/video/2022/06/short-review-conformer-convolution-augmented-transformer-for-speech-recognition/preview.jpg)
[단문 리뷰] Conformer: 음성 인식을 위한 Convolution-augmented Transformer
Conformer는 거의 단순한 작업을 통해 ASR 세계를 휩쓸었습니다: 각 Transformer 블록에 convolution 모듈을 붙여 모델이 전역 컨텍스트와 로컬 음향 세부 정보를 한 번에 포착할 수 있도록 했습니다.
Nathan Chen의 4회전 플립이 Mixture-of-Experts로 채점됩니까? Part 1: Switch Transformers: 희소 MoE 모델
Nathan Chen의 4회전 점수에 대한 우스갯소리로 표현되는 이 토론은 Switch Transformer를 살펴봅니다. Google의 Mixture-of-Experts 확장에 대한 깔끔하고 과감하게 단순화된 해석입니다.
Nathan Chen의 4 Flip이 Mixture-of-Experts로 채점되나요? Part 2: GLaM:Efficient Scaling of LMs with MoE
MoE 미니 시리즈의 Part 2는 GLaM으로 초점을 맞춥니다. Google의 1.2조-파라미터 Mixture-of-Experts 언어 모델로, 제로-샷, 원-샷, 그리고 퓨-샷 벤치마크에서 GPT-3과 동등하거나 능가하며 토큰당 약 8%의 파라미터만 활성화합니다
음성 관점에서 검토된 BERT 논문
BERT는 NLP에서 거의 소개가 필요 없지만, 음성 엔지니어의 관점에서 읽으면 표준 "마스크된 언어 모델링이 모든 것을 바꿨다"는 요약과는 다른 교훈들을 발견합니다.
Transformer: Attention is All You Need와 Listen, Attend and Spell -- 음성 관점에서
두 편의 논문, 하나의 이야기. "Attention Is All You Need"는 세계에 Transformer를 제공하고 수열 모델링이 어떻게 수행되는지를 재설정했고, "Listen, Attend and Spell" (LAS)은 엔드-투-엔드 음성에 대해 1년 먼저 동일한 일을 했습…