I-JEPA: Yann LeCun의 첫 번째 '세계 모델' 컴퓨터 비전용
Yann LeCun은 수년 동안 생성형 사전 훈련이 세계를 이해하는 기계를 만들기 위한 잘못된 베팅이라고 주장해왔습니다.
[장문 리뷰] Axial Attention in Multidimensional Transformers
이미지 또는 비디오에 대한 완전한 self-attention은 비용이 과도합니다. 이차 증가 없이 Transformer의 표현력을 유지하려면?
[단문 리뷰] Axial Attention in Multidimensional Transformers
Axial attention은 Transformer를 고차원 데이터에 대해 다루기 쉽게 유지하는 우아한 아이디어 중 하나입니다: 한 번에 모든 픽셀이나 모든 시간-주파수 빈에 주목하는 대신, 한 번에 한 축을 따라 주목합니다.
[롱 리뷰] Speaker Verification에서 Multispeaker Text-To-Speech Synthesis로의 Transfer Learning
이 논문은 제로샷 음성 클로닝을 실용적으로 만든 연구입니다: 수천 개의 노이즈가 많고 전사본이 없는 음성으로 판별적 검증 작업에서 speaker encoder를 학습한 후, 그 임베딩을 Tacotron 2로
[숏 리뷰] Speaker Verification에서 Multispeaker Text-To-Speech Synthesis로의 Transfer Learning
현대 제로샷 음성 클로닝 물결을 시작한 Google 논문은 아름답게 깔끔한 아키텍처를 가지고 있습니다: verification에 학습된 speaker encoder, 텍스트와 speaker 임베딩을
[숏 리뷰] Wav2Seq: Pseudo Languages를 사용한 Speech-to-Text Encoder-Decoder Models의 Pre-training
wav2vec 2.0 같은 Self-supervised pretraining은 훌륭한 speech encoder를 제공했습니다, 하지만 전체 encoder-decoder ASR 시스템을 원하면, decoder는 여전히 처음부터 시작했습니다.
[긴 리뷰] Towards Zero-Label Language Learning
인간이 레이블을 지정한 단 하나의 예제 없이 작업별 NLP 모델을 학습시킬 수 있다면 어떨까요? "Towards Zero-Label Language Learning"은 이 질문을 강하게 제기합니다.
[Short Review] 훈련 데이터 중복 제거가 언어 모델을 더 좋게 만든다
당신의 언어 모델의 "일반화" 중 얼마나 많은 부분이 실제로는 단순한 반복일까요?