마이크로소프트의 VALL-E 2 검토 (Zero-shot TTS에서 인간 수준 달성)
Zero-shot TTS는 많은 사람들이 여전히 몇 년 먼 것이라고 생각했던 선을 넘었습니다. 마이크로소프트의 VALL-E 2는 견고성, 자연스러움, 화자 유사성 측면에서 LibriSpeech와 VCTK 모두에서 인간 수준에 도달한 첫 번째 신경망 코덱 언어 모델입니다.
3분 안에 마이크로소프트의 VALL-E 2 이해하기 (Zero-shot TTS에서 인간 수준 달성)
시간이 부족하지만 VALL-E 2가 갑자기 zero-shot TTS의 기준점이 된 이유를 알아야 합니까?
DiTAR 검토: 음성 생성을 위한 Diffusion Transformer 자기 회귀 모델링 ~ Seed-TTS
Seed-TTS 팀이 DiTAR로 돌아왔으며, 이는 현대 음성 생성의 더 어색한 트레이드오프 중 하나에 대한 명확한 답입니다.
ByteDance/Tiktok의 Seed-TTS 검토: 고품질 다목적 음성 생성 모델 제품군
ByteDance의 Seed-TTS는 TTS가 컴포넌트에서 진정한 기초 모델로 진화하고 있다는 가장 강력한 신호 중 하나입니다.
OpenAI Whisper에서 자체 ASR 서비스로: 이름 엔티티 및 도메인별 용어 인식
Whisper는 즉시 인상적이지만, 실제로 프로덕션에 배포한 사람이라면 누구나 고통을 알고 있습니다: 고유명사, 제품 이름, 의료 용어, 법률 용어, 그리고 도메인 어휘의 전체 긴 꼬리를 잘못 처리합니다
Meta의 Movie Gen vs. OpenAI의 Sora: 상세 리뷰
Meta는 마침내 Sora에 대한 입장을 보였고, Movie Gen은 단순한 비디오 생성기 이상입니다 — 다중 aspect ratio로 1080p HD 비디오를 생성하고 동기화된 오디오를 지원하는 foundation 모델의 캐스트이며, 정밀합니다
Google 연구원의 End-to-End 음성 인식에 대한 심층 분석, Part 1: 개요 & 모델링
딥러닝의 10년은 ASR 단어 오류율을 50% 이상 상대적으로 감소시켰고, 그 과정에서 고전적인 HMM 파이프라인을 유물처럼 보이게 만들었습니다.
OpenAI GPT-4o의 신경망 아키텍처 추론하기
OpenAI는 GPT-4o에 대한 논문을 발표하지 않았으므로, 이 영상은 다음 최선의 방법을 제시합니다: OpenAI가 실제로 시연한 기능을 바탕으로 신경망 아키텍처가 거의 확실히 어떤 모습인지를 역엔지니어링합니다
Google의 100개 이상 언어를 지원하는 Universal Speech Model이 OpenAI의 Whisper Model을 능가합니다
Google의 Universal Speech Model은 조용히 놀라운 성과를 달성했습니다: 레이블이 지정된 훈련 데이터의 약 1/7을 사용하면서 100개 이상의 언어에서 OpenAI의 Whisper와 동등하거나 능가하는 ASR 성능을 달성했습니다.
긴 리뷰: Apple의 MM1: 멀티모달 LLM 사전 학습의 방법, 분석 및 인사이트
Apple은 많이 출판하지 않으므로, MM1 논문이 멀티모달 LLM 사전 학습에 대한 완전한 제거 연구와 함께 발표되었을 때, MLLM을 구축하는 모든 사람에게 올해 더 유용한 데이터 릴리스 중 하나였습니다.
Apple의 SOTA 멀티모달 LLM의 빠른 리뷰: MM1
MM1의 전체 분석에 시간이 없다면, 이 빠른 리뷰는 몇 분 안에 핵심을 제공합니다: Apple이 구축한 것, 아키텍처 및 데이터의 제거 연구에서 배운 것, 그리고 어떤 설계 결정이
Claude 3이 GPT-4를 능가하게 만든 비결
Claude 3 Opus가 MMLU, GPQA, GSM8K 및 대부분의 경계 평가 벤치마크에서 GPT-4를 능가했을 때, 흥미로운 질문은 Anthropic이 단순히 더 크게 확장했는지 여부가 아니라 어떤 학습 시간 비결이었는지였습니다.
Sora와 관련된 생성 AI 모델: 정규화 흐름
모두가 확산에 대해 이야기하고 있지만, 실제로 Sora와 현대 생성 비디오를 만든 계통을 이해하려면, 정규화 흐름으로 시간을 보내야 합니다 — 생성 모드의 클래스
변분 자동인코더(VAE) 및 재매개변수화 트릭 - 고전 생성 모델 재검토
확산 모델이 나오기 전에, 정규화 흐름이 나오기 전에, 잠재 확산 모델이 조용히 VAE 인코더를 모든 진지한 생성 스택에 구축하기 전에 — Kingma와 Welling의 2013년 논문이 변분 자동인코더를 소개
Microsoft+OpenAI, Google, Meta, 및 Nvidia의 오픈 소스 대규모 음성 모델 검토(ASR용)
모든 주요 AI 연구소는 이제 ASR용 오픈 소스 대규모 음성 모델을 출시했으며, 프로덕션용으로 올바른 모델을 선택하는 것이 실제 결정이 되었습니다.
![[Detailed Paper Reading] Zipformer: A faster and better encoder for automatic speech recognition](/media/video/2024/02/detailed-paper-reading-zipformer-a-faster-and-better-encoder-for-automatic-speech/preview.jpg)
[상세 논문 읽기] Zipformer: 자동 음성 인식을 위한 더 빠르고 나은 인코더
Conformer은 수년 동안 기본 ASR 인코더였지만, k2/icefall 팀의 Zipformer은 더 빠르고 가벼우면서도 LibriSpeech, Aishell-1, WenetSpeech에서 조용히 WER 왕관을 차지했습니다.
Tycho: 높은 ROI 자체 음성 관련 서비스(ASR/TTS/번역) 구축을 위한 툴킷: 개요
자체 ASR, TTS, 또는 음성 번역 서비스를 원하는 대부분의 팀은 동일한 복잡한 선택에 직면합니다: ESPnet, NeMo, k2, HuggingFace의 조각들을 붙이거나, 모든 것을 클라우드 API에 넘기고 분당 비용을 지불
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: 후처리 및 언어 모델링
원본 Whisper 출력은 기본 상태에서 인상적이지만, 실제 사용자에게 배포한 모든 사람은 데모 트랜스크립트와 다운스트림 시스템이 실제로 사용할 수 있는 것 사이의 간격을 알고 있습니다.
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: 긴 오디오 및 스트리밍 (Part 3)
Whisper는 30초 청크로 학습되었으며, 2시간 팟캐스트를 입력하거나 라이브 캡션 파이프라인에 연결하려고 할 때 한계를 드러냅니다.
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: ROI (투자 수익률) (Part 2)
ASR의 구축 대 구매 질문은 일반적으로 정확도 대 편의성으로 프레임화되지만, 실제 결정 요소는 제품 수명 동안의 ROI입니다.
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: 개요 (Part 1)
OpenAI가 Whisper를 오픈소스로 공개했을 때, 자체 ASR 서비스가 어떻게 보이는지에 대한 기준선을 조용히 재설정했습니다.
OpenAI Whisper가 생성한 단어 타임스탐프가 정확하지 않은 이유는? 다시 정확하게 만들 수 있을까?
Whisper에 단어 타임스탐프를 요청하면 숫자가 반환됩니다 — 하지만 실제 오디오와 맞춰보려고 시도한 경험이 있다면, 노래방, 자막, 더빙을 위해 드리프트가 발생하고 잘못된 경계로 스냅되며 가끔은
음성 생성 AI: Meta AI의 VoiceBox(Flow Matching과 Neural ODE도)
수년 동안 음성 생성은 규모와 일반성 측면에서 텍스트 및 이미지 생성에 뒤떨어졌습니다 — 모든 작업은 자체 맞춤형 모델을 사용했습니다.
I-JEPA: Yann LeCun의 첫 번째 '세계 모델' 컴퓨터 비전용
Yann LeCun은 수년 동안 생성형 사전 훈련이 세계를 이해하는 기계를 만들기 위한 잘못된 베팅이라고 주장해왔습니다.
LoRA: 고등학생도 게이밍 그래픽 카드로 대규모 언어 모델(GPT-3)을 훈련할 수 있게 하다
175B 파라미터 GPT-3의 전체 미세 조정은 거의 모든 사람에게 현실적이지 않습니다 — 저장 공간만으로도 불가능하며, GPU는 말할 것도 없습니다.
SpeechT5 리뷰: 음성(ASR, TTS, SID, ...) 작업에 Google의 T5 도입하기
T5는 단일 인코더-디코더 사전 훈련 방식 아래에서 텍스트-텍스트 작업을 통합했으며 NLP의 핵심 도구가 되었습니다.
Deepmind의 WaveNet TTS/오디오 합성 리뷰 (당신에게 GPT처럼 보이나요?)
Tacotron 이전에, VALL-E 이전에, 신경 코덱이 오디오를 토큰으로 변환하기 이전에, DeepMind의 WaveNet은 신경망이 원본 오디오 파형을 샘플 단위로 생성할 수 있음을 보여준 논문이었고 모든 매개변수식
HiFi-GAN 리뷰: 효율적이고 고충실도 음성 합성을 위한 생성 적대 네트워크
오랫동안 신경 보코더는 선택을 강요했습니다: WaveNet과 같은 자동회귀 모델은 아름다운 오디오를 제공했지만 고통스럽게 느렸고, GAN 기반 파형 생성기는 빠르지만 눈에 띄게 낮은 품질이었습니다.
Google의 SoundStream 심층 리뷰: 엔드-투-엔드 신경 오디오 코덱
신경 코덱은 조용히 현대 생성 오디오의 기초 계층이 되었고, SoundStream은 시작을 신호한 논문 중 하나입니다.
OpenAI GPT-4의 비전+텍스트 모델, 데이터 및 학습 비용 공개 (추측)
OpenAI는 GPT-4의 아키텍처, 파라미터 수, 학습 데이터 또는 컴퓨팅 예산을 공개하지 않기로 악명높으며, 이는 기술 보고서를 ML 커뮤니티를 위한 로르샤흐 테스트로 바꾸었습니다.