마이크로소프트의 VALL-E 2 검토 (Zero-shot TTS에서 인간 수준 달성)
Zero-shot TTS는 많은 사람들이 여전히 몇 년 먼 것이라고 생각했던 선을 넘었습니다. 마이크로소프트의 VALL-E 2는 견고성, 자연스러움, 화자 유사성 측면에서 LibriSpeech와 VCTK 모두에서 인간 수준에 도달한 첫 번째 신경망 코덱 언어 모델입니다.
3분 안에 마이크로소프트의 VALL-E 2 이해하기 (Zero-shot TTS에서 인간 수준 달성)
시간이 부족하지만 VALL-E 2가 갑자기 zero-shot TTS의 기준점이 된 이유를 알아야 합니까?
OpenAI Whisper에서 자체 ASR 서비스로: 이름 엔티티 및 도메인별 용어 인식
Whisper는 즉시 인상적이지만, 실제로 프로덕션에 배포한 사람이라면 누구나 고통을 알고 있습니다: 고유명사, 제품 이름, 의료 용어, 법률 용어, 그리고 도메인 어휘의 전체 긴 꼬리를 잘못 처리합니다
Google 연구원의 End-to-End 음성 인식에 대한 심층 분석, Part 1: 개요 & 모델링
딥러닝의 10년은 ASR 단어 오류율을 50% 이상 상대적으로 감소시켰고, 그 과정에서 고전적인 HMM 파이프라인을 유물처럼 보이게 만들었습니다.
Google의 100개 이상 언어를 지원하는 Universal Speech Model이 OpenAI의 Whisper Model을 능가합니다
Google의 Universal Speech Model은 조용히 놀라운 성과를 달성했습니다: 레이블이 지정된 훈련 데이터의 약 1/7을 사용하면서 100개 이상의 언어에서 OpenAI의 Whisper와 동등하거나 능가하는 ASR 성능을 달성했습니다.
긴 리뷰: Apple의 MM1: 멀티모달 LLM 사전 학습의 방법, 분석 및 인사이트
Apple은 많이 출판하지 않으므로, MM1 논문이 멀티모달 LLM 사전 학습에 대한 완전한 제거 연구와 함께 발표되었을 때, MLLM을 구축하는 모든 사람에게 올해 더 유용한 데이터 릴리스 중 하나였습니다.
Apple의 SOTA 멀티모달 LLM의 빠른 리뷰: MM1
MM1의 전체 분석에 시간이 없다면, 이 빠른 리뷰는 몇 분 안에 핵심을 제공합니다: Apple이 구축한 것, 아키텍처 및 데이터의 제거 연구에서 배운 것, 그리고 어떤 설계 결정이
Claude 3이 GPT-4를 능가하게 만든 비결
Claude 3 Opus가 MMLU, GPQA, GSM8K 및 대부분의 경계 평가 벤치마크에서 GPT-4를 능가했을 때, 흥미로운 질문은 Anthropic이 단순히 더 크게 확장했는지 여부가 아니라 어떤 학습 시간 비결이었는지였습니다.
Microsoft+OpenAI, Google, Meta, 및 Nvidia의 오픈 소스 대규모 음성 모델 검토(ASR용)
모든 주요 AI 연구소는 이제 ASR용 오픈 소스 대규모 음성 모델을 출시했으며, 프로덕션용으로 올바른 모델을 선택하는 것이 실제 결정이 되었습니다.
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: 후처리 및 언어 모델링
원본 Whisper 출력은 기본 상태에서 인상적이지만, 실제 사용자에게 배포한 모든 사람은 데모 트랜스크립트와 다운스트림 시스템이 실제로 사용할 수 있는 것 사이의 간격을 알고 있습니다.
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: 긴 오디오 및 스트리밍 (Part 3)
Whisper는 30초 청크로 학습되었으며, 2시간 팟캐스트를 입력하거나 라이브 캡션 파이프라인에 연결하려고 할 때 한계를 드러냅니다.
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: ROI (투자 수익률) (Part 2)
ASR의 구축 대 구매 질문은 일반적으로 정확도 대 편의성으로 프레임화되지만, 실제 결정 요소는 제품 수명 동안의 ROI입니다.
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: 개요 (Part 1)
OpenAI가 Whisper를 오픈소스로 공개했을 때, 자체 ASR 서비스가 어떻게 보이는지에 대한 기준선을 조용히 재설정했습니다.
OpenAI Whisper가 생성한 단어 타임스탐프가 정확하지 않은 이유는? 다시 정확하게 만들 수 있을까?
Whisper에 단어 타임스탐프를 요청하면 숫자가 반환됩니다 — 하지만 실제 오디오와 맞춰보려고 시도한 경험이 있다면, 노래방, 자막, 더빙을 위해 드리프트가 발생하고 잘못된 경계로 스냅되며 가끔은
음성 생성 AI: Meta AI의 VoiceBox(Flow Matching과 Neural ODE도)
수년 동안 음성 생성은 규모와 일반성 측면에서 텍스트 및 이미지 생성에 뒤떨어졌습니다 — 모든 작업은 자체 맞춤형 모델을 사용했습니다.
SpeechT5 리뷰: 음성(ASR, TTS, SID, ...) 작업에 Google의 T5 도입하기
T5는 단일 인코더-디코더 사전 훈련 방식 아래에서 텍스트-텍스트 작업을 통합했으며 NLP의 핵심 도구가 되었습니다.
OpenAI GPT-4의 비전+텍스트 모델, 데이터 및 학습 비용 공개 (추측)
OpenAI는 GPT-4의 아키텍처, 파라미터 수, 학습 데이터 또는 컴퓨팅 예산을 공개하지 않기로 악명높으며, 이는 기술 보고서를 ML 커뮤니티를 위한 로르샤흐 테스트로 바꾸었습니다.
GPT-4의 기술 보고서 리뷰 (한눈에 보는 GPT-4)
GPT-4의 기술 보고서는 아키텍처 세부사항이 부족하고 능력 주장이 많기로 악명높으며, 이는 명확한 리뷰를 그 위에 구축하는 모든 사람을 위해 필수 읽기로 만듭니다.
![[Olewave's Review] AudioLM: a Language Modeling Approach to Audio Generation](/media/video/2023/03/olewaves-review-audiolm-a-language-modeling-approach-to-audio-generation/preview.jpg)
[Olewave의 리뷰] AudioLM: 오디오 생성을 위한 언어 모델링 접근
AudioLM은 많은 사람들에게 오디오 생성이 신호 처리보다는 언어 모델링처럼 보여야 한다고 확신시킨 논문입니다.
OpenAI의 GPT-3에 대한 심층 리뷰 : 언어 모델은 소수 샷 학습자입니다 (파트 3/3: 결과 및 나머지)
이 3부작 GPT-3 심층 분석의 최종 회차는 결과에 도달합니다: 1,750억 개의 파라미터를 벤치마크 스위트에 투입하고 미세 조정을 완전히 건너뛸 때 실제로 어떤 일이 발생하는지에 대해.
![[10 mins] Explain Why OpenAI's Whisper API Isn't As Good As ChatGPT](/media/video/2023/03/10-mins-explain-why-openais-whisper-api-isnt-as-good-as-chatgpt/preview.jpg)
[10분] OpenAI의 Whisper API가 ChatGPT만큼 좋지 않은 이유 설명
Whisper는 큰 성공을 거두었지만, GPT-3이 NLP를 재편했던 방식으로 ASR을 재편하지는 못했습니다. 이 10분짜리 리뷰는 그 이유가 논문 자체에 내재되어 있다고 주장합니다.
OpenAI의 GPT-3에 대한 심층 검토: 언어 모델은 Few-Shot 학습자입니다 (파트 2/3: 결과)
이 GPT-3 심층 분석의 2부는 설정을 넘어 실제로 사람들이 NLP를 재생각하게 한 결과로 이동합니다.
OpenAI의 GPT-3에 대한 심층 검토: 언어 모델은 Few-Shot 학습자입니다 (파트 1/3: 소개 & 접근)
이 세 부분 GPT-3 검토의 첫 번째 부분은 규모를 연구 베팅에서 업계 복음으로 바꾼 논문을 설정합니다.
VALL-E의 심층 리뷰: 신경 코덱 언어 모델이 영샷 텍스트 음성 합성기
3초 참고 클립으로부터의 영샷 TTS는 VALL-E가 출시될 때까지 불가능해 보였지만, 이 심층 리뷰는 Microsoft가 정확히 어떻게 이를 달성했는지를 상세히 설명합니다.
3분 안에 Microsoft의 VALL-E 이해하기 (최고 성능 영샷 TTS)
VALL-E는 TTS가 신호 회귀처럼 보이기를 멈추고 언어 모델링처럼 보이기 시작한 순간이며, 이 빠른 설명은 당신을 신속하게 이해하도록 도와줍니다.
ChatGPT/ChatGPT Plus/InstructGPT: 인간 피드백으로 지시를 따르도록 언어 모델 훈련
ChatGPT 제품 뒤에는 InstructGPT 논문이 있으며, 이 상세 리뷰는 원시 GPT-3을 사람들이 실제로 대화하고 싶어 하는 것으로 변환한 파이프라인을 자세히 분석합니다.
3분 안에 ChatGPT/ChatGPT Plus가 어떻게 작동하는지 설명
ChatGPT는 외부에서는 마법처럼 보이지만, 어디를 봐야 하는지 알면 레시피는 잘 문서화되어 있으며, 이 3분 설명은 핵심 아이디어를 요약합니다.
![[Olewave's Review] Branchformer: Parallel MLP-Attention Architectures, and E-Branchformer](/media/video/2022/11/olewaves-review-branchformer-parallel-mlp-attention-architectures-and-e-branchformer/preview.jpg)
[Olewave의 리뷰] Branchformer: Parallel MLP-Attention Architectures, and E-Branchformer
Conformer는 수년간 최고의 ASR 인코더였지만, Branchformer와 그 후속작인 E-Branchformer는 순차적 conv-plus-attention이 유일한 경로가 아니라는 설득력 있는 주장을 제시합니다.
![[Olewave's Review] OpenAI's Whisper ASR: Robust Speech Recognition via Large-Scale Weak Supervision](/media/video/2022/10/olewaves-review-openais-whisper-asr-robust-speech-recognition-via-large-scale-weak/preview.jpg)
[Olewave의 리뷰] OpenAI의 Whisper ASR: 대규모 약한 지도를 통한 강건한 음성 인식
OpenAI가 Whisper를 출시했을 때, ASR 커뮤니티는 68만 시간의 다국어, 다중 작업, 웹 크롤링 오디오로 훈련되어 사투리, 배경 소음, 기술 용어 전반에 걸쳐
Olewave의 RNN-T 설명 중 가장 상세함: Sequence Transduction with Recurrent Neural Networks
Alex Graves의 RNN-T 논문은 오늘날 출시되는 거의 모든 스트리밍 ASR 시스템의 조용한 조상이며, Google의 온디바이스 인식기에서부터 NeMo, ESPnet 등의 수많은 오픈소스 트랜스듀서 스택에 이르기까지입니다.