๋ง์ดํฌ๋ก์ํํธ์ VALL-E 2 ๊ฒํ (Zero-shot TTS์์ ์ธ๊ฐ ์์ค ๋ฌ์ฑ)
Zero-shot TTS๋ ๋ง์ ์ฌ๋๋ค์ด ์ฌ์ ํ ๋ช ๋ ๋จผ ๊ฒ์ด๋ผ๊ณ ์๊ฐํ๋ ์ ์ ๋์์ต๋๋ค. ๋ง์ดํฌ๋ก์ํํธ์ VALL-E 2๋ ๊ฒฌ๊ณ ์ฑ, ์์ฐ์ค๋ฌ์, ํ์ ์ ์ฌ์ฑ ์ธก๋ฉด์์ LibriSpeech์ VCTK ๋ชจ๋์์ ์ธ๊ฐ ์์ค์ ๋๋ฌํ ์ฒซ ๋ฒ์งธ ์ ๊ฒฝ๋ง ์ฝ๋ฑ ์ธ์ด ๋ชจ๋ธ์ ๋๋ค.
3๋ถ ์์ ๋ง์ดํฌ๋ก์ํํธ์ VALL-E 2 ์ดํดํ๊ธฐ (Zero-shot TTS์์ ์ธ๊ฐ ์์ค ๋ฌ์ฑ)
์๊ฐ์ด ๋ถ์กฑํ์ง๋ง VALL-E 2๊ฐ ๊ฐ์๊ธฐ zero-shot TTS์ ๊ธฐ์ค์ ์ด ๋ ์ด์ ๋ฅผ ์์์ผ ํฉ๋๊น?
DiTAR ๊ฒํ : ์์ฑ ์์ฑ์ ์ํ Diffusion Transformer ์๊ธฐ ํ๊ท ๋ชจ๋ธ๋ง ~ Seed-TTS
Seed-TTS ํ์ด DiTAR๋ก ๋์์์ผ๋ฉฐ, ์ด๋ ํ๋ ์์ฑ ์์ฑ์ ๋ ์ด์ํ ํธ๋ ์ด๋์คํ ์ค ํ๋์ ๋ํ ๋ช ํํ ๋ต์ ๋๋ค.
ByteDance/Tiktok์ Seed-TTS ๊ฒํ : ๊ณ ํ์ง ๋ค๋ชฉ์ ์์ฑ ์์ฑ ๋ชจ๋ธ ์ ํ๊ตฐ
ByteDance์ Seed-TTS๋ TTS๊ฐ ์ปดํฌ๋ํธ์์ ์ง์ ํ ๊ธฐ์ด ๋ชจ๋ธ๋ก ์งํํ๊ณ ์๋ค๋ ๊ฐ์ฅ ๊ฐ๋ ฅํ ์ ํธ ์ค ํ๋์ ๋๋ค.
OpenAI Whisper์์ ์์ฒด ASR ์๋น์ค๋ก: ์ด๋ฆ ์ํฐํฐ ๋ฐ ๋๋ฉ์ธ๋ณ ์ฉ์ด ์ธ์
Whisper๋ ์ฆ์ ์ธ์์ ์ด์ง๋ง, ์ค์ ๋ก ํ๋ก๋์ ์ ๋ฐฐํฌํ ์ฌ๋์ด๋ผ๋ฉด ๋๊ตฌ๋ ๊ณ ํต์ ์๊ณ ์์ต๋๋ค: ๊ณ ์ ๋ช ์ฌ, ์ ํ ์ด๋ฆ, ์๋ฃ ์ฉ์ด, ๋ฒ๋ฅ ์ฉ์ด, ๊ทธ๋ฆฌ๊ณ ๋๋ฉ์ธ ์ดํ์ ์ ์ฒด ๊ธด ๊ผฌ๋ฆฌ๋ฅผ ์๋ชป ์ฒ๋ฆฌํฉ๋๋ค
Meta์ Movie Gen vs. OpenAI์ Sora: ์์ธ ๋ฆฌ๋ทฐ
Meta๋ ๋ง์นจ๋ด Sora์ ๋ํ ์ ์ฅ์ ๋ณด์๊ณ , Movie Gen์ ๋จ์ํ ๋น๋์ค ์์ฑ๊ธฐ ์ด์์ ๋๋ค โ ๋ค์ค aspect ratio๋ก 1080p HD ๋น๋์ค๋ฅผ ์์ฑํ๊ณ ๋๊ธฐํ๋ ์ค๋์ค๋ฅผ ์ง์ํ๋ foundation ๋ชจ๋ธ์ ์บ์คํธ์ด๋ฉฐ, ์ ๋ฐํฉ๋๋ค
Google ์ฐ๊ตฌ์์ End-to-End ์์ฑ ์ธ์์ ๋ํ ์ฌ์ธต ๋ถ์, Part 1: ๊ฐ์ & ๋ชจ๋ธ๋ง
๋ฅ๋ฌ๋์ 10๋ ์ ASR ๋จ์ด ์ค๋ฅ์จ์ 50% ์ด์ ์๋์ ์ผ๋ก ๊ฐ์์์ผฐ๊ณ , ๊ทธ ๊ณผ์ ์์ ๊ณ ์ ์ ์ธ HMM ํ์ดํ๋ผ์ธ์ ์ ๋ฌผ์ฒ๋ผ ๋ณด์ด๊ฒ ๋ง๋ค์์ต๋๋ค.
OpenAI GPT-4o์ ์ ๊ฒฝ๋ง ์ํคํ ์ฒ ์ถ๋ก ํ๊ธฐ
OpenAI๋ GPT-4o์ ๋ํ ๋ ผ๋ฌธ์ ๋ฐํํ์ง ์์์ผ๋ฏ๋ก, ์ด ์์์ ๋ค์ ์ต์ ์ ๋ฐฉ๋ฒ์ ์ ์ํฉ๋๋ค: OpenAI๊ฐ ์ค์ ๋ก ์์ฐํ ๊ธฐ๋ฅ์ ๋ฐํ์ผ๋ก ์ ๊ฒฝ๋ง ์ํคํ ์ฒ๊ฐ ๊ฑฐ์ ํ์คํ ์ด๋ค ๋ชจ์ต์ธ์ง๋ฅผ ์ญ์์ง๋์ด๋งํฉ๋๋ค
Google์ 100๊ฐ ์ด์ ์ธ์ด๋ฅผ ์ง์ํ๋ Universal Speech Model์ด OpenAI์ Whisper Model์ ๋ฅ๊ฐํฉ๋๋ค
Google์ Universal Speech Model์ ์กฐ์ฉํ ๋๋ผ์ด ์ฑ๊ณผ๋ฅผ ๋ฌ์ฑํ์ต๋๋ค: ๋ ์ด๋ธ์ด ์ง์ ๋ ํ๋ จ ๋ฐ์ดํฐ์ ์ฝ 1/7์ ์ฌ์ฉํ๋ฉด์ 100๊ฐ ์ด์์ ์ธ์ด์์ OpenAI์ Whisper์ ๋๋ฑํ๊ฑฐ๋ ๋ฅ๊ฐํ๋ ASR ์ฑ๋ฅ์ ๋ฌ์ฑํ์ต๋๋ค.
๊ธด ๋ฆฌ๋ทฐ: Apple์ MM1: ๋ฉํฐ๋ชจ๋ฌ LLM ์ฌ์ ํ์ต์ ๋ฐฉ๋ฒ, ๋ถ์ ๋ฐ ์ธ์ฌ์ดํธ
Apple์ ๋ง์ด ์ถํํ์ง ์์ผ๋ฏ๋ก, MM1 ๋ ผ๋ฌธ์ด ๋ฉํฐ๋ชจ๋ฌ LLM ์ฌ์ ํ์ต์ ๋ํ ์์ ํ ์ ๊ฑฐ ์ฐ๊ตฌ์ ํจ๊ป ๋ฐํ๋์์ ๋, MLLM์ ๊ตฌ์ถํ๋ ๋ชจ๋ ์ฌ๋์๊ฒ ์ฌํด ๋ ์ ์ฉํ ๋ฐ์ดํฐ ๋ฆด๋ฆฌ์ค ์ค ํ๋์์ต๋๋ค.
Apple์ SOTA ๋ฉํฐ๋ชจ๋ฌ LLM์ ๋น ๋ฅธ ๋ฆฌ๋ทฐ: MM1
MM1์ ์ ์ฒด ๋ถ์์ ์๊ฐ์ด ์๋ค๋ฉด, ์ด ๋น ๋ฅธ ๋ฆฌ๋ทฐ๋ ๋ช ๋ถ ์์ ํต์ฌ์ ์ ๊ณตํฉ๋๋ค: Apple์ด ๊ตฌ์ถํ ๊ฒ, ์ํคํ ์ฒ ๋ฐ ๋ฐ์ดํฐ์ ์ ๊ฑฐ ์ฐ๊ตฌ์์ ๋ฐฐ์ด ๊ฒ, ๊ทธ๋ฆฌ๊ณ ์ด๋ค ์ค๊ณ ๊ฒฐ์ ์ด
Claude 3์ด GPT-4๋ฅผ ๋ฅ๊ฐํ๊ฒ ๋ง๋ ๋น๊ฒฐ
Claude 3 Opus๊ฐ MMLU, GPQA, GSM8K ๋ฐ ๋๋ถ๋ถ์ ๊ฒฝ๊ณ ํ๊ฐ ๋ฒค์น๋งํฌ์์ GPT-4๋ฅผ ๋ฅ๊ฐํ์ ๋, ํฅ๋ฏธ๋ก์ด ์ง๋ฌธ์ Anthropic์ด ๋จ์ํ ๋ ํฌ๊ฒ ํ์ฅํ๋์ง ์ฌ๋ถ๊ฐ ์๋๋ผ ์ด๋ค ํ์ต ์๊ฐ ๋น๊ฒฐ์ด์๋์ง์์ต๋๋ค.
Sora์ ๊ด๋ จ๋ ์์ฑ AI ๋ชจ๋ธ: ์ ๊ทํ ํ๋ฆ
๋ชจ๋๊ฐ ํ์ฐ์ ๋ํด ์ด์ผ๊ธฐํ๊ณ ์์ง๋ง, ์ค์ ๋ก Sora์ ํ๋ ์์ฑ ๋น๋์ค๋ฅผ ๋ง๋ ๊ณํต์ ์ดํดํ๋ ค๋ฉด, ์ ๊ทํ ํ๋ฆ์ผ๋ก ์๊ฐ์ ๋ณด๋ด์ผ ํฉ๋๋ค โ ์์ฑ ๋ชจ๋์ ํด๋์ค
๋ณ๋ถ ์๋์ธ์ฝ๋(VAE) ๋ฐ ์ฌ๋งค๊ฐ๋ณ์ํ ํธ๋ฆญ - ๊ณ ์ ์์ฑ ๋ชจ๋ธ ์ฌ๊ฒํ
ํ์ฐ ๋ชจ๋ธ์ด ๋์ค๊ธฐ ์ ์, ์ ๊ทํ ํ๋ฆ์ด ๋์ค๊ธฐ ์ ์, ์ ์ฌ ํ์ฐ ๋ชจ๋ธ์ด ์กฐ์ฉํ VAE ์ธ์ฝ๋๋ฅผ ๋ชจ๋ ์ง์งํ ์์ฑ ์คํ์ ๊ตฌ์ถํ๊ธฐ ์ ์ โ Kingma์ Welling์ 2013๋ ๋ ผ๋ฌธ์ด ๋ณ๋ถ ์๋์ธ์ฝ๋๋ฅผ ์๊ฐ
Microsoft+OpenAI, Google, Meta, ๋ฐ Nvidia์ ์คํ ์์ค ๋๊ท๋ชจ ์์ฑ ๋ชจ๋ธ ๊ฒํ (ASR์ฉ)
๋ชจ๋ ์ฃผ์ AI ์ฐ๊ตฌ์๋ ์ด์ ASR์ฉ ์คํ ์์ค ๋๊ท๋ชจ ์์ฑ ๋ชจ๋ธ์ ์ถ์ํ์ผ๋ฉฐ, ํ๋ก๋์ ์ฉ์ผ๋ก ์ฌ๋ฐ๋ฅธ ๋ชจ๋ธ์ ์ ํํ๋ ๊ฒ์ด ์ค์ ๊ฒฐ์ ์ด ๋์์ต๋๋ค.
[์์ธ ๋ ผ๋ฌธ ์ฝ๊ธฐ] Zipformer: ์๋ ์์ฑ ์ธ์์ ์ํ ๋ ๋น ๋ฅด๊ณ ๋์ ์ธ์ฝ๋
Conformer์ ์๋ ๋์ ๊ธฐ๋ณธ ASR ์ธ์ฝ๋์์ง๋ง, k2/icefall ํ์ Zipformer์ ๋ ๋น ๋ฅด๊ณ ๊ฐ๋ฒผ์ฐ๋ฉด์๋ LibriSpeech, Aishell-1, WenetSpeech์์ ์กฐ์ฉํ WER ์๊ด์ ์ฐจ์งํ์ต๋๋ค.
Tycho: ๋์ ROI ์์ฒด ์์ฑ ๊ด๋ จ ์๋น์ค(ASR/TTS/๋ฒ์ญ) ๊ตฌ์ถ์ ์ํ ํดํท: ๊ฐ์
์์ฒด ASR, TTS, ๋๋ ์์ฑ ๋ฒ์ญ ์๋น์ค๋ฅผ ์ํ๋ ๋๋ถ๋ถ์ ํ์ ๋์ผํ ๋ณต์กํ ์ ํ์ ์ง๋ฉดํฉ๋๋ค: ESPnet, NeMo, k2, HuggingFace์ ์กฐ๊ฐ๋ค์ ๋ถ์ด๊ฑฐ๋, ๋ชจ๋ ๊ฒ์ ํด๋ผ์ฐ๋ API์ ๋๊ธฐ๊ณ ๋ถ๋น ๋น์ฉ์ ์ง๋ถ
OpenAI์ Whisper ๋ชจ๋ธ์์ ์์ ์ ์์ฒด ASR ์๋น์ค๋ก: ํ์ฒ๋ฆฌ ๋ฐ ์ธ์ด ๋ชจ๋ธ๋ง
์๋ณธ Whisper ์ถ๋ ฅ์ ๊ธฐ๋ณธ ์ํ์์ ์ธ์์ ์ด์ง๋ง, ์ค์ ์ฌ์ฉ์์๊ฒ ๋ฐฐํฌํ ๋ชจ๋ ์ฌ๋์ ๋ฐ๋ชจ ํธ๋์คํฌ๋ฆฝํธ์ ๋ค์ด์คํธ๋ฆผ ์์คํ ์ด ์ค์ ๋ก ์ฌ์ฉํ ์ ์๋ ๊ฒ ์ฌ์ด์ ๊ฐ๊ฒฉ์ ์๊ณ ์์ต๋๋ค.
OpenAI์ Whisper ๋ชจ๋ธ์์ ์์ ์ ์์ฒด ASR ์๋น์ค๋ก: ๊ธด ์ค๋์ค ๋ฐ ์คํธ๋ฆฌ๋ฐ (Part 3)
Whisper๋ 30์ด ์ฒญํฌ๋ก ํ์ต๋์์ผ๋ฉฐ, 2์๊ฐ ํ์บ์คํธ๋ฅผ ์ ๋ ฅํ๊ฑฐ๋ ๋ผ์ด๋ธ ์บก์ ํ์ดํ๋ผ์ธ์ ์ฐ๊ฒฐํ๋ ค๊ณ ํ ๋ ํ๊ณ๋ฅผ ๋๋ฌ๋ ๋๋ค.
OpenAI์ Whisper ๋ชจ๋ธ์์ ์์ ์ ์์ฒด ASR ์๋น์ค๋ก: ROI (ํฌ์ ์์ต๋ฅ ) (Part 2)
ASR์ ๊ตฌ์ถ ๋ ๊ตฌ๋งค ์ง๋ฌธ์ ์ผ๋ฐ์ ์ผ๋ก ์ ํ๋ ๋ ํธ์์ฑ์ผ๋ก ํ๋ ์ํ๋์ง๋ง, ์ค์ ๊ฒฐ์ ์์๋ ์ ํ ์๋ช ๋์์ ROI์ ๋๋ค.
OpenAI์ Whisper ๋ชจ๋ธ์์ ์์ ์ ์์ฒด ASR ์๋น์ค๋ก: ๊ฐ์ (Part 1)
OpenAI๊ฐ Whisper๋ฅผ ์คํ์์ค๋ก ๊ณต๊ฐํ์ ๋, ์์ฒด ASR ์๋น์ค๊ฐ ์ด๋ป๊ฒ ๋ณด์ด๋์ง์ ๋ํ ๊ธฐ์ค์ ์ ์กฐ์ฉํ ์ฌ์ค์ ํ์ต๋๋ค.
OpenAI Whisper๊ฐ ์์ฑํ ๋จ์ด ํ์์คํํ๊ฐ ์ ํํ์ง ์์ ์ด์ ๋? ๋ค์ ์ ํํ๊ฒ ๋ง๋ค ์ ์์๊น?
Whisper์ ๋จ์ด ํ์์คํํ๋ฅผ ์์ฒญํ๋ฉด ์ซ์๊ฐ ๋ฐํ๋ฉ๋๋ค โ ํ์ง๋ง ์ค์ ์ค๋์ค์ ๋ง์ถฐ๋ณด๋ ค๊ณ ์๋ํ ๊ฒฝํ์ด ์๋ค๋ฉด, ๋ ธ๋๋ฐฉ, ์๋ง, ๋๋น์ ์ํด ๋๋ฆฌํํธ๊ฐ ๋ฐ์ํ๊ณ ์๋ชป๋ ๊ฒฝ๊ณ๋ก ์ค๋ ๋๋ฉฐ ๊ฐ๋์
์์ฑ ์์ฑ AI: Meta AI์ VoiceBox(Flow Matching๊ณผ Neural ODE๋)
์๋ ๋์ ์์ฑ ์์ฑ์ ๊ท๋ชจ์ ์ผ๋ฐ์ฑ ์ธก๋ฉด์์ ํ ์คํธ ๋ฐ ์ด๋ฏธ์ง ์์ฑ์ ๋ค๋จ์ด์ก์ต๋๋ค โ ๋ชจ๋ ์์ ์ ์์ฒด ๋ง์ถคํ ๋ชจ๋ธ์ ์ฌ์ฉํ์ต๋๋ค.
I-JEPA: Yann LeCun์ ์ฒซ ๋ฒ์งธ '์ธ๊ณ ๋ชจ๋ธ' ์ปดํจํฐ ๋น์ ์ฉ
Yann LeCun์ ์๋ ๋์ ์์ฑํ ์ฌ์ ํ๋ จ์ด ์ธ๊ณ๋ฅผ ์ดํดํ๋ ๊ธฐ๊ณ๋ฅผ ๋ง๋ค๊ธฐ ์ํ ์๋ชป๋ ๋ฒ ํ ์ด๋ผ๊ณ ์ฃผ์ฅํด์์ต๋๋ค.
LoRA: ๊ณ ๋ฑํ์๋ ๊ฒ์ด๋ฐ ๊ทธ๋ํฝ ์นด๋๋ก ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(GPT-3)์ ํ๋ จํ ์ ์๊ฒ ํ๋ค
175B ํ๋ผ๋ฏธํฐ GPT-3์ ์ ์ฒด ๋ฏธ์ธ ์กฐ์ ์ ๊ฑฐ์ ๋ชจ๋ ์ฌ๋์๊ฒ ํ์ค์ ์ด์ง ์์ต๋๋ค โ ์ ์ฅ ๊ณต๊ฐ๋ง์ผ๋ก๋ ๋ถ๊ฐ๋ฅํ๋ฉฐ, GPU๋ ๋งํ ๊ฒ๋ ์์ต๋๋ค.
SpeechT5 ๋ฆฌ๋ทฐ: ์์ฑ(ASR, TTS, SID, ...) ์์ ์ Google์ T5 ๋์ ํ๊ธฐ
T5๋ ๋จ์ผ ์ธ์ฝ๋-๋์ฝ๋ ์ฌ์ ํ๋ จ ๋ฐฉ์ ์๋์์ ํ ์คํธ-ํ ์คํธ ์์ ์ ํตํฉํ์ผ๋ฉฐ NLP์ ํต์ฌ ๋๊ตฌ๊ฐ ๋์์ต๋๋ค.
Deepmind์ WaveNet TTS/์ค๋์ค ํฉ์ฑ ๋ฆฌ๋ทฐ (๋น์ ์๊ฒ GPT์ฒ๋ผ ๋ณด์ด๋์?)
Tacotron ์ด์ ์, VALL-E ์ด์ ์, ์ ๊ฒฝ ์ฝ๋ฑ์ด ์ค๋์ค๋ฅผ ํ ํฐ์ผ๋ก ๋ณํํ๊ธฐ ์ด์ ์, DeepMind์ WaveNet์ ์ ๊ฒฝ๋ง์ด ์๋ณธ ์ค๋์ค ํํ์ ์ํ ๋จ์๋ก ์์ฑํ ์ ์์์ ๋ณด์ฌ์ค ๋ ผ๋ฌธ์ด์๊ณ ๋ชจ๋ ๋งค๊ฐ๋ณ์์
HiFi-GAN ๋ฆฌ๋ทฐ: ํจ์จ์ ์ด๊ณ ๊ณ ์ถฉ์ค๋ ์์ฑ ํฉ์ฑ์ ์ํ ์์ฑ ์ ๋ ๋คํธ์ํฌ
์ค๋ซ๋์ ์ ๊ฒฝ ๋ณด์ฝ๋๋ ์ ํ์ ๊ฐ์ํ์ต๋๋ค: WaveNet๊ณผ ๊ฐ์ ์๋ํ๊ท ๋ชจ๋ธ์ ์๋ฆ๋ค์ด ์ค๋์ค๋ฅผ ์ ๊ณตํ์ง๋ง ๊ณ ํต์ค๋ฝ๊ฒ ๋๋ ธ๊ณ , GAN ๊ธฐ๋ฐ ํํ ์์ฑ๊ธฐ๋ ๋น ๋ฅด์ง๋ง ๋์ ๋๊ฒ ๋ฎ์ ํ์ง์ด์์ต๋๋ค.
Google์ SoundStream ์ฌ์ธต ๋ฆฌ๋ทฐ: ์๋-ํฌ-์๋ ์ ๊ฒฝ ์ค๋์ค ์ฝ๋ฑ
์ ๊ฒฝ ์ฝ๋ฑ์ ์กฐ์ฉํ ํ๋ ์์ฑ ์ค๋์ค์ ๊ธฐ์ด ๊ณ์ธต์ด ๋์๊ณ , SoundStream์ ์์์ ์ ํธํ ๋ ผ๋ฌธ ์ค ํ๋์ ๋๋ค.
OpenAI GPT-4์ ๋น์ +ํ ์คํธ ๋ชจ๋ธ, ๋ฐ์ดํฐ ๋ฐ ํ์ต ๋น์ฉ ๊ณต๊ฐ (์ถ์ธก)
OpenAI๋ GPT-4์ ์ํคํ ์ฒ, ํ๋ผ๋ฏธํฐ ์, ํ์ต ๋ฐ์ดํฐ ๋๋ ์ปดํจํ ์์ฐ์ ๊ณต๊ฐํ์ง ์๊ธฐ๋ก ์ ๋ช ๋์ผ๋ฉฐ, ์ด๋ ๊ธฐ์ ๋ณด๊ณ ์๋ฅผ ML ์ปค๋ฎค๋ํฐ๋ฅผ ์ํ ๋ก๋ฅด์คํ ํ ์คํธ๋ก ๋ฐ๊พธ์์ต๋๋ค.
