Microsoft์ VALL-E 2 ๊ฒํ (์ ๋ก์ท TTS์์ ์ธ๊ฐ ํจ๋ฆฌํฐ ๋ฌ์ฑ)
์ ๋ก ์ท TTS๋ ๋ง์ ์ฌ๋๋ค์ด ์์ง ๋ช ๋ ์ ๋ฉ๋ค๊ณ ์๊ฐํ๋ ์ ์ ๋์์ต๋๋ค. Microsoft์ VALL-E 2๋ ๊ฒฌ๊ณ ์ฑ, ์์ฐ์ฑ ๋ฐ ์ธ์ด ์ ๋ฐ์ ๊ฑธ์ณ LibriSpeech ๋ฐ VCTK ๋ชจ๋์์ ์ธ๊ฐ ํจ๋ฆฌํฐ๋ฅผ ๋ฌ์ฑํ ์ต์ด์ ์ ๊ฒฝ ์ฝ๋ฑ ์ธ์ด ๋ชจ๋ธ์ ๋๋ค.
3๋ถ ์์ Microsoft์ VALL-E 2 ์ดํดํ๊ธฐ(์ ๋ก ์ท์์ ์ธ๊ฐ ํจ๋ฆฌํฐ ๋ฌ์ฑ TTS)
์๊ฐ์ด ๋ถ์กฑํ์ง๋ง VALL-E 2๊ฐ ์ ๊ฐ์๊ธฐ zero-shot TTS์ ๊ธฐ์ค์ ์ด ๋์๋์ง ์๊ณ ์ถ์ผ์ ๊ฐ์?
๊ฒํ DiTAR: ํ์ฐ Transformer ์์ฑ ์์ฑ์ ์ํ ์๋ ํ๊ท ๋ชจ๋ธ๋ง ~ Seed-TTS
Seed-TTS ํ์ด DiTAR๊ณผ ํจ๊ป ๋์์๊ณ , ์ด๋ ํ๋ ์์ฑ ์์ฑ์ ๋ ๊น๋ค๋ก์ด ํธ๋ ์ด๋์คํ ์ค ํ๋์ ๋ํ ๊น๋ํ ๋ต์ ๋๋ค: continuous speech representations์ ์ ์ฐ์ฑ์ ์ ์งํ๋ฉด์ comp
ByteDance/Tiktok์ Seed-TTSโ: ๊ณ ํ์ง ๋ค๋ชฉ์ ์์ฑ ์์ฑ ๋ชจ๋ธ ์ ํ๊ตฐ ๊ฒํ
ByteDance์ Seed-TTS๋ TTS๊ฐ ์์์์ ์ง์ ํ ๊ธฐ์ด ๋ชจ๋ธ๋ก ์กธ์ ํ๊ณ ์๋ค๋ ๊ฐ์ฅ ๊ฐ๋ ฅํ ์ ํธ ์ค ํ๋์ ๋๋ค.
OpenAI Whisper์์ ์ฌ๋ด ASR ์๋น์ค๊น์ง: ์ด๋ฆ ์ํฐํฐ ๋ฐ ๋๋ฉ์ธ๋ณ ์ฉ์ด ์ธ์
Whisper๋ ๊ธฐ๋ณธ ์ํ๋ก๋ ์ธ์์ ์ด์ง๋ง, ์ค์ ๋ก ํ๋ก๋์ ์ ๋ฐฐํฌํด๋ณธ ๋๊ตฌ๋ ์ด ๊ณ ํต์ ์ ๊ฒ์ ๋๋ค: ๊ณ ์ ๋ช ์ฌ, ์ ํ ์ด๋ฆ, ์๋ฃ ์ฉ์ด, ๋ฒ๋ฅ ์ฉ์ด, ๊ทธ๋ฆฌ๊ณ ๋๋ฉ์ธ ์ดํ์ ๊ธด ๊ผฌ๋ฆฌ ์ ์ฒด๋ฅผ ์ ๋๋ก ์ธ์ํ์ง ๋ชปํฉ๋๋ค
Meta์ Movie Gen ๋ OpenAI์ Sora: ์์ธํ ๊ฒํ
Meta๋ ๋ง์นจ๋ด Sora์ ๋ง์๋ ์์ ๋๋ฌ๋์ผ๋ฉฐ, Movie Gen์ ๋จ์ํ ๋น๋์ค ์์ฑ๊ธฐ ์ด์์ ๋๋ค โ ๋๊ธฐํ๋ ์ค๋์ค์ ํจ๊ป ์ฌ๋ฌ ์ข ํก๋น์์ 1080p HD ๋น๋์ค๋ฅผ ์์ฑํ๋ ๊ธฐ์ด ๋ชจ๋ธ๋ค์ ๋ชจ์์ด๋ฉฐ, ์ ๋ฐํ
Google ์ฐ๊ตฌ์์ ์๋ํฌ์๋ ์์ฑ ์ธ์ ์ฌ์ธต ๋ถ์, 1๋ถ: ๊ฐ์ ๋ฐ ๋ชจ๋ธ๋ง
๊น์ ํ์ต์ 10๋ ์ด ASR ๋จ์ด ์ค๋ฅ์จ์ 50% ์ด์ ์๋์ ์ผ๋ก ๋ฎ์ถ์๊ณ , ๋์์ ๊ณ ์ ์ ์ธ HMM ํ์ดํ๋ผ์ธ์ ์ ๋ฌผ์ฒ๋ผ ๋ณด์ด๊ฒ ๋ง๋ค์์ต๋๋ค.
OpenAI GPT-4o์ ์ ๊ฒฝ๋ง ์ํคํ ์ฒ ์ถ๋ก
OpenAI๋ GPT-4o์ ๋ํ ๋ ผ๋ฌธ์ ๋ฐํํ์ง ์์์ผ๋ฏ๋ก, ์ด ๋น๋์ค๋ ๊ทธ ๋ค์ ์ต์ ์ ๋ฐฉ๋ฒ์ ์๋ํฉ๋๋ค: OpenAI๊ฐ ์ค์ ๋ก ์์ฐํ ๊ธฐ๋ฅ์ ๊ธฐ๋ฐ์ผ๋ก ์ ๊ฒฝ๋ง ์ํคํ ์ฒ๊ฐ ๊ฑฐ์ ํ์คํ๊ฒ ์ด๋ค ๋ชจ์ต์ผ์ง๋ฅผ ์ญ์์ง๋์ด๋งํฉ๋๋ค
100๊ฐ ์ด์์ ์ธ์ด์ ๋ํ Google์ ๋ฒ์ฉ ์์ฑ ๋ชจ๋ธ์ โโESPnetโ์ โโLlama 3โ ๋ชจ๋ธ์ ๋ฅ๊ฐํฉ๋๋ค.
Google์ Universal Speech Model์ ์กฐ์ฉํ ๋๋ผ์ด ๊ฒ์ ํ์ต๋๋ค: ๋ ์ด๋ธ์ด ์ง์ ๋ ํ์ต ๋ฐ์ดํฐ์ ์ฝ 1/7์ ์ฌ์ฉํ๋ฉด์ 100๊ฐ ์ด์์ ์ธ์ด์์ OpenAI์ Whisper์ ASR์์ ๋ง์ถ๊ฑฐ๋ ๋ฅ๊ฐํ์ต๋๋ค.
์ฅ๊ธฐ ๊ฒํ : Apple์ MM1: ๋ค์ค ๋ชจ๋ LLM ์ฌ์ ๊ต์ก์ ํตํ ๋ฐฉ๋ฒ, ๋ถ์ ๋ฐ ํต์ฐฐ๋ ฅ
Apple์ ๋ง์ด ๋ฐํํ์ง ์์ง๋ง, MM1 ๋ ผ๋ฌธ์ด ๋ฉํฐ๋ชจ๋ฌ LLM ์ฌ์ ํ๋ จ์ ๋ํ ์ ์ฒด ์ ์ ์ฐ๊ตฌ์ ํจ๊ป ๋ฐํ๋์์ ๋, ์ด๋ MLLMs์ ๊ตฌ์ถํ๋ ๋ชจ๋ ์ฌ๋๋ค์ ์ํ ์ฌํด์ ๋ ์ ์ฉํ ๋ฐ์ดํฐ ๋ฆด๋ฆฌ์ค ์ค ํ๋์์ต๋๋ค.
Apple์ SOTA ๋ฉํฐ๋ชจ๋ฌ LLMโ์ ๋ํ ๊ฐ๋ตํ ๊ฒํ : MM1
MM1์ ๋ํ ์์ ํ ๋ถ์์ ๋ณผ ์๊ฐ์ด ์๋ค๋ฉด, ์ด ๋น ๋ฅธ ๋ฆฌ๋ทฐ๋ ๋ช ๋ถ ๋ง์ ํต์ฌ์ ์ ๊ณตํฉ๋๋ค: Apple์ด ๋ฌด์์ ๊ตฌ์ถํ๋์ง, ์ํคํ ์ฒ์ ๋ฐ์ดํฐ์ ๋ํ ์ ๊ฑฐ ์ฐ๊ตฌ์์ ๋ฌด์์ ๋ฐฐ์ ๋์ง, ๊ทธ๋ฆฌ๊ณ ์ด๋ค ์ค๊ณ ๊ฒฐ์ ์ด
OpenAI 3 ํธ๋ผํ๋ฅผ ๋ง๋ ๋น๋ฐ EMNLP
Claude 3 Opus๊ฐ MMLU, GPQA, GSM8K, ๊ทธ๋ฆฌ๊ณ ๋๋ถ๋ถ์ ์ต์ฒจ๋จ ํ๊ฐ ๋ฒค์น๋งํฌ์์ GPT-4๋ฅผ ๋ฅ๊ฐํ์ ๋, ํฅ๋ฏธ๋ก์ด ์ง๋ฌธ์ Anthropic์ด ๋จ์ํ ๋ ํฐ ๊ท๋ชจ๋ก ํ์ตํ๋์ง ์ฌ๋ถ๊ฐ ์๋๋ผ โ ํ๋ จ์ ๋น๊ฒฐ์ด ๋ฌด์์ด์๋์ง์ ๊ดํ ๊ฒ์ ๋๋ค
Sora ๊ด๋ จ ์์ฑ์ AI ๋ชจ๋ธ: ํ๋ฆ ์ ๊ทํ
๋ชจ๋๊ฐ diffusion์ ๋ํด ์๊ธฐํ๊ณ ์์ง๋ง, Sora์ ํ๋ ์์ฑ ๋น๋์ค๋ฅผ ๋ณ์ ๊ฐ์กฑ ๊ณํต์ ์ค์ ๋ก ์ดํดํ๊ณ ์ถ๋ค๋ฉด, ์ ๊ทํ ํ๋ฆ โ ์์ฑ ๋ชจ๋ธ์ ํ ์ข ๋ฅ์ธ
VAE(Variational Autoencoder) ๋ฐ ์ฌ๋งค๊ฐ๋ณ์ํ ํธ๋ฆญ - ํด๋์ ์์ฑ ๋ชจ๋ธ ์ฌ๊ฒํ
ํ์ฐ ์ด์ ์, ์ ๊ทํ ํ๋ฆ ์ด์ ์, ์ ์ฌ ํ์ฐ ๋ชจ๋ธ์ด ๋ชจ๋ ์ฃผ์ ์์ฑ ์คํ์ VAE ์ธ์ฝ๋๋ฅผ ์กฐ์ฉํ ๊ตฌ์ถํ๊ธฐ ์ด์ ์ โ Kingma์ Welling์ 2013๋ ๋ ผ๋ฌธ์ด ๋ณ๋ํ ์๋์ธ์ฝ๋๋ฅผ ์๊ฐํ๋ค
Microsoft+OpenAI, Google, Meta, Nvidia์ SDK์ฉ ์คํ ์์ค ๋ํ ์์ฑ ๋ชจ๋ธ ๊ฒํ
๋ชจ๋ ์ฃผ์ AI ์ฐ๊ตฌ์๊ฐ ์ด์ ASR์ ์ํ ์คํ์์ค ๋๊ท๋ชจ ์์ฑ ๋ชจ๋ธ์ ๋ฐฐํฌํ์ผ๋ฉฐ, ํ๋ก๋์ ์ ์ํด ์ฌ๋ฐ๋ฅธ ๋ชจ๋ธ์ ์ ํํ๋ ๊ฒ์ด ์ค์ ๊ฒฐ์ ์ด ๋์๋ค.
[์์ธ ๋ ผ๋ฌธ ์ฝ๊ธฐ] Zipformer: ์๋ ์์ฑ ์ธ์์ ์ํ ๋ ๋น ๋ฅด๊ณ ํฅ์๋ ์ธ์ฝ๋
Conformer๋ ์๋ ๋์ ๊ธฐ๋ณธ ASR ์ธ์ฝ๋์์ผ๋, k2/icefall ํ์ Zipformer๊ฐ LibriSpeech, Aishell-1, WenetSpeech์์ WER ์๊ด์ ์กฐ์ฉํ ์ฐจ์งํ์ผ๋ฉด์๋ ๋ ๋น ๋ฅด๊ณ ๊ฐ๋ณ๋ค.
Tycho: ROI๊ฐ ๋์ ์ฌ๋ด ์์ฑ ๊ด๋ จ ์๋น์ค ๊ตฌ์ถ์ ์ํ ์์ฝ(ASR/TTS/๋ฒ์ญ):๊ฐ์
์ธํ์ฐ์ค ASR, TTS ๋๋ ์์ฑ ๋ฒ์ญ ์๋น์ค๋ฅผ ์ํ๋ ๋๋ถ๋ถ์ ํ์ ๋์ผํ ๋ณต์กํ ์ ํ์ ์ง๋ฉดํฉ๋๋ค: ESPnet, NeMo, k2, HuggingFace์ ๋จํธ๋ค์ ํจ๊ป ์ฐ๊ฒฐํ๊ฑฐ๋, ๋ชจ๋ ๊ฒ์ ํด๋ผ์ฐ๋ API์ ๋งก๊ธฐ๊ณ ๋ถ๋น ๋น์ฉ์ ์ง๋ถํฉ๋๋ค fore
OpenAI์ Whisper ๋ชจ๋ธ์์ ์์ฒด ์ฌ๋ด โโSDKโ ์๋น์ค๋ก: ํ์ฒ๋ฆฌ ๋ฐ ์ธ์ด ๋ชจ๋ธ๋ง
์๋ณธ Whisper ์ถ๋ ฅ์ ์ฒ์๋ถํฐ ์ธ์์ ์ด์ง๋ง, ์ค์ ์ฌ์ฉ์์๊ฒ ๋ฐฐํฌํ ์ฌ๋์ด๋ผ๋ฉด ๋๊ตฌ๋ ๋ฐ๋ชจ ํธ๋์คํฌ๋ฆฝํธ์ ๋ค์ด์คํธ๋ฆผ ์์คํ ์ด ์ค์ ๋ก ์๋นํ ์ ์๋ ๊ฒ ์ฌ์ด์ ๊ฒฉ์ฐจ๋ฅผ ์๊ณ ์์ต๋๋ค.
OpenAI์ Whisper ๋ชจ๋ธ์์ ์์ฒด ์ฌ๋ด ASR ์๋น์ค๊น์ง: ๊ธด ์ค๋์ค ๋ฐ ์คํธ๋ฆฌ๋ฐ(3๋ถ)
Whisper๋ 30์ด ์ฒญํฌ์์ ํ์ต๋์์ผ๋ฉฐ, 2์๊ฐ ํ์บ์คํธ๋ฅผ ์ ๊ณตํ๊ฑฐ๋ ๋ผ์ด๋ธ ์บก์ ๋ ํ์ดํ๋ผ์ธ์ ์ฐ๊ฒฐํ๋ ค๊ณ ํ๋ ์๊ฐ ์ด๊ฒ์ด ๋๋ฌ๋ฉ๋๋ค.
OpenAI์ Whisper ๋ชจ๋ธ์์ ์์ฒด ์ฌ๋ด โโSDKโ ์๋น์ค๋ก: ROI(ํฌ์ ์์ต๋ฅ )(2๋ถ)
ASR์ ๋น๋ ๋ ๊ตฌ๋งค ์ง๋ฌธ์ ๋ณดํต ์ ํ๋ ๋ ํธ์์ฑ์ผ๋ก ํ๋ ์๋์ง๋ง, ์ค์ ๊ฒฐ์ ์์๋ ์ ํ ์๋ช ๊ธฐ๊ฐ์ ROI์ ๋๋ค.
OpenAI์ Whisper ๋ชจ๋ธ์์ ์์ฒด ์ฌ๋ด โโSDKโ ์๋น์ค๊น์ง: ๊ฐ์(1๋ถ)
OpenAI๋ Whisper๋ฅผ ์คํ ์์ค๋ก ์ ๊ณตํ๋ฉด์ ์ฌ๋ด ASR ์๋น์ค์ ๋ชจ์ต์ ๋ํ ๊ธฐ์ค์ ์กฐ์ฉํ ์ฌ์ค์ ํ์ต๋๋ค.
OpenAI Whisper์ ์ํด ์์ฑ๋ ๋จ์ด ํ์์คํฌํ๊ฐ ์ ํํ์ง ์์ ์ด์ ๋ ๋ฌด์์ ๋๊น? ๋ค์ ์ ํํ๊ฒ ๋ง๋๋ ๋ฐฉ๋ฒ์ ๋ฌด์์ ๋๊น?
Whisper์ ๋จ์ด ํ์์คํฌํ๋ฅผ ์์ฒญํ๋ฉด ์ซ์๋ฅผ ๋ค์ ์ป์ ์ ์์ต๋๋ค. ํ์ง๋ง ๋ ธ๋๋ฐฉ, ์บก์ ๋๋ ๋๋น์ ์ํ ์ค์ ์ค๋์ค์ ์ ๋ ฌํ๋ ค๊ณ ์๋ํ ์ ์ด ์๋ค๋ฉด ๊ทธ๊ฒ์ด ํ๋ฅํ๊ณ ์๋ชป๋ ๊ฒฝ๊ณ์ ๋ง์ถฐ์ง๋ฉฐ ๊ฐ๋ ๋ฐ์ํ๋ค๋ ๊ฒ์ ์ ๊ฒ์ ๋๋ค.
์์ฑ ์์ฑ AI: Meta AI์ VoiceBox(๋ํ Flow Matching ๋ฐ Neural ODE)
์๋ ๋์ ์์ฑ ์์ฑ์ ๊ท๋ชจ์ ์ผ๋ฐ์ฑ ๋ชจ๋์์ ํ ์คํธ ๋ฐ ์ด๋ฏธ์ง ์์ฑ๋ณด๋ค ๋ค์ฒ์ก์ต๋๋ค. ๋ชจ๋ ์์ ์๋ ๊ณ ์ ํ ๋ง์ถคํ ๋ชจ๋ธ์ด ์์์ต๋๋ค.
I-JEPA: Yannn LeCun์ ์ฒซ ๋ฒ์งธ ์ปดํจํฐ ๋น์ '์ธ๊ณ ๋ชจ๋ธ'
Yann LeCun์ ์์ฑ์ ์ฌ์ ํ๋ จ์ด ์ธ์์ ์ดํดํ๋ ๊ธฐ๊ณ๋ฅผ ๋ง๋๋ ๋ฐ ์๋ชป๋ ์ ํ์ด๋ผ๊ณ ์๋ ๋์ ์ฃผ์ฅํด ์์ต๋๋ค.
LoRA: ๊ณ ๋ฑํ์์ด ๊ฒ์ ๊ทธ๋ํฝ ์นด๋๋ฅผ ์ฌ์ฉํ์ฌ ๋ํ ์ธ์ด ๋ชจ๋ธ(GPT-3)์ ํ๋ จํ ์ ์์ต๋๋ค.
175B ๋งค๊ฐ๋ณ์ GPT-3์ ์ ์ฒด ๋ฏธ์ธ ์กฐ์ ์ ๊ฑฐ์ ๋ชจ๋ ์ฌ๋์๊ฒ ์์์ด ์๋๋๋ค. ์คํ ๋ฆฌ์ง๋ง์ผ๋ก๋ ์ด๋ฅผ ๋ฐฐ์ ํ๊ณ GPU๋ ์ ๊ฒฝ ์ฐ์ง ์์ต๋๋ค.
SpeechT5 ๊ฒํ : ์์ฑ์ Google T5 ๋์ (ASR, TTS, SID, ...)
T5๋ ๋จ์ผ ์ธ์ฝ๋-๋์ฝ๋ ์ฌ์ ํ์ต ๋ ์ํผ์ ๋ฐ๋ผ ํ ์คํธ ๊ฐ ์์ ์ ํตํฉํ์ผ๋ฉฐ NLP์ ์ฃผ๋ ฅ ์ ํ์ด ๋์์ต๋๋ค.
TTS/์ค๋์ค ํฉ์ฑ์ ์ํ Deepmind์ WaveNet์ ๋ํ ๋ฆฌ๋ทฐ(๋น์ ์๊ฒ GPT๋ก ๋ณด์ ๋๊น?)
Tacotron ์ด์ , VALL-E ์ด์ , ์ ๊ฒฝ ์ฝ๋ฑ์ด ์ค๋์ค๋ฅผ ํ ํฐ์ผ๋ก ์ ํํ๊ธฐ ์ , DeepMind์ WaveNet๋ ์ ๊ฒฝ๋ง์ด ์ํ๋ณ๋ก ์์ ์ค๋์ค ํํ์ ์์ฑํ๊ณ ๋ชจ๋ ๋งค๊ฐ๋ณ์๋ฅผ ์ด๊ธธ ์ ์์์ ๋ณด์ฌ์ฃผ๋ ๋ ผ๋ฌธ์ด์์ต๋๋ค.
Tacotron ๊ฒํ : ํจ์จ์ ์ด๊ณ ์ถฉ์ค๋๊ฐ ๋์ ์์ฑ ํฉ์ฑ์ ์ํ ์์ฑ์ ์ ๋ ์ ๊ฒฝ๋ง
์ค๋ซ๋์ ์ ๊ฒฝ ๋ณด์ฝ๋๋ ํ ์ชฝ์ ์ ํํ๋๋ก ๊ฐ์ํ์ต๋๋ค. WaveNet์ ๊ฐ์ ์๋ ํ๊ท ๋ชจ๋ธ์ ๋ฉ์ง ์ค๋์ค๋ฅผ ์ ๊ณตํ์ง๋ง ๊ณ ํต์ค๋ฌ์ธ ์ ๋๋ก ๋๋ฆฐ ๋ฐ๋ฉด, GAN ๊ธฐ๋ฐ ํํ ๋ฐ์๊ธฐ๋ ๋น ๋ฅด์ง๋ง ํ์ง์ด ๋์ ๋๊ฒ ๋ฎ์์ต๋๋ค.
Google์ SoundStreamโ์ ๋ํ ์ฌ์ธต ๊ฒํ : ์๋ํฌ์๋ ์ ๊ฒฝ ์ค๋์ค ์ฝ๋ฑ
์ ๊ฒฝ ์ฝ๋ฑ์ ์กฐ์ฉํ ํ๋ ์์ฑ ์ค๋์ค์ ๊ธฐ์ด ๋ ์ด์ด๊ฐ ๋์์ผ๋ฉฐ, SoundStream๋ ์ด๋ฅผ ์คํํ ๋ ผ๋ฌธ ์ค ํ๋์ ๋๋ค.
OpenAI GPT-4์ ๋น์ +ํ ์คํธ ๋ชจ๋ธ, ๋ฐ์ดํฐ, ๊ต์ก ๋น์ฉ ๊ณต๊ฐ(์ถ์ธก)
OpenAI๋ GPT-4์ ์ํคํ ์ฒ, ๋งค๊ฐ๋ณ์ ์, ๊ต์ก ๋ฐ์ดํฐ ๋๋ ์ปดํจํ ์์ฐ ๊ณต๊ฐ๋ฅผ ๊ฑฐ๋ถํ ๊ฒ์ผ๋ก ์ ๋ช ํ๋ฉฐ, ์ด๋ก ์ธํด ๊ธฐ์ ๋ณด๊ณ ์๊ฐ ML ์ปค๋ฎค๋ํฐ๋ฅผ ์ํ ๋ก๋ฅด์คํ ํ ์คํธ๋ก ์ ํ๋์์ต๋๋ค.
