GPT-4์ ๊ธฐ์ ๋ณด๊ณ ์ ๋ฆฌ๋ทฐ (ํ๋์ ๋ณด๋ GPT-4)
GPT-4์ ๊ธฐ์ ๋ณด๊ณ ์๋ ์ํคํ ์ฒ ์ธ๋ถ์ฌํญ์ด ๋ถ์กฑํ๊ณ ๋ฅ๋ ฅ ์ฃผ์ฅ์ด ๋ง๊ธฐ๋ก ์ ๋ช ๋์ผ๋ฉฐ, ์ด๋ ๋ช ํํ ๋ฆฌ๋ทฐ๋ฅผ ๊ทธ ์์ ๊ตฌ์ถํ๋ ๋ชจ๋ ์ฌ๋์ ์ํด ํ์ ์ฝ๊ธฐ๋ก ๋ง๋ญ๋๋ค.
[Olewave์ ๋ฆฌ๋ทฐ] AudioLM: ์ค๋์ค ์์ฑ์ ์ํ ์ธ์ด ๋ชจ๋ธ๋ง ์ ๊ทผ
AudioLM์ ๋ง์ ์ฌ๋๋ค์๊ฒ ์ค๋์ค ์์ฑ์ด ์ ํธ ์ฒ๋ฆฌ๋ณด๋ค๋ ์ธ์ด ๋ชจ๋ธ๋ง์ฒ๋ผ ๋ณด์ฌ์ผ ํ๋ค๊ณ ํ์ ์ํจ ๋ ผ๋ฌธ์ ๋๋ค.
OpenAI์ GPT-3์ ๋ํ ์ฌ์ธต ๋ฆฌ๋ทฐ : ์ธ์ด ๋ชจ๋ธ์ ์์ ์ท ํ์ต์์ ๋๋ค (ํํธ 3/3: ๊ฒฐ๊ณผ ๋ฐ ๋๋จธ์ง)
์ด 3๋ถ์ GPT-3 ์ฌ์ธต ๋ถ์์ ์ต์ข ํ์ฐจ๋ ๊ฒฐ๊ณผ์ ๋๋ฌํฉ๋๋ค: 1,750์ต ๊ฐ์ ํ๋ผ๋ฏธํฐ๋ฅผ ๋ฒค์น๋งํฌ ์ค์ํธ์ ํฌ์ ํ๊ณ ๋ฏธ์ธ ์กฐ์ ์ ์์ ํ ๊ฑด๋๋ธ ๋ ์ค์ ๋ก ์ด๋ค ์ผ์ด ๋ฐ์ํ๋์ง์ ๋ํด.
[10๋ถ] OpenAI์ Whisper API๊ฐ ChatGPT๋งํผ ์ข์ง ์์ ์ด์ ์ค๋ช
Whisper๋ ํฐ ์ฑ๊ณต์ ๊ฑฐ๋์์ง๋ง, GPT-3์ด NLP๋ฅผ ์ฌํธํ๋ ๋ฐฉ์์ผ๋ก ASR์ ์ฌํธํ์ง๋ ๋ชปํ์ต๋๋ค. ์ด 10๋ถ์ง๋ฆฌ ๋ฆฌ๋ทฐ๋ ๊ทธ ์ด์ ๊ฐ ๋ ผ๋ฌธ ์์ฒด์ ๋ด์ฌ๋์ด ์๋ค๊ณ ์ฃผ์ฅํฉ๋๋ค.
OpenAI์ GPT-3์ ๋ํ ์ฌ์ธต ๊ฒํ : ์ธ์ด ๋ชจ๋ธ์ Few-Shot ํ์ต์์ ๋๋ค (ํํธ 2/3: ๊ฒฐ๊ณผ)
์ด GPT-3 ์ฌ์ธต ๋ถ์์ 2๋ถ๋ ์ค์ ์ ๋์ด ์ค์ ๋ก ์ฌ๋๋ค์ด NLP๋ฅผ ์ฌ์๊ฐํ๊ฒ ํ ๊ฒฐ๊ณผ๋ก ์ด๋ํฉ๋๋ค.
WSJ๊ฐ ์ค๊ตญ ์ธ๊ต๋ถ์ฅ์ ์ฐ์ค ๋ฒ์ญ์์ ์ค์๋ฅผ ์ ์ง๋ ์ต๋๋ค. ์ธ๊ต๊ด์ ๋ฌด์์ ๋งํ์๊น์?
๊ธฐ๊ณ ๋ฒ์ญ๊ณผ ์ธ๊ฐ ๋ฒ์ญ ์ค๋ฅ๋ ์์คํธ๋ฆฌํธ ์ ๋์ ์ฒซ ํ์ด์ง์ ๋ํ๋๊ณ ์ง์ ํ์ ์์ฌ๋ฅผ ์ฌํธํ ๋ ์ธ์ด ์ ํธ๊ฐ์ ํธ๊ธฐ์ฌ ์ด์์ ๋๋ค.
OpenAI์ GPT-3์ ๋ํ ์ฌ์ธต ๊ฒํ : ์ธ์ด ๋ชจ๋ธ์ Few-Shot ํ์ต์์ ๋๋ค (ํํธ 1/3: ์๊ฐ & ์ ๊ทผ)
์ด ์ธ ๋ถ๋ถ GPT-3 ๊ฒํ ์ ์ฒซ ๋ฒ์งธ ๋ถ๋ถ์ ๊ท๋ชจ๋ฅผ ์ฐ๊ตฌ ๋ฒ ํ ์์ ์ ๊ณ ๋ณต์์ผ๋ก ๋ฐ๊พผ ๋ ผ๋ฌธ์ ์ค์ ํฉ๋๋ค.
VALL-E์ ์ฌ์ธต ๋ฆฌ๋ทฐ: ์ ๊ฒฝ ์ฝ๋ฑ ์ธ์ด ๋ชจ๋ธ์ด ์์ท ํ ์คํธ ์์ฑ ํฉ์ฑ๊ธฐ
3์ด ์ฐธ๊ณ ํด๋ฆฝ์ผ๋ก๋ถํฐ์ ์์ท TTS๋ VALL-E๊ฐ ์ถ์๋ ๋๊น์ง ๋ถ๊ฐ๋ฅํด ๋ณด์์ง๋ง, ์ด ์ฌ์ธต ๋ฆฌ๋ทฐ๋ Microsoft๊ฐ ์ ํํ ์ด๋ป๊ฒ ์ด๋ฅผ ๋ฌ์ฑํ๋์ง๋ฅผ ์์ธํ ์ค๋ช ํฉ๋๋ค.
3๋ถ ์์ Microsoft์ VALL-E ์ดํดํ๊ธฐ (์ต๊ณ ์ฑ๋ฅ ์์ท TTS)
VALL-E๋ TTS๊ฐ ์ ํธ ํ๊ท์ฒ๋ผ ๋ณด์ด๊ธฐ๋ฅผ ๋ฉ์ถ๊ณ ์ธ์ด ๋ชจ๋ธ๋ง์ฒ๋ผ ๋ณด์ด๊ธฐ ์์ํ ์๊ฐ์ด๋ฉฐ, ์ด ๋น ๋ฅธ ์ค๋ช ์ ๋น์ ์ ์ ์ํ๊ฒ ์ดํดํ๋๋ก ๋์์ค๋๋ค.
ChatGPT/ChatGPT Plus/InstructGPT: ์ธ๊ฐ ํผ๋๋ฐฑ์ผ๋ก ์ง์๋ฅผ ๋ฐ๋ฅด๋๋ก ์ธ์ด ๋ชจ๋ธ ํ๋ จ
ChatGPT ์ ํ ๋ค์๋ InstructGPT ๋ ผ๋ฌธ์ด ์์ผ๋ฉฐ, ์ด ์์ธ ๋ฆฌ๋ทฐ๋ ์์ GPT-3์ ์ฌ๋๋ค์ด ์ค์ ๋ก ๋ํํ๊ณ ์ถ์ด ํ๋ ๊ฒ์ผ๋ก ๋ณํํ ํ์ดํ๋ผ์ธ์ ์์ธํ ๋ถ์ํฉ๋๋ค.
3๋ถ ์์ ChatGPT/ChatGPT Plus๊ฐ ์ด๋ป๊ฒ ์๋ํ๋์ง ์ค๋ช
ChatGPT๋ ์ธ๋ถ์์๋ ๋ง๋ฒ์ฒ๋ผ ๋ณด์ด์ง๋ง, ์ด๋๋ฅผ ๋ด์ผ ํ๋์ง ์๋ฉด ๋ ์ํผ๋ ์ ๋ฌธ์ํ๋์ด ์์ผ๋ฉฐ, ์ด 3๋ถ ์ค๋ช ์ ํต์ฌ ์์ด๋์ด๋ฅผ ์์ฝํฉ๋๋ค.
[Olewave's Review] CLIP (3/3): ์์ฐ์ด ๊ฐ๋ ์ผ๋ก๋ถํฐ์ ์ ์ด ๊ฐ๋ฅํ ์๊ฐ ๋ชจ๋ธ ํ์ต
์ด CLIP ๊ฒํ ์ ๋ง์ง๋ง ๋ถ๋ถ์ ๊ฒฐ๊ณผ ์น์ ์ ๋๋ฌํ๋ฉฐ, ์ฌ๊ธฐ์ OpenAI์ ๋์กฐ์ ์ด๋ฏธ์ง-ํ ์คํธ ๋ชจ๋ธ์ด ํฅ๋ฏธ๋ก์ด ์์ด๋์ด์์ ์ ์ฒด ๋ฉํฐ๋ชจ๋ฌ ์คํ์ ๊ธฐ์ด ๊ณ์ธต ๊ธฐ๋ณธ ์์๋ก ์ ํ๋์์ต๋๋ค.
[Olewave's Review] CLIP (2/3): ์์ฐ์ด ๊ฐ๋ ์ผ๋ก๋ถํฐ์ ์ ์ด ๊ฐ๋ฅํ ์๊ฐ ๋ชจ๋ธ ํ์ต
OpenAI์ CLIP์ ๊ณ ์ ๋ ์ด๋ธ ์ธํธ๋ฅผ ๋ฒ๋ฆฌ๊ณ ๋์ ์ธํฐ๋ท์์ ์์งํ 4์ต ๊ฐ์ (์ด๋ฏธ์ง, ํ ์คํธ) ์์ผ๋ก ํ๋ จํจ์ผ๋ก์จ ์ปดํจํฐ ๋น์ ์ ์คํฌ๋ฆฝํธ๋ฅผ ๋ค์ง์์ต๋๋ค.
[Olewave's Review] CLIP (1/3): ์์ฐ์ด ๊ฐ๋ ์ผ๋ก๋ถํฐ์ ์ ์ด ๊ฐ๋ฅํ ์๊ฐ ๋ชจ๋ธ ํ์ต
BLIP, LLaVA, ๋๋ ๊ฐ์น ์๋ ์์ฑ-LLM์ด ์๊ธฐ ์ ์ CLIP์ด ์์์ผ๋ฉฐ, ์ด๊ฒ์ด ์ด์ผ๊ธฐ๊ฐ ์์๋๋ ๊ณณ์ ๋๋ค.
[Olewave's Review] ํฉ์ฑ E2E ๋ชจ๋ธ์ ์ฌ์ฉํ SLU์ ํ ํฐ ์์ค ์ํ์ค ๋ ์ด๋ธ๋ง
End-to-end SLU๊ฐ ์ฃผ๋ชฉ๋ฐ๊ณ ์์ง๋ง, ์ํ์ค ๋ ์ด๋ธ๋ง์ ์ํ์ค ์์ธก์ผ๋ก ์ทจ๊ธํ๋ฉด ์์ญ ๋ ์ ๊ฑธ์น ์ ์ดํด๋ ํ ํฐ ์์ค ํ๊น ๋ฉ์ปค๋์ฆ์ด ์กฐ์ฉํ ๋ฒ๋ ค์ง๋๋ค.
[Olewave์ ๋ฆฌ๋ทฐ] Branchformer: Parallel MLP-Attention Architectures, and E-Branchformer
Conformer๋ ์๋ ๊ฐ ์ต๊ณ ์ ASR ์ธ์ฝ๋์์ง๋ง, Branchformer์ ๊ทธ ํ์์์ธ E-Branchformer๋ ์์ฐจ์ conv-plus-attention์ด ์ ์ผํ ๊ฒฝ๋ก๊ฐ ์๋๋ผ๋ ์ค๋๋ ฅ ์๋ ์ฃผ์ฅ์ ์ ์ํฉ๋๋ค.
Non Collision Mispronunciation Addition (NCMA) for ์ฌํฌ๋ฆฌ ASR
์ฌํฌ๋ฆฌ์ ๋น์์ด๋ฏผ ์์ฑ์ ๋ฐ์ ์ฌ์ ์ ํ๊ดดํ์ฌ ์์ฑ ๋ชจ๋ธ ์ ๋ ฌ์ ์กฐ์ฉํ ์ค์ผ์ํค๋๋ฐ, ์ด Interspeech 2021 ์์ ์ ๊ธฐ๋ง์ ์ผ๋ก ๋จ์ํ ์ง๋ฌธ์ ๋์ง๋๋ค: ์ฐ๋ฆฌ๊ฐ ํ์ง๋ ์ค๋ฐ์์ ๋จ์ํ ์ฌ์ ์ ์ถ๊ฐํ๋ฉด
[Olewave์ ๋ฆฌ๋ทฐ] OpenAI์ Whisper ASR: ๋๊ท๋ชจ ์ฝํ ์ง๋๋ฅผ ํตํ ๊ฐ๊ฑดํ ์์ฑ ์ธ์
OpenAI๊ฐ Whisper๋ฅผ ์ถ์ํ์ ๋, ASR ์ปค๋ฎค๋ํฐ๋ 68๋ง ์๊ฐ์ ๋ค๊ตญ์ด, ๋ค์ค ์์ , ์น ํฌ๋กค๋ง ์ค๋์ค๋ก ํ๋ จ๋์ด ์ฌํฌ๋ฆฌ, ๋ฐฐ๊ฒฝ ์์, ๊ธฐ์ ์ฉ์ด ์ ๋ฐ์ ๊ฑธ์ณ
One-Edit-Distance FSA/Network-based (OEDN)๋ฅผ ์ด์ฉํ ์ค๋ฐ์ ํ์ง ๋ฐ ์ฌํฌ๋ฆฌ ASR
๋น์์ด๋ฏผ ์์ฑ ๋ชจ๋ธ๋ง์ ๋ญ๊ณผ ๊ณ๋ ๋ฌธ์ ๋ฅผ ๊ฐ์ง๊ณ ์์ต๋๋ค: ๋์ ์์ฑ ์ ๋ ฌ์ ๋์ ๋ชจ๋ธ์ ๋ง๋ค๊ณ , ๋์ ๋ชจ๋ธ์ ๋์ ์ ๋ ฌ์ ๋ง๋ญ๋๋ค.
Olewave์ RNN-T ์ค๋ช ์ค ๊ฐ์ฅ ์์ธํจ: Sequence Transduction with Recurrent Neural Networks
Alex Graves์ RNN-T ๋ ผ๋ฌธ์ ์ค๋๋ ์ถ์๋๋ ๊ฑฐ์ ๋ชจ๋ ์คํธ๋ฆฌ๋ฐ ASR ์์คํ ์ ์กฐ์ฉํ ์กฐ์์ด๋ฉฐ, Google์ ์จ๋๋ฐ์ด์ค ์ธ์๊ธฐ์์๋ถํฐ NeMo, ESPnet ๋ฑ์ ์๋ง์ ์คํ์์ค ํธ๋์ค๋์ ์คํ์ ์ด๋ฅด๊ธฐ๊น์ง์ ๋๋ค.
Google์ด AI ๋ด์ด ์ผํฐ์ธํธ๋ผ๊ณ ๋งํ Blake Lemoine์ ํด๊ณ ํ๋? LaMDA๋ ChatGPT๊ฐ ์ธ๊ฐ์ฒ๋ผ ์๊ฐํ ๊น?
Google์ด LaMDA๊ฐ ์ผํฐ์ธํธ๊ฐ ๋์๋ค๋ ์ฃผ์ฅ์ ๊ณต๊ฐํ Blake Lemoine์ ํด๊ณ ํ์ ๋, ๊ทธ ์ด์ผ๊ธฐ๋ ๋ฐ์ด๋ด์ด ๋์์ง๋ง, ๊ทผ๋ณธ์ ์ธ ์ง๋ฌธ์ด ๋จ์์ต๋๋ค: LaMDA์ ChatGPT์ ๊ฐ์ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ด ์ค์ ๋ก ์๊ฐ์
[Olewave์ ๋กฑ ๋ฆฌ๋ทฐ] ์์ฑ ์ธ์์ ์ํ ์ ๊ฒฝ ํธ๋์ค๋์์ ํจ์จ์ ์ธ ํ๋ จ
์ ๊ฒฝ ํธ๋์ค๋์๋ ์คํธ๋ฆฌ๋ฐ ASR์ ์ฃผ๋ ฅ์ด์ง๋ง, ํจ์จ์ ์ผ๋ก ํ๋ จํ๋ ๊ฒ์ ์ ๋ช ํ๊ฒ ๊ณ ํต์ค๋ฝ์ต๋๋ค: RNN-T ์์ค์ ์ํ์ค ๊ธธ์ด์์ 3์ ๊ณฑ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ง๋ฉฐ, ์ ๋ ฌ ๊ฒฉ์๋ ๊ธด ๋ฐํ์์ ํญ๋ฐํ๊ณ , ๋จ์ผ-
Boris Johnson์ ํฅ๋ง - ๋ง์ดํฌ์ ๋ถ์
์ ์น ๋ด์ค๋ ๋ณดํต ์์ฑ AI ์์ง๋์ด๊ฐ ๊ธ์์ผ ์คํ์ ํ์ ์ฌ๋ ค๋๋ ๊ฒ์ด ์๋์ง๋ง, Boris Johnson์ ์ฌ์ ๋ฐํ๋ ์ผ๋ จ์ ์ค์บ๋ค์ ๋ํ ์ ๋น์ ๋ฐ๋์ผ๋ก ๋ง์ดํฌ ๋ฑ ํฌ ์์์ ์ ๋ฌ๋์์ต๋๋ค
[Olewave์ ์ฅํธ ๋ฆฌ๋ทฐ] Xception: ๊น์ด๋ณ ๋ถ๋ฆฌํ ์ปจ๋ณผ๋ฃจ์ ์ ์ด์ฉํ ๋ฅ๋ฌ๋
Xception์ Inception ๊ฐ์ค์ ๋ ผ๋ฆฌ์ ๊ทน๋จ๊น์ง ๋ฐ์ด๋ถ์ด๊ณ ์ฑ๋ ๊ฐ ๋ฐ ๊ณต๊ฐ์ ์๊ด๊ด๊ณ๋ฅผ ์์ ํ ๋ถ๋ฆฌ๋ ์ฐ์ฐ์ผ๋ก ๋ฐ์ด๋ถ์์ผ๋ฉฐ, ์ด๋ก ์ธํด ์ธ๊ธฐ๋ฅผ ์ป์ ๊น์ด๋ณ ๋ถ๋ฆฌํ ์ปจ๋ณผ๋ฃจ์ ์ ์ด์ ๋ชจ๋ ๊ณณ์ ๋ํ๋๋ค
[Olewave์ ๋จํธ ๋ฆฌ๋ทฐ] Xception: ๊น์ด๋ณ ๋ถ๋ฆฌํ ์ปจ๋ณผ๋ฃจ์ ์ ์ด์ฉํ ๋ฅ๋ฌ๋
Xception์ ํต์ฌ ์์ด๋์ด๋ง ์ํ๊ณ ์ฅํธ ๋ฆฌ๋ทฐ์ ๊น์ ๋ด์ฉ์ ์ํ์ง ์๋๋ค๋ฉด, ์ด ๋จํธ ๋ฆฌ๋ทฐ๊ฐ ๊ฐ๋จํ ๋ฒ์ ์ ๋๋ค.
์ค๊ตญ์ ํญ๊ณต๋ชจํจ Fujian 003์ ์์๋ฐฐ์ด ๋ ์ด๋์ ์์ฑ ๋นํฌ๋ฐ์ ์ฐ๊ฒฐ
์ค๊ตญ์ ์ต์ ํญ๊ณต๋ชจํจ Fujian 003์ ํ์ฌ๋ ์์๋ฐฐ์ด ๋ ์ด๋์ ์ค๋งํธ ์คํผ์ปค๊ฐ ์๋๋ฌ์ด ๋ฐฉ์์ ๋น์ ์ ๋ง์ ๋ค์ ์ ์๊ฒ ํ๋ ๋ง์ดํฌ ์ด๋ ์ด๋ ์ค์ ๋ก ๊ฐ์ ๊ธฐ๋ณธ ์ํ์ ๊ณต์ ํฉ๋๋ค.
iOS 16์ ์๋ก์ด ๋ฐ์์ฐ๊ธฐ ๊ธฐ๋ฅ์ ์ด๋ป๊ฒ ์๋ํ ๊น์? Apple์ ๋น๊ฒฐ์ ์์ฑ ์ฐ๊ตฌ์์ด ๋ฐํ์ค๋๋ค!
Apple์ iOS 16 ๋ฐ์์ฐ๊ธฐ๋ ์์ ํ ๊ธฐ๊ธฐ์์ ์คํ๋๋ฉฐ, ์ด ๋จ์ผ ์ค๊ณ ์ ํ์ ์ง์ฐ ์๊ฐ, ๊ฐ์ธ์ ๋ณด ๋ณดํธ, ๊ทธ๋ฆฌ๊ณ ํด๋ํฐ์์ ์คํ ๊ฐ๋ฅํ ASR ์ํคํ ์ฒ์ ์ข ๋ฅ์ ๋ํ ์ฐ์์ ์ํฅ์ ๋ฏธ์นฉ๋๋ค.
[์ฅ๋ฌธ ๋ฆฌ๋ทฐ] Conformer: ์์ฑ ์ธ์์ ์ํ Convolution-augmented Transformer
Conformer๋ end-to-end ASR์ ์กฐ์ฉํ ์ฅ์ ํ ๋ชจ๋ธ์ด๋ฉฐ, ๋ชจ๋ Transformer ๋ธ๋ก์ convolution ๋ชจ๋์ ์ถ๊ฐํ๋ ๊ทธ ๋ฐฉ์์ ๋จ์ํ์ง๋ง ๋๋๊ฒ๋ ์ ์๋ํ๋ ์์ด๋์ด ์ค ํ๋์ ๋๋ค.
[๋จ๋ฌธ ๋ฆฌ๋ทฐ] Conformer: ์์ฑ ์ธ์์ ์ํ Convolution-augmented Transformer
Conformer๋ ๊ฑฐ์ ๋จ์ํ ์์ ์ ํตํด ASR ์ธ๊ณ๋ฅผ ํฉ์ธ์์ต๋๋ค: ๊ฐ Transformer ๋ธ๋ก์ convolution ๋ชจ๋์ ๋ถ์ฌ ๋ชจ๋ธ์ด ์ ์ญ ์ปจํ ์คํธ์ ๋ก์ปฌ ์ํฅ ์ธ๋ถ ์ ๋ณด๋ฅผ ํ ๋ฒ์ ํฌ์ฐฉํ ์ ์๋๋ก ํ์ต๋๋ค.
