HuBERT: ์จ๊ฒจ์ง ๋จ์์ ๋ง์คํน ์์ธก์ ํตํ ์์ฒด ์ง๋ ์์ฑ ํํ ํ์ต
wav2vec 2.0์ด ๋์กฐ์ ์์ฒด ์ง๋๋ก ๊ฒ์์ ๋ฐ๊ฟจ์ง๋ง, HuBERT๋ ๋ ๋ ์นด๋ก์ด ์ง๋ฌธ์ ์ ์ํ์ต๋๋ค: ๋์กฐ์ ํธ๋ฆญ์ ์์ ํ ๊ฑด๋๋ฐ๊ณ ์์ฑ์์ BERT ์คํ์ผ์ ๋ง์คํน ์์ธก์ ์ํํ๋ฉด ์ด๋จ๊น์?
W2v-BERT: ๋์กฐ ํ์ต๊ณผ ๋ง์คํน๋ ์ธ์ด ๋ชจ๋ธ๋ง์ ๊ฒฐํฉํ ์์ฒด ์ง๋
์์ฑ ์ฌ์ ํ์ต์ ์ํด ๋์กฐ ํ์ต๊ณผ ๋ง์คํน๋ ์ธ์ด ๋ชจ๋ธ๋ง ์ค์ ์ ํํด์ผ ํ ๋ ๋์ ๊ฐ์ ๋คํธ์ํฌ์ ์ฐ๊ฒฐํ ์ ์๋ค๋ฉด ์ ์ ํํด์ผ ํ ๊น์?
์์ฑ ๊ฐ์ ์ธ์ ๊ฐ์ ์ ์ํ Wav2vec 2.0 ๋ฏธ์ธ ์กฐ์ ํ์
์์ฑ ๊ฐ์ ์ธ์์ ์ค๋ซ๋์ ์์ ๋ ์ด๋ธ๋ ๋ฐ์ดํฐ์ ๊ณผ ์์ผ๋ก ๋ง๋ ์ํฅ ํน์ฑ์ ๊ฐํ ์์์ต๋๋ค.
๋ค๊ตญ์ด ASR์ ์ํ ๊ณต๋ ๋น์ง๋ํ์ต ๋ฐ ์ง๋ํ์ต ํ๋ จ
์ฌ์ ํ๋ จ ํ ๋ฏธ์ธ ์กฐ์ ์ด ๋ค๊ตญ์ด ASR์ ๊ธฐ๋ณธ ๋ ์ํผ๊ฐ ๋์์ง๋ง, ๋ง์ ์ ์ฌ๋ ฅ์ ๋จ๊ธฐ๊ณ ์์ต๋๋ค: ๋ ๋จ๊ณ๊ฐ ์์ค์ ๊ณต์ ํ์ง ์์ผ๋ฉฐ, ์ง๋ ๋จ๊ณ๊ฐ ์ ์ฉํ ์์ฒด ์ง๋ ๊ตฌ์กฐ๋ฅผ ์กฐ์ฉํ ์ ๊ฑฐํ ์ ์์ต๋๋ค
WavLM: ์ ์ฒด ์คํ ์์ฑ ์ฒ๋ฆฌ๋ฅผ ์ํ ๋๊ท๋ชจ ์๊ฐ ๊ฐ๋ ์ฌ์ ํ์ต
๋๋ถ๋ถ์ ์์ฑ SSL ๋ชจ๋ธ์ ASR์ ์ต์ ํ๋๊ณ ๋ค๋ฅธ ๋ชจ๋ ๊ฒ์ด ์ ์๋ํ๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
