[Olewave์ ๋ฆฌ๋ทฐ] CLIP(3/3): ์์ฐ์ด ๊ฐ๋ ์์ ์ ์ก ๊ฐ๋ฅํ ์๊ฐ์ ๋ชจ๋ธ ํ์ต
์ด CLIP ๊ฒํ ์ ๋ง์ง๋ง ๋ถ๋ถ์ ๊ฒฐ๊ณผ ์น์ ์ ์์ต๋๋ค. ์ฌ๊ธฐ์ OpenAI์ ๋์กฐ ์ด๋ฏธ์ง-ํ ์คํธ ๋ชจ๋ธ์ ํฅ๋ฏธ๋ก์ด ์์ด๋์ด์์ ์ ์ฒด ๋ค์ค ๋ชจ๋ ์คํ์ ๋ํ ๊ธฐ์ด ๋ ์ด์ด ๊ธฐ๋ณธ ์์๋ก ์ ํ๋์์ต๋๋ค.
[Olewave์ ๋ฆฌ๋ทฐ] CLIP(2/3): ์์ฐ์ด ๊ฐ๋ ์์ ์ ์ก ๊ฐ๋ฅํ ์๊ฐ์ ๋ชจ๋ธ ํ์ต
OpenAI์ CLIP์ ๊ณ ์ ๋ ๋ ์ด๋ธ ์ธํธ๋ฅผ ๋ฒ๋ฆฌ๊ณ ๋์ ์ธํฐ๋ท์์ ์คํฌ๋ฉํ 4์ต ๊ฐ์(์ด๋ฏธ์ง, ํ ์คํธ) ์์ ํ์ตํ์ฌ ์ปดํจํฐ ๋น์ ์ ์คํฌ๋ฆฝํธ๋ฅผ ๋ค์ง์์ต๋๋ค.
[Olewave์ ๋ฆฌ๋ทฐ] CLIP(1/3): ์์ฐ์ด ๊ฐ๋ ์์ ์ ์ก ๊ฐ๋ฅํ ์๊ฐ์ ๋ชจ๋ธ ํ์ต
BLIP, LLaVA ๋๋ ๊ทธ๋งํ ๊ฐ์น๊ฐ ์๋ ์ฐ์ค(LLM)์ด ์๊ธฐ ์ ์ CLIP์ด ์์๊ณ ์ด๊ฒ์ด ์ด์ผ๊ธฐ๊ฐ ์์๋๋ ๊ณณ์ ๋๋ค.
[Long Review] ๊ณ ์ถฉ์ค๋ ์ด๋ฏธ์ง ์์ฑ์ ์ํ ๊ณ๋จ์ ํ์ฐ ๋ชจ๋ธ
Imagen๊ณผ DALL-E 2๊ฐ ํ์ฐ์ ์์ฑ ์ด๋ฏธ์ง์ ๊ธฐ๋ณธ๊ฐ์ผ๋ก ์ค์ ํ๊ธฐ ์ ์ ์ด Google Brain ๋ ผ๋ฌธ์ ์ดํ์ ๋ง์ ํ ์คํธ-์ด๋ฏธ์ง ์์คํ ์์ ์กฐ์ฉํ ์ฐจ์ฉํ ๊ณ๋จ์ ํ์ฐ ๋ฐฉ๋ฒ์ ์ ์ํ์ต๋๋ค.
[๊ฐ๋จํ ๋ฆฌ๋ทฐ] ๊ณ ์ถฉ์ค๋ ์ด๋ฏธ์ง ์์ฑ์ ์ํ ๊ณ๋จ์ ํ์ฐ ๋ชจ๋ธ
๊ณ๋จ์ ํ์ฐ์ ๋ง์ ํ๋ ์์ฑ ์์ ์ 2๋จ๊ณ ์ถ๊ฐ ๋ฐฉ๋ฒ์ ๋๋ค. ํ๋์ ํ์ฐ ๋ชจ๋ธ๋ก ์์ ์ด๋ฏธ์ง๋ฅผ ์์ฑํ ๋ค์ ๊ณ ์ฃผํ ์ธ๋ถ ์ ๋ณด๋ฅผ ์ถ๊ฐํ๋ ์ดํด์๋ ํ์ฐ ๋ชจ๋ธ์ ์ ๋ฌํฉ๋๋ค.
