![[Long Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs](/media/video/2022/04/long-review-fully-sharded-data-parallel-faster-ai-training-with-fewer-gpus/preview.jpg)
Tutorials
[๊ธด ๋ฆฌ๋ทฐ] Fully Sharded Data Parallel: ๋ ์ ์ GPU๋ก ๋ ๋น ๋ฅธ AI ํ์ต
์ ๋นํ GPU ์์ฐ์ผ๋ก ์์ญ์ต ๋งค๊ฐ๋ณ์ ์์ฑ ๋๋ ์ธ์ด ๋ชจ๋ธ์ ํ์ตํ๋ ๊ฒ์ ํ์ดํ๋ผ์ธ ๋ณ๋ ฌํ, ํ ์ ๋ณ๋ ฌํ, ๋๋ ZeRO ์คํ์ผ์ ์ตํฐ๋ง์ด์ ์ค๋ฉ ์ค์์ ์ ํํด์ผ ํ๋ ๊ฒ์ ์๋ฏธํ์ต๋๋ค.
![[Short Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs](/media/video/2022/04/short-review-fully-sharded-data-parallel-faster-ai-training-with-fewer-gpus/preview.jpg)
Tutorials
[์งง์ ๋ฆฌ๋ทฐ] Fully Sharded Data Parallel: ๋ ์ ์ GPU๋ก ๋ ๋น ๋ฅธ AI ํ์ต
Fully Sharded Data Parallel์ ๋ชจ๋ ์์ฑ ๋ฐ ์ธ์ด ํ์ด ๊ฒฐ๊ตญ ๋ฌป๋ ์ง๋ฌธ์ ๋ํ Meta์ ๋ต๋ณ์ ๋๋ค: ๋ ํฐ ๊ท๋ชจ์ GPU๋ฅผ ํ๋ก๋น์ ๋ํ์ง ์๊ณ ํ ์๋ฆฟ์ ๋ ํฐ ๋ชจ๋ธ์ ํ์ตํ๋ ๋ฐฉ๋ฒ์ ๋ฌด์์ผ๊น์?
Tutorials
Breaking Bad์์ Wav2vec 2.0์ผ๋ก: ์์ฑ ํํ์ ์๊ธฐ ์ง๋ ํ์ต์ ์ํ ํ๋ ์์ํฌ
Walter White, Jesse Pinkman, ๊ทธ๋ฆฌ๊ณ ๋ ์ด๋ธ์ด ์๋ ์ค๋์ค ๋ฐฐ์น๊ฐ ๊ณตํต์ ์ด ๋ญ๊น์?
Tutorials
์์ฑ ๊ฐ์ ์ธ์ ๊ฐ์ ์ ์ํ Wav2vec 2.0 ๋ฏธ์ธ ์กฐ์ ํ์
์์ฑ ๊ฐ์ ์ธ์์ ์ค๋ซ๋์ ์์ ๋ ์ด๋ธ๋ ๋ฐ์ดํฐ์ ๊ณผ ์์ผ๋ก ๋ง๋ ์ํฅ ํน์ฑ์ ๊ฐํ ์์์ต๋๋ค.