![[Long Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs](/media/video/2022/04/long-review-fully-sharded-data-parallel-faster-ai-training-with-fewer-gpus/preview.jpg)
Tutorials
[긴 리뷰] Fully Sharded Data Parallel: 더 적은 GPU로 더 빠른 AI 학습
적당한 GPU 예산으로 수십억 매개변수 음성 또는 언어 모델을 학습하는 것은 파이프라인 병렬화, 텐서 병렬화, 또는 ZeRO 스타일의 옵티마이저 샤딩 중에서 선택해야 하는 것을 의미했습니다.
![[Short Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs](/media/video/2022/04/short-review-fully-sharded-data-parallel-faster-ai-training-with-fewer-gpus/preview.jpg)
Tutorials
[짧은 리뷰] Fully Sharded Data Parallel: 더 적은 GPU로 더 빠른 AI 학습
Fully Sharded Data Parallel은 모든 음성 및 언어 팀이 결국 묻는 질문에 대한 Meta의 답변입니다: 더 큰 규모의 GPU를 프로비저닝하지 않고 한 자릿수 더 큰 모델을 학습하는 방법은 무엇일까요?
![[Long Review] Deduplicating Training Data Makes Language Models Better](/media/video/2022/04/long-review-deduplicating-training-data-makes-language-models-better/preview.jpg)
Tutorials
[Long Review] 훈련 데이터 중복 제거가 언어 모델을 더 좋게 만든다
중복 제거는 지루해 보이지만, C4 내에 61개 단어로 된 문장이 60,000번 이상 나타나고, 이런 말뭉치로 훈련된 언어 모델이 훈련 세트 텍스트를 불안하게 re
![[Short Review] Deduplicating Training Data Makes Language Models Better](/media/video/2022/04/short-review-deduplicating-training-data-makes-language-models-better/preview.jpg)
Tutorials
[Short Review] 훈련 데이터 중복 제거가 언어 모델을 더 좋게 만든다
당신의 언어 모델의 "일반화" 중 얼마나 많은 부분이 실제로는 단순한 반복일까요?
![[Long Review] CLAS: Deep context: end-to-end contextual speech recognition](/media/video/2022/04/long-review-clas-deep-context-end-to-end-contextual-speech-recognition/preview.jpg)
Tutorials
[Long Review] CLAS: 깊은 문맥: 종단간 문맥적 음성 인식
ASR 제품을 출시한 사람이라면 누구나 고유명사의 고통을 알고 있습니다: 연락처 이름, 노래 제목, 약물 이름, 모호한 장소 이름.
![[Long Review] Hurdles to Progress in Long Form Question Answering](/media/video/2022/04/long-review-hurdles-to-progress-in-long-form-question-answering/preview.jpg)