Fully Sharded Data Parallel은 모든 음성 및 언어 팀이 결국 묻는 질문에 대한 Meta의 답변입니다: 더 큰 규모의 GPU를 프로비저닝하지 않고 한 자릿수 더 큰 모델을 학습하는 방법은 무엇일까요? FSDP는 모델의 매개변수를 데이터 병렬 워커 전체에 샤드하고, 각 마이크로배치 계산을 로컬로 유지하며, GPU 메모리가 부족할 때 선택적으로 CPU로 유출합니다. 샤딩이 균일하고 통신이 계산과 겹치므로, 처리량은 손으로 조정된 파이프라인 병렬화와 경쟁력이 있으면서 정신 모델은 신선하게 간단합니다.

이 짧은 리뷰는 FairScale 구현과 Facebook의 내부 NLP 및 비전 워크로드에서의 초기 성과를 요약합니다. wav2vec 2.0, HuBERT, 또는 LLM 기반 TTS를 더 큰 규모로 밀어 붙이는 음성 AI 엔지니어의 경우, FSDP는 실제 메모리 절감을 제공하는 낮은 마찰 업그레이드 경로입니다. 재생을 누르면 FSDP가 무엇을 하는지와 왜 이미 다음 PyTorch 학습 구성에서 기본값일 가능성이 높은지 빠르게 둘러볼 수 있습니다.