![[Long Review] 'GShard': Scaling Giant Models with Conditional Computation and Automatic Sharding](/media/video/2022/02/long-review-gshard-scaling-giant-models-with-conditional-computation-and-automatic/preview.jpg)
Tutorials
[긴 리뷰] 'GShard': 조건부 연산 및 자동 샤딩으로 거대 모델 확장
Transformer를 100억 개 이상의 매개변수로 확장하는 것은 빠르게 철학적이 됩니다: 모든 토큰에 대해 전체 네트워크를 활성화하거나 각 토큰을 실제로 봐야 하는 전문가에게 라우팅합니까?
Transformer를 100억 개 이상의 매개변수로 확장하는 것은 빠르게 철학적이 됩니다: 모든 토큰에 대해 전체 네트워크를 활성화하거나 각 토큰을 실제로 봐야 하는 전문가에게 라우팅합니까?