![[Long Review] 'GShard': Scaling Giant Models with Conditional Computation and Automatic Sharding](/media/video/2022/02/long-review-gshard-scaling-giant-models-with-conditional-computation-and-automatic/preview.jpg)
Tutorials
[长评] 'GShard'：使用条件计算和自动分片扩展巨大模型
将 Transformer 扩展到数千亿参数以上会很快变成哲学问题：你是激活整个网络来处理每个 token，还是将每个 token 路由给真正需要看到它的专家？
将 Transformer 扩展到数千亿参数以上会很快变成哲学问题：你是激活整个网络来处理每个 token，还是将每个 token 路由给真正需要看到它的专家？