![[Long Review] 'GShard': Scaling Giant Models with Conditional Computation and Automatic Sharding](/media/video/2022/02/long-review-gshard-scaling-giant-models-with-conditional-computation-and-automatic/preview.jpg)
Tutorials
[長評] 'GShard'：使用條件計算和自動分片擴展巨型模型
將 Transformer 擴展到超過一千億個參數很快會變成哲學問題：你是為每個令牌激活整個網絡，還是將每個令牌路由到真正需要查看它的專家？
將 Transformer 擴展到超過一千億個參數很快會變成哲學問題：你是為每個令牌激活整個網絡，還是將每個令牌路由到真正需要查看它的專家？