Tutorials
Nathan Chen 的 4 周跳是由 Mixture-of-Experts 評分的嗎？第一部分：Switch Transformers：稀疏 MoE 模型
以 Nathan Chen 的四周跳評分為框架，這個演講詳細介紹了 Switch Transformer，Google 對 Mixture-of-Experts 擴展的簡潔而激進的簡化版本。
Tutorials
Nathan Chen 的 4 Flip 是由 Mixture-of-Experts 評分嗎？第 2 部分：GLaM：使用 MoE 高效擴展 LM
MoE 小型系列的第 2 部分轉向 GLaM，Google 的 1.2 兆參數 Mixture-of-Experts 語言模型，在 zero-shot、one-shot 和 few-shot 基準測試中匹配或超越 GPT-3，同時每個 token 只激活約 8% 的參
Tutorials
Transformer：注意力就是一切，以及 Listen, Attend and Spell - 從語音視角
兩篇論文，一個故事。《Attention Is All You Need》給世界帶來了 Transformer 並重新定義了序列建模的方式，而《Listen, Attend and Spell》(LAS) 一年前為端到端語音識別做了同樣的事情