ネイサン・チェンのクワッドフリップスコアリングへのウインクを交わしてフレーミングされたこのトークは、Switch Transformerを詳細に説明します。これはGoogleによるMixture-of-Expertsスケーリングの明確で積極的に単純化された取り組みです。以前のMoE設計では各トークンを2つのエキスパートにルーティングしていましたが、Switchは1つだけにルーティングし、ルーティング計算を最小限に削減し、実際のTPUポッドで安定したままの1兆パラメータのトレーニング実行を可能にします。

2部構成のパート1であるこのレビューは、top-1ゲーティング決定、エキスパートのバランス不足を防ぐ負荷分散と容量係数のトリック、およびSwitchが密なT5ベースラインに対して提供するプリトレーニング高速化を詳細に説明します。スピーチLLM、多言語ASR、またはマルチドメインTTSバックボーンのスパースアーキテクチャを検討している音声AIチームにとって、Switch Transformerは1兆パラメータモデルを望ましい目標ではなく達成可能に感じさせた論文です。パート2でGLaMに飛び込む前に直感が必要な場合は、それを読んでください。