Tutorials
三つ子のようなロシアのフィギュアスケーター：Kullback-Leiblerダイバージェンスは彼らの違いを見分けるのに使用できますか？
スピーカー適応は、エンコーダーの獲得した音響表現を損なわないようにシーケンス・ツー・シーケンスモデルを適応させようとするまでは、解決されたように聞こえるASR問題の1つです。
Tutorials
ネイサン・チェンの4フリップはMixture-of-Expertsでスコアリングされていますか？パート1：Switch Transformers：スパースMoEモデル
ネイサン・チェンのクワッドフリップスコアリングへのウインクを交わしてフレーミングされたこのトークは、Switch Transformerを詳細に説明します。これはGoogleによるMixture-of-Expertsスケーリングの明確で積極的に単純化された取り組みです。
Tutorials
ネイサン・チェンの4フリップはMixture-of-Expertsでスコア付けされているのか？パート2：GLaM：MoEによるLMsの効率的スケーリング
MoEミニシリーズのパート2はGLaMに向かい、Googleの1.2兆パラメータMixture-of-Expertsモデルは、ゼロショット、ワンショット、フューショットベンチマークでGPT-3に匹敵するか上回っており、パラメータの約8%のみを活性化しています
Tutorials
BERTペーパーをスピーチの視点からレビュー
BERTはNLPではほぼ紹介の必要がありませんが、スピーチエンジニアの目を通して読むと、標準的な「マスク言語モデリングがすべてを変えた」という要約とは異なるレッスンが明らかになります。
Tutorials
Transformer：Attention is All You NeedとListen, Attend and Spell -- スピーチの視点から
2つの論文、1つのストーリー。「Attention Is All You Need」はTransformerを世界に与え、シーケンスモデリングの方法をリセットした一方で、「Listen, Attend and Spell」（LAS）はエンドツーエンドスピーチについて1年前に同じことを行いました
Tutorials
Breaking BadからWav2vec 2.0へ：スピーチ表現の自己教師あり学習フレームワーク
ウォルター・ホワイト、ジェシー・ピンクマン、そしてラベルなしオーディオのバッチに共通することは何か？