Alex Graves'のRNN-Tペーパーは、今日出荷されているほぼすべてのストリーミングASRシステムの静かな祖先です。Googleのオンデバイスレコグナイザーから、NeMo、ESPnet、およびそれ以上の無数のオープンソーストランスデューサースタックまで。このウォークスルーは、リカレントニューラルネットワークによるシーケンス変換の最も詳細な説明として位置付けられており、他のサマリーが見落とすモデルのあらゆる部分を分解することでそのラベルを獲得しています。損失導出から配置格子の実用的な含意まで。

エンコーダ-プレディクター-ジョイナーアーキテクチャ、トランスデューサー損失とその配置格子、ブランク記号と出力タイミングにおけるその役割、および音声認識、機械翻訳、タンパク質二次構造予測、テキスト音声合成などのタスクで純粋なRNNが独力で処理できない配置問題をRNN-Tがいかに解決するかについての慎重で詳細なツアーを期待してください。TIMITの音素結果は理論を具体的なものに基づかせ、図表は方程式だけでは理解が途絶える場所で重要な役割を果たします。RNN-Tをスクラッチから実装しようとしたことがあるなら、トランスデューサー損失をデバッグしてもう一度誰かがラティスを描いてくれることを望んでいた場合、あるいは同僚にトランスデューサーが単なるファンシーCTCではない理由を説明する必要があった場合、このディープダイブは構築を一時停止する価値があります。