Conformerはエンドツーエンド音声認識をひっそりと支配したモデルであり、Transformerブロック各々に畳み込みモジュールを追加するそのレシピは、その単純さの割に機能するという素晴らしいアイデアの一つになりました。Transformerはグローバルコンテキストに優れています。CNNはローカル音響パターンに優れています。Conformerは選択を強制せず、言語モデルなしでLibriSpeechで2.1%/4.3%の最先端のWERを実現しました。

Gulati et al.の論文のこの長編レビューは、完全なアーキテクチャをブロックごとに解き明かします：マカロン型フィードフォワード構造、畳み込みモジュールのゲーティングと深度方向の畳み込み、およびマルチヘッド自己注意が相対位置エンコーディングとどのように相互作用するかです。パラメータ効率性についても詳しく説明しており、2.7%/6.3%のWERで依然として優れた性能を発揮する1000万パラメータの小型モデルも含まれています。Conformerがあなたのプロダクションスタックにある場合、またはWhisper式のTransformerのみベースラインと比較して評価している場合、この詳細な解説はすべての重要な設計上の決定について説明しています。