T5は単一のエンコーダ-デコーダ事前学習レシピのもとでテキスト間のタスクを統一し、NLPの主要なツールとなりました。SpeechT5は明らかな後続の質問を投げかけます：同じテクニックで音声タスクを統一できるでしょうか？このMicrosoft Researchの研究からの答えは、大部分は「はい」です。共有されたエンコーダ-デコーダは6つのモダリティ固有の事前ネットと事後ネットでラップされているため、同じコアネットワークは音声またはテキストを入力として受け取り、音声またはテキストを出力することができます—これにより、1つの事前学習されたチェックポイントからASR、TTS、音声変換、音声翻訳、音声強化、スピーカー識別が可能になります。

このレビューでは、音声とテキストを共有潜在空間に整列させるクロスモーダル・ベクトル量子化技術をウォークスルーし、なぜその整列が実際に1つのモデルがこのような異なるタスク全体に一般化することを可能にするのかを説明します。また、SpeechT5が各下流ベンチマークでどのように機能し、統一されたアプローチがどこで単一タスク専門家にまだ後れを取っているかについても説明します。マルチタスク音声ファンデーションモデルについて検討している場合、または後にVoiceboxとSeamlessM4Tに登場した設計パターンの初期で明確な例を見たい場合は、このレビューは適切な基礎を提供します。