T5 在單一編碼器-解碼器預訓練方案下統一了文字到文字任務，並成為 NLP 的主力。 SpeechT5 提出了顯而易見的後續問題：同樣的技巧可以統一語音任務嗎？從 Microsoft 研究工作來看，答案基本上是肯定的。共享編碼器-解碼器被封裝在六個特定模態的前網絡和後網絡中，因此同一個核心網絡可以使用語音或文本並發出語音或文本，從而從一個預訓練檢查點啟用 ASR、TTS、語音轉換、語音翻譯、語音增強和說話人識別。

該評論介紹了跨模態向量量化技巧，該技巧將語音和文字對齊到共享的潛在空間中，以及為什麼這種對齊實際上可以讓一個模型泛化到這些不同的任務上。它還涵蓋了 SpeechT5 在每個下游基準測試中的表現，以及統一方法仍然落後於單一任務專家的地方。如果您正在考慮多任務語音基礎模型 - 或者您想查看後來出現在 Voicebox 和 SeamlessM4T 中的設計模式的早期、乾淨的示例 - 這篇評論是一個堅實的基礎。