T5 在单个编码器-解码器预训练方案下统一了文本到文本任务，并成为 NLP 的主力。 SpeechT5 提出了显而易见的后续问题：同样的技巧可以统一语音任务吗？从 Microsoft 研究工作来看，答案基本上是肯定的。共享编码器-解码器被封装在六个特定模态的前网络和后网络中，因此同一个核心网络可以使用语音或文本并发出语音或文本，从而从一个预训练检查点启用 ASR、TTS、语音转换、语音翻译、语音增强和说话人识别。

该评论介绍了跨模态向量量化技巧，该技巧将语音和文本对齐到共享的潜在空间中，以及为什么这种对齐实际上可以让一个模型泛化到这些不同的任务上。它还涵盖了 SpeechT5 在每个下游基准测试中的表现，以及统一方法仍然落后于单任务专家的地方。如果您正在考虑多任务语音基础模型 - 或者您想查看后来出现在 Voicebox 和 SeamlessM4T 中的设计模式的早期、干净的示例 - 这篇评论是一个坚实的基础。