[Olewave's Review] Branchformer:并行 MLP-Attention 架构和 E-Branchformer
Conformer 多年来一直是 ASR 编码器中的佼佼者,但 Branchformer 及其后续产品 E-Branchformer 令人信服地证明顺序卷积加注意力并不是唯一的路径。
Conformer 多年来一直是 ASR 编码器中的佼佼者,但 Branchformer 及其后续产品 E-Branchformer 令人信服地证明顺序卷积加注意力并不是唯一的路径。这篇评论背靠背地涵盖了两篇论文:Branchformer 的并行双分支设计(针对全局上下文的自注意力,针对本地依赖项的 cgMLP)和 E-Branchformer 的增强合并策略,该策略在没有外部数据的情况下将 LibriSpeech 测试清理和测试其他 WER 提高到 1.81% 和 3.65%。
本演练揭示了为什么并行局部和全局建模可以为您带来可解释性优势(合并权重实际上告诉您每一层如何平衡两者)、单个训练模型的可变推理复杂性以及与 Conformer 相比更好或匹配的准确性。请注意 13:40 标注的勘误表:这是一个门控操作,而不是 ResNet 连接。 E-Branchformer 在此基础上改进了两个分支的融合方式并堆叠额外的逐点模块,以挤出那些最先进的 LibriSpeech WER。如果您正在为下一个 ASR 或 SLU 系统选择编码器,或者只是想了解 Transformer 系列语音模型在 Conformer 之后的发展方向,那么这个并排的内容可以一次性提供可靠的五张模型卡的上下文信息。
