端到端 SLU 正在风靡一时，但将序列标记视为序列预测悄悄地抛弃了数十年易于理解的标记级标记机制。本文提出了一种组合式端到端 SLU 设计，该设计保持了 E2E 的简单性，同时为您提供了代币级公式，并配有 CRF 式全局标准化损耗和干净的每个组件性能监控。对于权衡级联 ASR 加 NLU 管道与直接 E2E 的团队来说，这是一条实用的中间路径。

诀窍是插入一个经过 ASR 训练的中间解码器，该解码器在 NLU 标记器运行之前将语音转换为标记级表示，因此您可以继承与预训练的 ASR 和 NLU 组件的兼容性，而无需支付硬级联的错误传播税。在跨 SLU 基准的命名实体识别中，组合模型击败了级联和直接 E2E 基准。深入探讨了架构、训练信号设计、全局归一化 CRF 损耗如何重新纳入考虑范围，以及当您实际上必须在生产中调试这个东西时，为什么每个组件的性能监控很重要。如果您正在交付语音助手、呼叫中心分析或任何在 ASR 之上进行插槽填充和意图检测的产品，那么当您的路线图上包含组合式 E2E 时，这值得关注。