BERT在NLP领域众所周知，但从语音工程师的视角阅读会发现与标准的"掩蔽语言建模改变了一切"总结不同的一套教训。这份评论重新审视了"BERT：深度双向Transformers预训练用于语言理解"，并询问掩蔽token目标、下一句预测和微调方法对从事ASR重评分、口语理解或语音-语言预训练的人意味着什么。

期待通过架构、两个预训练目标和微调结果的讲述（这些结果使GLUE数字大幅提升），并重点关注哪些内容可以迁移到wav2vec 2.0、HuBERT和audio-BERT变体等模型中。如果你正在决定如何预训练语音编码器或向ASR管道添加BERT风格的LM重评分器，这个视角将帮助你识别哪些BERT设计选择是真正可迁移的，哪些是文本特有的现象。如果语音预训练在你的工作范围内，这份内容值得一看。