BERT 在 NLP 中幾乎不需要介紹，但以語音工程師的眼光閱讀它，會發現與標準的「掩蔽語言建模改變了一切」摘要不同的一套經驗教訓。本評審重新審視《BERT：用於語言理解的深層雙向 Transformer 預訓練》，並詢問掩蔽標籤目標、下一句預測和微調方法對任何從事 ASR 重新評分、語音語言理解或語音語言預訓練工作的人意味著什麼。

期待介紹架構、兩個預訓練目標和推動 GLUE 數字的微調結果，並評論它們對 wav2vec 2.0、HuBERT 和 audio-BERT 變體等模型的啟示。如果你正在決定如何預訓練語音編碼器或向 ASR 管道添加 BERT 樣式 LM 重新評分器，這個視角會幫助你發現哪些 BERT 設計選擇真正可轉移，哪些是文本特有的。如果語音預訓練在你的工作中，值得一看。