沃爾特懷特 (Walter White)、傑西平克曼 (Jesse Pinkman) 和一批未標記的音頻有什麼共同點？這是一個令人驚訝的好比喻，說明了 wav2vec 2.0 如何以 96.3% 的純度製作語音表示。本演練使用《絕命毒師》演員陣容作為 Meta AI 具有里程碑意義的自監督模型的核心要素（量化、情境化 transformers、對比損失和丟失）的替身，並展示了它們如何結合起來從幾乎沒有轉錄本的原始波形中學習。

幽默的背後隱藏著一個嚴肅的框架。 wav2vec 2.0 掩蓋了潛在的語音單元，迫使網路從幹擾物中識別出真正的語音單元，並產生嵌入，用短短十分鐘的標記資料微調到最先進的 ASR。這一結果重塑了該領域對低資源語言、領域適應和預訓練預算的看法，它是 HuBERT、XLS-R 和 WavLM 等整整一代下游模型的支柱。如果您一直想在微調編碼器之前真正了解編碼器內部發生的情況，請點擊播放 - 這個類比使數學變得簡單。