BERT는 NLP에서 소개가 거의 필요하지 않지만 음성 엔지니어의 눈을 통해 이를 읽으면 표준 "마스크된 언어 모델링이 모든 것을 바꿨습니다" 요약과는 다른 일련의 교훈을 발견할 수 있습니다. 이 리뷰에서는 "BERT: 언어 이해를 위한 심층 양방향 Transformers 사전 훈련"을 다시 검토하고 ASR 재채점, 음성 언어 이해 또는 음성 언어 사전 훈련을 수행하는 모든 사람에게 마스크된 토큰 목표, 다음 문장 예측 및 미세 조정 방법이 무엇을 의미하는지 묻습니다.

wav2vec 2.0, HuBERT 및 audio-BERT 변형과 같은 모델에 적용되는 내용을 목표로 하는 논평과 함께 밤새 GLUE 수치를 높인 아키텍처, 두 가지 사전 학습 목표 및 미세 조정 결과를 살펴보세요. 음성 인코더를 사전 훈련하는 방법을 결정하거나 ASR 파이프라인에 BERT 스타일 LM rescorer를 추가하는 방법을 결정하는 경우 이 관점은 어떤 BERT 설계 선택이 실제로 이전 가능한지, 어떤 것이 텍스트의 특징인지 파악하는 데 도움이 됩니다. 음성 사전 훈련이 책상 위에 있다면 살펴볼 가치가 있습니다.