Conformer는 엔드투엔드 ASR를 조용히 인수한 모델이며, 그 레시피는 모든 Transformer 블록에 컨볼루션 모듈을 추가하는 것으로, 실제로 작동하는 믿을 수 없을 정도로 간단한 아이디어 중 하나로 밝혀졌습니다. Transformers는 글로벌 상황에 탁월합니다. CNN은 지역 음향 패턴에 탁월합니다. Conformer는 사용자가 선택하도록 하지 않고 언어 모델 없이 2.1%/4.3%의 최첨단 LibriSpeech WER을 제공합니다.

Gulati et al. 이 논문은 마카롱 피드 포워드 샌드위치, 컨볼루션 모듈의 게이팅 및 깊이별 변환, 다중 헤드 셀프 어텐션이 상대 위치 인코딩과 상호 작용하는 방식 등 전체 아키텍처 블록을 블록별로 풀어냅니다. 또한 여전히 2.7%/6.3% WER에 도달하는 10M 매개변수 소형 모델을 포함하여 매개변수 효율성 이야기를 자세히 살펴봅니다. Conformer가 생산 스택에 있거나 Whisper 스타일 Transformer 전용 기준선과 비교하여 평가하는 경우 심층 분석에서는 이해할 가치가 있는 모든 설계 결정을 안내합니다.