Conformer هو النموذج الذي استحوذ بهدوء على ASR، ووصفته، وهي تثبيت وحدة الالتواء على كل كتلة Transformer، والتي تبين أنها واحدة من تلك الأفكار البسيطة المخادعة التي تعمل فقط. Transformers رائعة في السياق العالمي؛ تعتبر شبكات CNN رائعة في الأنماط الصوتية المحلية؛ تتوقف شركة Conformer عن جعلك تختار وتقدم أحدث LibriSpeech WERs بنسبة 2.1%/4.3% بدون نموذج لغة.

هذه المراجعة الطويلة لـ Gulati et al. تقوم الورقة بتفكيك البنية الكاملة كتلة تلو الأخرى: شطيرة التغذية الأمامية للماكارون، وبوابة وحدة الالتواء والتحويل العميق، وكيف يتفاعل الاهتمام الذاتي متعدد الرؤوس مع التشفير الموضعي النسبي. كما أنه يتعمق أيضًا في قصة كفاءة المعلمات، بما في ذلك النموذج الصغير ذو المعلمات 10M الذي لا يزال يصل إلى 2.7%/6.3% WER. إذا كان Conformer موجودًا في مكدس الإنتاج الخاص بك، أو كنت تقوم بتقييمه وفقًا لخطوط الأساس Transformer فقط بنمط Whisper، فإن التعمق في كل قرار تصميم يستحق الفهم.