التدريب المشترك بدون إشراف وبإشراف للتعرف التلقائي على الكلام متعدد اللغات
أصبح التدريب المسبق ثم الضبط الدقيق هو الوصفة الافتراضية للتعرف التلقائي على الكلام متعدد اللغات، لكنه يترك الكثير على الطاولة: المرحلتان لا تتشاركان الخسائر، والمرحلة الخاضعة للإشراف يمكنها أن تمسح بهدوء الهياكل المفيدة الخاضعة للتعلم الذاتي
أصبح التدريب المسبق ثم الضبط الدقيق هو الوصفة الافتراضية للتعرف التلقائي على الكلام متعدد اللغات، لكنه يترك الكثير على الطاولة: المرحلتان لا تتشاركان الخسائر، والمرحلة الخاضعة للإشراف يمكنها أن تمسح بهدوء الهياكل المفيدة الخاضعة للتعلم الذاتي. يدمج إطار عمل JUST من Google كلاهما في هدف مشترك واحد — خسارة التباعد، خسارة التنبؤ المقنعة، وخسارة RNN-T الخاضعة للإشراف كل منها تنتشر عكسياً عبر مرمّز مشترك واحد في نفس الوقت.
على معيار Multilingual Librispeech البالغ 42 لغة، يتفوق JUST على خطوط الأنابيب المسبقة المتتالية وخطوط الأساس الخاضعة للإشراف بالكامل، مع مكاسب قوية خاصة على اللغات منخفضة الموارد حيث البيانات المُحددة هي الاختناق. توضح الحديث كيف يتم توازن الخسائر الثلاثة، لماذا يعمم التدريب المشترك بشكل أفضل عبر الأنظمة والفونولوجيات، وأين لا يزال الأسلوب يترك مجالاً لمحولات خاصة باللغة. إذا كنت تتعامل مع مكدس ASR متعدد اللغات وتحرق الدورات في عمليات التدريب المرحلية، فإن وصفة الوعاء الواحد هذه تستحق النظر بجدية.
