نموذج IBM Granite Speech 4.1 Plus يتعادل في المركز الأول على FA-Bench لنظام ASR مع الطوابع الزمنية
يسجل نموذج IBM المفتوح Granite Speech 4.1 Plus قيمة F1 للطابع الزمني للكلمة تبلغ 0.489 على FA-Bench، أي بمستوى Google Chirp 2 الذي يسجل 0.486. قدمت IBM المحوّل البرمجي، وأعاد FA-Bench تشغيل كل خلية اختبار على وحدات GPU الخاصة به.
لوحة صدارة FA-Bench · github.com/olewave/fa-bench · الورقة البحثية على arXiv
انضم نموذج IBM Granite Speech 4.1 Plus إلى لوحة صدارة FA-Bench لنظام ASR مع الطوابع الزمنية للكلمات في 5 نوفمبر 2026. يسجل قيمة F1 للطابع الزمني للكلمة عند 20 ms تبلغ 0.489، بفاصل ثقة 95% من 0.477 إلى 0.500. ويسجل Google Chirp 2 قيمة 0.486، من 0.475 إلى 0.498. الفاصلان يتداخلان، ونطاقا الترتيب لكليهما يمتدان من 1 إلى 2، لذلك يتشارك النظامان المركز الأول بين 17 نظامًا.
Granite Speech 4.1 Plus نموذج مفتوح بموجب رخصة Apache 2.0. تشغّله على وحدة GPU الخاصة بك، ولذلك لا تعرض اللوحة سعرًا له. وتدرج اللوحة Google Chirp 2 بسعر 0.96 دولار لكل ساعة صوت.
أين يتفوق كل منهما
يتفوق Granite Speech في الكلام المقروء من TIMIT، إذ يسجل 0.597 مقابل 0.488 على الصوت النظيف و0.531 مقابل 0.497 مع إضافة الضوضاء. ويتفوق Chirp 2 في المحادثات من Buckeye، إذ يسجل 0.492 مقابل 0.450 على الصوت النظيف و0.469 مقابل 0.379 مع إضافة الضوضاء.
جميع الأرقام
| TIMIT نظيف | TIMIT مع ضوضاء | Buckeye نظيف | Buckeye مع ضوضاء | متوسط الأربع | |
|---|---|---|---|---|---|
| F1 للطابع الزمني للكلمة، Granite Speech 4.1 Plus | 0.597 | 0.531 | 0.450 | 0.379 | 0.489 |
| F1 للطابع الزمني للكلمة، Google Chirp 2 | 0.488 | 0.497 | 0.492 | 0.469 | 0.486 |
| خطأ حدود الكلمة، Granite Speech 4.1 Plus | 26.1 ms | 31.4 ms | 37.7 ms | 47.3 ms | |
| خطأ حدود الكلمة، Google Chirp 2 | 32.7 ms | 32.6 ms | 26.9 ms | 28.1 ms |
كيف وصل إلى اللوحة
قدمت IBM محوّلًا برمجيًا لـ Granite Speech ضمن الشيفرة المفتوحة المصدر الخاصة بـ FA-Bench. وصل المحوّل عبر طلب السحب رقم 23، ومعه التزام من Zvi Kons يذكر نتائج IBM الخاصة على الصوت النظيف. ثم أعاد FA-Bench تشغيل جميع خلايا الاختبار العشرين على وحدات GPU الخاصة به، وجاءت كل خلية ضمن 0.012 F1 من أرقام IBM. تعرض اللوحة نتائج تشغيل FA-Bench.
بحسب طلب السحب، اعتمد تدريب النموذج على الطوابع الزمنية على قسم التدريب من TIMIT فقط، ولم يستخدم أي صوت من Buckeye. لذلك تُعدّ مجموعتا اختبار TIMIT وBuckeye في FA-Bench محجوبتين عنه. يحدد النموذج نهاية كل كلمة على شبكة زمنية مدتها 10 ms، وتبدأ كل كلمة حيث تنتهي الكلمة التي قبلها.
كيف يحتسب FA-Bench النتائج
يدخل الصوت وتخرج الكلمات مع توقيتها. يُحتسب بداية الكلمة ونهايتها كل على حدة إصابةً عندما يقعان ضمن 20 ms من الحد الذي وسمه لغوي يدويًا، وتكلّف الكلمة المسموعة خطأً الاثنين معًا. مجموعتا الاختبار هما TIMIT مجموعة الاختبار الأساسية وBuckeye مجموعة الاختبار، كل منهما نظيفة ومع إضافة صدى وضوضاء وموسيقى وهمهمة أصوات متداخلة.
شكرًا لـ Zvi Kons وفريق IBM Granite Speech على هذه المساهمة. هل لديك نظام ASR أو أداة محاذاة؟ أرسل طلب سحب مع محوّل برمجي. يعيد FA-Bench تشغيل كل خلية اختبار وينشر النتيجة.
تصنع Olewave كلًّا من FA-Bench وOlign، لذلك يُدرج Olign بلا ترتيب في أسفل الجدول.