نظرة عامة على FA-Bench

مهمتان

يقيّم FA-Bench مهمتين. وتختلفان في مصدر الكلمات.

ASR مع الطوابع الزمنية يسمع الصوت فقط. ويُعيد كلماته الخاصة، لكل منها وقت بداية ووقت نهاية. تحتاج إلى الوقتين معًا للترجمة النصية أو لمسار الدبلجة، وتُعيدهما معظم واجهات التعرف على الكلام دون بيان مدى دقتهما. كل صف في لوحة ASR هو نظام واحد كما يُطرح، سواء واجهة API أو نموذجًا. فـ Google Chirp 2، مثلًا، هو النموذج chirp_2 المستدعى عبر Speech-to-Text v2.

المحاذاة القسرية تُمنح النص المرجعي. فلا تقع في خطأ تعرّف، ولذلك لا يُقيَّم سوى توقيتها. ويمنح FA-Bench كل أداة محاذاة أيضًا الكلمات التي تعرّف عليها Qwen3-ASR. ويعرض مفتاح النص المكتوب أعلى لوحة المحاذاة القسرية تلك النتيجة. أما انخفاض F1 فهو مقدار هبوطها عن النتيجة على النص المرجعي. على سبيل المثال، يسجّل MFA 3.4 القيمة 0.658 على النص المرجعي والقيمة 0.628 على الكلمات المتعرَّف عليها، أي F1 Drop قدره 0.030.

يثبّت التسلسل المكوّن من معرّف كلام وأداة محاذاة المعرّفَ، وهو ما لا يستطيعه نظام ASR. لذلك تجد التسلسل بجوار أداة المحاذاة الخاصة به، ولا يُرتَّب أبدًا بين أنظمة ASR.

مجموعات الاختبار والظروف

يعمل كل نظام على مجموعتي اختبار.

تحصل على كل مجموعة اختبار بالصوت النظيف وبأربع نسخ متدهورة. وتأتي النسخ من وصفات التعزيز في Kaldi، وهي مبنية على بذور ثابتة.

العنوان الرئيسي للوحة هو متوسط أربع خلايا اختبار. والخلايا هي مجموعة اختبار TIMIT الأساسية ومجموعة اختبار Buckeye، لكل منهما بالصوت النظيف وبالصوت المشوَّش. وخلية الصوت المشوَّش هي متوسط ظروفها الأربعة المتدهورة. لترتيب اللوحة وفق أي خلية بمفردها، استخدم القائمة الموجودة فوقها. اختر مثلًا Buckeye test، مشوَّش، فيعرض الجدول قيمة F1 لتلك الخلية ومعدل الخطأ فيها فقط.

كيف تُحسب الدرجة

يقيّم الشكل مخرجًا واحدًا من ASR بثلاث طرق. وتشرح الفقرات التي تليه كل طريقة.

Word timestamp F1 عند 20 ms هو ما تُرتَّب به لوحات الكلمات. لكل كلمة مرجعية وقت بداية ووقت نهاية. ويُعدّ الوقت إصابة إذا أنتج النظام الكلمة نفسها ووضع ذلك الوقت ضمن 20 ms من وقت المعلِّق. تحسب الدقة (precision) الإصابات من بين أوقات النظام. ويحسب الاسترجاع (recall) الإصابات من بين الأوقات المرجعية. وتكلّف الكلمة التي أُسيء سماعها النظامَ وقتيها كليهما. لذلك تحتسب الدرجة في لوحة ASR أخطاء التعرف وأخطاء التوقيت معًا. وتبلغ درجة المخرج في الشكل 0.45.

لا يقيّم Word MAE ولا F1 لحدود الكلمات الحدَّ إلا إذا طابقت الكلمتان على جانبيه المرجع. لذلك يستبعدان كثيرًا من الحدود. في الشكل، يقيّم Word MAE حدّين اثنين من الحدود، بقيمة 12.5 ms، وقيمة F1 لحدود الكلمات عند 20 ms هي 0.15. أما F1 للطوابع الزمنية للكلمات فيقيّم بداية كل كلمة ونهايتها. وهذا يناسب الكلام العفوي وما فيه من وقفات كثيرة، إذ لا يضطر أي حدّ إلى الاختيار بين نهاية الكلمة السابقة وبداية الكلمة التالية.

Phone boundary F1 عند 20 ms هو ما تُرتَّب به لوحات الفونيمات. ويُعدّ حدّ الفونيم إصابة إذا طابق الفونيمان على جانبيه المرجع وكان زمنه ضمن 20 ms من زمن المعلِّق. يحاذي كل نظام باستخدام مجموعة الفونيمات الخاصة به. لذلك يحوّل FA-Bench فونيمات النظام والفونيمات المرجعية إلى TIMIT-39 قبل تقييمها. ولا يُخرج أي نظام ASR فونيمات من الصوت وحده، فلا تضم طبقة الفونيمات سوى لوحات المحاذاة القسرية.

يوجد معدل خطأ بجانب كل F1. MAE هو متوسط الخطأ المطلق للحدود بوحدة ms على الصوت النظيف. وWER هو معدل خطأ الكلمات، وPER هو معدل خطأ الفونيمات، وكلاهما بالنسبة المئوية.

النطاقات والفواصل

يسحب FA-Bench عينات اختبار جديدة مع الإرجاع، 2,000 مرة من بذرة ثابتة. ويواجه كل نظام في اللوحة السحوبات نفسها. ويضم الفاصل البالغ 95% بجانب كل متوسط F1 الـ 95% الوسطى من درجات النظام عبر السحوبات. في لوحة ASR، على سبيل المثال، يبلغ متوسط F1 للنظام Google Chirp 2 ‏0.486 بفاصل من 0.475 إلى 0.498.

يضم النطاق الـ 95% الوسطى من رتب النظام. وعندما يتداخل نطاقا نظامين، فإنهما متعادلان في مجموعات الاختبار هذه. في لوحة ASR، على سبيل المثال، يبلغ النطاق للنظام CrisperWhisper ‏2–3، وللنظام Google Chirp 3 ‏2–3، لذا فهما متعادلان.

يشمل المجال أخذ العينات من هذه العبارات الكلامية. وسيتسع المجال إذا استُخدمت مجموعة جديدة من المتحدثين، لأن مجموعة اختبار Buckeye تضم 8 متحدثين.

الأسعار

يعرض عمود السعر سعر القائمة لكل واجهة برمجة لساعة صوت واحدة، بنظام الدفع حسب الاستخدام. وهو سعر النموذج والفئة اللذين استدعاهما FA-Bench، وقد قُرئ من صفحة الأسعار الخاصة بالمزوّد في 27 أكتوبر 2026. ولا يشمل العمود الفئات المجانية ولا الأرصدة، ولا يأخذ في الحسبان أي خصم على الكميات. وحين يحاسب المزوّد على الاستدعاءات الدفعية والفورية بأسعار مختلفة، يعرض العمود السعر الذي استخدمه FA-Bench.

يعمل النموذج المفتوح على عتادك أنت، فلا سعر له في الساعة. ويعرض صف Olign السعر $0.18 للساعة، وهو سعر العرض الترويجي لإطلاقه. أما سعر القائمة له فهو $0.21.

الأنظمة والإصدارات

يأتي كل صف من صفوف الواجهات البرمجية من نموذج واحد استُدعي عبر إصدار واحد من الواجهة. ويعرض الجدول الاثنين معًا، إضافةً إلى الشهر الذي قاس فيه FA-Bench الواجهة.

تذكر Deepgram وSpeechmatics اسم الإصدار في كل استجابة، بينما لا تذكر واجهات البرمجة الأخرى أي إصدار.

تكون قيمة الحالي نعم عندما لا تزال واجهة البرمجة تستجيب كما كانت وقت القياس. وقد تحقق FA-Bench من ذلك في 27 أكتوبر 2026. فقد أعاد إرسال 5 مقاطع اختبار إلى كل واجهة برمجة، وقارن كل كلمة وكل زمن. تغيّرت واجهتان منذ سبتمبر. فقد قدّم ElevenLabs Scribe v2 أزمنة بعض الكلمات بمقدار 20 إلى 80 ms، وأعاد AssemblyAI كلمات مختلفة في مقطعين من أصل 9 مقاطع. وقد أعاد FA-Bench قياس الواجهتين في أكتوبر، ولذلك فإن كل صف في اللوحات يعود إلى النموذج الذي تقدّمه كل واجهة برمجة اليوم.

ملاحظات على أنظمة بعينها

العلامات الواردة بعد أسماء بعض الأنظمة تشير إلى هذه الملاحظات.

• ⚠ تدرّب MAPS وNeuFA على 7 من أصل 8 متحدثين في مجموعة اختبار Buckeye ضمن FA-Bench، لذا فإن معظم صوت اختبار Buckeye لديهما يعود إلى متحدثين تدرّبا عليهم.
• ⚠ استخدم مؤلفو CrisperWhisper مجموعة TIMIT لبناء توقيت الكلمات فيه، ولم يذكروا أي ملفات من TIMIT استخدموا. يختبر FA-Bench على ملفات الاختبار في TIMIT، فإن كان المؤلفون قد استخدموها أيضًا، فإن نتائجه على TIMIT تأتي من صوت سبق أن رآه.
• ‡ ينهي Deepgram الكلمة الأخيرة في 24% من جمل اختبار Buckeye النظيفة، وينهيها Chirp 3 في 15%، بعد انتهاء الصوت بأكثر من 0.3 s.
• † يظهر NeMo-FA بنموذجه ذي 80 ms. أما نموذجه ذو 40 ms فنتيجته أعلى، وتذكر ملاحظة اللوحة هذه النتيجة.
• يُزوَّد FALCON بالصوتيات المرجعية، وهو ما لا يحصل عليه أي مُحاذٍ آخر، لذا استُبعد من لوحة الصوتيات وذُكر في ملاحظة تلك اللوحة.

FA-Bench وArtificial Analysis

تصنّف Artificial Analysis أيضًا واجهات برمجة تحويل الكلام إلى نص بحسب درجة AA-WER v2. يضع الجدول المعيارين جنبًا إلى جنب. ويعتمد كل عمود على ما ينشره كل معيار عن نفسه.

تأتي تفاصيل Artificial Analysis من صفحة المنهجية الخاصة بها ومن إعلان AA-WER v2، وقد اطُّلع عليهما في 11 أكتوبر 2026.

أعد إنتاج كل رقم

يمكنك التحقق من أي رقم في لوحة الصدارة بنفسك. شيفرة التقييم ووصفات مجموعات الاختبار على GitHub، والورقة البحثية على arXiv تصف المنهج. توفّر كل لوحة أرقامها بصيغة CSV. شغّل أي نظام على نسخك الخاصة من TIMIT وBuckeye، ثم قيّمه باستخدام FA-Bench.

تطوّر Olewave كلًّا من FA-Bench وOlign. ولم يعد Olign يشارك في FA-Bench، لذا لا تصنّفه أي لوحة. وترد أحدث نتائجه، من أكتوبر 2026، في نهاية كل جدول دون ترتيب. وتُقيَّم جميع الأنظمة في اللوحات بالشيفرة العامة نفسها وفق التعليقات التوضيحية البشرية نفسها.

الخطوات التالية

• اطّلع على لوحة الصدارة
  جميع الأنظمة مرتبة، مع فترة الثقة والمدى لكل منها.
• احصل على الشيفرة من GitHub
  قيّم نظامك بالتعليقات التوضيحية البشرية نفسها.
• اقرأ الورقة البحثية على arXiv
  المنهج الذي تقوم عليه كل درجة في هذه الصفحة.

→ العودة إلى لوحة الصدارة