Olign في المرتبة الأولى على TIMIT ضمن Nyra Speech Timing Benchmark
يحتل Olign v1 المرتبة الأولى بين 22 نظامًا على TIMIT في جدول nyra labs الخاص بها. وفي تشغيل Olewave لإصداره الحالي v1.1.3 بلغ خطأ توقيت الكلمات 14.2 مللي ثانية على TIMIT و23.6 مللي ثانية على Buckeye.
Olign · Nyra Speech Timing Benchmark
الملخص
- المرتبة الأولى على TIMIT. يحتل Olign v1 المرتبة الأولى بين 22 نظامًا في جدول TIMIT الخاص بـ nyra labs. وله هناك أقل خطأ في توقيت الكلمات، وهو 15.9 مللي ثانية، وأكبر عدد من الكلمات ضمن 50 مللي ثانية من التسميات اليدوية.
- أقرب من ذلك اليوم. يوجد Olign v1 الآن في الإصدار v1.1.3. وفي تشغيل Olewave لبروتوكول nyra العام، بلغ خطأ توقيت الكلمات 14.2 مللي ثانية على TIMIT و23.6 مللي ثانية على الكلام الحواري من Buckeye.
- تحقق بنفسك. يمكنك إعادة تشغيل الاختبارين بأداة nyra ومفتاح API الخاص بـ Olign. طلبنا من nyra إعادة تشغيل Olign v1، ورقمها سيكون الرقم المعتمد.
المعيار
نشرت Nyra labs معيار Nyra Speech Timing Benchmark في أكتوبر 2026، مع ورقة بحثية وشيفرة على GitHub. يقيس المعيار مدى قرب أزمنة الكلمات لدى كل نظام من التسميات اليدوية، ويمر كل نظام بالبروتوكول نفسه. يتناول هذا المقال الكلام المقروء والكلام الحواري.
TIMIT كلام مقروء من 1,626 جملة. Buckeye كلام حواري من 2,008 مقاطع، طول كل منها حتى 20 ثانية، وفيها 80,507 كلمات.
تحصل كل كلمة على خطأ توقيت، وهو متوسط بعد بدايتها ونهايتها عن التسميات اليدوية. Word MAE هو هذا الخطأ بعد حساب متوسطه على جميع الكلمات، بالمللي ثانية. الأقل أفضل. أما Acc@50 ms فهو نسبة الكلمات التي تقع بدايتها ونهايتها معًا ضمن 50 مللي ثانية من التسميات. الأعلى أفضل. تعتبر nyra هذه النسبة رقمها الرئيسي.
كيف قسنا
كل صف في الصورتين الواردتين في هذا المقال هو تشغيل nyra نفسها، عدا Olign v1 الذي يحمل نجمة. Olign v1 هو تشغيل Olewave للإصدار v1.1.3 على البروتوكول العام نفسه، وليس له مكان في لوحة ترتيب nyra.
شغّلت Olewave أرقام v1.1.3 على إعداد الإصدار v1.1.3 المنشور. قطعنا مقاطع nyra نفسها من نسخنا المرخصة من TIMIT وBuckeye، وأرسلنا الكلمات المرجعية كنص، وقيّمنا الناتج بأداة التقييم العامة لدى nyra عند الإيداع 8acf80f.
تحتفظ Nyra بأزمنتها المرجعية سرية، لأنه لا يجوز إعادة توزيع أي من المدونتين. لذلك أعدنا بناءها من ملفات المدونتين، أي ملفات .WRD في TIMIT وملفات .words في Buckeye. يغطي مرجعنا 1,625 من جمل TIMIT البالغ عددها 1,626 لدى nyra، و79,871 من كلمات Buckeye البالغ عددها 80,507.
يسرد جدول Nyra النظام Olign v1 عند 15.9 مللي ثانية على TIMIT و35.7 مللي ثانية على Buckeye. شغّلت nyra إصدارًا أقدم في أكتوبر. وعند التقييم على مرجعنا تعطي التنبؤات نفسها 15.3 مللي ثانية و35.3 مللي ثانية. أي أن مرجعنا يقرأ أقل من مرجع nyra بنحو نصف مللي ثانية، ويمكنك قراءة أعمدة Olign v1 مع وضع هذا الهامش في الحسبان.
Olign v1 بالإصدار v1.1.3 على معيار nyra
تشغيلات Olewave، TIMIT في 15 نوفمبر 2026 وBuckeye في 11 نوفمبر 2026
| TIMIT | Buckeye | |
|---|---|---|
| Word MAE | 14.2 ms | 23.6 ms |
| الوسيط لخطأ توقيت الكلمات | 7.9 ms | 8.7 ms |
| Acc@50 ms | 86.2 % | 86.8 % |
| Acc@100 ms | 96.9 % | 94.7 % |
الكلمات التي تعود بلا طول تُقيَّم في الموضع الذي وُضعت فيه.
TIMIT حيث يحتل Olign المرتبة الأولى
في جدول TIMIT لدى nyra، يحتل Olign v1 المرتبة الأولى بين 22 نظامًا. قيمة Word MAE لديه 15.9 مللي ثانية. يليه المحاذي الخاص بـ nyra عند 21.3 مللي ثانية، ثم MFA بحزمة واسعة عند 23.2 مللي ثانية. كما أن لدى Olign v1 أكبر عدد من الكلمات ضمن 25 و50 و100 مللي ثانية من التسميات اليدوية، ويتعادل في المرتبة الأولى عند 200 مللي ثانية.
وفي الإصدار v1.1.3 يخفض تشغيل Olewave قيمة Word MAE إلى 14.2 مللي ثانية.
تضع الصورة هذا التشغيل، وعليه نجمة، بجانب كل نظام آخر في جدول TIMIT لدى nyra، كما نشرته nyra في 10 نوفمبر 2026. الأنظمة الموسومة بـ ASR تُقاس أزمنتها على الكلمات التي تعرفت عليها فقط، لذلك تطلب منك nyra قراءتها مع استدعاء الكلمات. ستجده في الجدول الموجود تحت الصورة.
جميع الأرقام
| النظام | اسمه لدى nyra | النوع | استدعاء الكلمات | Word MAE | Acc@50 ms |
|---|---|---|---|---|---|
| Olign v1 ★ Olewave | محاذي قسري | 14.2 ms | 86.2 % | ||
| nyra-FA nyra labs | nyra_fa | محاذي قسري | 99.9 % | 21.3 ms | 82.2 % |
| MFA, wide beam † | mfa (wide beam) | محاذي قسري | 99.9 % | 23.2 ms | 77.7 % |
| MFA, default beam † | mfa (default beam) | محاذي قسري | 99.9 % | 23.5 ms | 77.7 % |
| CrisperWhisper 2.0 large nyra labs | crisperwhisper_2.0_large | نظام ASR | 98.8 % | 29.6 ms | 70.1 % |
| Qwen3-FA Qwen | qwen_fa | محاذي قسري | 100.0 % | 30.1 ms | 70.8 % |
| Fish Transcribe 1 Pro Fish Audio | fish_transcribe_1_pro | نظام ASR | 98.9 % | 30.4 ms | 70.2 % |
| Grok STT xAI | xai_grok_stt | نظام ASR | 98.3 % | 37.3 ms | 51.3 % |
| MMS-FA Meta | mms_fa | محاذي قسري | 100.0 % | 37.3 ms | 51.3 % |
| ElevenLabs Cue | Cue (ElevenLabs) | محاذي قسري | 100.0 % | 44.6 ms | 32.5 % |
| MWA, TIMIT model MLSpeech | mwa_timit | محاذي قسري | 100.0 % | 47.2 ms | 53.5 % |
| CTC segmentation | ctc_segmentation | محاذي قسري | 100.0 % | 49.3 ms | 38.9 % |
| Universal 3.5 Pro AssemblyAI | assemblyai_u35_pro | نظام ASR | 97.9 % | 51.3 ms | 33.6 % |
| Universal 2, disfluencies AssemblyAI | assemblyai_u2_disfl | نظام ASR | 98.5 % | 53.0 ms | 27.5 % |
| MAI-Transcribe-2 Microsoft | mai_transcribe_2 | نظام ASR | 99.3 % | 54.9 ms | 27.6 % |
| MWA, Buckeye model MLSpeech | mwa_buckeye | محاذي قسري | 100.0 % | 58.9 ms | 49.8 % |
| Nemotron Transcribe NVIDIA | nemotron_transcribe | نظام ASR | 98.9 % | 60.0 ms | 23.4 % |
| NeMo-FA NVIDIA | nemo_fa | محاذي قسري | 100.0 % | 60.0 ms | 19.3 % |
| Nova-3 Deepgram | deepgram_nova3 | نظام ASR | 98.2 % | 63.4 ms | 20.5 % |
| WhisperX | whisperx | نظام ASR | 98.2 % | 64.8 ms | 13.5 % |
| Canary NVIDIA | canary | نظام ASR | 97.6 % | 85.5 ms | 13.2 % |
| Ink-Whisper Cartesia | cartesia_ink_whisper | نظام ASR | 98.2 % | 88.3 ms | 20.7 % |
★ Olign v1 هو تشغيل Olewave للإصدار v1.1.3 في 15 نوفمبر 2026، بأداة التقييم العامة لدى nyra وعلى مقاطع nyra. وليس له مكان في لوحة ترتيب nyra. † MFA 3.3.9 مع نموذج english_mfa 3.1.0، كما تشغّله nyra.
Buckeye
Buckeye هو الاختبار الأصعب. تقطع Nyra كل مقابلة إلى مقاطع طولها حتى 20 ثانية، تمامًا عند الكلمة الأولى والأخيرة. يحتفظ كل مقطع بضحكه وبوقفاته الطويلة، وكثيرًا ما يحتفظ بصوت المحاور. كانت إصدارات Olign الأقدم تصنع معظم خطئها على Buckeye عند أطراف المقاطع وبجوار الوقفات.
في جدول Buckeye لدى nyra، يملك المحاذي الخاص بـ nyra أقل Word MAE، وهو 20.2 مللي ثانية. وفي الإصدار v1.1.3 يعطي تشغيل Olewave لـ Olign v1 القيمة 23.6 مللي ثانية. تسجل المقاطع التي لا تزيد عن 15 ثانية 22.9 مللي ثانية، وتسجل المقاطع الأطول 23.8 مللي ثانية. تعرض الصورة جدول Buckeye لدى nyra بالطريقة نفسها، مع نجمة على Olign v1.
جميع الأرقام
| النظام | اسمه لدى nyra | النوع | استدعاء الكلمات | Word MAE | Acc@50 ms |
|---|---|---|---|---|---|
| nyra-FA nyra labs | nyra_fa | محاذي قسري | 100.0 % | 20.2 ms | 88.7 % |
| Olign v1 ★ Olewave | محاذي قسري | 23.6 ms | 86.8 % | ||
| Fish Transcribe 1 Pro Fish Audio | fish_transcribe_1_pro | نظام ASR | 93.2 % | 35.5 ms | 75.8 % |
| MFA, wide beam † | mfa (wide beam) | محاذي قسري | 99.9 % | 35.7 ms | 79.1 % |
| CrisperWhisper 2.0 large nyra labs | crisperwhisper_2.0_large | نظام ASR | 93.2 % | 38.8 ms | 66.1 % |
| Qwen3-FA Qwen | qwen_fa | محاذي قسري | 99.9 % | 39.4 ms | 75.0 % |
| Grok STT xAI | xai_grok_stt | نظام ASR | 92.9 % | 48.8 ms | 50.5 % |
| MFA, default beam † | mfa (default beam) | محاذي قسري | 98.7 % | 48.9 ms | 78.3 % |
| ElevenLabs Cue | Cue (ElevenLabs) | محاذي قسري | 100.0 % | 50.8 ms | 32.4 % |
| MMS-FA Meta | mms_fa | محاذي قسري | 100.0 % | 52.7 ms | 49.9 % |
| MAI-Transcribe-2 Microsoft | mai_transcribe_2 | نظام ASR | 91.7 % | 54.4 ms | 31.0 % |
| Nemotron Transcribe NVIDIA | nemotron_transcribe | نظام ASR | 93.8 % | 60.1 ms | 33.4 % |
| Universal 3.5 Pro AssemblyAI | assemblyai_u35_pro | نظام ASR | 88.7 % | 68.1 ms | 30.9 % |
| NeMo-FA NVIDIA | nemo_fa | محاذي قسري | 100.0 % | 72.6 ms | 20.4 % |
| CTC segmentation | ctc_segmentation | محاذي قسري | 100.0 % | 81.0 ms | 48.8 % |
| Nova-3 Deepgram | deepgram_nova3 | نظام ASR | 92.7 % | 87.6 ms | 14.8 % |
| WhisperX | whisperx | نظام ASR | 88.1 % | 89.8 ms | 8.7 % |
| Canary NVIDIA | canary | نظام ASR | 88.2 % | 107.2 ms | 10.0 % |
| MWA, Buckeye model MLSpeech | mwa_buckeye | محاذي قسري | 100.0 % | 108.7 ms | 58.9 % |
| MWA, TIMIT model MLSpeech | mwa_timit | محاذي قسري | 100.0 % | 143.2 ms | 51.3 % |
| Ink-Whisper Cartesia | cartesia_ink_whisper | نظام ASR | 88.6 % | 144.8 ms | 35.3 % |
★ Olign v1 هو تشغيل Olewave للإصدار v1.1.3 في 11 نوفمبر 2026، بأداة التقييم العامة لدى nyra وعلى مقاطع nyra. وليس له مكان في لوحة ترتيب nyra. † MFA 3.3.9 مع نموذج english_mfa 3.1.0، كما تشغّله nyra.
ما الجديد في الإصدار v1.1.3
منذ تشغيل nyra، انتقل Olign v1 عبر الإصدارات من v1.1.0 إلى v1.1.3. ولم يتغير API ولا تنسيق الاستجابة.
- الكلمات الواقعة خارج قاموس Olign تحصل على نطقها من نموذج نطق.
- التسجيلات الأطول من 15 ثانية، والتسجيلات من أي طول تُرسل بلا نص، يُتعامل مع بدايتها ونهايتها بطريقة مختلفة.
- الكلمة المجاورة لوقفة تنتهي أو تبدأ في موضع جديد. لم تعد الكلمة التي تسبق الوقفة تمتد إلى داخلها، لذلك تعود الوقفات أقرب إلى طولها الكامل.
يعالج التغييران الأخيران أطراف المقاطع والوقفات، وهما الموضعان اللذان كلّفا الإصدارات الأقدم أكثر خطأ على Buckeye. أما التسجيل الذي لا يزيد عن 15 ثانية ويُرسل مع نص فيُحاذى في تمريرة واحدة.
تحقق بنفسك
يمكنك إعادة تشغيل الاختبارين عبر الخدمة المستضافة بأداة nyra نفسها. تحتاج إلى مفتاح API لـ Olign، وهو يأتي مع حساب على tycho.olewave.com، وإلى نسخك المرخصة من TIMIT وBuckeye. وجّه --data-root إليهما إن لم تكونا في المجلد الافتراضي لدى nyra. يرسل التشغيلان نحو 8.6 ساعات من الصوت، منها 1.4 ساعة من TIMIT و7.2 ساعات من Buckeye.
شغّل معيار nyra على Olign v1
git clone https://github.com/nyrahealth/nyra_speech_timing_benchmark
cd nyra_speech_timing_benchmark
pip install -e .
export OLIGN_KEY=your-olign-key
nyra-timing run --dataset timit --model olign_v1 \
--out results_api --save-predictions predictions
nyra-timing run --dataset buckeye --model olign_v1 \
--out results_api --save-predictions predictions
يطبع كل تشغيل درجاته ويحفظ الاستجابات الخام للخدمة. تحمل كل استجابة من Olign إصدارها في الترويسة X-Olign-Version، فتستطيع معرفة أي إصدار أجاب.
تحقق من الإصدار الذي أجاب
python - <<'EOF'
import gzip, json
for name in ("timit", "buckeye"):
raw = json.load(gzip.open(f"predictions/raw/olign_v1_{name}.json.gz"))
print(name, {v for job in raw.values()
for k, v in job.get("_versions", {}).items()
if k.lower() == "x-olign-version"})
EOF
يطبع {'v1.1.3'} لكل مجموعة اختبار حين يحاذي v1.1.3 كل المقاطع. تعتمد درجاتك على نسختك الخاصة من المرجع، فتوقع أن تختلف عن درجاتنا في الخانات العشرية.
الخطوات التالية
-
طلبنا لإعادة تشغيل nyra
يطلب الـ pull request الخاص بنا من nyra إعادة تشغيل Olign v1 وتسجيل الإصدار الذي أجاب في كل صف مستضاف. وحين تنشر nyra تشغيلها، فهذا هو الرقم الذي ينبغي استخدامه، وسنضع رابطه هنا. كما فتحنا issue بشأن صفوف MFA لدى nyra. -
جرّب Olign على تسجيلك الخاص
يحاذي Speech Timestamps Playground حتى 30 ثانية من الكلام الإنجليزي، دون حساب. -
ابدأ مع Olign API
سجّل واحصل على رصيد مجاني لمحاذاة تسجيلاتك. -
اطلع على FA-Bench
معيار Olewave العام الخاص بالمحاذاة القسرية وASR مع الطوابع الزمنية.