Olign في المرتبة الأولى على TIMIT ضمن Nyra Speech Timing Benchmark

Product

Olign في المرتبة الأولى على TIMIT ضمن Nyra Speech Timing Benchmark

يحتل Olign v1 المرتبة الأولى بين 22 نظامًا على TIMIT في جدول nyra labs الخاص بها. وفي تشغيل Olewave لإصداره الحالي v1.1.3 بلغ خطأ توقيت الكلمات 14.2 مللي ثانية على TIMIT و23.6 مللي ثانية على Buckeye.

Olign Ranks First on TIMIT in the Nyra Speech Timing Benchmark

Olign · Nyra Speech Timing Benchmark

الملخص

  • المرتبة الأولى على TIMIT. يحتل Olign v1 المرتبة الأولى بين 22 نظامًا في جدول TIMIT الخاص بـ nyra labs. وله هناك أقل خطأ في توقيت الكلمات، وهو 15.9 مللي ثانية، وأكبر عدد من الكلمات ضمن 50 مللي ثانية من التسميات اليدوية.
  • أقرب من ذلك اليوم. يوجد Olign v1 الآن في الإصدار v1.1.3. وفي تشغيل Olewave لبروتوكول nyra العام، بلغ خطأ توقيت الكلمات 14.2 مللي ثانية على TIMIT و23.6 مللي ثانية على الكلام الحواري من Buckeye.
  • تحقق بنفسك. يمكنك إعادة تشغيل الاختبارين بأداة nyra ومفتاح API الخاص بـ Olign. طلبنا من nyra إعادة تشغيل Olign v1، ورقمها سيكون الرقم المعتمد.

المعيار

نشرت Nyra labs معيار Nyra Speech Timing Benchmark في أكتوبر 2026، مع ورقة بحثية وشيفرة على GitHub. يقيس المعيار مدى قرب أزمنة الكلمات لدى كل نظام من التسميات اليدوية، ويمر كل نظام بالبروتوكول نفسه. يتناول هذا المقال الكلام المقروء والكلام الحواري.

TIMIT كلام مقروء من 1,626 جملة. Buckeye كلام حواري من 2,008 مقاطع، طول كل منها حتى 20 ثانية، وفيها 80,507 كلمات.

تحصل كل كلمة على خطأ توقيت، وهو متوسط بعد بدايتها ونهايتها عن التسميات اليدوية. Word MAE هو هذا الخطأ بعد حساب متوسطه على جميع الكلمات، بالمللي ثانية. الأقل أفضل. أما Acc@50 ms فهو نسبة الكلمات التي تقع بدايتها ونهايتها معًا ضمن 50 مللي ثانية من التسميات. الأعلى أفضل. تعتبر nyra هذه النسبة رقمها الرئيسي.

كيف قسنا

كل صف في الصورتين الواردتين في هذا المقال هو تشغيل nyra نفسها، عدا Olign v1 الذي يحمل نجمة. Olign v1 هو تشغيل Olewave للإصدار v1.1.3 على البروتوكول العام نفسه، وليس له مكان في لوحة ترتيب nyra.

شغّلت Olewave أرقام v1.1.3 على إعداد الإصدار v1.1.3 المنشور. قطعنا مقاطع nyra نفسها من نسخنا المرخصة من TIMIT وBuckeye، وأرسلنا الكلمات المرجعية كنص، وقيّمنا الناتج بأداة التقييم العامة لدى nyra عند الإيداع 8acf80f.

تحتفظ Nyra بأزمنتها المرجعية سرية، لأنه لا يجوز إعادة توزيع أي من المدونتين. لذلك أعدنا بناءها من ملفات المدونتين، أي ملفات .WRD في TIMIT وملفات .words في Buckeye. يغطي مرجعنا 1,625 من جمل TIMIT البالغ عددها 1,626 لدى nyra، و79,871 من كلمات Buckeye البالغ عددها 80,507.

يسرد جدول Nyra النظام Olign v1 عند 15.9 مللي ثانية على TIMIT و35.7 مللي ثانية على Buckeye. شغّلت nyra إصدارًا أقدم في أكتوبر. وعند التقييم على مرجعنا تعطي التنبؤات نفسها 15.3 مللي ثانية و35.3 مللي ثانية. أي أن مرجعنا يقرأ أقل من مرجع nyra بنحو نصف مللي ثانية، ويمكنك قراءة أعمدة Olign v1 مع وضع هذا الهامش في الحسبان.

Olign v1 بالإصدار v1.1.3 على معيار nyra
تشغيلات Olewave، TIMIT في 15 نوفمبر 2026 وBuckeye في 11 نوفمبر 2026

TIMIT Buckeye
Word MAE 14.2 ms 23.6 ms
الوسيط لخطأ توقيت الكلمات 7.9 ms 8.7 ms
Acc@50 ms 86.2 % 86.8 %
Acc@100 ms 96.9 % 94.7 %

الكلمات التي تعود بلا طول تُقيَّم في الموضع الذي وُضعت فيه.

TIMIT حيث يحتل Olign المرتبة الأولى

في جدول TIMIT لدى nyra، يحتل Olign v1 المرتبة الأولى بين 22 نظامًا. قيمة Word MAE لديه 15.9 مللي ثانية. يليه المحاذي الخاص بـ nyra عند 21.3 مللي ثانية، ثم MFA بحزمة واسعة عند 23.2 مللي ثانية. كما أن لدى Olign v1 أكبر عدد من الكلمات ضمن 25 و50 و100 مللي ثانية من التسميات اليدوية، ويتعادل في المرتبة الأولى عند 200 مللي ثانية.

وفي الإصدار v1.1.3 يخفض تشغيل Olewave قيمة Word MAE إلى 14.2 مللي ثانية.

تضع الصورة هذا التشغيل، وعليه نجمة، بجانب كل نظام آخر في جدول TIMIT لدى nyra، كما نشرته nyra في 10 نوفمبر 2026. الأنظمة الموسومة بـ ASR تُقاس أزمنتها على الكلمات التي تعرفت عليها فقط، لذلك تطلب منك nyra قراءتها مع استدعاء الكلمات. ستجده في الجدول الموجود تحت الصورة.

قيمة Word MAE على TIMIT في Nyra Speech Timing Benchmark، والأقل أفضل. Olign v1 بنجمة بوصفه تشغيل Olewave عند 14.2 ms، ثم nyra-FA عند 21.3 ms وMFA بحزمة واسعة عند 23.2 ms. ويتبعها تسعة عشر نظامًا آخر حتى 88.3 ms.
جميع الأرقام
النظاماسمه لدى nyraالنوعاستدعاء الكلماتWord MAEAcc@50 ms
Olign v1 ★ Olewaveمحاذي قسري14.2 ms86.2 %
nyra-FA nyra labsnyra_faمحاذي قسري99.9 %21.3 ms82.2 %
MFA, wide beam †mfa (wide beam)محاذي قسري99.9 %23.2 ms77.7 %
MFA, default beam †mfa (default beam)محاذي قسري99.9 %23.5 ms77.7 %
CrisperWhisper 2.0 large nyra labscrisperwhisper_2.0_largeنظام ASR98.8 %29.6 ms70.1 %
Qwen3-FA Qwenqwen_faمحاذي قسري100.0 %30.1 ms70.8 %
Fish Transcribe 1 Pro Fish Audiofish_transcribe_1_proنظام ASR98.9 %30.4 ms70.2 %
Grok STT xAIxai_grok_sttنظام ASR98.3 %37.3 ms51.3 %
MMS-FA Metamms_faمحاذي قسري100.0 %37.3 ms51.3 %
ElevenLabs CueCue (ElevenLabs)محاذي قسري100.0 %44.6 ms32.5 %
MWA, TIMIT model MLSpeechmwa_timitمحاذي قسري100.0 %47.2 ms53.5 %
CTC segmentationctc_segmentationمحاذي قسري100.0 %49.3 ms38.9 %
Universal 3.5 Pro AssemblyAIassemblyai_u35_proنظام ASR97.9 %51.3 ms33.6 %
Universal 2, disfluencies AssemblyAIassemblyai_u2_disflنظام ASR98.5 %53.0 ms27.5 %
MAI-Transcribe-2 Microsoftmai_transcribe_2نظام ASR99.3 %54.9 ms27.6 %
MWA, Buckeye model MLSpeechmwa_buckeyeمحاذي قسري100.0 %58.9 ms49.8 %
Nemotron Transcribe NVIDIAnemotron_transcribeنظام ASR98.9 %60.0 ms23.4 %
NeMo-FA NVIDIAnemo_faمحاذي قسري100.0 %60.0 ms19.3 %
Nova-3 Deepgramdeepgram_nova3نظام ASR98.2 %63.4 ms20.5 %
WhisperXwhisperxنظام ASR98.2 %64.8 ms13.5 %
Canary NVIDIAcanaryنظام ASR97.6 %85.5 ms13.2 %
Ink-Whisper Cartesiacartesia_ink_whisperنظام ASR98.2 %88.3 ms20.7 %

★ Olign v1 هو تشغيل Olewave للإصدار v1.1.3 في 15 نوفمبر 2026، بأداة التقييم العامة لدى nyra وعلى مقاطع nyra. وليس له مكان في لوحة ترتيب nyra. † MFA 3.3.9 مع نموذج english_mfa 3.1.0، كما تشغّله nyra.

Buckeye

Buckeye هو الاختبار الأصعب. تقطع Nyra كل مقابلة إلى مقاطع طولها حتى 20 ثانية، تمامًا عند الكلمة الأولى والأخيرة. يحتفظ كل مقطع بضحكه وبوقفاته الطويلة، وكثيرًا ما يحتفظ بصوت المحاور. كانت إصدارات Olign الأقدم تصنع معظم خطئها على Buckeye عند أطراف المقاطع وبجوار الوقفات.

في جدول Buckeye لدى nyra، يملك المحاذي الخاص بـ nyra أقل Word MAE، وهو 20.2 مللي ثانية. وفي الإصدار v1.1.3 يعطي تشغيل Olewave لـ Olign v1 القيمة 23.6 مللي ثانية. تسجل المقاطع التي لا تزيد عن 15 ثانية 22.9 مللي ثانية، وتسجل المقاطع الأطول 23.8 مللي ثانية. تعرض الصورة جدول Buckeye لدى nyra بالطريقة نفسها، مع نجمة على Olign v1.

قيمة Word MAE على Buckeye في Nyra Speech Timing Benchmark، والأقل أفضل. nyra-FA عند 20.2 ms، ثم Olign v1 بنجمة بوصفه تشغيل Olewave عند 23.6 ms، ثم Fish Transcribe 1 Pro عند 35.5 ms. ويتبعها ثمانية عشر نظامًا آخر حتى 144.8 ms.
جميع الأرقام
النظاماسمه لدى nyraالنوعاستدعاء الكلماتWord MAEAcc@50 ms
nyra-FA nyra labsnyra_faمحاذي قسري100.0 %20.2 ms88.7 %
Olign v1 ★ Olewaveمحاذي قسري23.6 ms86.8 %
Fish Transcribe 1 Pro Fish Audiofish_transcribe_1_proنظام ASR93.2 %35.5 ms75.8 %
MFA, wide beam †mfa (wide beam)محاذي قسري99.9 %35.7 ms79.1 %
CrisperWhisper 2.0 large nyra labscrisperwhisper_2.0_largeنظام ASR93.2 %38.8 ms66.1 %
Qwen3-FA Qwenqwen_faمحاذي قسري99.9 %39.4 ms75.0 %
Grok STT xAIxai_grok_sttنظام ASR92.9 %48.8 ms50.5 %
MFA, default beam †mfa (default beam)محاذي قسري98.7 %48.9 ms78.3 %
ElevenLabs CueCue (ElevenLabs)محاذي قسري100.0 %50.8 ms32.4 %
MMS-FA Metamms_faمحاذي قسري100.0 %52.7 ms49.9 %
MAI-Transcribe-2 Microsoftmai_transcribe_2نظام ASR91.7 %54.4 ms31.0 %
Nemotron Transcribe NVIDIAnemotron_transcribeنظام ASR93.8 %60.1 ms33.4 %
Universal 3.5 Pro AssemblyAIassemblyai_u35_proنظام ASR88.7 %68.1 ms30.9 %
NeMo-FA NVIDIAnemo_faمحاذي قسري100.0 %72.6 ms20.4 %
CTC segmentationctc_segmentationمحاذي قسري100.0 %81.0 ms48.8 %
Nova-3 Deepgramdeepgram_nova3نظام ASR92.7 %87.6 ms14.8 %
WhisperXwhisperxنظام ASR88.1 %89.8 ms8.7 %
Canary NVIDIAcanaryنظام ASR88.2 %107.2 ms10.0 %
MWA, Buckeye model MLSpeechmwa_buckeyeمحاذي قسري100.0 %108.7 ms58.9 %
MWA, TIMIT model MLSpeechmwa_timitمحاذي قسري100.0 %143.2 ms51.3 %
Ink-Whisper Cartesiacartesia_ink_whisperنظام ASR88.6 %144.8 ms35.3 %

★ Olign v1 هو تشغيل Olewave للإصدار v1.1.3 في 11 نوفمبر 2026، بأداة التقييم العامة لدى nyra وعلى مقاطع nyra. وليس له مكان في لوحة ترتيب nyra. † MFA 3.3.9 مع نموذج english_mfa 3.1.0، كما تشغّله nyra.

ما الجديد في الإصدار v1.1.3

منذ تشغيل nyra، انتقل Olign v1 عبر الإصدارات من v1.1.0 إلى v1.1.3. ولم يتغير API ولا تنسيق الاستجابة.

  • الكلمات الواقعة خارج قاموس Olign تحصل على نطقها من نموذج نطق.
  • التسجيلات الأطول من 15 ثانية، والتسجيلات من أي طول تُرسل بلا نص، يُتعامل مع بدايتها ونهايتها بطريقة مختلفة.
  • الكلمة المجاورة لوقفة تنتهي أو تبدأ في موضع جديد. لم تعد الكلمة التي تسبق الوقفة تمتد إلى داخلها، لذلك تعود الوقفات أقرب إلى طولها الكامل.

يعالج التغييران الأخيران أطراف المقاطع والوقفات، وهما الموضعان اللذان كلّفا الإصدارات الأقدم أكثر خطأ على Buckeye. أما التسجيل الذي لا يزيد عن 15 ثانية ويُرسل مع نص فيُحاذى في تمريرة واحدة.

تحقق بنفسك

يمكنك إعادة تشغيل الاختبارين عبر الخدمة المستضافة بأداة nyra نفسها. تحتاج إلى مفتاح API لـ Olign، وهو يأتي مع حساب على tycho.olewave.com، وإلى نسخك المرخصة من TIMIT وBuckeye. وجّه --data-root إليهما إن لم تكونا في المجلد الافتراضي لدى nyra. يرسل التشغيلان نحو 8.6 ساعات من الصوت، منها 1.4 ساعة من TIMIT و7.2 ساعات من Buckeye.

شغّل معيار nyra على Olign v1

git clone https://github.com/nyrahealth/nyra_speech_timing_benchmark
cd nyra_speech_timing_benchmark
pip install -e .
export OLIGN_KEY=your-olign-key
nyra-timing run --dataset timit --model olign_v1 \
  --out results_api --save-predictions predictions
nyra-timing run --dataset buckeye --model olign_v1 \
  --out results_api --save-predictions predictions

يطبع كل تشغيل درجاته ويحفظ الاستجابات الخام للخدمة. تحمل كل استجابة من Olign إصدارها في الترويسة X-Olign-Version، فتستطيع معرفة أي إصدار أجاب.

تحقق من الإصدار الذي أجاب

python - <<'EOF'
import gzip, json
for name in ("timit", "buckeye"):
    raw = json.load(gzip.open(f"predictions/raw/olign_v1_{name}.json.gz"))
    print(name, {v for job in raw.values()
                 for k, v in job.get("_versions", {}).items()
                 if k.lower() == "x-olign-version"})
EOF

يطبع {'v1.1.3'} لكل مجموعة اختبار حين يحاذي v1.1.3 كل المقاطع. تعتمد درجاتك على نسختك الخاصة من المرجع، فتوقع أن تختلف عن درجاتنا في الخانات العشرية.

الخطوات التالية

  • طلبنا لإعادة تشغيل nyra
    يطلب الـ pull request الخاص بنا من nyra إعادة تشغيل Olign v1 وتسجيل الإصدار الذي أجاب في كل صف مستضاف. وحين تنشر nyra تشغيلها، فهذا هو الرقم الذي ينبغي استخدامه، وسنضع رابطه هنا. كما فتحنا issue بشأن صفوف MFA لدى nyra.

  • جرّب Olign على تسجيلك الخاص
    يحاذي Speech Timestamps Playground حتى 30 ثانية من الكلام الإنجليزي، دون حساب.

  • ابدأ مع Olign API
    سجّل واحصل على رصيد مجاني لمحاذاة تسجيلاتك.

  • اطلع على FA-Bench
    معيار Olewave العام الخاص بالمحاذاة القسرية وASR مع الطوابع الزمنية.