Olign 在 Nyra Speech Timing Benchmark 的 TIMIT 項目中排名第一
在 nyra labs 自己的表格中,Olign v1 在 TIMIT 上於 22 個系統裡排名第一。Olewave 對目前版本 v1.1.3 的測試顯示,詞級時間誤差在 TIMIT 上為 14.2 ms,在 Buckeye 上為 23.6 ms。
Olign · Nyra Speech Timing Benchmark
摘要
- TIMIT 第一名。在 nyra labs 自己的 TIMIT 表格中,Olign v1 在 22 個系統裡排名第一。它的詞級時間誤差最低,為 15.9 ms, 落在人工標註 50 ms 以內的詞數也最多。
- 如今更加準確。Olign v1 目前的版本是 v1.1.3。在 Olewave 依照 nyra 公開協議進行的測試中,詞級時間誤差在 TIMIT 上為 14.2 ms, 在 Buckeye 的對話語音上為 23.6 ms。
- 歡迎自行驗證。您可以使用 nyra 的工具和 Olign API 金鑰重跑這兩項測試。我們已請 nyra 重新執行 Olign v1,屆時以他們的數字為準。
基準測試介紹
Nyra labs 於 2026 年 10 月發布了 Nyra Speech Timing Benchmark,並附有 論文和 GitHub 上的程式碼。 它衡量各系統給出的詞時間與人工標註有多接近,所有系統都採用同一套協議。本文涵蓋其中的朗讀語音和對話語音。
TIMIT 是朗讀語音,共 1,626 句。Buckeye 是對話語音,共 2,008 個片段,每段最長 20 秒,共有 80,507 個詞。
每個詞都會得到一個時間誤差,也就是它的起點和終點與人工標註相差距離的平均值。Word MAE 是把這個誤差對所有 詞取平均,單位為毫秒,越低越好。Acc@50 ms 是起點和終點都落在標註 50 ms 以內的詞所占的比例,越高越好。 Nyra 把這個比例當作主要指標。
我們如何測量
本文兩張圖中的每一列都是 nyra 自己的測試結果,只有帶星號的 Olign v1 除外。 Olign v1 是 Olewave 在同一套公開協議上對 v1.1.3 版本的測試,它不在 nyra 的排行榜上。
v1.1.3 的數字由 Olewave 使用已發布的 v1.1.3 設定跑出。我們從已取得授權的 TIMIT 和 Buckeye 副本中切出與 nyra 完全相同的片段,把參考詞作為逐字稿送入, 再用 nyra 公開的評分工具在提交版本 8acf80f 上為輸出評分。
由於這兩個語料庫都不得再散布,nyra 沒有公開它的參考時間。因此我們根據語料庫檔案自行重建,也就是 TIMIT 的 .WRD 檔案
和 Buckeye 的 .words 檔案。我們的參考涵蓋 nyra 1,626 個 TIMIT 句子中的 1,625 句,
以及 80,507 個 Buckeye 詞中的 79,871 個。
Nyra 的表格列出 Olign v1 在 TIMIT 上為 15.9 ms,在 Buckeye 上為 35.7 ms。Nyra 在 10 月跑的是較早的版本。以我們的參考為標準,同樣的預測結果給出 15.3 ms 和 35.3 ms。 也就是說,我們的參考比 nyra 的低約半毫秒,您在看 Olign v1 的長條時可以把這個差距考慮進去。
Olign v1 v1.1.3 版本在 nyra 基準測試上的結果
Olewave 的測試,TIMIT 為 2026 年 11 月 15 日,Buckeye 為 2026 年 11 月 11 日
| TIMIT | Buckeye | |
|---|---|---|
| Word MAE | 14.2 ms | 23.6 ms |
| 詞級時間誤差中位數 | 7.9 ms | 8.7 ms |
| Acc@50 ms | 86.2 % | 86.8 % |
| Acc@100 ms | 96.9 % | 94.7 % |
返回結果中沒有長度的詞,會按其被放置的位置評分。
TIMIT,Olign 排名第一
在 nyra 的 TIMIT 表格中,Olign v1 在 22 個系統裡排名第一。它的 Word MAE 為 15.9 ms。Nyra 自己的對齊器以 21.3 ms 居次,使用寬波束的 MFA 為 23.2 ms。Olign v1 落在人工標註 25、50 和 100 ms 以內的詞數也是最多的,在 200 ms 時並列第一。
在 v1.1.3 版本上,Olewave 的測試將 Word MAE 降到 14.2 ms。
這張圖把該次測試(帶星號)與 nyra 於 2026 年 11 月 10 日發布的 TIMIT 表格中的所有其他系統放在一起。標記為 ASR 的系統只對它們辨識出的詞計時, 因此 nyra 建議您將結果與詞召回率一併參考。您可以在圖下方的表格中找到。
全部數字
| 系統 | Nyra 中的名稱 | 類型 | 詞召回率 | Word MAE | Acc@50 ms |
|---|---|---|---|---|---|
| Olign v1 ★ Olewave | 強制對齊器 | 14.2 ms | 86.2 % | ||
| nyra-FA nyra labs | nyra_fa | 強制對齊器 | 99.9 % | 21.3 ms | 82.2 % |
| MFA, wide beam † | mfa (wide beam) | 強制對齊器 | 99.9 % | 23.2 ms | 77.7 % |
| MFA, default beam † | mfa (default beam) | 強制對齊器 | 99.9 % | 23.5 ms | 77.7 % |
| CrisperWhisper 2.0 large nyra labs | crisperwhisper_2.0_large | ASR 系統 | 98.8 % | 29.6 ms | 70.1 % |
| Qwen3-FA Qwen | qwen_fa | 強制對齊器 | 100.0 % | 30.1 ms | 70.8 % |
| Fish Transcribe 1 Pro Fish Audio | fish_transcribe_1_pro | ASR 系統 | 98.9 % | 30.4 ms | 70.2 % |
| Grok STT xAI | xai_grok_stt | ASR 系統 | 98.3 % | 37.3 ms | 51.3 % |
| MMS-FA Meta | mms_fa | 強制對齊器 | 100.0 % | 37.3 ms | 51.3 % |
| ElevenLabs Cue | Cue (ElevenLabs) | 強制對齊器 | 100.0 % | 44.6 ms | 32.5 % |
| MWA, TIMIT model MLSpeech | mwa_timit | 強制對齊器 | 100.0 % | 47.2 ms | 53.5 % |
| CTC segmentation | ctc_segmentation | 強制對齊器 | 100.0 % | 49.3 ms | 38.9 % |
| Universal 3.5 Pro AssemblyAI | assemblyai_u35_pro | ASR 系統 | 97.9 % | 51.3 ms | 33.6 % |
| Universal 2, disfluencies AssemblyAI | assemblyai_u2_disfl | ASR 系統 | 98.5 % | 53.0 ms | 27.5 % |
| MAI-Transcribe-2 Microsoft | mai_transcribe_2 | ASR 系統 | 99.3 % | 54.9 ms | 27.6 % |
| MWA, Buckeye model MLSpeech | mwa_buckeye | 強制對齊器 | 100.0 % | 58.9 ms | 49.8 % |
| Nemotron Transcribe NVIDIA | nemotron_transcribe | ASR 系統 | 98.9 % | 60.0 ms | 23.4 % |
| NeMo-FA NVIDIA | nemo_fa | 強制對齊器 | 100.0 % | 60.0 ms | 19.3 % |
| Nova-3 Deepgram | deepgram_nova3 | ASR 系統 | 98.2 % | 63.4 ms | 20.5 % |
| WhisperX | whisperx | ASR 系統 | 98.2 % | 64.8 ms | 13.5 % |
| Canary NVIDIA | canary | ASR 系統 | 97.6 % | 85.5 ms | 13.2 % |
| Ink-Whisper Cartesia | cartesia_ink_whisper | ASR 系統 | 98.2 % | 88.3 ms | 20.7 % |
★ Olign v1 是 Olewave 於 2026 年 11 月 15 日對 v1.1.3 版本的測試,使用 nyra 公開的評分工具,並採用 nyra 的片段。它不在 nyra 的排行榜上。† 使用 english_mfa 3.1.0 模型的 MFA 3.3.9,與 nyra 的執行方式相同。
Buckeye
Buckeye 是更難的測試。Nyra 把每段訪談切成最長 20 秒的片段,並且正好從第一個詞切到最後一個詞。每個片段都保留了笑聲和長停頓,也常常有訪談者的聲音。較早的 Olign 版本在 Buckeye 上的大部分誤差都出現在片段邊緣和停頓附近。
在 nyra 的 Buckeye 表格中,nyra 自己的對齊器 Word MAE 最低,為 20.2 ms。 在 v1.1.3 版本上,Olewave 對 Olign v1 的測試給出 23.6 ms。15 秒以內的片段為 22.9 ms,更長的片段為 23.8 ms。這張圖以同樣的方式 呈現 nyra 的 Buckeye 表格,並用星號標出 Olign v1。
全部數字
| 系統 | Nyra 中的名稱 | 類型 | 詞召回率 | Word MAE | Acc@50 ms |
|---|---|---|---|---|---|
| nyra-FA nyra labs | nyra_fa | 強制對齊器 | 100.0 % | 20.2 ms | 88.7 % |
| Olign v1 ★ Olewave | 強制對齊器 | 23.6 ms | 86.8 % | ||
| Fish Transcribe 1 Pro Fish Audio | fish_transcribe_1_pro | ASR 系統 | 93.2 % | 35.5 ms | 75.8 % |
| MFA, wide beam † | mfa (wide beam) | 強制對齊器 | 99.9 % | 35.7 ms | 79.1 % |
| CrisperWhisper 2.0 large nyra labs | crisperwhisper_2.0_large | ASR 系統 | 93.2 % | 38.8 ms | 66.1 % |
| Qwen3-FA Qwen | qwen_fa | 強制對齊器 | 99.9 % | 39.4 ms | 75.0 % |
| Grok STT xAI | xai_grok_stt | ASR 系統 | 92.9 % | 48.8 ms | 50.5 % |
| MFA, default beam † | mfa (default beam) | 強制對齊器 | 98.7 % | 48.9 ms | 78.3 % |
| ElevenLabs Cue | Cue (ElevenLabs) | 強制對齊器 | 100.0 % | 50.8 ms | 32.4 % |
| MMS-FA Meta | mms_fa | 強制對齊器 | 100.0 % | 52.7 ms | 49.9 % |
| MAI-Transcribe-2 Microsoft | mai_transcribe_2 | ASR 系統 | 91.7 % | 54.4 ms | 31.0 % |
| Nemotron Transcribe NVIDIA | nemotron_transcribe | ASR 系統 | 93.8 % | 60.1 ms | 33.4 % |
| Universal 3.5 Pro AssemblyAI | assemblyai_u35_pro | ASR 系統 | 88.7 % | 68.1 ms | 30.9 % |
| NeMo-FA NVIDIA | nemo_fa | 強制對齊器 | 100.0 % | 72.6 ms | 20.4 % |
| CTC segmentation | ctc_segmentation | 強制對齊器 | 100.0 % | 81.0 ms | 48.8 % |
| Nova-3 Deepgram | deepgram_nova3 | ASR 系統 | 92.7 % | 87.6 ms | 14.8 % |
| WhisperX | whisperx | ASR 系統 | 88.1 % | 89.8 ms | 8.7 % |
| Canary NVIDIA | canary | ASR 系統 | 88.2 % | 107.2 ms | 10.0 % |
| MWA, Buckeye model MLSpeech | mwa_buckeye | 強制對齊器 | 100.0 % | 108.7 ms | 58.9 % |
| MWA, TIMIT model MLSpeech | mwa_timit | 強制對齊器 | 100.0 % | 143.2 ms | 51.3 % |
| Ink-Whisper Cartesia | cartesia_ink_whisper | ASR 系統 | 88.6 % | 144.8 ms | 35.3 % |
★ Olign v1 是 Olewave 於 2026 年 11 月 11 日對 v1.1.3 版本的測試,使用 nyra 公開的評分工具,並採用 nyra 的片段。它不在 nyra 的排行榜上。† 使用 english_mfa 3.1.0 模型的 MFA 3.3.9,與 nyra 的執行方式相同。
v1.1.3 版本包含什麼
自 nyra 測試以來,Olign v1 已從 v1.1.0 更新到 v1.1.3。API 和回應格式保持不變。
- Olign 字典以外的詞,其發音由發音模型給出。
- 超過 15 秒的錄音,以及任何長度但未附逐字稿的錄音,在開頭和結尾的處理方式有所不同。
- 停頓旁邊的詞會在新的位置結束或開始。停頓前的詞不再延伸進停頓, 因此停頓返回的長度更接近其完整長度。
後兩項改動針對的是片段邊緣和停頓,這兩處正是 Buckeye 讓早期版本損失最多的地方。15 秒以內並附有逐字稿的錄音 會一次完成對齊。
自行驗證
您可以使用 nyra 自己的工具,透過託管服務重跑這兩項測試。您
需要一把 Olign API 金鑰,註冊
tycho.olewave.com 帳號即可取得,另外還需要您自己取得授權的
TIMIT 和 Buckeye 副本。如果它們不在
nyra 的預設資料夾中,請用 --data-root 指向它們。這兩次執行共送出約 8.6 小時的音訊,其中 TIMIT 為 1.4 小時,
Buckeye 為 7.2 小時。
在 Olign v1 上執行 nyra 的基準測試
git clone https://github.com/nyrahealth/nyra_speech_timing_benchmark
cd nyra_speech_timing_benchmark
pip install -e .
export OLIGN_KEY=your-olign-key
nyra-timing run --dataset timit --model olign_v1 \
--out results_api --save-predictions predictions
nyra-timing run --dataset buckeye --model olign_v1 \
--out results_api --save-predictions predictions
每次執行都會印出分數,並儲存服務的原始回應。每個 Olign
回應都在 X-Olign-Version 標頭中帶有其版本,因此您可以看到
是哪個版本給出了回應。
確認是哪個版本給出了回應
python - <<'EOF'
import gzip, json
for name in ("timit", "buckeye"):
raw = json.load(gzip.open(f"predictions/raw/olign_v1_{name}.json.gz"))
print(name, {v for job in raw.values()
for k, v in job.get("_versions", {}).items()
if k.lower() == "x-olign-version"})
EOF
當 v1.1.3 對齊了每一段音訊時,每個測試集都會印出 {'v1.1.3'}。您的
分數使用的是您自己的參考副本,因此小數位上可能與我們的有所不同。
後續步驟
-
我們請求 nyra 重新執行的 pull request
我們的 pull request 請 nyra 重新執行 Olign v1,並記錄每個託管服務列是由哪個版本給出的回應。當 nyra 發布其測試結果時, 請以該數字為準,我們也會在此附上連結。我們還針對 nyra 的 MFA 列提出了一個 issue。 -
用您自己的錄音試試 Olign
Speech Timestamps Playground 可以對齊最長 30 秒的英語語音, 無需帳號。 -
開始使用 Olign API
註冊即可獲得免費額度,用來對齊您自己的錄音。 -
查看 FA-Bench
這是 Olewave 自己公開的強制對齊和帶時間戳 ASR 基準測試。