Olign, Nyra Speech Timing Benchmark의 TIMIT에서 1위를 차지했습니다

Product

Olign, Nyra Speech Timing Benchmark의 TIMIT에서 1위를 차지했습니다

Olign v1은 nyra labs가 직접 공개한 표에서 TIMIT 22개 시스템 중 1위입니다. Olewave가 현재 릴리스인 v1.1.3으로 실행한 결과, 단어 타이밍 오차는 TIMIT에서 14.2 ms, Buckeye에서 23.6 ms입니다.

Olign Ranks First on TIMIT in the Nyra Speech Timing Benchmark

Olign · Nyra Speech Timing Benchmark

요약

  • TIMIT 1위. Olign v1은 nyra labs가 직접 공개한 TIMIT 표의 22개 시스템 중 1위입니다. 단어 타이밍 오차가 15.9 ms로 가장 낮고, 사람이 단 레이블과 50 ms 이내로 일치하는 단어도 가장 많습니다.
  • 지금은 더 가까워졌습니다. Olign v1은 현재 릴리스 v1.1.3입니다. Olewave가 nyra의 공개 프로토콜로 실행한 결과, 단어 타이밍 오차는 TIMIT에서 14.2 ms, Buckeye의 대화 음성에서 23.6 ms입니다.
  • 직접 확인해 보세요. nyra의 도구와 Olign API 키만 있으면 두 테스트를 다시 실행할 수 있습니다. 저희는 nyra에 Olign v1의 재실행을 요청했고, nyra가 내놓는 수치가 공식 수치가 됩니다.

벤치마크 소개

Nyra labs는 2026년 10월에 Nyra Speech Timing Benchmark를 공개했습니다. 논문과 GitHub 코드도 함께 나왔습니다. 이 벤치마크는 각 시스템이 낸 단어 시간이 사람이 단 레이블에 얼마나 가까운지 측정하며, 모든 시스템이 같은 프로토콜을 거칩니다. 이 글은 그중 낭독 음성과 대화 음성을 다룹니다.

TIMIT은 낭독 음성이며 1,626개 문장으로 이루어져 있습니다. Buckeye는 대화 음성이며 최대 20초 길이의 청크 2,008개, 단어 80,507개로 이루어져 있습니다.

각 단어에는 타이밍 오차가 매겨집니다. 단어의 시작과 끝이 사람이 단 레이블에서 얼마나 떨어져 있는지의 평균입니다. Word MAE는 이 오차를 모든 단어에 대해 평균한 값이며 단위는 밀리초입니다. 낮을수록 좋습니다. Acc@50 ms는 시작과 끝이 모두 레이블과 50 ms 이내인 단어의 비율입니다. 높을수록 좋습니다. Nyra는 이 비율을 대표 수치로 삼습니다.

측정 방법

이 글의 두 그림에 있는 모든 행은 별표가 붙은 Olign v1을 제외하면 nyra가 직접 실행한 결과입니다. Olign v1은 같은 공개 프로토콜로 Olewave가 릴리스 v1.1.3을 실행한 결과이며, nyra의 리더보드에는 올라 있지 않습니다.

v1.1.3 수치는 Olewave가 공개된 v1.1.3 구성으로 실행했습니다. 라이선스를 가진 TIMIT와 Buckeye 사본에서 nyra와 똑같은 청크를 잘라냈습니다. 기준 단어를 전사문으로 보냈고, 출력은 커밋 8acf80f의 nyra 공개 채점기로 채점했습니다.

두 코퍼스는 재배포가 허용되지 않아 nyra는 기준 시간을 공개하지 않습니다. 그래서 코퍼스 파일, 즉 TIMIT의 .WRD 파일과 Buckeye의 .words 파일로 기준 시간을 다시 만들었습니다. 저희 기준은 nyra의 TIMIT 문장 1,626개 중 1,625개, Buckeye 단어 80,507개 중 79,871개를 다룹니다.

Nyra의 표에는 Olign v1이 TIMIT 15.9 ms, Buckeye 35.7 ms로 올라 있습니다. Nyra는 10월에 이전 릴리스를 실행했습니다. 같은 예측을 저희 기준으로 채점하면 15.3 ms와 35.3 ms가 나옵니다. 즉 저희 기준은 nyra의 기준보다 약 0.5 밀리초 낮게 읽힙니다. Olign v1의 막대를 볼 때 이 차이를 감안해 주세요.

nyra 벤치마크에서 릴리스 v1.1.3으로 실행한 Olign v1
Olewave의 실행 결과이며 TIMIT은 2026년 11월 15일, Buckeye는 2026년 11월 11일에 실행했습니다

TIMIT Buckeye
Word MAE 14.2 ms 23.6 ms
단어 타이밍 오차 중앙값 7.9 ms 8.7 ms
Acc@50 ms 86.2 % 86.8 %
Acc@100 ms 96.9 % 94.7 %

길이 없이 반환된 단어는 배치된 위치 그대로 채점합니다.

Olign이 1위인 TIMIT

Nyra의 TIMIT 표에서 Olign v1은 22개 시스템 중 1위입니다. Word MAE는 15.9 ms입니다. 그 뒤를 nyra 자체 정렬기가 21.3 ms로, 넓은 빔을 쓴 MFA가 23.2 ms로 잇습니다. 또한 Olign v1은 사람이 단 레이블과 25, 50, 100 ms 이내로 일치하는 단어가 가장 많고, 200 ms에서는 공동 1위입니다.

릴리스 v1.1.3에서 Olewave가 실행한 Word MAE는 14.2 ms입니다.

그림에는 별표를 단 이 결과를 nyra가 2026년 11월 10일에 공개한 TIMIT 표의 다른 모든 시스템과 나란히 놓았습니다. ASR로 표시된 시스템은 인식한 단어에 대해서만 시간을 측정하므로, nyra는 단어 재현율과 함께 읽을 것을 권합니다. 재현율은 그림 아래 표에서 볼 수 있습니다.

Word MAE on TIMIT in the Nyra Speech Timing Benchmark, lower is better. Olign v1, starred as Olewave's run, 14.2 ms, then nyra-FA 21.3 ms and MFA with a wide beam 23.2 ms. Nineteen more systems follow, up to 88.3 ms.
전체 수치
시스템Nyra의 이름유형단어 재현율Word MAEAcc@50 ms
Olign v1 ★ Olewave강제 정렬기14.2 ms86.2 %
nyra-FA nyra labsnyra_fa강제 정렬기99.9 %21.3 ms82.2 %
MFA, wide beam †mfa (wide beam)강제 정렬기99.9 %23.2 ms77.7 %
MFA, default beam †mfa (default beam)강제 정렬기99.9 %23.5 ms77.7 %
CrisperWhisper 2.0 large nyra labscrisperwhisper_2.0_largeASR 시스템98.8 %29.6 ms70.1 %
Qwen3-FA Qwenqwen_fa강제 정렬기100.0 %30.1 ms70.8 %
Fish Transcribe 1 Pro Fish Audiofish_transcribe_1_proASR 시스템98.9 %30.4 ms70.2 %
Grok STT xAIxai_grok_sttASR 시스템98.3 %37.3 ms51.3 %
MMS-FA Metamms_fa강제 정렬기100.0 %37.3 ms51.3 %
ElevenLabs CueCue (ElevenLabs)강제 정렬기100.0 %44.6 ms32.5 %
MWA, TIMIT model MLSpeechmwa_timit강제 정렬기100.0 %47.2 ms53.5 %
CTC segmentationctc_segmentation강제 정렬기100.0 %49.3 ms38.9 %
Universal 3.5 Pro AssemblyAIassemblyai_u35_proASR 시스템97.9 %51.3 ms33.6 %
Universal 2, disfluencies AssemblyAIassemblyai_u2_disflASR 시스템98.5 %53.0 ms27.5 %
MAI-Transcribe-2 Microsoftmai_transcribe_2ASR 시스템99.3 %54.9 ms27.6 %
MWA, Buckeye model MLSpeechmwa_buckeye강제 정렬기100.0 %58.9 ms49.8 %
Nemotron Transcribe NVIDIAnemotron_transcribeASR 시스템98.9 %60.0 ms23.4 %
NeMo-FA NVIDIAnemo_fa강제 정렬기100.0 %60.0 ms19.3 %
Nova-3 Deepgramdeepgram_nova3ASR 시스템98.2 %63.4 ms20.5 %
WhisperXwhisperxASR 시스템98.2 %64.8 ms13.5 %
Canary NVIDIAcanaryASR 시스템97.6 %85.5 ms13.2 %
Ink-Whisper Cartesiacartesia_ink_whisperASR 시스템98.2 %88.3 ms20.7 %

★ Olign v1은 Olewave가 2026년 11월 15일에 릴리스 v1.1.3을 nyra의 청크에 nyra의 공개 채점기로 실행한 결과입니다. Nyra의 리더보드에는 올라 있지 않습니다. † nyra가 실행하는 방식 그대로 english_mfa 3.1.0 모델을 쓴 MFA 3.3.9입니다.

Buckeye

Buckeye는 더 어려운 테스트입니다. Nyra는 각 인터뷰를 첫 단어와 마지막 단어에 맞춰 최대 20초 길이의 청크로 자릅니다. 각 청크에는 웃음소리와 긴 휴지가 그대로 남아 있고, 인터뷰어의 목소리도 자주 들어 있습니다. 이전 Olign 릴리스는 Buckeye 오차의 대부분이 청크 가장자리와 휴지 근처에서 나왔습니다.

Nyra의 Buckeye 표에서는 nyra 자체 정렬기가 20.2 ms로 Word MAE가 가장 낮습니다. 릴리스 v1.1.3에서 Olewave가 실행한 Olign v1은 23.6 ms입니다. 15초 이하 청크는 22.9 ms, 그보다 긴 청크는 23.8 ms입니다. 그림에는 nyra의 Buckeye 표를 같은 방식으로 보여 주며, Olign v1에 별표를 달았습니다.

Word MAE on Buckeye in the Nyra Speech Timing Benchmark, lower is better. nyra-FA 20.2 ms, then Olign v1, starred as Olewave's run, 23.6 ms, and Fish Transcribe 1 Pro 35.5 ms. Eighteen more systems follow, up to 144.8 ms.
전체 수치
시스템Nyra의 이름유형단어 재현율Word MAEAcc@50 ms
nyra-FA nyra labsnyra_fa강제 정렬기100.0 %20.2 ms88.7 %
Olign v1 ★ Olewave강제 정렬기23.6 ms86.8 %
Fish Transcribe 1 Pro Fish Audiofish_transcribe_1_proASR 시스템93.2 %35.5 ms75.8 %
MFA, wide beam †mfa (wide beam)강제 정렬기99.9 %35.7 ms79.1 %
CrisperWhisper 2.0 large nyra labscrisperwhisper_2.0_largeASR 시스템93.2 %38.8 ms66.1 %
Qwen3-FA Qwenqwen_fa강제 정렬기99.9 %39.4 ms75.0 %
Grok STT xAIxai_grok_sttASR 시스템92.9 %48.8 ms50.5 %
MFA, default beam †mfa (default beam)강제 정렬기98.7 %48.9 ms78.3 %
ElevenLabs CueCue (ElevenLabs)강제 정렬기100.0 %50.8 ms32.4 %
MMS-FA Metamms_fa강제 정렬기100.0 %52.7 ms49.9 %
MAI-Transcribe-2 Microsoftmai_transcribe_2ASR 시스템91.7 %54.4 ms31.0 %
Nemotron Transcribe NVIDIAnemotron_transcribeASR 시스템93.8 %60.1 ms33.4 %
Universal 3.5 Pro AssemblyAIassemblyai_u35_proASR 시스템88.7 %68.1 ms30.9 %
NeMo-FA NVIDIAnemo_fa강제 정렬기100.0 %72.6 ms20.4 %
CTC segmentationctc_segmentation강제 정렬기100.0 %81.0 ms48.8 %
Nova-3 Deepgramdeepgram_nova3ASR 시스템92.7 %87.6 ms14.8 %
WhisperXwhisperxASR 시스템88.1 %89.8 ms8.7 %
Canary NVIDIAcanaryASR 시스템88.2 %107.2 ms10.0 %
MWA, Buckeye model MLSpeechmwa_buckeye강제 정렬기100.0 %108.7 ms58.9 %
MWA, TIMIT model MLSpeechmwa_timit강제 정렬기100.0 %143.2 ms51.3 %
Ink-Whisper Cartesiacartesia_ink_whisperASR 시스템88.6 %144.8 ms35.3 %

★ Olign v1은 Olewave가 2026년 11월 11일에 릴리스 v1.1.3을 nyra의 청크에 nyra의 공개 채점기로 실행한 결과입니다. Nyra의 리더보드에는 올라 있지 않습니다. † nyra가 실행하는 방식 그대로 english_mfa 3.1.0 모델을 쓴 MFA 3.3.9입니다.

릴리스 v1.1.3의 변경 사항

Nyra가 실행한 이후 Olign v1은 릴리스 v1.1.0부터 v1.1.3까지 거쳤습니다. API와 응답 형식은 그대로입니다.

  • Olign 사전에 없는 단어는 발음 모델이 발음을 만들어 줍니다.
  • 15초보다 긴 녹음, 그리고 전사문 없이 보낸 모든 길이의 녹음은 시작과 끝 부분을 다르게 처리합니다.
  • 휴지 옆에 있는 단어는 끝과 시작이 새로운 위치에서 정해집니다. 휴지 앞의 단어가 더 이상 휴지 안으로 번지지 않으므로, 휴지가 원래 길이에 더 가깝게 반환됩니다.

뒤의 두 가지 변경은 청크 가장자리와 휴지를 다룹니다. 이전 릴리스에서 Buckeye 오차가 가장 컸던 두 곳입니다. 전사문과 함께 보낸 15초 이하 녹음은 한 번에 정렬됩니다.

직접 확인해 보세요

nyra의 도구로 호스팅 서비스를 통해 두 테스트를 다시 실행할 수 있습니다. Olign API 키가 필요하며, tycho.olewave.com 계정을 만들면 받을 수 있습니다. 라이선스를 가진 TIMIT와 Buckeye 사본도 필요합니다. 사본이 nyra의 기본 폴더에 없다면 --data-root로 위치를 지정하세요. 두 번의 실행에서 보내는 오디오는 약 8.6시간이며, TIMIT 1.4시간과 Buckeye 7.2시간입니다.

Olign v1에서 nyra의 벤치마크 실행하기

git clone https://github.com/nyrahealth/nyra_speech_timing_benchmark
cd nyra_speech_timing_benchmark
pip install -e .
export OLIGN_KEY=your-olign-key
nyra-timing run --dataset timit --model olign_v1 \
  --out results_api --save-predictions predictions
nyra-timing run --dataset buckeye --model olign_v1 \
  --out results_api --save-predictions predictions

각 실행은 점수를 출력하고 서비스의 원본 응답을 저장합니다. 모든 Olign 응답은 X-Olign-Version 헤더에 릴리스를 담고 있어서, 어느 릴리스가 응답했는지 확인할 수 있습니다.

어느 릴리스가 응답했는지 확인하기

python - <<'EOF'
import gzip, json
for name in ("timit", "buckeye"):
    raw = json.load(gzip.open(f"predictions/raw/olign_v1_{name}.json.gz"))
    print(name, {v for job in raw.values()
                 for k, v in job.get("_versions", {}).items()
                 if k.lower() == "x-olign-version"})
EOF

v1.1.3이 모든 클립을 정렬했다면 각 테스트 세트에 대해 {'v1.1.3'}이 출력됩니다. 점수는 직접 만든 기준 사본으로 계산되므로, 저희 결과와 소수점 자리에서 차이가 날 수 있습니다.

다음 단계

  • nyra에 보낸 재실행 요청
    저희 풀 리퀘스트는 nyra에 Olign v1을 다시 실행하고, 호스팅 행마다 어느 릴리스가 응답했는지 기록해 달라고 요청합니다. Nyra가 결과를 공개하면 그 수치를 기준으로 삼아 주세요. 이 글에도 링크를 달겠습니다. nyra의 MFA 행에 대해서는 이슈도 열어 두었습니다.

  • 내 녹음으로 Olign 사용해 보기
    Speech Timestamps Playground는 계정 없이 최대 30초 분량의 영어 음성을 정렬합니다.

  • Olign API 시작하기
    가입하면 무료 크레딧으로 내 녹음을 정렬해 볼 수 있습니다.

  • FA-Bench 보기
    타임스탬프를 포함한 강제 정렬과 ASR을 평가하는 Olewave의 자체 공개 벤치마크입니다.