nyra-FA, FA-Bench 강제 정렬 부문 1위
nyra labs의 강제 정렬기는 FA-Bench에서 단어 타임스탬프 F1 0.688을 기록해 0.658의 Montreal-FA를 앞섰고, 두 신뢰구간은 겹치지 않습니다. 가장 큰 격차는 잡음이 섞인 대화 음성에서 나타납니다.
FA-Bench 리더보드 · github.com/olewave/fa-bench · arXiv 논문
nyra-FA는 CrisperWhisper를 만든 팀인 nyra labs의 강제 정렬기입니다. 2026년 11월 10일에 FA-Bench 강제 정렬 단어 보드에 1위로 올랐습니다. 20 ms 기준 단어 타임스탬프 F1은 0.688이고, 95% 신뢰구간은 0.677에서 0.698입니다. Montreal-FA가 0.658(0.650에서 0.667)로 2위입니다. 두 구간은 겹치지 않으며, 강제 정렬기 16개 중 nyra-FA의 순위 범위는 1에서 1입니다.
보드는 nyra_forced_aligner_en을 nyra-forced-aligner 0.2.4로 실행합니다. 가중치는
nyra health 비상업적 연구 라이선스로
공개되어 있습니다.
연구 목적과 그 밖의 비상업적 사용은 무료입니다. 모델이나 모델이 만든 타임스탬프를
상업적으로 사용하려면 nyra health의 상업용 라이선스가 필요합니다.
격차가 나타나는 곳
가장 큰 격차는 잡음을 더한 Buckeye 대화 음성에서 나타나며, 0.674 대 0.594입니다. 클린 Buckeye에서는 0.731 대 0.706입니다. 클린 TIMIT에서는 Montreal-FA의 F1이 0.685로 nyra-FA의 0.683보다 근소하게 높습니다. 사람이 직접 표시한 경계와의 평균 거리인 단어 경계 오차도 Montreal-FA가 더 낮아서, 21.8 ms 대 27.1 ms입니다.
전체 수치
| TIMIT 클린 | TIMIT 잡음 | Buckeye 클린 | Buckeye 잡음 | 4개 평균 | |
|---|---|---|---|---|---|
| 단어 타임스탬프 F1, nyra-FA | 0.683 | 0.663 | 0.731 | 0.674 | 0.688 |
| 단어 타임스탬프 F1, Montreal-FA | 0.685 | 0.649 | 0.706 | 0.594 | 0.658 |
| 단어 경계 오차, nyra-FA | 27.1 ms | 30.0 ms | 20.2 ms | 31.4 ms | |
| 단어 경계 오차, Montreal-FA | 21.8 ms | 30.2 ms | 21.3 ms | 35.6 ms |
FA-Bench의 채점 방식
각 정렬기는 오디오와 기준 전사문을 입력받으므로 타이밍만 채점합니다. 단어의 시작과 끝은 각각 언어학자가 직접 표시한 경계에서 20 ms 이내에 들어오면 정답으로 셉니다. 테스트 세트는 TIMIT 코어 테스트와 Buckeye 테스트이며, 각각 클린 음성과 잔향, 잡음, 음악, babble을 더한 음성으로 구성됩니다.
FA-Bench는 nyra-FA를 20개 테스트 셀 전체에서 실행했습니다. 공개적으로 테스트해 주신 Laurin Wagner와 nyra labs 팀에 감사드립니다.
정렬기나 ASR API가 있으신가요? 어댑터를 담아 풀 리퀘스트를 보내 주세요. FA-Bench가 모든 테스트 셀을 다시 실행하고 결과를 공개합니다.
Olewave는 FA-Bench와 Olign을 모두 만들기 때문에, Olign은 표 맨 아래에 순위 없이 표시됩니다.