FA-Bench 리더보드 · github.com/olewave/fa-bench · arXiv 논문

IBM의 Granite Speech 4.1 Plus가 2026년 11월 5일 단어 타임스탬프를 포함한 ASR 부문 FA-Bench 리더보드에 올랐습니다. 20 ms 기준 단어 타임스탬프 F1은 0.489이고, 95% 구간은 0.477에서 0.500입니다. Google Chirp 2는 0.486이며 구간은 0.475에서 0.498입니다. 두 구간이 겹치고 순위 범위도 모두 1위에서 2위이므로, 17개 시스템 중 두 시스템이 공동 1위입니다.

Granite Speech 4.1 Plus는 Apache License 2.0으로 공개된 오픈 모델입니다. 사용자의 GPU에서 직접 실행하므로 리더보드에는 가격이 표시되지 않습니다. 리더보드에는 Google Chirp 2가 오디오 1시간당 $0.96로 올라 있습니다.

각 시스템이 더 높은 점수를 얻는 곳

Granite Speech는 TIMIT 낭독 음성에서 더 높은 점수를 얻습니다. 깨끗한 오디오에서는 0.597 대 0.488, 잡음을 더한 오디오에서는 0.531 대 0.497입니다. Chirp 2는 Buckeye 대화 음성에서 더 높은 점수를 얻습니다. 깨끗한 오디오에서는 0.492 대 0.450, 잡음을 더한 오디오에서는 0.469 대 0.379입니다.

리더보드에 오른 과정

IBM은 FA-Bench의 오픈소스 코드에 Granite Speech용 어댑터를 기여했습니다. 이 어댑터는 pull request #23으로 들어왔고, Zvi Kons의 커밋에는 깨끗한 오디오에 대한 IBM의 자체 점수가 적혀 있습니다. 그 뒤 FA-Bench는 20개 테스트 셀을 모두 자체 GPU에서 다시 실행했고, 모든 셀이 IBM 수치와 F1 기준 0.012 이내였습니다. 리더보드에는 FA-Bench가 실행한 결과가 표시됩니다.

pull request에 따르면 이 모델의 타임스탬프 학습에는 TIMIT의 학습 분할만 사용되었고 Buckeye 오디오는 사용되지 않았습니다. 따라서 FA-Bench의 TIMIT와 Buckeye 테스트 세트는 모델 학습에 쓰이지 않은 데이터입니다. 이 모델은 10 ms 격자 위에서 각 단어가 끝나는 지점을 표시하고, 각 단어는 앞 단어가 끝나는 지점에서 시작합니다.

FA-Bench의 채점 방식

오디오가 입력되면 시간 정보가 붙은 단어가 출력됩니다. 단어의 시작과 끝은 각각 언어학자가 직접 표시한 경계에서 20 ms 이내에 들어오면 정답으로 계산하고, 잘못 들은 단어는 둘 다 오답으로 처리합니다. 테스트 세트는 TIMIT 코어 테스트와 Buckeye 테스트이며, 각각 깨끗한 음성과 잔향, 잡음, 음악, babble을 더한 음성으로 구성됩니다.

기여해 주신 Zvi Kons와 IBM Granite Speech 팀에 감사드립니다. ASR 시스템이나 정렬기가 있으신가요? 어댑터를 담아 pull request를 보내 주세요. FA-Bench가 모든 테스트 셀을 다시 실행하고 결과를 공개합니다.

Olewave는 FA-Bench와 Olign을 모두 만들기 때문에, Olign은 순위 없이 표의 맨 아래에 표시됩니다.