IBM Granite Speech 4.1 Plus 在 FA-Bench 帶時間戳的 ASR 項目並列第一
IBM 的開放模型 Granite Speech 4.1 Plus 在 FA-Bench 上的詞級時間戳 F1 為 0.489，與 Google Chirp 2 的 0.486 相當。IBM 貢獻了適配器，FA-Bench 則在自己的 GPU 上重新執行了每一個測試單元。
FA-Bench 排行榜 · github.com/olewave/fa-bench · arXiv 論文
IBM 的 Granite Speech 4.1 Plus 於 2026 年 11 月 5 日加入 FA-Bench 的帶詞級時間戳 ASR 排行榜。它在 20 ms 容差下的詞級時間戳 F1 為 0.489，95% 區間為 0.477 至 0.500。 Google Chirp 2 得分 0.486，區間為 0.475 至 0.498。兩個區間重疊，排名範圍都是 1 至 2，因此兩者在 17 個系統中並列第一。
Granite Speech 4.1 Plus 是採用 Apache License 2.0 的開放模型。你在自己的 GPU 上執行它，所以排行榜沒有列出它的價格。排行榜列出 Google Chirp 2 的價格為每音訊小時 $0.96。
各自得分較高之處
Granite Speech 在 TIMIT 朗讀語音上得分較高，乾淨音訊為 0.597 對 0.488，加入噪音後為 0.531 對 0.497。Chirp 2 在 Buckeye 對話語音上得分較高，乾淨音訊為 0.492 對 0.450，加入噪音後為 0.469 對 0.379。
所有數據
| TIMIT 乾淨 | TIMIT 加噪 | Buckeye 乾淨 | Buckeye 加噪 | 4 項平均 | |
|---|---|---|---|---|---|
| 詞級時間戳 F1，Granite Speech 4.1 Plus | 0.597 | 0.531 | 0.450 | 0.379 | 0.489 |
| 詞級時間戳 F1，Google Chirp 2 | 0.488 | 0.497 | 0.492 | 0.469 | 0.486 |
| 詞邊界誤差，Granite Speech 4.1 Plus | 26.1 ms | 31.4 ms | 37.7 ms | 47.3 ms | |
| 詞邊界誤差，Google Chirp 2 | 32.7 ms | 32.6 ms | 26.9 ms | 28.1 ms |
它如何登上排行榜
IBM 為 FA-Bench 的開源程式碼貢獻了 Granite Speech 的適配器。它以 pull request #23 提交，其中 Zvi Kons 的一次 commit 列出了 IBM 自己在乾淨音訊上的得分。FA-Bench 隨後在自己的 GPU 上重新執行全部 20 個測試單元，每個單元都與 IBM 的數據相差在 0.012 F1 以內。排行榜顯示的是 FA-Bench 自己的執行結果。
根據該 pull request，模型的時間戳訓練只用了 TIMIT 的訓練集，沒有用任何 Buckeye 音訊。因此 FA-Bench 的 TIMIT 與 Buckeye 測試集對它而言都是保留集。模型在 10 ms 網格上標出每個詞的結束位置，每個詞從前一個詞結束之處開始。
FA-Bench 如何評分
輸入音訊，輸出帶時間的詞。詞的起點與終點，各自落在語言學家人工標註邊界的 20 ms 以內時算作命中，聽錯的詞會讓兩者都失分。測試集為 TIMIT 核心測試集與 Buckeye 測試集，各有乾淨版本，以及加入混響、噪音、音樂與多人交談雜音的版本。
感謝 Zvi Kons 與 IBM Granite Speech 團隊的貢獻。你有 ASR 系統或對齊器嗎？歡迎提交附有適配器的 pull request。FA-Bench 會重新執行每個測試單元並公布結果。
Olewave 同時打造 FA-Bench 與 Olign，因此 Olign 以未排名的方式列在表格底部。