FA-Bench 概覽

兩項任務

FA-Bench 評分兩項任務，差別在於詞的來源。

帶時間戳記的 ASR 只聽音訊，回傳自己辨識出的詞，每個詞都有起始時間和結束時間。製作字幕或配音軌都需要這兩個時間，而多數語音辨識 API 回傳時間時，並不說明其準確度。ASR 排行榜上的每一列是一個以出廠狀態提供的系統，可能是 API 或模型。例如 Google Chirp 2 是透過 Speech-to-Text v2 呼叫的 chirp_2 模型。

強制對齊會取得參考逐字稿，不會有辨識錯誤，因此只評分其時間。FA-Bench 也會把 Qwen3-ASR 辨識出的詞交給每個對齊器。強制對齊排行榜上方的 轉錄文本 開關會顯示這項分數。F1 下降是這項分數比參考逐字稿上的分數低多少。 例如，MFA 3.4 使用參考文字稿的得分為 0.658，使用辨識詞的得分為 0.628，F1 降幅為 0.030。

辨識器與對齊器串接時，辨識器是固定的，而 ASR 做不到這一點。因此串接系統會列在其對齊器旁邊，不會與 ASR 一同排名。

測試集與條件

每個系統都在兩個測試集上執行。

每個測試集都有乾淨音訊，以及四種劣化版本。這些版本來自 Kaldi 擴增流程，以固定種子生成。

排行榜的總分是四個測試格的平均值。這四個測試格是 TIMIT 核心測試集與 Buckeye 測試集，每個都分乾淨與含雜訊兩種。含雜訊的測試格取其四種劣化條件的平均值。若要依單一測試格排序，請使用表格上方的選單。例如選擇 Buckeye 測試集（含雜訊），表格就只顯示該測試格的 F1 與錯誤率。

評分方式

此圖用三種方式為同一份 ASR 輸出評分。圖下的段落分別說明每一種方式。

20 ms 詞時間戳記 F1 用於詞層級排行榜的排名。每個參考詞都有一個起始時間和一個結束時間。當系統輸出了相同的詞，且該時間與標註者標記的時間相差不超過 20 ms 時，這個時間即為命中。精確率計算系統輸出的時間中有多少命中。召回率計算參考時間中有多少命中。聽錯一個詞，系統會同時失去該詞的兩個時間。因此在 ASR 排行榜上，這個分數同時計入辨識錯誤與時間錯誤。圖中這份輸出的得分為 0.45。

詞 MAE 與詞邊界 F1 只在邊界兩側的詞都與參考相符時才為該邊界評分，因此會漏掉許多邊界。在圖中，詞 MAE 只評了其中 2 個邊界，為 12.5 ms，20 ms 詞邊界 F1 為 0.15。詞時間戳記 F1 則為每個詞各自的起始與結束評分。這適合含有大量停頓的自發性語音，因為沒有任何邊界需要在前一個詞的結束與下一個詞的開始之間做取捨。

20 ms 音素邊界 F1 用於音素層級排行榜的排名。當一個音素邊界兩側的音素都與參考相符，且其時間與標註者標記的時間相差不超過 20 ms 時，該邊界即為命中。每個系統使用各自的音素集進行對齊。因此 FA-Bench 在評分前，會先將系統的音素與參考音素都對應到 TIMIT-39。沒有任何 ASR 能僅憑音訊回傳音素，所以音素層級只有強制對齊排行榜。

每個 F1 旁都附有一個錯誤率。MAE 是乾淨音訊上的平均絕對邊界誤差，單位為 ms。WER 是詞錯誤率，PER 是音素錯誤率，兩者都以百分比表示。

範圍與區間

FA-Bench 以固定的隨機種子，對測試語句進行 2,000 次放回抽樣。同一排行榜上的所有系統都使用相同的抽樣結果。每個平均 F1 旁的 95% 區間，涵蓋該系統在各次抽樣中分數的中間 95%。以 ASR 排行榜為例，Google Chirp 2 的平均 F1 為 0.486，區間為 0.475 到 0.498。

範圍涵蓋系統名次的中間 95%。當兩個系統的範圍重疊時，它們在這些測試集上視為並列。 以 ASR 排行榜為例，CrisperWhisper 的範圍為 2–3，Google Chirp 3 為 2–3，因此兩者並列。

此區間只反映這些語句的抽樣變異。若換一批說話者，區間會變寬，因為 Buckeye 測試集只有 8 位說話者。

價格

價格欄列出各 API 每小時音訊的牌價，採用隨用隨付方式。這是 FA-Bench 所呼叫的模型與方案的價格，於 2026 年 10 月 27 日從供應商自己的定價頁面讀取。此欄不含免費方案與贈送額度，也不含用量折扣。若供應商對批次呼叫與即時呼叫的計費不同，此欄列出 FA-Bench 所使用的那一種。

開源模型在你自己的硬體上執行，因此沒有每小時價格。Olign 的列顯示每小時 $0.18，這是它的上市促銷價。牌價為 $0.21。

系統與版本

每個 API 列都對應透過某一個 API 版本呼叫的某一個模型。表格列出這兩項資訊，以及 FA-Bench 測量該 API 的月份。

Deepgram 與 Speechmatics 會在每次回應中標明 build，其他 API 則不標明。

當 API 的回應仍與測量時相同時，是否為最新一欄顯示為「是」。FA-Bench 已於 2026 年 10 月 27 日檢查這一點：它對每個 API 重新送出 5 段測試音訊，並比對每個詞和每個時間。自 9 月以來有兩個 API 已經改變。ElevenLabs Scribe v2 有部分詞的時間提前了 20 到 80 ms，AssemblyAI 在 9 段音訊中有 2 段回傳了不同的詞。FA-Bench 已在 10 月重新測量這兩者，因此排行榜上的每一列都來自各 API 目前提供的模型。

個別系統的說明

部分系統名稱後的符號會連到這些說明。

• ⚠ MAPS 與 NeuFA 的訓練資料包含 FA-Bench Buckeye 測試集 8 位說話者中的 7 位，因此它們的 Buckeye 測試音訊大多來自訓練時見過的說話者。
• ⚠ CrisperWhisper 的作者使用 TIMIT 建立其詞時間，但未說明使用了哪些 TIMIT 檔案。FA-Bench 使用 TIMIT 的測試檔案，若作者也用了這些檔案，其 TIMIT 分數就來自它已見過的音訊。
• ‡ 在乾淨的 Buckeye 測試語句中，Deepgram 有 24% 的語句、Chirp 3 有 15% 的語句，其最後一個詞的結束時間比音訊結束時間晚了超過 0.3 s。
• † NeMo-FA 此處列出的是其 80 ms 模型。其 40 ms 模型的分數較高，該分數見於排行榜的說明。
• FALCON 會取得參考音素，其他對齊器都沒有這項輸入，因此它不列入音素排行榜，只在該排行榜的說明中提及。

FA-Bench 與 Artificial Analysis

Artificial Analysis 也以 AA-WER v2 分數為語音轉文字 API 排名。下表並列這兩項基準測試，每一欄都採用該基準測試對自身的公開說明。

Artificial Analysis 的細節取自其方法說明頁面與 AA-WER v2 公告，讀取日期為 2026 年 10 月 11 日。

重現每個數字

你可以自行驗證排行榜上的任何數字。評分程式碼與測試集製作方法都公開於 GitHub，arXiv 上的論文則說明了方法。每個排行榜都提供 CSV 格式的數字。請用你自己的 TIMIT 與 Buckeye 副本執行系統，再用 FA-Bench 評分。

Olewave 同時開發 FA-Bench 與 Olign。Olign 已不再參加 FA-Bench，因此沒有任何排行榜為它排名。它最後的結果（2026 年 10 月）以未排名方式列在各表格末尾。排行榜上的所有系統都由同一套公開程式碼對照同一份人工標註評分。

後續步驟

• 查看排行榜
  所有系統的排名，附信賴區間與 Range。
• 到 GitHub 取得程式碼
  用同一份人工標註為你自己的系統評分。
• 閱讀 arXiv 上的論文
  本頁每個分數背後的方法。

← 返回排行榜