FA-Bench 概览
FA-Bench 告诉你词和音素时间戳与人工标注者所标边界有多接近。它为自行返回文字及时间的语音识别系统评分，也为拿到转录文本的强制对齐器评分。所有系统都用同一套代码在相同的测试集上运行，排行榜按结果排名。本页说明榜单上每个数字是如何得出的。
两项任务
FA-Bench 为两项任务评分。它们的区别在于文字的来源。
带时间戳的 ASR 只听音频，返回自己识别出的词，每个词都有开始时间和结束时间。字幕或配音轨道需要这两个时间，而大多数语音识别 API 会返回它们，却不说明准确度。ASR 榜单上的每一行是一个按发布形态提供的系统，可以是 API 或模型。例如 Google Chirp 2 就是通过 Speech-to-Text v2 调用的 chirp_2 模型。
强制对齐拿到的是参考转录文本，不会产生识别错误，因此只评估它的计时。FA-Bench 还会把 Qwen3-ASR 识别出的词交给每个对齐器。强制对齐榜单上方的转录文本开关显示这一得分。F1 下降是该得分比参考转录文本上的得分低多少。 例如，MFA 3.4 在参考文本上的得分为 0.658，在识别词上的得分为 0.628，F1 下降为 0.030。
识别器与对齐器组成的级联系统会固定识别器，而 ASR 做不到这一点。因此级联系统与其对齐器列在一起，不会与 ASR 一同排名。
测试集与条件
每个系统都在两个测试集上运行。
| 测试集 | 内容 |
|---|---|
| TIMIT 核心测试集 | 来自 24 位说话人的 192 个朗读句子 |
| Buckeye 测试集 | 来自 8 位说话人的 4,513 个对话片段 |
每个测试集都包含干净音频和四个降质副本。这些副本由 Kaldi 数据增强方案按固定随机种子生成。
| 条件 | 生成方式 |
|---|---|
| 混响 | 模拟房间脉冲响应（RIRS_NOISES），小房间和中等房间各占一半 |
| 噪声 | MUSAN 噪声片段，信噪比为 15、10、5 和 0 dB SNR |
| 音乐 | 一段 MUSAN 音乐，信噪比为 15、10、8 或 5 dB SNR |
| 多人交谈声 | 三至七位 MUSAN 说话人，信噪比为 20、17、15 或 13 dB SNR |
榜单的头条分数是四个测试单元的平均值。这四个单元是 TIMIT 核心测试集和 Buckeye 测试集，每个都分干净和含噪两种。含噪单元的分数是其四种退化条件的平均值。若要按某一个单元对榜单排序，请使用上方的菜单。例如选择 Buckeye 测试集（含噪），表格就只显示该单元的 F1 及其错误率。
分数如何计算
该图用三种方式对同一份 ASR 输出评分。图下方的段落分别说明每一种方式。
20 ms 词时间戳 F1 用于词级榜单排名。每个参考词都有一个起始时间和一个结束时间。当系统输出了相同的词，且该时间与标注者给出的时间相差在 20 ms 以内时，这个时间算作命中。精确率统计系统输出的时间中有多少命中。召回率统计参考时间中有多少命中。听错一个词，系统会同时丢掉这个词的两个时间。因此在 ASR 榜单上，这个分数同时计入识别错误和时间错误。图中的输出得分为 0.45。
词 MAE 和 词边界 F1 只在边界两侧的词都与参考一致时才对该边界评分，因此会漏掉许多边界。在图中，词 MAE 只对其中 2 个边界评分，为 12.5 ms，20 ms 词边界 F1 为 0.15。词时间戳 F1 对每个词自身的起始和结束评分。这更适合含有大量停顿的自发语音，因为任何边界都不必在前一个词的结束和后一个词的开始之间做选择。
20 ms 音素边界 F1 用于音素级榜单排名。当边界两侧的音素都与参考一致，且其时间与标注者给出的时间相差在 20 ms 以内时，这个音素边界算作命中。每个系统使用各自的音素集进行对齐，因此 FA-Bench 在评分前，先把系统的音素和参考音素都映射到 TIMIT-39。没有任何 ASR 能仅凭音频返回音素，所以音素级只有强制对齐榜单。
每个 F1 旁边都列有一项错误率。MAE 是干净音频上的平均绝对边界误差，单位为 ms。WER 是词错误率，PER 是音素错误率，两者均以百分比表示。
范围与区间
FA-Bench 以固定的随机种子，对测试语句有放回地重新抽样 2,000 次。同一榜单上的所有系统使用相同的抽样。每个平均 F1 旁的 95% 区间包含该系统在各次抽样中得分的中间 95%。例如在 ASR 榜单上，Google Chirp 2 的平均 F1 为 0.486，区间为 0.475 到 0.498。
范围包含系统排名的中间 95%。当两个系统的范围重叠时，它们在这些测试集上并列。 例如在 ASR 榜单上，CrisperWhisper 的范围为 2–3，Google Chirp 3 为 2–3，因此两者并列。
该区间反映的是对这些语句的抽样。换一批说话人会使区间变宽，因为 Buckeye 测试集只有 8 位说话人。
价格
价格列给出各 API 每小时音频的标价，按量付费。该价格是 FA-Bench 所调用的模型与档位的价格，于 2026 年 10 月 27 日读取自供应商自己的定价页面。该列不含免费档位和赠送额度，也不计批量折扣。如果供应商对批量调用和实时调用分别计费，该列给出 FA-Bench 所使用的那一种。
开源模型运行在你自己的硬件上，因此没有每小时价格。Olign 一行给出每小时 $0.18，这是其发布促销价。其标价为 $0.21。
系统与版本
每个 API 行对应通过一个 API 版本调用的一个模型。表格同时给出这两项，以及 FA-Bench 测量该 API 的月份。
| API | 调用的模型 | API 版本 | 测量时间 | 当前 |
|---|---|---|---|---|
| Google Chirp 2 | chirp_2 | Speech-to-Text v2 | 2026 年 9 月 | 是 |
| Google Chirp 3 | chirp_3 | Speech-to-Text v2 | 2026 年 10 月 | 是 |
| Amazon Transcribe | en-US | 批量，2017-10-26 | 2026 年 9 月 | 是 |
| AssemblyAI Universal-3.5 Pro | universal-3-5-pro | v2 | 2026 年 10 月 | 是 |
| Deepgram Nova-3 | nova-3，构建版本 2025-07-31.0 | v1 | 2026 年 9 月 | 是 |
| IBM Watson STT en-US | en-US 大型语音模型 | v1 | 2026 年 9 月 | 是 |
| Speechmatics Enhanced | enhanced，构建版本 16.0.0 和 16.1.0 | Batch v2 | 2026 年 9 月 | 是 |
| Azure AI Speech | en-US | 短音频 REST v1 | 2026 年 9 月 | 是 |
| ElevenLabs Scribe v2 | scribe_v2 | v1 | 2026 年 10 月 | 是 |
| Qwen3-ASR-Flash | qwen3-asr-flash-filetrans | DashScope v1 | 2026 年 10 月 | 是 |
| Mistral Voxtral Mini | voxtral-mini-2602 | v1 | 2026 年 10 月 | 是 |
| ElevenLabs-FA | forced-alignment | v1 | 2026 年 10 月 | 是 |
Deepgram 和 Speechmatics 会在每次响应中注明构建版本，其他 API 则不注明。
当 API 的响应仍与测量时一致时，是否最新为“是”。FA-Bench 于 2026 年 10 月 27 日做了检查：向每个 API 重新发送 5 段测试音频，并逐词、逐个时间比对。自 9 月以来，有两个 API 发生了变化。ElevenLabs Scribe v2 把部分词的时间提前了 20 到 80 ms，AssemblyAI 在 9 段音频中的 2 段返回了不同的词。FA-Bench 在 10 月对这两者都重新做了测量，因此榜单上的每一行都来自各 API 当前提供的模型。
各系统说明
部分系统名称后的标记指向这些说明。
- ⚠ MAPS 和 NeuFA 的训练数据包含 FA-Bench Buckeye 测试集 8 位说话人中的 7 位，因此它们的 Buckeye 测试音频大多来自训练时见过的说话人。
- ⚠ CrisperWhisper 的作者使用 TIMIT 构建其词时间，但没有说明具体使用了哪些 TIMIT 文件。FA-Bench 使用 TIMIT 的测试文件进行测试，如果作者也用了这些文件，那么它的 TIMIT 得分就来自它已经见过的音频。
- ‡ 在干净的 Buckeye 测试语句中，Deepgram 有 24% 的语句、Chirp 3 有 15% 的语句，其最后一个词的结束时间比音频结束时间晚 0.3 s 以上。
- † NeMo-FA 列出的是其 80 ms 模型。其 40 ms 模型得分更高，该分数见排行榜的说明。
- FALCON 会获得参考音素，而其他对齐器都得不到，因此它不列入音素排行榜，只在该排行榜的说明中提及。
FA-Bench 与 Artificial Analysis
Artificial Analysis 也对语音转文字 API 进行排名，使用的是其 AA-WER v2 分数。下表将这两项基准并列比较。每一列都采用该基准自行公布的信息。
| FA-Bench | Artificial Analysis | |
|---|---|---|
| 评分内容 | 词的时间与识别，以 20 ms 下的 F1 衡量 | 词错误率 |
| 测试音频 | TIMIT 和 Buckeye，任何人都可以获得授权的研究语料库 | 50% 为私有的 AA-AgentTalk，50% 为公开的 VoxPopuli 和 Earnings22 |
| 词时间戳 | 对照人工标注者评分 | 不评分 |
| 评分代码 | 在 GitHub 上公开 | 未公开 |
| 文本规范化器 | 在 GitHub 上公开 | 未公开 |
| 他人复现 | 可以，使用 TIMIT 和 Buckeye | 否 |
Artificial Analysis 的相关细节来自其方法说明页面和 AA-WER v2 发布公告，读取于 2026 年 10 月 11 日。
复现每一个数字
你可以自行核对排行榜上的任何数字。评分代码和测试集构建方法都在 GitHub 上，arXiv 上的论文介绍了方法。每个排行榜都提供 CSV 格式的数据下载。请在你自己的 TIMIT 和 Buckeye 副本上运行系统，再用 FA-Bench 评分。
FA-Bench 和 Olign 均由 Olewave 开发。Olign 已不再参加 FA-Bench，因此没有任何榜单对它排名。它最后一次的结果（2026 年 10 月）以未排名形式列在各表末尾。榜单上的所有系统都由同一套公开代码对照同一份人工标注评分。
后续步骤
- 查看排行榜
所有系统的排名，附区间和 Range。 - 在 GitHub 上获取代码
对照同一份人工标注，为你自己的系统评分。 - 阅读 arXiv 上的论文
本页每个分数背后的方法。