FA-Bench概要
FA-Benchは、単語と音素のタイムスタンプが、人手のアノテーターが置いた境界にどれだけ近いかを示します。自ら単語と時刻を返す音声認識システムを採点します。書き起こしを与えた強制アライナーも採点します。すべてのシステムを同じテストセットで同じコードにより実行し、リーダーボードで順位付けします。このページでは、リーダーボードの各数値の算出方法を説明します。
2つのタスク
FA-Benchは2つのタスクを採点します。2つは、単語の入手元が異なります。
タイムスタンプ付きASRは、音声だけを聞きます。システム自身の単語を、それぞれ開始時刻と終了時刻とともに返します。字幕や吹き替えトラックには両方の時刻が必要ですが、多くの音声認識APIは、その精度を示さずに時刻を返します。ASRボードの各行は、提供されている状態のままの1つのシステム(APIまたはモデル)です。たとえばGoogle Chirp 2は、Speech-to-Text v2経由で呼び出したchirp_2モデルです。
強制アライメントでは、参照用の書き起こしが与えられます。認識誤りが生じないため、採点対象はタイミングのみです。FA-Benchは、Qwen3-ASRが認識した単語も各アライナーに与えます。強制アライメントのボードの上にある書き起こしスイッチで、そのスコアを表示できます。F1低下は、参照用の書き起こしでのスコアに対する低下幅です。 たとえばMFA 3.4は、参照書き起こしでは0.658、認識された単語では0.628となり、F1低下は0.030です。
認識器とアライナーのカスケードでは認識器が固定されますが、ASRではそうなりません。そのため、カスケードは対応するアライナーの隣に掲載し、ASRとは順位付けしません。
テストセットと条件
すべてのシステムを2つのテストセットで実行します。
| テストセット | 内容 |
|---|---|
| TIMITコアテスト | 24人の話者による192の朗読文 |
| Buckeyeテスト | 8人の話者による会話の4,513セグメント |
各テストセットは、クリーンな音声と、4つの劣化コピーで評価します。コピーはKaldiの拡張レシピから、固定シードで作成します。
| 条件 | 作成方法 |
|---|---|
| 残響 | シミュレートした室内インパルス応答(RIRS_NOISES)。小部屋と中部屋が半々です |
| ノイズ | 15、10、5、0 dB SNRのMUSANノイズクリップ |
| 音楽 | MUSANの音楽トラック1つを15、10、8、5 dB SNRで加えたもの |
| バブル | MUSANの話者3〜7人を20、17、15、13 dB SNRで加えたもの |
ボードの見出しの値は、4つのテストセルの平均です。セルは、TIMITコアテストとBuckeyeテストで、それぞれクリーンとノイズありです。ノイズありのセルは、4つの劣化条件の平均です。特定の1セルでボードを並べ替えるには、ボード上部のメニューを使います。たとえばBuckeyeテストのノイズありを選ぶと、表にはそのセルのF1と誤り率だけが表示されます。
スコアの仕組み
この図は、1つのASR出力を3通りで採点します。図の下の段落で、それぞれを説明します。
20 msでの単語タイムスタンプF1は、単語ボードの順位を決めます。参照の各単語には、開始時刻と終了時刻があります。システムが同じ単語を出力し、その時刻をアノテーターの時刻から20 ms以内に置いた場合、その時刻をヒットとします。適合率は、システムの時刻に占めるヒットを数えます。再現率は、参照の時刻に占めるヒットを数えます。聞き誤った単語では、システムは2つの時刻を両方失います。そのためASRボードのスコアは、認識誤りとタイミング誤りをまとめて評価します。図の出力のスコアは0.45です。
単語MAEと単語境界F1は、境界の両側の単語が参照と一致する場合にだけ、その境界を採点します。そのため、多くの境界が採点から外れます。図では、単語MAEは境界のうち2つを採点して12.5 msとなり、20 msでの単語境界F1は0.15です。単語タイムスタンプF1は、各単語の開始と終了をそれぞれ採点します。直前の単語の終了と次の単語の開始のどちらかを、境界が選ぶ必要がありません。そのため、ポーズの多い自発音声に適しています。
20 msでの音素境界F1で、音素ボードを順位付けします。音素境界は、その両側の音素が参照と一致し、時刻がアノテーターの時刻から20 ms以内にあるとき、ヒットとなります。各システムは、それぞれ独自の音素セットでアライメントします。そのためFA-Benchは、採点の前に、システムの音素と参照の音素をTIMIT-39に対応付けます。音声だけから音素を返すASRはないため、音素の段には強制アライメントのボードしかありません。
各F1の横に、エラー率を示しています。MAEは、クリーンな音声での境界誤差の絶対値の平均で、単位はmsです。WERは単語誤り率、PERは音素誤り率で、どちらもパーセントです。
範囲と区間
FA-Benchは、固定のシードを使い、テスト発話を復元抽出で2,000回引き直します。ボード上のすべてのシステムが、同じ引き直しで評価されます。各平均F1の横の95%区間は、引き直し全体でのスコアの中央95%を含みます。たとえばASRボードでは、Google Chirp 2の平均F1は0.486で、区間は0.475から0.498です。
Rangeは、システムの順位の中央95%を示します。2つのシステムのRangeが重なる場合、これらのテストセットでは同順位です。 たとえばASRボードでは、CrisperWhisperのRangeは2–3、Google Chirp 3のRangeは2–3です。そのため、この2つは同順位です。
この区間は、これらの発話の標本抽出による変動を表します。話者が変われば、区間は広がります。Buckeyeテストの話者は8人です。
価格
価格の列は、各APIの音声1時間あたりの定価で、従量課金です。FA-Benchが呼び出したモデルとティアの価格で、2026年10月27日にベンダー自身の料金ページで確認しました。この列には無料枠とクレジットを含めず、ボリュームディスカウントも適用していません。ベンダーがバッチ呼び出しとリアルタイム呼び出しで料金を分けている場合は、FA-Benchが使った方の価格を記載しています。
オープンモデルはご自身のハードウェアで動作するため、1時間あたりの価格はありません。Olignの行には1時間あたり$0.18を記載しています。これはローンチ記念の価格です。定価は$0.21です。
システムとバージョン
APIの各行は、1つのAPIバージョンで呼び出した1つのモデルの結果です。表には、その両方と、FA-BenchがAPIを測定した月を記載しています。
| API | 呼び出したモデル | APIバージョン | 測定 | 最新 |
|---|---|---|---|---|
| Google Chirp 2 | chirp_2 | Speech-to-Text v2 | 2026年9月 | はい |
| Google Chirp 3 | chirp_3 | Speech-to-Text v2 | 2026年10月 | はい |
| Amazon Transcribe | en-US | バッチ、2017-10-26 | 2026年9月 | はい |
| AssemblyAI Universal-3.5 Pro | universal-3-5-pro | v2 | 2026年10月 | はい |
| Deepgram Nova-3 | nova-3、ビルド 2025-07-31.0 | v1 | 2026年9月 | はい |
| IBM Watson STT en-US | en-US large speech model | v1 | 2026年9月 | はい |
| Speechmatics Enhanced | enhanced、ビルド 16.0.0 および 16.1.0 | Batch v2 | 2026年9月 | はい |
| Azure AI Speech | en-US | Short audio REST v1 | 2026年9月 | はい |
| ElevenLabs Scribe v2 | scribe_v2 | v1 | 2026年10月 | はい |
| Qwen3-ASR-Flash | qwen3-asr-flash-filetrans | DashScope v1 | 2026年10月 | はい |
| Mistral Voxtral Mini | voxtral-mini-2602 | v1 | 2026年10月 | はい |
| ElevenLabs-FA | forced-alignment | v1 | 2026年10月 | はい |
DeepgramとSpeechmaticsは、すべてのレスポンスでビルドを明示します。それ以外のAPIは明示しません。
Currentは、APIが測定時と同じ応答を返す場合にYesとなります。FA-Benchは2026年10月27日にこれを確認しました。各APIに5つのテストクリップを再送し、すべての単語とすべての時刻を比較しました。9月以降に変化したAPIは2つありました。ElevenLabs Scribe v2は、一部の単語の時刻が20〜80 ms早くなっていました。AssemblyAIは、9クリップのうち2クリップで異なる単語を返しました。FA-Benchは両方を10月に再測定したため、ボードのすべての行は、各APIが現在提供しているモデルの結果です。
個別のシステムに関する注記
一部のシステム名の後ろにある印は、これらの注記を指しています。
- ⚠ MAPSとNeuFAは、FA-BenchのBuckeyeテストセットにいる8人の話者のうち7人で学習されています。そのため、Buckeyeテスト音声の大半は、学習に使われた話者のものです。
- ⚠ CrisperWhisperの作者は、単語タイミングの構築にTIMITを使用しましたが、どのTIMITファイルかは明らかにしていません。FA-BenchはTIMITのテストファイルで評価します。作者がそれらも使っていた場合、そのTIMITのスコアは、すでに学習済みの音声によるものです。
- ‡ クリーンなBuckeyeテスト発話のうち、Deepgramは24%、Chirp 3は15%で、最後の単語の終了時刻が音声の終了より0.3 s以上後になります。
- † NeMo-FAは80 msモデルで掲載しています。40 msモデルの方がスコアは高く、そのスコアはボードの注記に記載しています。
- FALCONには参照音素が与えられます。これは他のどのアライナーにも与えられないため、音素ボードからは除外し、そのボードの注記に名前を記載しています。
FA-BenchとArtificial Analysis
Artificial Analysisも、AA-WER v2スコアで音声テキスト変換APIをランク付けしています。表では、2つのベンチマークを並べて示します。各列は、そのベンチマークが自ら公開している情報に基づきます。
| FA-Bench | Artificial Analysis | |
|---|---|---|
| 評価対象 | 単語のタイミングと認識を、20 msでのF1で評価 | 単語誤り率 |
| テスト音声 | TIMITとBuckeye。誰でもライセンスを取得できる研究用コーパス | 非公開のAA-AgentTalkが50%、公開のVoxPopuliとEarnings22が50% |
| 単語タイムスタンプ | 人手のアノテーションに照らして採点 | 採点しない |
| 採点コード | GitHubで公開 | 非公開 |
| テキスト正規化器 | GitHubで公開 | 非公開 |
| 第三者による再実行 | 可能。TIMITとBuckeyeで実行できます | いいえ |
Artificial Analysisの詳細は、その方法論のページとAA-WER v2の発表によるもので、2026年10月11日に確認しました。
すべての数値を再現する
リーダーボードの数値は、どれもご自身で確認できます。採点コードとテストセットの作成手順はGitHubにあり、手法はarXivの論文で説明しています。各ボードの数値はCSVでも入手できます。お手元のTIMITとBuckeyeのコピーでシステムを実行し、FA-Benchで採点してください。
FA-BenchとOlignは、どちらもOlewaveが開発しています。OlignはFA-Benchに参加していないため、どのボードにもランク付けされていません。2026年10月の最後の結果は、各表の末尾にランク外として掲載しています。ボード上のすべてのシステムは、同じ公開コードで同じ人手のアノテーションに照らして採点しています。
次のステップ
- リーダーボードを見る
すべてのシステムを、区間とRangeとともに順位付けしています。 - GitHubでコードを入手する
同じ人手のアノテーションで、ご自身のシステムを採点できます。 - arXivで論文を読む
このページのすべてのスコアの元になった手法です。