FA-Benchリーダーボード · github.com/olewave/fa-bench · arXivの論文

IBMのGranite Speech 4.1 Plusが、2026年11月5日にFA-Benchの単語タイムスタンプ付きASR部門のリーダーボードに加わりました。20 msでの単語タイムスタンプF1は0.489で、95%区間は0.477から0.500です。 Google Chirp 2は0.486で、区間は0.475から0.498です。2つの区間は重なり、順位の範囲もどちらも1位から2位です。そのため、17システムの中で両者が首位を分け合っています。

Granite Speech 4.1 Plusは、Apache License 2.0のオープンモデルです。自分のGPUで動かすため、ボードには価格が表示されません。ボードに載っているGoogle Chirp 2の料金は、音声1時間あたり$0.96です。

それぞれが上回る場面

Granite Speechは、TIMITの読み上げ音声で高いスコアを出しています。クリーンな音声では0.597対0.488、ノイズを加えた音声では0.531対0.497です。Chirp 2は、Buckeyeの会話音声で高いスコアを出しています。クリーンでは0.492対0.450、ノイズありでは0.469対0.379です。

ボードに載るまでの経緯

IBMは、FA-Benchのオープンソースコードに向けてGranite Speech用のアダプターを提供しました。アダプターはプルリクエスト #23として届きました。Zvi Konsによるコミットが付いており、クリーンな音声でのIBM自身のスコアが記載されています。その後FA-Benchは、20のテストセルすべてを自社のGPUで再実行しました。どのセルもIBMの数値から0.012 F1以内に収まりました。ボードに載っているのはFA-Benchの実行結果です。

プルリクエストによると、このモデルのタイムスタンプの学習にはTIMITの学習用分割のみが使われ、Buckeyeの音声は使われていません。そのため、FA-BenchのTIMITとBuckeyeのテストセットは、モデルの学習から切り離されています。モデルは各単語の終わりを10 msの格子上に置き、各単語は直前の単語が終わる位置から始まります。

FA-Benchのスコアの付け方

音声を入力すると、時刻付きの単語が出力されます。単語の開始と終了は、それぞれ言語学者が手作業でラベル付けした境界の20 ms以内に収まれば、1つの正解として数えます。聞き間違えた単語は、開始と終了の両方で減点されます。テストセットは、TIMITのコアテストとBuckeyeのテストです。どちらもクリーンな音声と、残響、ノイズ、音楽、バブルノイズを加えた音声を使います。

ご協力いただいたZvi Konsさんと、IBM Granite Speechチームに感謝します。ASRシステムやアライナーをお持ちですか。アダプターを添えてプルリクエストを送ってください。FA-Benchがすべてのテストセルを再実行し、結果を公開します。

OlewaveはFA-BenchとOlignの両方を開発しています。そのため、Olignは順位を付けずに表の最下部に掲載しています。