wav2vec2日本語検証と実時間3倍の遅延

ポッドキャスト番組「寄り道AI砂場」にて、MLエンジニアの戸田が音声認識モデル「wav2vec2」をC++で動かす「wav2vec2.cpp」の日本語検証結果を語った。Pythonを使わずローカル環境で実行する試みについて、精度や速度のリアルな検証結果を明かしている。

ビルドの苦戦と認識精度の検証

戸田は日本語対応モデルとFLEURSデータを用いて検証を実施。導入部では公式ブログ記載のモデルリンクが404エラーだった点や、macOS環境でのビルドオプション不足など、試行錯誤の連続となった経緯を振り返る。

ビルド成功後に量子化誤差を測定したところ、8bitではほぼ誤差がなく、4bitでも約8%とおおむね公表値を再現した。一方で実務で重要な認識精度については「キャラクターエラーレート28%はあまり良い精度ではない」と吐露。英語以外でWhisperより優れるという説に対し、「日本語では強いとは限らない」との見解を示した。

想定外の大幅な遅延と原因究明

さらに直面したのが推論速度の課題だ。公式ブログではRTF0.32と高速化が謳われていたが、実機ではRTF3を記録。「10秒の音声に約30秒かかる」と実時間の3倍もの処理時間を要したという。

戸田は特徴量を抽出する前段モジュールがシングルスレッド動作していた可能性を指摘。試行錯誤の詳細や設定は技術情報共有サイト「Zenn」の記事にまとめていると締めくくった。