無音で感謝するAI音声認識の謎に迫る

IT企業のMLエンジニア・Takamichi Toda氏が、ポッドキャスト番組「寄り道AI砂場」で、AI音声認識の「ハルシネーション（幻覚）」に関する検証結果を語った。

何も発話していない無音状態で「ご視聴ありがとうございました」等の字幕が出力される現象について、その発生メカニズムを詳細に解説した。

賢いモデルほど流暢に嘘を吐く

代表的な音声認識モデル「Whisper」を用い、非音声への挙動を検証。高精度なモデルに無音を渡すと、きれいに「ご視聴ありがとうございました」とハルシネーションが起きた。

「大きいモデルほど流暢にハルシネーションする」と指摘し、言語の自動判別でウェールズ語の感謝が出力された事例も紹介。学習データの字幕に起因する可能性を示唆した。

なぜ無音の幻覚は防げないのか

モデルが無音を認識しつつも、生成テキストへの確信度が高すぎて抑制パラメータをすり抜ける仕組みを解説。

解決策として発話区間を検出するVADなどの導入を提案した。「声がない区間はAIに渡さない」フィルターが有効だが、咳や笑い声を誤検出する懸念もあり、特定の文言を除外するフィルターとの併用が実務では必要になると結論づけた。