小型モデルBosunのMac再現実験での落とし穴

ポッドキャスト番組「寄り道AI砂場」の最新回が配信された。今回は、ナレッジグラフのエッジを判定する0.6Bの小型ジャッジモデル「Bosun」の公表値を、手元のMacで再現した検証について紹介する。

小型モデルBosunの再現検証

Bosunは「ルールを1文で与えると、そのルールに従って判定できる」という特徴を持つ。番組では、公開ベンチマークのWarrantBench、データセット、モデルの重みを使って検証を行った。

再現実験で直面した落とし穴

当初の実験では公表値を大きく下回る結果となったが、原因を探る中でモデルのバージョン違いを発見。さらに、MPS（Metal Performance Shaders）環境でのバッチ推論においてスコアが破損する問題を特定し、これらを順番に切り分けた。

小型モデルの評価における再現実験ならではの落とし穴を解消した軌跡が語られている。なお、実験の数値や設定、コードの詳細はZennにまとめられている。