AIに月10万稼がせる珍案と独自ベンチマーク

ポッドキャスト番組「おちつきAIラジオ」にて、AIエンジニアのしぶちょーと、かねりんによる深掘りトークが配信された。次々に新モデルが登場する昨今、周囲の喧騒に惑わされず進化を冷静に見極めるための「自分専用AIベンチマーク」の作り方が語られた。

旋盤ゲームで測る独自指標

しぶちょーは自身の手法として「旋盤ゲームベンチ」を紹介した。工作機械の旋盤を題材に「旋盤のゲームを作ってください」と一言指示し、HTMLベースのゲームを作成させる定性評価だ。削りカスの描画やゲーム性で性能差を定点観測してきたが、AIの進化で「機能しなくなるほど頭打ちになってきた」と現状を明かす。

月10万稼ぐ珍提案にしぶちょー困惑

これに対抗するかねりんは「月10万円稼いできてください」という大胆なプロンプトを提案。しぶちょーは苦笑しつつ「30分ほどで試せるのが良いベンチマーク」とツッコミを入れた。結果が出るまでに何週間も要するお題では、モデルの実力差が測れなくなると指摘する。

短時間と専門領域が鍵

しぶちょーは短時間で回せる点や一目で結果が分かる点に加え、自身の専門分野をテーマにする重要性を強調。AIの進化を正しく捉える「自分だけの物差し」作りに、かねりんも感銘を受けていた。