Macで動かすローカルLLMの実力と運用の工夫

ポッドキャスト番組「寄り道AI砂場」にて、IT企業でリサーチエンジニアを務める戸田氏がローカルLLMの実証実験を語った。クラウド型AIエージェントのトークン消費に悩んでいた同氏は、私物のMacBook上でモデルを動かし、業務の一部を任せる試みに着手したという。

繰り返すループと直面した3つの壁

実験では270億パラメータのモデルを量子化し、アプリ開発や調査タスクなどを検証した。だが、複雑な指示を与えると数分間フリーズし、作業を最初からやり直すループ現象に見舞われた。

原因を調べたところ、1回の出力上限が8000トークンで指示が途切れ、失敗扱いとなっていたことが判明。さらに会話履歴の圧縮による記憶喪失や、Macのメモリ枯渇による停止も重なっていたと振り返る。

1ターンごとの分割で劇的改善

そこで出力上限を引き上げるとともに、指示ファイルへ「大きなファイルは80行ずつ分けて記述する」ルールを追加。1ターンで確実に完了できる分量に仕事を区切る工夫により、コンテキスト長の節約やエラーの迅速な検知を実現した。

戸田氏は「感覚としてはGPT-4並みにこなしてくれる」と太鼓判を押す。最新鋭のクラウドモデルには及ばないものの、課金なしで手元で動く利点は大きく、設定次第で十分に実用可能だと手応えを語った。