パソコンで無制限に動かせるローカルLLMの利点

ポッドキャスト番組「ちえラジ Chat ポッドキャスト版」の最新回が配信された。 今回は「はんなりプログラミングの会」などのイベントでも話題の、パソコン上で動作する「ローカルLLM（大規模言語モデル）」の可能性について語った。

実用的なローカルLLMの実力

ChatGPTなどの商用クラウドAIに比べると、ローカルLLMは規模が小さいため性能面では劣る。 しかし、ウェブサイトの記事を要約するなどの処理は十分にこなせる。 「1、2年前のクラウドAIと同等の性能はある。結構実用的に使える」と太鼓判を押した。

費用を気にせず無制限に活用

最大の強みは、開発中のプログラムから機能を呼び出すようにAIを稼働できる点だ。 クラウドAIを利用すると遅延や累積コストが負担になるが、ローカルLLMは自身のパソコン上で動作するため、何度呼び出しても追加の費用は不要となる。 「何度も呼び出せるのが利点。もっと活用してみたい」と展望を語る。

AIによる情報収集の効率化

情報収集の効率化アイデアも提示された。 ポッドキャストやブログの更新をすべて追うのは困難だが、AIに要約を作成してもらい、必要な部分だけを読むという運用を提案。 こうした工夫で自身の活動範囲を広げていきたいと締めくくった。