Ollamaの発表内容

Ollamaは、Liquid AIが開発したモデル群「LFM3」の提供を開始しました。どこでも動作するように設計された小型モデルで、手元の環境で実行できます。

「LFM3」は、テキスト、画像、音声、複数のデータを同時に扱うオムニ、意思決定の各モデルを揃えています。このうちテキストモデルは、4ビットの圧縮形式で約1GBの容量に収まります。

一度に処理できる情報量を表すコンテキスト長は256Kです。大容量のデータを読み込める仕様を備えながら、1台のGPU (計算処理を行う半導体) だけで追加の学習や微調整を行えます。

これにより、高価なサーバーを用意することなく、手元の端末で用途に合わせたAIモデルを調整して利用できます。通信を行わない手元のパソコンだけで、各種の処理を実行できます。

つまり、どういうこと?

ざっくり言うと、普段使っているノートパソコンでも軽快に動く、超小型のAIが手に入ったということです。

たとえるなら、大型の重機が必要だった作業を、手持ちの使いやすい電動工具ひとつでこなせるようになる変化です。テキストモデルなら約1GBという小さなサイズで収まり、1台のGPUがあれば手元で自分好みに調整できます。

編集部の見方

テキストモデルが約1GBに収まる軽さには、筆者もかなり驚きました。これなら高性能な専用サーバーを用意しなくても、手元のパソコンで十分に試せます。1台のGPUで微調整まで完結する手軽さも重宝しそうです。

驚くべき小ささ。

ただ、業務で使うなら、画像や音声といった各モデルが日本語でどこまで正確に動くかが次の判断基準になりそうです。まずは手元の端末で軽量なテキストモデルを動かし、実務で使える応答速度が出るかを試すのが良さそうです。

秋にかけて各社から小型モデルの発表が続く中で、この「LFM3」が日本語のベンチマークテストでどの程度の数値を出すかを確かめたいです。

誰に関係するか

手元のパソコンでAIを動かしている人は、1台のGPUを使って約1GBの軽量なモデルを自社向けに微調整できるようになります。