mesh-llmの使い方|複数PCのGPUを束ねてローカルLLMを無料で分散実行する

要点 (30秒で読める答え): mesh-llmは、複数PCのGPUを1つのプールとして使い、1台ではVRAM不足の大型LLMを無料で分散実行するOSSです。curlの1コマンドで導入し、OpenAI互換APIはhttp://localhost:9337/v1から利用できます。

手元に古いゲーミングPCが2台ある。合わせれば大きなLLMが動くはずなのに、1台ではVRAMが足りない——。この悩みに正面から答えるのが mesh-llm だ。

mesh-llmとは、複数マシンの余剰GPUを1つのプールにまとめ、1台では載りきらない大規模言語モデルを分散実行できるオープンソースの推論プラットフォームです。OpenAI互換APIを持つので、いま使っているAIツールやエージェントの接続先を差し替えるだけで動く。料金は無料(OSS)。2026年5月時点でも開発は活発に続いている(編集部による公式リポジトリ確認日: 2026-05-25)。

ここで言うVRAMとは、GPUに積まれた専用メモリのこと。大きいモデルほど多くのVRAMを食う。だから「1台では足りない」が起きる。

この記事のポイント mesh-llmの仕組み・導入・複数PC接続を実コマンドで把握できる。複数PCのGPUをプールして大型LLMを無料で動かす分散推論ツール。

この記事の要点

  • mesh-llmの仕組みと、Ollama・LM Studioとの決定的な違い
  • インストールから最初のAPI呼び出しまでのコマンド一式
  • 複数PCをメッシュに繋ぐ手順(プライベート/パブリック)
  • 対応モデルと、必要なマシンスペックの目安
  • エージェント連携とBlackboard機能の使いどころ

30秒で結論

  • 料金: 完全無料(OSSソフトウェア、かかるのはGPUの電気代だけ)
  • 最大の強み: VRAMが足りなくても、複数PCでモデルを分割して動かせる
  • API: http://localhost:9337/v1(OpenAI 互換)
  • 対応モデル: Qwen3、GLM-4、DeepSeek、MixtralなどGGUF形式のモデル全般
  • 主な用途: 自宅サーバーでのプライベートLLM・エージェント実行基盤
  • Ollamaとの違い: マルチノード分散ができる(Ollamaは単一マシンのみ)

「無料で大型モデル」と聞くと裏がありそうだが、仕組みを知ると納得がいく。まずはそこから。

mesh-llmとは?仕組みをわかりやすく解説

mesh-llmは、Michael Neale氏(block/goose プロジェクトメンバー)が開発した分散LLM推論プラットフォームだ。MITライセンスのOSSとしてGitHubで公開されており、誰でも無料で使える。

発想そのものは単純である。1台のGPUではVRAMが足りずモデルが載らない。ならば複数台で割って動かせばいい——それだけだ。問題は「どう割るか」で、ここに技術的な工夫が詰まっている。

どのように分散するのか

mesh-llmは内部でllama.cppをベースにしており、モデルの種類に応じて分散方式を自動で切り替える。

モデル種別分散方式特徴
Denseモデル(LLaMA等)パイプライン並列レイヤーをノード間で分割
MoEモデル(Qwen3/DeepSeek等)エキスパートシャーディングエキスパートをノード間で分散、推論時のノード間通信なし
単一マシンで収まる場合ソロモードネットワーク経由の通信コストなし・最高速

MoE(Mixture of Experts、複数の専門家モデルを切り替えて使う方式)では、エキスパートをノード単位で配置することで、推論中のノード間通信を抑える設計ができる。注意したいのは、どのモデルがDenseでどれがMoEかは一律に決まらない点だ。同じシリーズでもサイズや派生で構造が変わる(例: Mixtral-8x7BはMoE構造、Qwen3・DeepSeek系列はサイズや派生によってDenseとMoEが混在)。採用前に各モデルの公式リリースノートで構造と分散対応の可否を確認しておくこと。

ゼロ転送ロード(Zero-Transfer Loading)

分散推論の弱点は起動の遅さだ。通常はモデルの重み(学習済みのパラメータ)をネットワーク越しに転送するため、立ち上がりに時間を食う。mesh-llmは各ノードがローカルのGGUFファイルから重みを直接読むので、ここが時間が劇的に短縮される。公式データでは モデルロード時間: 111秒 → 5秒トークンあたりのRPCラウンドトリップ: 558 → 8 という数字が出ている。起動が数十秒から数秒になる、と考えればいい。

仕組みがわかれば、次に気になるのは財布の話だ。

mesh-llmの料金

mesh-llmはオープンソースソフトウェアで、ソフトウェア自体は完全無料だ。

項目内容
ソフトウェアライセンスOSS(無料)
クラウドAPI費用¥0(ローカル実行のため)
必要なコストGPU搭載PC(既存マシン活用可)+電気代
パブリックメッシュ参加無料(他者のGPUを借用)
プライベートメッシュ無料(自分のPCのみで構成)

クラウドAPIと比べると差は大きい。GPT-4oClaude のAPIを使い続ければ、個人でも月数千円〜数万円は飛んでいく。mesh-llmは一度セットアップすれば、ランニングコストは電気代だけだ。

ただし「無料」には条件がある。プライバシーの観点では、プライベートメッシュ(自分の管理下のノードだけで組んだ場合)に限り、データが外に出ない運用が成立する。パブリックメッシュは話が別だ。Nostrリレー経由で第三者のGPUノードに推論を投げる構成なので、プロンプトと応答が信頼境界の外を通る。機密情報を扱うなら、必ずプライベートメッシュで運用すること。ここは妥協できない。

料金の話が片付いたら、実際に手を動かす番だ。

インストール方法(macOS・Linux)

mesh-llmのインストールは1コマンドで終わる。対応はmacOSとLinux(Windowsはソースビルドが必要)。以下のコマンドは編集部が2026-05-25時点で公式リポジトリのREADMEを参照して整理したものだ。配布形態やパスは変わることがあるため、実行前に必ず 公式GitHubリポジトリ の最新READMEを確認し、失敗したらREADME記載の代替手順(Homebrew・ソースビルド等)に切り替えてほしい。

ワンライナーインストール

curl -fsSL https://github.com/michaelneale/mesh-llm/releases/latest/download/mesh-bundle.tar.gz | tar xz \
  && mkdir -p ~/.local/bin \
  && mv mesh-bundle/* ~/.local/bin/

GPU 確認

mesh-llm gpus

インストールが終わったら、まず自分のマシンが認識しているGPUを確認する。NVIDIA・AMD・Vulkan・CPUのどれでも動く(MetalはmacOS専用)。

最速スタート(1コマンド)

mesh-llm serve --auto

このコマンド1つで、以下が自動で走る。

  1. 自分のハードウェアに最適なバックエンドを選択
  2. 適切なモデルをダウンロード(初回のみ)
  3. 最適なパブリックメッシュに参加
  4. OpenAI 互換 API を http://localhost:9337/v1 で公開
  5. ウェブコンソールを http://localhost:3131 で起動

特定モデルを指定して起動

# Qwen2.5-32B(大型モデル)
mesh-llm serve --model Qwen2.5-<mark>32B</mark>

# 小さいモデルで試す場合(約2GB)
mesh-llm serve --model Qwen2.5-<mark>3B</mark>

利用可能なモデルを確認

curl -s http://localhost:9337/v1/models | jq '.data[].id'

実際に API を叩く

curl http://localhost:9337/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "GLM-4.7-Flash-Q4_K_M",
    "messages": [{"role": "user", "content": "こんにちは!日本語で答えてください。"}]
  }'

ここまでは1台で完結する話だ。mesh-llmの本領は、ここから2台目を繋いだときに出る。

複数PCをメッシュに接続する方法

mesh-llmの真価は、複数マシンを繋いで1台では動かせないモデルを走らせることにある。手順自体は拍子抜けするほど短い。

プライベートメッシュの作成(2台目以降を接続)

# 1台目のマシンで起動(トークンが表示される)
mesh-llm serve --model Qwen2.5-32B
# 出力例: mesh invite token: eyJhbGciOiJIUzI1NiIsInR5cCI6...

# 2台目のマシンで参加
mesh-llm serve --join <1台目が表示したトークン>

# 3台目、4台目も同様に --join で参加

2台目以降が参加すると、mesh-llmが分散方式を自動で選んでモデルを分割実行する。VRAMが多いノードには、より多くのレイヤーが割り当てられる仕組みだ。台数を増やすほど、載るモデルも大きくなる。

パブリックメッシュへの参加

# GPUノードとして参加
mesh-llm serve --auto

# GPUを持たないクライアントとして参加(API利用のみ)
mesh-llm client --auto

パブリックメッシュでは、Nostrリレー経由で他のノードを自動で見つける。地域・VRAM量・ヘルスチェックをスコアリングして最適なメッシュに勝手に参加してくれるので、手動設定はいらない。

需要対応型リバランシング

mesh-llmには、需要に応じてノードを割り当て直す機能がある。

  • あるモデルへのリクエストが増えると、スタンバイノードが自動でそのモデルを引き受ける
  • ノードが落ちても60秒以内に別ノードが代替
  • ゴシッププロトコルで全ノードに需要マップを伝播

つまり、放っておいても負荷の偏りや故障をある程度は吸収する。次に、どのモデルがどのスペックで動くのかを見ていく。

対応モデルと推奨スペック

推奨モデル一覧(2026年5月時点・公式リポジトリ参照)

モデルVRAM必要量用途分散対応
Qwen3-32B20GB+(Q4量子化目安)高精度・多言語✅(構造別の対応可否はモデル公式情報で要確認)
Qwen2.5-32B20GB+汎用高精度
GLM-4.7-Flash8GB高速・日本語OK
DeepSeek-V3公式仕様を要確認(総パラメータ規模が大きく、量子化形式により所要VRAMが大幅に変動)最高精度✅ 複数ノード必須・編集部未検証
Mixtral-8x7B48GB+MoE・高速✅ MoEシャーディング
Qwen2.5-3B2GB軽量・テスト用— ソロモード

GGUF形式でllama.cppが対応するモデルなら、ほぼすべて動く。

マシンスペック目安

台数とVRAM合計で、どこまでのモデルに手が届くかが決まる。

構成VRAM合計動かせるモデル
1台(RTX 3090 ×1)24GBQwen2.5-14Bまで
2台(RTX 3090 ×2)48GBMixtral-8x7B、Qwen2.5-32B
3台(RTX 4090 ×3)72GBDeepSeek-V3 Q4程度
4台(RTX 4090 ×4)96GB中型〜大型モデルの多くに対応(DeepSeek-V3等の超大型モデルは量子化条件次第で可否が変わるため公式情報を要確認)

CPUのみでも動くが、速度はGPU環境よりかなり落ちる。個人利用で7B〜14BモデルならCPUでも実用に耐える速度が出る。それ以上を狙うならGPUは前提だと思っておくといい。

ここまでで「動く」は確認できた。では、似たツールと比べてどこを選ぶ理由になるのか。

Ollama・LM Studioとの比較

mesh-llmの立ち位置をはっきりさせるため、定番のローカルLLMツールと並べてみる。

項目mesh-llmOllamaLM Studio
マルチノード分散
OpenAI互換API✅ localhost:9337✅ localhost:11434✅ localhost:1234
GUIウェブコンソールなし(CLI)充実
インストールの簡単さ★★★★(1コマンド)★★★★★★★★(インストーラー)
Windows対応ソースビルドのみ
VRAM不足への対応✅ 複数台で分散
エージェント連携✅ Blackboard機能
対象ユーザー上級者・複数PC保有者初心者〜中級者初心者〜中級者

表を一言でまとめると、棲み分けははっきりしている。Ollamaは「1台のマシンで手軽に動かす」のが得意で、これに勝てるツールはそうない。mesh-llmは「複数台を持っていて、もっと大きなモデルを動かしたい」という一点に特化している。だから初めてローカルLLMを触るならOllamaから入るのが無難で、規模を上げたくなった段階でmesh-llmに移る——これが現実的なルートだ。

単に動かすだけでなく、AIエージェントの実行基盤として使えるのもmesh-llmの売りだ。

エージェント連携とBlackboard機能

エージェント群と共有Blackboardが連携する構成

複数のエージェントが共通のBlackboardを介して状況を共有する、という構成イメージだ。

mesh-llmは、OpenClaw、goose、pi、opencodeといったOpenAI互換エンドポイントに対応するエージェントツールと、そのまま繋がる。やることはエンドポイントを http://localhost:9337/v1 に変えるだけ。

gooseとの連携例

# goose の設定で OpenAI エンドポイントを変更
export OPENAI_BASE_URL="http://localhost:9337/v1"
export OPENAI_API_KEY="mesh-local"  # 任意の文字列でOK
goose run

Blackboard(エージェントゴシップ)機能

mesh-llmには Blackboard という独自機能がある。メッシュ上で複数のエージェントや人間が、作業状況・調査結果・質問などを書き込んで共有できる掲示板だと思えばいい。

# Blackboardに投稿(GPU不要)
mesh-llm board post "タスクA完了: X APIの認証が通った"

# Blackboardを読む
mesh-llm board read

# MCP経由でエージェントから利用することも可能

注意点が1つ。パブリックメッシュでは投稿が参加者全員に見えてしまう。だからBlackboardはプライベートメッシュ内で使うのが基本だ。自分のエージェント同士で進捗を共有したり、複数エージェントが手分けしてタスクを進めたり、といった使い方に向く。

投機的デコーディング(Speculative Decoding)

mesh-llmはスペキュラティブデコーディングに対応している。小さなドラフトモデルがトークン候補を先に作り、大きなモデルがそれをまとめて検証することで、生成を速くする手法だ。公式データではコードタスクで+38%のスループット改善を確認している。カタログから自動で検出されるので、設定は不要だ。

実際に動かしながら状態を眺めたいなら、ブラウザで開けるコンソールがある。

ウェブコンソールの使い方

メッシュ構成とVRAM使用状況を俯瞰する管理コンソール

どのノードがどのモデルを担当し、VRAMをどれだけ食っているかを一画面で見渡せる管理コンソールだ。

起動後、http://localhost:3131 でこのウェブコンソールに入れる。できることは以下の通り。

  • メッシュトポロジーの可視化: どのノードがどのモデルを担当しているかをリアルタイム表示
  • VRAM使用率のモニタリング: 各ノードのメモリ使用量をバー表示
  • モデルピッカー: 利用可能なモデル一覧から選んでチャット
  • ビルトインチャット: APIを叩かなくても、画面上で直接対話できる

これらの情報はすべてJSONエンドポイントから取れるので、自分好みのダッシュボードを組むこともできる。

ここまで機能を一通り見たうえで、公開情報をもとに率直な評価を置いておく。

編集部の検証メモ

mesh-llmを含むローカルLLM実行基盤を整理するにあたり、編集部は「分散実行の可否」「セットアップの難易度」「API互換性」の3点を評価軸に据えた。公開ドキュメントとGitHubリポジトリの記載をもとに比較検討している。

公開情報から主要ツールを並べると、それぞれの性格がくっきり分かれる。

  • mesh-llm: 複数マシンのGPUをメッシュ接続して分散推論ができる。OpenAI互換API、GGUF対応、MITライセンス。CLI中心でやや上級者向け。
  • Ollama: 単一マシン内で完結。インストールが最も簡単で、GUI/CLI両対応。分散推論には非対応。
  • LM Studio: デスクトップGUIが充実。モデル管理は直感的だが、商用利用は利用規約の最新版を要確認。
  • llama.cpp: mesh-llmの基盤技術。直接使えば柔軟性は高いが、その分セットアップの手間が大きい。

日本語の応答品質はモデル側(Qwen3、GLM-4など)に左右されるので、ツール選びには影響しない。料金もソフトウェア自体はいずれも無料で、差はGPUの電気代とセットアップの工数に集約される。

公式仕様から判断する限り、編集部の総合判断はこうだ。

  • 手元に複数の旧GPU PCがある人 → mesh-llm。VRAM不足を分散でカバーできる唯一の選択肢。ここは一択だ。
  • 1台のPCで手軽に試したい初心者 → Ollama。ワンコマンドでモデルが動く手軽さは圧倒的。
  • GUIでモデルを比較したい人 → LM Studio。利用規約は公式サイトの最新情報を参照のこと。

よくある質問

Q. mesh-llmはWindowsでも使えますか?

公式バイナリは macOS と Linux のみ提供されています。Windows では CUDA・ROCm・Vulkan・CPU 向けのソースビルドに対応しており、GitHub の README に手順が記載されています。必要なツールは justcmake、Rust ツールチェーン、Node.js 24+npm です。

Q. GPUがないPCでも使えますか?

はい、使えます。mesh-llm client --auto コマンドでクライアントノードとして参加すれば、GPU のない PC でも API エンドポイントを利用できます。Blackboard 機能も GPU なしで使えます。ただし推論計算そのものはメッシュ上の GPU ノードが担います。

Q. Ollamaとmesh-llmを同じマシンで共存させられますか?

はい、ポートが異なるため共存できます(Ollama: 11434、mesh-llm: 9337)。ただし、同じモデルを両方でロードすると VRAM の取り合いになるので注意してください。

Q. どのくらいのインターネット回線速度が必要ですか?

プライベートメッシュ(自宅LAN内)なら、ギガビットイーサネット(1Gbps)以上が目安です。ゼロ転送ロード設計のため、モデルの重みはネットワーク経由では転送せず、各ノードのローカルストレージから読み込みます。ただし初回のモデルダウンロードは各ノードで個別に行う必要があります(Qwen2.5-32B で約20GB)。

Q. セキュリティ面での注意点は?

mesh-llm serve --auto でパブリックメッシュに参加すると、Blackboard の投稿が他の参加者に見える場合があります。機密情報を扱うならプライベートメッシュのみで運用してください。ローカル API(localhost:9337)はデフォルトでローカルホストからのみアクセス可能で、外部には公開されません。

Q. どのモデルが日本語に強いですか?

2026年時点では GLM-4.7Qwen3シリーズ が日本語品質で頭ひとつ抜けており、mesh-llmでの分散実行にも対応しています。特にGLM-4.7-Flashは 8GB のVRAMで動くため、単一GPUでも試しやすいモデルです。

Q. スペキュラティブデコーディングを有効にするには?

特別な設定はいりません。モデルカタログに対応するドラフトモデルが含まれていれば、mesh-llm が自動的に検出して有効化します。無効にしたい場合は --no-speculative フラグを使ってください。

mesh-llmはこんな人に向いている

向いている人:

  • 自宅に複数台のGPU搭載PCを持っている
  • APIコストを削減したい
  • 機密データをクラウドに送りたくない
  • 大型オープンソースモデル(DeepSeek・Qwen3等)を動かしたい
  • エージェント実行基盤をローカルで構築したい

向いていない人:

  • PCが1台しかなく、Ollamaで十分な用途
  • Windowsメインでソースビルドが難しい
  • 手軽なGUIツールが欲しい(LM Studioの方が向いている)
  • 技術的なセットアップが苦手な初心者

mesh-llmは 2026年4月現在も活発に開発中で、GitHubのスター数は急増している。「手元のリソースで、できるだけ大きなモデルを動かす」という割り切ったニーズに刺さるツールだ。眠っているGPUがあるなら、試す価値は十分にある。

関連記事