Open-LLM-VTuberは、Live2Dのアバターを持ち、リアルタイムの音声会話と視覚認識ができるAIコンパニオンを自分のPCで動かすためのオープンソースソフトです。もともとはクローズドなAI VTuber「neuro-sama」を、オフラインで動くオープンソースの組み合わせで再現する目的で始まりました。

主な機能

  • 音声・テキストでの会話：ヘッドホンなしでも自分の声を拾わずに会話でき、話の途中で割り込めます。AIが自分から話しかける機能もあります
  • 視覚認識：カメラ、画面録画、スクリーンショットでAIにあなたや画面を見せられます
  • Live2Dの表情とタッチ反応：感情に合わせて表情が変わり、クリックやドラッグに反応します
  • デスクトップペットモード：背景を透明にして常に手前に表示し、画面上の好きな場所に置けます
  • 会話履歴の保存：以前の会話にいつでも戻れます。長期記憶機能はREADMEでは一時的に外されていると案内されています

対応するモデル

LLMはOllama、OpenAI互換API、Gemini、Claude、Mistral、DeepSeek、LM Studio、vLLMなど、音声認識はsherpa-onnx、Faster-Whisper、Whisper.cppなど、音声合成はMeloTTS、GPTSoVITS、CosyVoice、Edge TTS、Fish Audioなどから選べます。ローカルモデルだけで動かせばネットに接続せずに使え、会話内容が手元から出ません。

料金と注意点

Windows、macOS、Linuxで動き、Web版とデスクトップクライアントがあります。本体はMITライセンスで無料ですが、同梱のLive2Dサンプルモデルは別ライセンスで、企業の商用利用には追加の許諾が必要になる場合があります。開発チームはコードを全面的に書き直すv2.0に注力しており、v1は不具合修正が中心です。導入には設定ファイルの編集などPCの知識が要り、別のPCやスマホから使うにはhttpsの設定も必要です。