UI-TARS Desktopは、画面のスクリーンショットを視覚言語モデル(VLM)で認識し、マウスとキーボード操作によってPCやブラウザを制御するデスクトップアプリです。

視覚認識によるGUI操作とリモート実行機能

ローカル環境の操作に加え、設定不要で利用できる「Remote Computer Operator」および「Remote Browser Operator」を提供します。文章による指示をもとに、画面要素を直接特定してクリックやキー入力を実行します。WindowsとmacOSに対応し、macOSではアクセシビリティと画面収録の権限が必要です。

TARSスタックへの拡張とAgent TARS

単体デスクトップアプリにとどまらず、マルチモーダルエージェント基盤「TARS」の一部として構成されています。同基盤に含まれる「Agent TARS」はCLIやWeb UIで動作し、DOM・GUIのハイブリッドブラウザ操作や、MCP(Model Context Protocol)ツール連携によるタスク実行に対応します。

ライセンスと公開状況

コードはApache License 2.0で公開されています。GitHubリポジトリは2026年11月9日付でアーカイブされ、読み取り専用です。ローカルで動作させる際は、UI-TARSなどのモデルAPIエンドポイントや認証情報を設定します。