UI-TARS Desktopは、ByteDanceがGitHubで公開している、自分のPCをAIに操作させるためのデスクトップアプリです。
視覚言語モデル（VLM）のUI-TARSやSeedシリーズを使い、画面のスクリーンショットを認識しながらマウスとキーボードを操作します。「VS Codeの自動保存をオンにして」「GitHubで最新のIssueを確認して」のように文章で指示すると、アプリの設定変更やブラウザ操作を順に実行し、進み具合をリアルタイムで表示します。
主な機能
- 自然言語の指示によるPC操作（ローカルのコンピューター操作）
- Chrome・Edge・Firefoxを操作するBrowser Operator
- スクリーンショットと画像認識による画面理解
- マウスとキーボードの精密な操作
- WindowsとmacOSに対応したアプリ
同じリポジトリでは、CLIとWeb UIで動く汎用のマルチモーダルエージェント「Agent TARS」も公開されており、MCPでさまざまなツールとつなげられます。
アプリはApache License 2.0のオープンソースで無料です。ただし動かすには、Hugging FaceやVolcEngineにデプロイしたUI-TARSモデルのBase URL、APIキー、モデル名を設定する必要があり、モデルの実行費用は別にかかります。以前無料で試せたリモート操作サービスは終了しています。マルチモニター環境では一部のタスクが失敗することがあり、macOSではアクセシビリティと画面収録の権限付与が必要です。
