GitHub Copilotの発表内容
GitHubは、「GitHub Copilot」のPC向けアプリにおいて新機能の提供を開始しました。複数の作業を一括管理する機能や、PCの画面を直接操作する機能が公開プレビューとして加わりました。
業務管理機能では、作業の目的と資料を登録すると、複数の自律型エージェント (自律して動くプログラム) が背景で作業を進めます。チャット内での画像生成に加えて、「Slack」や「Figma」の情報を参照した仕様書の作成もできます。
画面操作機能は、macOSとWindowsに対応します。外部連携の仕組みを持たないソフトでも、画面情報を読み取って文字入力やボタン操作を代行します。企業管理者が機能を無効化できるほか、操作の実行前には利用者の承認を求めます。
経費精算の処理など、複数のソフトをまたぐ定常業務を自動化できます。利用者は結果の確認に集中できるため、日々の事務作業にかかる負担を軽減できます。
つまり、どういうこと?
ざっくり言うと、PCの画面を見ながら代わりにマウスやキーボードを操作してくれる助手ができたようなものです。
これまでは専用の連携機能がないソフトの自動化は困難でした。今回の機能により、経費精算ソフトを開いて数値を打ち込むといった手作業も、画面を見てそのまま代行してくれます。
編集部の見方

開発者向けだったツールが、経費精算のような一般事務の領域へ踏み出してきた点にかなり驚きました。APIの有無を問わずに画面を直接操作する力技には感心しました。
コード支援からの脱却。
ただ、画面のボタンを認識して動かす仕組みは、配置のズレなどで止まる場面がまだまだ多そうです。企業で導入するなら、まずは誤操作のリスクが低い作業から試すのが無難だと思います。
一方、日々の転記作業に追われている人なら、定常業務を任せる有力な選択肢になりそうです。筆者としては、次回の機能更新で操作の安定性と対応ソフトがどこまで広がるかを見届けたいところです。
誰に関係するか
PCで経費精算などの定常作業を行っている人は、複数ソフトの画面操作やデータ入力を自動で処理できるようになります。


