Claude CodeにComputer Useが搭載！CLIでビルドからUI操作まで自動化できる新機能を徹底解説

2026年3月、AnthropicはCLIベースのコーディングツール「Claude Code」にComputer Use機能をリサーチプレビューとして搭載しました！

ターミナルからコードを書き、そのままGUIアプリを起動して操作し、スクリーンショットで結果を確認するといったこれまで人の手が必要だった「画面を見て、クリックして、確かめる」という作業を、Claude Codeのセッション内で一気通貫で実行できるようになりました。

本記事では、Claude Code Computer Useの仕組みや使い方、開発ワークフローへの組み込み方を徹底的に解説します。

ぜひ最後までご覧ください！

Claude Code Computer Useとは？

Claude Code Computer Useは、Anthropicのエージェント型コーディングツール「Claude Code」に組み込まれた、macOSのデスクトップをCLIセッションから直接操作できる機能です。

具体的には、Claude Codeが画面上のアプリケーションに対してマウスクリック、キーボード入力、スクロールといった操作を実行し、スクリーンショットを通じて操作結果を視覚的に確認することができるものとなっています。

最大の特徴は、コーディング作業とGUI操作がシームレスにつながる点にあります。例えば、Swiftでメニューバーアプリを書き、xcodebuildでコンパイルし、完成したアプリを起動して各コントロールをクリックして検証するといった一連のフローが、ターミナル上の1つの会話のなかで途切れることなく進みます。

公式ドキュメントでは、Computer Useが特に活躍してくれるシーンとして以下の4つが挙げられています。

2026年4月1日時点ではmacOS限定のリサーチプレビューであり、Claude Code v2.1.85以降、ProまたはMaxプランの契約が必要です。

Claude Computer Use（デスクトップ版）との違い

両者は同じComputer Useエンジンを共有していますが、利用形態と想定ユーザーが異なります。

3月24日にAnthropicが発表したClaude Computer Use（デスクトップ版）は、Claude Desktopアプリの設定画面からトグルひとつで有効化するGUIベースの機能です。iPhoneのDispatchアプリと連携し、外出先からMac上のClaudeにタスクを割り当て、帰宅後に完了済みの作業を確認するといった非同期ワークフローが売りとなっています。対象ユーザーは開発者に限らず、ビジネスパーソンや非エンジニアを含む幅広い層です。

一方、今回公開されたClaude Code版Computer UseはCLI環境に特化しています。/mcpコマンドからcomputer-useサーバーを有効化し、ターミナルでの開発作業の流れのなかでGUI操作を呼び出す形をとります。

コードの記述→ビルド→GUI検証→修正といったサイクルを1つのセッション内で完結させることに最適化されており、開発者向けの設計思想が色濃く反映されています。

両者の機能差は以下の通りです。

デスクトップ版について、詳しく知りたい方は以下の記事も参考にしてみてください。

WEEL

【Claude Computer Use】自動化革命！マウスクリックやキーボード入力を自律的に実行する機能を徹底解説！ … Claude Computer UseはAnthropic公開した、AIがPC画面を認識しマウスクリックやキーボード入力を自律的に実行するコンピュータ操作機能。本記事では、スクリーンショット取…

Claude Code Computer Useの仕組み

Computer Useがターミナルの裏側でどう動いているのか、そのアーキテクチャを理解しておきましょう。

スクリーンショット・解析・実行のループ構造

Claude Code Computer Useの動作原理は、「スクリーンショット取得 → マルチモーダルモデルによる画面解析 → アクション実行」を繰り返す連続ループです。

Claudeはまず、デスクトップのスクリーンショットを取得し、画面上のUIの要素（ボタン、テキストフィールド、メニュー項目など）を認識します。

ユーザーの指示と照合して次に取るべきアクション（クリック、入力、スクロール、アプリ切替など）を決定し、実行後に再度スクリーンショットを取得して結果を検証します。タスクが完了するか、ユーザーの判断が必要になるまでこのサイクルが続きます。

ツール優先順位の階層設計

Claudeは以下の優先順位でもっとも効率的なツールを選択して処理を進めてくれます。

この階層設計により、速度と信頼性が高い手段が優先され、画面操作のような最もコストの高い手段はネイティブアプリやAPI未対応ツールなど本当に必要な場面に限定されます。

Claude Code Computer Useの特徴

ここからは、Claude Code Computer Useの特徴をベンチマーク結果を中心に整理していきましょう。

OSWorldベンチマークで人間レベルのスコアを達成

Computer Useを支えているClaude Sonnet 4.6は、デスクトップ上の実タスク遂行能力を測定するOSWorldベンチマークで72.5%を記録しています。

人間のエキスパートによるスコアが72.4%と言われていますので、ほぼ同等の水準に到達しています。また、2024年時点では、Claude系モデルのスコアは15%未満でしたので、1年半で劇的に性能が向上したことがわかります。

コーディングとGUI操作のネイティブ統合

CLI版Computer Useの最大の差別化ポイントは、コード編集・ビルド・GUI操作がひとつのセッション内で途切れなくつながることです。

デスクトップ版がタスクの結果を受け取る形であるのに対し、Claude Code版では、コードを書いた直後にそのアプリを起動してUIを操作し、不具合を見つけたらその場でコードを修正して再検証するという、開発のイテレーションサイクルそのものをAIが回してくれます。

セッション単位のきめ細かい権限管理

computer-useサーバーを有効化しただけでは、すべてのアプリにアクセスできるわけではありません。セッション中にClaudeが特定のアプリを操作しようとすると、ターミナルに承認プロンプトが表示されます。

ターミナル、Finder、システム設定などの広範な権限を持つアプリには、以下のような追加警告が出るようになっています。

さらに、アプリカテゴリごとに制御レベルが異なります。ブラウザやトレーディングプラットフォームは閲覧のみ、ターミナルやIDEはクリックのみ、その他のアプリはフルコントロールと、リスクに応じた段階的な権限設計がなされています。

Claude Code Computer Useの安全性・制約

Claude CodeのBashツールはサンドボックス内で動作しますが、Computer Useは実際のデスクトップ上で承認済みアプリを直接操作します。信頼境界が異なるため、様々なセキュリティ機構が組み込まれています。

まず、セッション単位のアプリ承認により、明示的に許可したアプリのみが操作対象になります。また、Sentinel警告で、シェルアクセス・ファイルシステム・システム設定に関わるアプリは承認前に追加警告が表示されます。

さらに、ターミナルのスクリーンショット除外で、Claude自身の出力がモデルにフィードバックされるリスクを排除しています。

また、公式では銀行・医療・政府関連アプリへのアクセスは避けること、複雑な多段階ワークフローでは想定外の動作が起こりうることが注意喚起されています。

Claude Code Computer Useの料金

Claude Code Computer Useは、既存のサブスクリプションプランに含まれる機能です。ProまたはMaxプランを契約していれば追加料金なしで利用できます。

ClaudeのWeb版とClaude Codeは同じ利用枠を共有しているため、Web版でのチャットやファイルアップロードが多いとClaude Code側の残量に影響します。Computer Useを頻繁に使う開発スタイルであれば、Max 5x以上のプランを検討するのがおすすめです。

Claude Code Computer Useのライセンス

Claude Code自体は、GitHubリポジトリ上でAnthropic PBCの著作権のもと、同社の商用利用規約（Commercial Terms of Service）に準拠する独自ライセンスで提供されています。MITやApache 2.0のようなオープンソースライセンスではありません。

重要なポイントとして、Claude Codeを使って生成したコードの著作権はユーザーに帰属します。Anthropicの利用規約では、ユーザーが入力に対する権利を保持し、出力に関する権利もユーザーに付与されると定められています。

Claude Code Computer Useの使い方

ここからは、CLIでComputer Useをセットアップし、実際にGUI操作を実行するまでの手順をご紹介します。

事前準備：環境要件の確認

まず、以下の条件を満たしているかを確認します。

# Claude Codeのバージョンを確認（v2.1.85以降が必要）
claude --version

Claude Codeセッション内では/statusコマンドでプランの確認もできます。

STEP

computer-useサーバーの有効化

Claude Codeの対話型セッションを起動し、MCPサーバーの管理メニューを開きます。

/mcp

サーバー一覧からcomputer-useを選択し、Enableを選びます。この設定はプロジェクト単位で保存されるため、同じプロジェクトでは次回以降の設定は不要です。

STEP

macOSのアクセシビリティ・画面収録権限を付与

Computer Useを初めて実行すると、macOSから2つの権限を求めるプロンプトがターミナルに表示されます。

• アクセシビリティ：マウスクリック、キーボード入力、スクロールの実行に必要
• 画面収録：スクリーンショットの取得に必要

プロンプト内のリンクからシステム設定の該当ページを開き、それぞれ許可を与えてください。画面収録の権限付与後は、Claude Codeの再起動が必要な場合があります。

STEP

GUI操作が必要なタスクを指示する

権限の設定が完了したら、実際にGUI操作を含むタスクをClaudeに依頼します。

Build the app target, launch it, and click through each tab to make
sure nothing crashes. Screenshot any error states you find.

初めて操作するアプリについては、ターミナルに承認プロンプトが表示されます。操作対象のアプリ名、追加で要求される権限、動作中に非表示になるアプリの数が表示されるので、確認のうえ「Allow for this session」を選択します。

STEP

操作中の監視と停止

Computer Use動作中は、macOS通知で「Claude is using your computer · press Esc to stop」と表示されます。操作を中断したい場合は以下のいずれかを実行します。

• Escキー：どのアプリにフォーカスがあってもすぐに停止
• Ctrl+C：ターミナルから停止

中断するとロックが解放され、非表示にされていたアプリが自動で復元されます。

【業界別】Claude Code Computer Useの活用シーン

Claude Code Computer Useは開発者向けの機能ですが、その恩恵はソフトウェア業界だけにとどまりません。GUI操作がボトルネックになっている現場であれば、業界を問わず活用の余地があります。

モバイルアプリ業界

iOSやmacOS向けのネイティブアプリ開発は、Computer Useとの相性がもっとも良い領域です。

Swiftでコードを書いたあと、xcodebuildでビルドし、iOSシミュレータ上でそのまま画面遷移やタップ操作を確認する。この一連の流れを、ターミナルのセッションから離れることなく実行できます。XCTestでテストコードを整備する前のプロトタイプ段階で、とりあえず動かして触ってみたいという場面で重宝します。

SaaS・Webサービス業界

ElectronやTauriで構築したデスクトップアプリのUIテストに、Computer Useが活用できます。

オンボーディング画面を順番にクリックして確認したり、ウィンドウを狭めたときにレイアウトが崩れないかチェックしたりといった作業を、PlaywrightやCypressの設定なしにすぐ始められます。テストフレームワークを導入するほどではないが、手動で確認するのは面倒という絶妙なラインの作業を任せるのに向いています。

生成AIを搭載したSaaSについて、詳しく知りたい方は以下の記事も参考にしてみてください。

WEEL

生成AI・LLMを搭載したSaaSとは？メリットやおすすめツール10選を紹介 | WEEL WEELメディア事業部AIライターの2scです。 みなさん、生成AIが使えるSaaSをご存知ですか？ ChatGPTの登場以降、評価額10億ドル超えの生成AI系SaaSスタートアップが世界中で…

金融・保険業界

SAPやOracle EBSといったレガシー基幹システムが現役で稼働している金融・保険業界では、日々大量の手入力が発生していると思います。

APIが整備されていないシステムに対して、Computer UseはGUIを通じた操作自動化を実現してくれます。

ただし、公式ガイドラインでは銀行アプリや金融取引画面への利用は推奨されていないため、社内管理ツールなどリスクの低い領域から段階的に導入するのが現実的です。

金融業界における生成AI活用事例について、詳しく知りたい方は以下の記事も参考にしてみてください。

WEEL

【生成AI×金融】業界における活用事例と導入されているツールを徹底解説 | WEEL 生成AI（Generative AI）は、金融業界で急速に普及しています。この技術は高度な自然言語処理能力を持ち、顧客対応の自動化や業務効率化など、さまざまな分野で活用されて…

保険業界の活用方法はこちら

あわせて読みたい

保険業界が生成AIで変わる！企業の活用事例や導入するメリットを解説 こんな方におすすめ 生成AIを導入して業務効率化や収益向上を目指している方 営業支援や顧客対応の効率化に関心がある営業担当者 保険業界でAIを活用したいと思っている…

【課題別】Claude Code Computer Useが解決できること

ここからは、Claude Code Computer Useが解決できることを課題別に確認していきましょう。

テスト環境の構築コストを省いたUIテスト

Playwright、Cypress、XCTestなどの導入には環境構築と設定ファイルの作成が必要です。

それに対して、Computer Useは実アプリをそのまま操作するため、テスト環境のセットアップなしでUIの動作確認ができます。特にプロトタイプ段階や小規模プロジェクトで、テスト基盤の導入コストを正当化しにくいシーンで活躍してくれるでしょう。

ビジュアルバグの再現条件の特定

特定のウィンドウサイズでモーダルのフッターが切れるといったビジュアルバグは、手動で再現条件を探るだけで時間を消費します。

そこで、Computer Useを使えば、ウィンドウサイズを体系的に変化させて崩れが生じるポイントを自動で特定し、スクリーンショットで証拠を残して、該当するCSSやレイアウトファイルの修正まで一連で対応できます。

ビルドからUI検証までのイテレーション高速化

コードを修正してビルドし、手動でアプリを起動してGUIを確認し、問題があればコードに戻るような反復作業は開発時間の大きな割合を占めます。

そこで、Computer Useを使うことで、ビルド→起動→UI操作→スクリーンショット→修正のサイクル全体がClaude Codeセッション内で完結するため、イテレーション速度が大幅に向上します。

Claude Code Computer Useを使ってみた

それでは実際に、CLI版Computer Useならではの「コーディングとGUI操作のシームレスな統合」を体感するために検証してみましょう。

検証：Swiftアプリのビルドから設定画面の動作確認まで

公式ドキュメントで紹介されているネイティブアプリの検証ワークフローを実行しました。以下のプロンプトをClaude Codeセッションに入力します。

Build the MenuBarStats target, launch it, open the preferences window,
and verify the interval slider updates the label. Screenshot the
preferences window when you're done.

Claude CodeはまずxcodebuildでSwiftプロジェクトのビルドを実行し、成功しているか確認してくれました。

次にComputer Useに切り替わり、ビルドされたアプリを起動してメニューバーのアイコンをクリックし、設定画面を展開してくれました。スライダーを操作してラベルの表示が正しく更新されるかを確認し、最後にスクリーンショットを取得して結果を報告する、という流れが自動で進みました。

Bashツールによるビルド（ターミナル操作）からComputer UseによるUI操作（画面操作）への切り替えが自動的に行われていて素晴らしいですね。われわれ開発者が手動でやってきたビルド完了→アプリ起動→目視確認といったフローが、自然言語の指示ひとつで完結していて感動しました。

よくある質問

最後に、Claude Code Computer Useについて、多くの方が気になるであろう質問とその回答をご紹介します。

Claude Code Computer useで作業を効率化しよう！

Claude Code Computer Useは、Anthropicのエージェント型コーディングツール「Claude Code」に組み込まれた、macOSのデスクトップをCLIセッションから直接操作できる機能です。

コードを書いてビルドし、そのままアプリを起動してUIをクリックして検証するといった一連のイテレーションサイクルが、ひとつのCLIセッション内で自然言語の指示だけで回せるようになりました。

2026年4月1日時点ではmacOS限定のリサーチプレビューであり、ProまたはMaxプランが前提となりますが、iOSやmacOSのネイティブ開発、Electronアプリの検証、GUI専用ツールの操作自動化など、CLIだけでは到達できなかった領域をカバーできる点は大きな魅力だと思います。

まずは、日常的な開発フローのなかでGUI操作が必要な小さなタスクから試してみてください！

最後に

いかがだったでしょうか？

弊社では、AI導入を検討中の企業向けに、業務効率化や新しい価値創出を支援する情報提供・導入支援を行っています。最新のAIを活用し、効率的な業務改善や高度な分析が可能です。

大規模言語モデル（LLM）比較レポート

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、大規模言語モデル（LLM）を対象に、言語理解能力、生成能力、応答速度の各側面について比較・検証した資料も配布しております。この機会にぜひご活用ください。

無料で相談する

資料をダウンロードする