GPT-6 AstraのComputer Useとは？PC操作をAIに任せる仕組み・ベンチマーク・実演デモを徹底解説
- GPT-6 AstraのComputer Useは、画面を見てクリック・入力し複数アプリをまたいでタスクを完了させる機能
- OSWorld 2.0で72.6%・ScreenSpot-Proで92.7%を記録し、1タスクあたりの所要時間は前モデル比で約47%短縮
- KritaやBlender、Excel、税務書類の作成まで実演された一方、約4分の1のタスクは失敗するため人の監督が前提
2026年9月、OpenAIから最新のフロンティアモデル「GPT-6 Astra」がリリースされました。なかでも注目を集めているのが、世界最高水準とされるComputer Use（コンピュータ操作）能力です。スクリーンショットで画面を確認しながらクリックとタイピングを行い、複数のアプリケーションをまたいでタスクを完了させるという、従来のチャット型AIとはまったく異なる働き方をします。
一方で新しい機能が登場するたびに、「実際にどこまで任せられるのか」「従来のRPAやブラウザ操作AIと何が違うのか」「業務で使うにはどんな注意が必要なのか」といった疑問を感じる方も多いのではないでしょうか。
そこで本記事では、GPT-6 AstraのComputer Useの仕組みやベンチマークを解説しながら、デモを踏まえて詳しく解説します。最後までお読みいただくことで、GPT-6 AstraのComputer Useがどのように設計され、どのような場面で力を発揮するのかが理解できるはずです。
＼生成AIを活用して業務プロセスを自動化／
GPT-6 AstraのComputer Useとは
GPT-6 AstraのComputer Useは、AIがディスプレイ上の画面を認識し、マウス操作とキーボード入力でソフトウェアを直接動かす機能です。
ベースとなるGPT-6 Astraは、OpenAIが2026年9月にリリースした最新のフロンティアモデル。GPT-5.6 Solと比較して、コンピュータ操作・ブラウジング・ソフトウェア開発・サイバーセキュリティ・科学・専門業務という広い領域で最高水準を記録しています。
その中でもOpenAIが前面に押し出したのが、コンピュータ操作の能力です。オンラインフォームの入力、カレンダーの整理といった定型作業から、Webサイトの制作やフロントエンドのQAチェックまで任せられます。
従来の自動化との違い
従来の業務自動化は、APIやRPAのシナリオといった「事前に用意された連携口」を前提とするケースが多かったです。連携口がなければ自動化の対象から外れ、画面の仕様が変わればシナリオも作り直しが必要になります。
一方でComputer Useは、人間のオペレーターと同じ入口から入ります。画面さえ映っていれば操作対象になるという点が、これまでの自動化と異なる部分です。
| 比較項目 | GPT-6 AstraのComputer Use | 従来のRPA・API連携 |
|---|---|---|
| 操作の入口 | 画面（スクリーンショット） | API・専用シナリオ |
| 手順の指定 | 自然言語での目的の提示 | 手順の作り込みが必要 |
| UI変更への対応 | その場で判断して操作を続行 | シナリオの修正が必要 |
| 実行結果の確実性 | 確率的で失敗の可能性がある | 決められた動作を再現 |
スクリーンショットを起点にした実行ループ
Computer Useの処理は、タスクの送信・アクションの実行・画面の返送という3つのステップを繰り返すことで進みます。
- タスクの内容とツール定義をモデルに送信する
- モデルが「computer_call」として構造化された操作を返す
- 実行環境が返された操作を順番どおりに実行する
- 操作後の画面をスクリーンショットとして撮影する
- 「computer_call_output」として画面を返し、モデルが次の判断を行う
出力できる操作はclick・double_click・drag・move・scroll・type・keypress・wait・screenshotで、人間がマウスとキーボードで行うものとほぼ同じです。
難しいのは操作そのものよりも、画面が何十回も切り替わる間に最初の指示を覚えていられるかという点でしょう。一方でGPT-6 Astraはコンテキストウィンドウが1,050,000トークンと大きく、長い操作履歴を保持しやすい仕様です。
ベンチマークで見る実力
GPT-6 AstraのComputer Useで注目すべきは、成功率と速度が同時に伸びた点です。デスクトップ環境での自律操作を測るOSWorld 2.0では72.6%を記録し、従来のGPT-5.6 Solの65.7%を上回りました。
1タスクあたり約75分かかっていたところが約40分へと短縮され、その差は約47%。精度を上げるために時間をかけたわけではない、という点が従来との違いです。
画面上の正しいUI要素を特定できるかを測るScreenSpot-Proでも、76.9%から92.7%へと大きく前進。ボタンの押し間違いはComputer Useの失敗要因として最も基本的な部分で、ここが改善したことで手順全体が崩れるケースが減ったと考えられます。
| ベンチマーク | GPT-6 Astra | GPT-5.6 Sol | Claude系モデル |
|---|---|---|---|
| OSWorld 2.0（デスクトップ操作） | 72.6%（約40分） | 65.7%（約75分） | 非公開 |
| ScreenSpot-Pro（UI要素の特定） | 92.7% | 76.9% | 非公開 |
| AutomationBench（多段階の自動化） | 41.4% | 18.1% | Fable 5.1：31.4%／Opus 5：26.9% |
| Agents’ Last Exam（実務ソフトでの複雑タスク） | 59.3% | 53.6% | Opus 5：55.5% |
Agents’ Last Examの最高設定では、Claude Opus 5と比べて出力トークンを約65%削減しながらスコアで上回りました。
利用できる場所と料金
GPT-6 AstraのComputer Useは、ChatGPT・Codex・OpenAI APIという複数の入口から利用できます。ローカルのアプリケーションを操作する用途では、ChatGPTのデスクトップアプリ経由での実行が推奨されています。
Computer Useに専用の料金は設定されておらず、ChatGPTでは各プランの利用枠内で使えます。APIではモデルID「gpt-6-astra」を指定し、computer useツールを組み合わせて呼び出す形。
| 提供区分 | 対象 | 料金 |
|---|---|---|
| ChatGPT | Plus・Pro・Business・Enterprise | 各プランの利用枠内（追加クレジットの購入も可） |
| OpenAI API | 開発者（モデルID：gpt-6-astra） | 入力$10／出力$50（100万トークンあたり） |
| Fastモード | 速度を優先する用途 | 入力$20／出力$100（標準の2倍） |
| Batch・Flex | 非同期・低優先の処理 | 標準の50% |
キャッシュ済み入力は$1.00と通常入力の10分の1。ただしComputer Useはスクリーンショットを何度も送り返す都合上、チャット利用と比べて入力トークンが膨らみやすい点には注意が必要です。
GPT-6 Astraについて詳しく知りたい方は、下記の記事をあわせてお読みください。
GPT-6 AstraのComputer Useの安全性・制約
画面を直接操作できるということは、取り返しのつかない操作も同じようにできてしまうことを意味します。ここでは安全対策と、業務で使う際の制約を解説します。
重要な操作には確認を挟む設計
OpenAIは実装者向けのガイドラインとして、購入・データ送信・破壊的な変更など元に戻しにくい操作については、ユーザーが主導権を持てるようにすることを求めています。
また、GPT-6 Astraはサイバーセキュリティ能力でPreparedness Frameworkの「Critical」に初めて到達したモデルでもあり、高度な機能はTrusted Access Programを通じて段階的に開放される方針がとられています。
約4分の1のタスクは失敗する
OSWorld 2.0の72.6%という数値は、裏を返せば4タスクに1つ以上は完走できないことを示しています。現時点で完全な放任運用は現実的ではありません。
実務でやっかいなのは、派手に止まる失敗よりも「完了しました」と報告しながら中身が微妙にずれているケースです。1行下のセルを参照した、先月のデータを拾ったといった誤りは、目視しなければ気づけません。
| リスク | 内容 | 対応の考え方 |
|---|---|---|
| タスクの失敗 | ベンチマーク上で約27%が未完了 | やり直せる作業から任せる |
| 静かな誤り | 完了報告と実際の結果がずれる | 実行ログと成果物を毎回確認する |
| 権限の過剰付与 | 操作範囲が広すぎて影響が波及する | 権限を絞った専用アカウントを使う |
| 機密情報の露出 | 画面に映った情報がそのまま入力になる | 決済・顧客情報の画面では使わない |
| UI変更への弱さ | 画面仕様の変更で操作が空振りする | 定期実行するタスクは結果を監視する |
操作対象のシステムにAPIが用意されている場合は、そちらを優先したほうが確実でしょう。Computer Useは「連携口がないとき」の選択肢と考えると、任せる範囲がぶれません。
GPT-6 AstraのComputer Useを使ってみた
今回はComputer Useを使ってExcel操作とBlender操作をさせてみたいと思います。
Excelで売り上げ処理をさせる
まずは売り上げデータの入っているExcelを作成します。作成後、下記のプロンプトを入力し、実行してもらいます。
プロンプトはこちら
Computer Useを使って下記Excelを分析し、2026年8月の確定売上を集計してください。
商品別の売上合計（金額の大きい順）
チャネル別の売上合計
売上上位3商品
集計結果を新しいシートにまとめて保存してください。結果はこちら
2026年8月の確定売上は **3,340,900円**（返品反映後）です。
### 商品別売上（金額順）
| 商品 | 売上 |
|---|---:|
| 朝のスープ | 1,162,240円 |
| だしパック | 711,900円 |
| スープポット | 542,200円 |
| 雑炊の素 | 470,880円 |
| 夜のスープ | 453,680円 |
上位3商品は表の1〜3位です。
### チャネル別売上
| チャネル | 売上 |
|---|---:|
| EC | 1,516,680円 |
| コンビニ | 630,310円 |
| 量販店 | 940,100円 |
| 直営店 | 253,810円 |
新しいシート「2026年8月_確定売上集計」に入力しました。ただし、途中からExcelが操作に応答せず、**保存完了は確認できていません**。Excel画面で保存をお願いします。計算結果は全て正確に出してくれました。
しかし、途中でExcelが応答しなくなり、「保存完了は確認できていません。Excel画面で保存をお願いします」と報告して止まってしまい、最終的な保存は私の方で保存を行いました。
今回の未完了は集計内容ではなくアプリ操作の完走に関してです。しかもモデルは、自分が完走できていないことを正しく申告しています。
Blenderで罠を4つ仕込んだ.blendを渡してみた
Excelと同じように、間違え方が分かるファイルを用意しました。
仕込んだ罠は4つです。①シーンの単位系をインペリアル（feet表示）にしておく ②非表示コレクションにRocketという名前の別物を置いておく ③開いた瞬間がEdit Mode ④RocketRedというマテリアルが既にあるが色は青。
プロンプトはこちら
Computer Useを使って`rocket_task.blend` を開いて、次の仕様でロケットの形状を作ってください。
1. 半径0.5m・高さ2mの円柱を作り、底面がZ=0に接するように配置する
2. 半径0.5m・高さ0.8mの円錐を、円柱の上面にぴったり接するように配置する
3. 2つを1つのオブジェクトに結合し、名前を `Rocket` にする
4. `RocketRed` というマテリアルを作り、Base Colorを (0.85, 0.23, 0.23) にして割り当てる
5. 上書き保存する\
作業用に置いてある `WorkBase` は最後に削除してください。結果はこちら
Computer Useで作成し、`rocket_task.blend`に上書き保存しました。
- 円柱：半径0.5m、高さ2m、底面Z=0
- 円錐：半径0.5m、高さ0.8m、底面Z=2
- 結合オブジェクト：`Rocket`
- `RocketRed`：Base Color `(0.85, 0.23, 0.23)`
- `WorkBase`：削除済み
既存の非表示オブジェクトは`Rocket_Archive`に改名して保持しました。出来上がったファイルをスクリプトで採点したところ、全項目がOKでした。
実寸はX=1.0m・Y=1.0m・Z=2.8mで、最下点はZ=0.0m。193頂点の単一メッシュとして結合され、マテリアルの色も指定どおりです。
feet表示のまま「2」と入力していれば高さは0.853mになっていたはずですが、そこも間違えませんでした。
GPT-6 AstraのComputer Useのご相談はWEELへ！
GPT-6 AstraのComputer Useは、画面を見てクリックとタイピングを行い、複数のアプリをまたいでタスクを完了させる機能。単に賢くなったモデルではなく、APIのない既存アプリをそのまま自動化の対象に変えるという点が本質的な価値でしょう。実際に罠を仕込んだExcelとBlenderのファイルを渡したところ、いずれも指示どおりの成果物を作り上げています。
GPT-6 AstraのComputer Useを活用することで、連携口のない既存システムを改修せずに自動化の対象へ取り込めます。一方で、どの業務を任せ、どこに人の確認を挟むかは設計次第で効果が大きく変わるため、専門家と連携した導入計画の策定も重要な選択肢です。
「生成AIで新しいプロダクトを作りたい」「もっと本格的に生成AIを業務に組み込みたい」とお考えの方は、ぜひ株式会社WEELにご相談ください。
開発実績として、
・新規事業室での「リサーチ」「分析」「事業計画検討」を70％自動化するAIエージェント
・社内お問い合わせの1次回答を自動化するRAG型のチャットボット
・過去事例や最新情報を加味して、10秒で記事のたたき台を作成できるAIプロダクト
・お客様からのメール対応の工数を80％削減したAIメール
・サーバーやAI PCを活用したオンプレでの生成AI活用
・生徒の感情や学習状況を踏まえ、勉強をアシストするAIアシスタント
などの開発実績がございます。
生成AIを活用したプロダクト開発の支援内容は、以下のページでも詳しくご覧いただけます。
➡︎株式会社WEELのサービスを詳しく見る。
アイデア段階でも構いません。まずは無料相談でお気軽にご相談ください。
➡︎生成AIを活用したプロダクト開発・業務効率化について相談する
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、通勤時間に読めるメルマガを配信しています。
最新のAI情報を日本最速で受け取りたい方は、以下からご登録ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。
GPT-6 AstraのComputer Useのよくある質問
