AIが覚えた画面操作をコードにする「CUA Agent Kit」を Mac で動かしてみた

AIエージェント

はじめに:毎回 AI に操作させるのは、もったいない

社内システムの画面で、同じ手順を何百回も繰り返す仕事があります。問い合わせを検索して開き、担当と優先度を選び、メモを書いて保存する。API(システム同士をつなぐ窓口)があればプログラムから一気に処理できますが、古い業務システムでは「最後の1手は画面でしかできない」ことがよくあります。

ここ1年ほどで、AI が画面を見ながらクリックや入力をする computer use(コンピューター操作) のエージェントが実用的になりました。手順を文章で伝えるだけで、AI が画面を読み取って操作してくれます。ただし、AI は毎回画面を撮影して考え、操作を決めます。同じ作業を1日に1,000回させれば、1,000回分の API 料金と待ち時間がかかり、操作の仕方も毎回少しずつ違います。

2026年11月16日、米国の大手ヘルスケア企業 CVS Health が、この問題に対する1つの答えを 「CUA Agent Kit」 としてオープンソースで公開しました。考え方は「やり方を見つけるのは AI、同じことを繰り返すのは普通のコード」です。

左は毎回 AI が操作する方式で、1回目・2回目・3回目すべてに AI の操作が並び、料金・待ち時間・ばらつきが毎回かかる。右は CUA Agent Kit で、探索だけ AI、Codex が記録をコードに変換し、2回目以降はコードが動く。下に手元の実測として AI 1回約17秒・約0.047ドル、コード1回約0.6秒・0ドル

図1:毎回 AI に操作させる方式と、CUA Agent Kit の方式の違い

この記事では、CUA Agent Kit が何をするツールなのかを整理したうえで、実際に手元の Mac(Apple M5 Max)で動かして確かめた結果を紹介します。同梱のサンプルだけでなく、自分で作った日本語の業務画面でも「AI の探索 → Codex によるコード化 → コードでの繰り返し実行 → 画面が変わったときの修正」までを一周しました。録画とスクリーンショットも載せています。

この記事の想定読者は、次のような方です。

  • 業務の画面操作を自動化したいが、RPA(画面操作を自動化する従来型のツール)は作るのも直すのも大変だと感じている方
  • computer use のエージェントを試したが、毎回の費用や安定性が気になっている方
  • Playwright(ブラウザを操作するテスト・自動化ライブラリ)や Codex を使ったことがあり、組み合わせ方を知りたいエンジニアの方

1. 何が公開されたのか

OpenAI の医療向け発表の中で紹介された

CUA Agent Kit は、OpenAI が 2026年11月16日に公開した記事「Advancing computer-use agents for healthcare teams」の中で紹介されました。記事は医療現場での computer use の成果をまとめたもので、Abridge、Ambience、Cigna Healthcare などと並んで、CVS Health の取り組みが載っています。

OpenAI の記事の CVS Health の節。computer use で書類送付、紹介状の処理、専門医への相談の支援を自動化していること、数か月分の書類送付の滞留を週末で解消したこと、1日数万件の相談のシステム操作を担っていること、Agent Kit をオープンソースにすることが書かれている

図2:OpenAI の発表記事のうち CVS Health の節(2026-11-17 に撮影)

記事によると、CVS Health は書類の送付、紹介状の処理、専門医への相談の支援といった事務作業を、computer use で自動化しています。本番環境では、数か月分たまっていた書類送付の滞留を1回の週末で解消した例や、1日あたり数万件の相談についてシステム上の操作を担っている例が挙げられています。また、操作の確認には検証用のチェックと人による監督、画面写真と操作記録を使っていると説明されています。この進め方を誰でも使える手順としてまとめたものが、今回公開された Agent Kit です。

GitHub で Apache-2.0 ライセンスで公開

リポジトリは github.com/cvs-health/cua-agent-kit です。ライセンスは Apache-2.0 で、商用でも使えます。OpenAI の Agents SDK(エージェントを組み立てるための公式ライブラリ)の上に作られています。README の最後には、PlatformCon 2026 での Kelsey Hightower 氏の講演「Zero Token Architecture」に着想を得た、と書かれています。トークン(AI の処理単位で、料金の基準)を使わずに済むところは使わない、という発想です。

GitHub の cvs-health/cua-agent-kit リポジトリのトップ。.codex/skills、docker、docs、flyway/sql、sample_app、src/cua_agent_kit、tests、windows-host などのフォルダが並び、右側に Apache-2.0 ライセンスと説明文がある

図3:リポジトリのトップ(2026-11-17 時点、コミット 965ee25)

フォルダ構成を見ると、このキットの性格がよく分かります。.codex/skills に Codex(OpenAI のコーディングエージェント)用の「スキル」(作業手順書)が入っていて、AI の記録からコードを書く工程は Codex に任せる設計です。windows-host には Windows の仮想マシンで動かすためのスクリプトがあり、ブラウザだけでなく Windows のデスクトップアプリも対象にしています。

2. CUA Agent Kit で何ができるのか

3つのコマンドで「探索 → コード化 → 実行」

使い方は3段階です。最初に AI が画面を操作して手順を見つけ(探索)、その記録を Codex がコードに書き直し(コード化)、以降はそのコードを動かします(実行)。

CUA Agent Kit の3段階。①探索:uv run cua-agent-discover で AI がブラウザを操作。記録:artifacts/discovery の下に screenshots、events.jsonl、trace.zip、run.json。②コード化:Codex が codify-playwright-workflow スキルで Playwright のコードを書く。③実行:uv run cua-agent-run で LLM なしで繰り返す。失敗したら実行時の記録を Codex に渡して直す矢印

図4:3つの段階と、その間に挟まる「記録」

それぞれの段階の中身は次のとおりです。

段階コマンド動くものLLM(大規模言語モデル)の呼び出し
① 探索uv run cua-agent-discoverOpenAI の computer use(既定は gpt-6-sol)が Playwright 経由でブラウザを操作あり
② コード化Codex に依頼付属スキル codify-playwright-workflow が記録を読んでコードを書くあり(Codex)
③ 実行uv run cua-agent-run書かれた Playwright のコードなし(API キーも不要)

ポイントは、探索と実行が同じ形式の「記録」を残すことです。探索では、AI の操作ごとに画面写真を撮り、クリックした位置にあった部品の情報を events.jsonl に1行ずつ書き、Playwright の trace.zip(操作の経過を後から再生できる記録)も保存します。

探索の記録フォルダの中身。events.jsonl、run.json、screenshots、trace.zip があり、screenshots には 0001_navigate.png から始まる28枚の画像。events.jsonl の15行目は、座標 674,370 のクリックで、target として tag select、role combobox、accessible_name 担当チーム、id team が記録されている

図5:手元の探索1回分の記録。クリックの座標だけでなく、その位置にあった部品の名前まで残る

記録の1行が、コードの1行になる仕組み

コード化の要は、この「部品の情報」です。AI 自身は画面の座標でクリックしているだけですが、キットはクリックの瞬間に、その座標にある要素の役割(role)や読み上げ用の名前(accessible name)を調べて記録します。Codex はそれを手がかりに、座標ではなく「担当チームという名前のプルダウン」のように部品を指すコードを書きます。

3列の図。①AI の操作は click left 674,370。②events.jsonl の target に tag select、role combobox、accessible_name 担当チーム。③Codex が書いたコードは get_by_role combobox name 担当チーム で select_option label 請求、値が請求であることを確認。下に、座標を捨てて役割と名前で指すので配置が変わっても動くこと、AI のやり直しはコードに写さないこと

図6:手元の探索記録と、Codex が実際に書いたコードの対応

付属スキルには、部品の指し方の優先順位がはっきり書かれています。役割と名前、ラベル、テスト ID、プレースホルダー、表示文字、id の順で、CSS の指定は最後の手段です。また「待ち時間を秒数で決め打ちしない」「AI の完了報告ではなく、最後の画面や記録で成功を確かめる」といったルールも決められています。従来の RPA で起きがちだった「座標がずれて止まる」「念のための待ちが積み重なって遅い」を避ける作りです。

ブラウザ・Windows・AI のまま、の使い分け

キットの docs/choosing-an-approach.md は、自動化のやり方を4つに分けています。判断の順番に並べ直すと次のようになります。

判断の流れ図。Web ブラウザの画面なら、毎回書類を読んで判断する手順が混ざるかを確認し、混ざらなければ Playwright でコード化、混ざるならハイブリッド。ブラウザでなければ Windows の部品を UI Automation で読めるかを確認し、読めれば pywinauto、読めなければ AI のまま使う

図7:どのやり方を選ぶか

Windows アプリの場合は、Windows の仮想マシン上で探索し、pywinauto(Windows アプリの部品を操作する Python ライブラリ)のコードにします。Citrix のように画面が画像としてしか届かない環境では部品の情報が取れないので、コード化せずに AI のまま使う選択肢も用意されています。書類を読んで判断する工程が混ざる場合の「ハイブリッド」は考え方の紹介にとどまっていて、既製の仕組みはありません。今回の記事では、ブラウザの方式を試しています。

3. 精度はどれくらいか

OpenAI が公表した computer use の成績

キット自体の精度の数値は公表されていません。土台となる computer use については、OpenAI が同じ記事で医療業務での成績を公表しています。

OpenAI の記事の評価の節。GPT-6 Astra を電子カルテの受信箱業務で評価し、325タスクのうち99%が臨床的に安全、646件の医師評価のうち93%が非常に役立つ以上だったことを示す棒グラフ

図8:OpenAI の記事の評価の節(2026-11-17 に撮影)

OpenAI が公表した成績のまとめ。電子カルテの受信箱業務で GPT-6 Astra は臨床的に安全99%(325タスク)、非常に役立つ93%(646評価)。HealthAdminBench で GPT-6 Astra 94.3%、GPT-6 Luna 91.8%(1タスク8.5セント)。ただし毎回 AI が操作する場合の成績で、キットは2回目以降 AI を使わない

図9:OpenAI の公表値の整理

数字を整理すると、次のとおりです。いずれも推論の強さを最大にした条件です。

評価モデル結果
電子カルテの受信箱業務(医師が評価)GPT-6 Astra臨床的に安全 99%(325タスク)、とても/非常に役立つ 93%(646評価)
HealthAdminBench(Stanford の事務作業ベンチマーク)GPT-6 Astra評価基準の得点の 94.3%
同上GPT-6 Luna91.8%、1タスク約 8.5セント(Astra より 98% 安い)

ここで押さえておきたいのは、これらは「毎回 AI が操作する」場合の成績だということです。9割を超えていても、残りの数%は失敗します。CUA Agent Kit は、成功を確認できた操作をコードにして固定することで、2回目以降のばらつきそのものをなくそうとしています。そこで、手元で「AI の探索は何回成功するか」「コードにした後は何回成功するか」を測りました。

手元の実測:AI 操作とコード実行を比べた

検証には、架空のデータだけを使う日本語の「サポート受付」アプリを自作しました。ログインして問い合わせ番号 INQ-2048 を検索し、開いて、担当チーム(プルダウン)を「請求」、優先度(ラジオボタン)を「高」にし、対応メモを入力し、「お客様に連絡済み」にチェックを入れて保存する、という作業です。似た番号・似た件名の問い合わせも混ぜてあります。

成否は AI の申告ではなく、最後の画面に表示された内容を DOM(画面の部品の構造)から読み取り、期待した文字列と完全に一致するかで判定しました。

手元の実測の表。AI が操作する gpt-6-sol は5回中5回成功、1回16.7秒、0.047ドル、1,000回なら約47ドル・約4.6時間。gpt-6-luna は5回中4回成功(失敗1回は API エラー)、20.9秒、0.0024ドル。Codex が変換したコードは10回中10回成功、0.78秒、0ドル、1,000回で約13分。変換は Codex 約6分、API 料金換算で約2.4ドル、修正は約1分20秒で約0.9ドル

図10:手元の実測のまとめ(数値の元データは記事フォルダの research/summary.json)

やり方成功1回の時間(中央値)1回の費用(中央値)操作回数
AI が操作(gpt-6-sol、Linux)5/516.7 秒0.047 ドル19〜21回
AI が操作(gpt-6-luna、Linux)4/5(失敗1回は API エラー)20.9 秒0.0024 ドル15〜24回
Codex が書いたコード(Mac)10/100.78 秒0 ドル—
同梱サンプルのコード(Mac、参考)10/100.60 秒0 ドル—

AI の探索は、gpt-6-sol で5回すべて成功しました。操作回数は5回中4回が19回でほぼ同じで、安定しています。安い gpt-6-luna も、作業としての失敗はありませんでした(1回は OpenAI 側の一時的なエラーで止まりました)。ただし操作回数が15〜24回とばらつき、時間も長めでした。

コードにすると、1回あたり約0.78秒になりました。AI の約16.7秒と比べて約21倍速く、LLM を呼ばないので費用もかかりません。1,000回に直すと、gpt-6-sol では約47ドル・約4.6時間、コードでは約13分です。

コード化には、Codex(gpt-6-astra、推論 high)で約6分かかりました。使ったトークンは入力約110万(うち約103万はキャッシュ)、出力約1.4万です。今回は ChatGPT のアカウントで Codex を使ったので請求はありませんが、API 料金に換算すると約2.4ドルです。gpt-6-sol の探索なら約51回分、gpt-6-luna なら約1,000回分にあたります。何度も繰り返す作業ほど、コード化の元が取れやすいということです。

実際の動きは次の録画のとおりです。上が AI の探索(約20秒)、下が Codex の書いたコードでの実行(1秒未満)です。

自作のサポート受付アプリを AI が操作する録画。ログイン、INQ-2048 の検索、開く、優先度・メモ・チェック・担当チームの入力、保存までを約19秒で行う。下部の帯に経過秒数と直前の操作が表示される

図11:AI による探索(gpt-6-sol、Linux コンテナ内、2倍速)。赤い丸は録画用に表示したクリック位置です

Codex が書いたコードで同じ作業を実行する録画。サインイン、検索、開く、担当チーム、優先度、メモ、チェック、保存、完了画面の検証の各チェックポイントが1秒未満で流れる

図12:コードによる実行(Mac、LLM なし、4分の1の速さに落として表示)。各画面はコードが段階ごとに記録した画面写真です

4. Mac でのセットアップと使い方

ここからは、実際に手元で行った手順を順番に紹介します。全体の流れは次の図のとおりです。

Mac での導入から1周までの7段階。1 取得して依存を入れる、2 .env に接続先とアカウント、3 手順を prompt.py に文章で書く、4 探索を数回くり返す、5 成功を自分の目で確かめる、6 Codex にコード化を頼む、7 コードで実行して確かめる。Mac でプルダウンが選べないときは Linux(Docker)で探索する

図13:導入から1周するまでの手順

環境

手元の環境は次のとおりです。

項目バージョン
MacApple M5 Max、macOS 26.6.2
Python3.12.15(キットは 3.12 以上が必要)
uv0.12.22(Python のパッケージ管理ツール)
Playwright1.64.1
openai-agents0.24.0
Codex CLI0.159.2(コード化に使用)
Docker29.7.2(プルダウンのある画面の探索に使用)
キットmain ブランチ、コミット 965ee25

ステップ1:取得してインストールする

uv が入っていれば、インストールは数十秒で終わります。

# リポジトリを取得する
git clone https://github.com/cvs-health/cua-agent-kit.git
cd cua-agent-kit

# Python の依存パッケージを入れる(.venv が作られる)
uv sync

# Playwright 用の Chromium を入れる
uv run playwright install chromium
新しいフォルダでのセットアップの実行結果。git clone のあと uv sync で 76 パッケージを解決し 73 パッケージをインストール。playwright install chromium はダウンロード済みのため表示なし

図14:セットアップの実行結果

手元では uv sync が約4秒、.venv は 285MB でした。Chromium の初回ダウンロードは約17秒です。

ステップ2:同梱サンプルを動かす(API キー不要)

キットには「Care Intake」という架空の紹介状受付アプリと、それを操作するコード化済みのワークフローが同梱されています。まずはこれで、コードによる実行を体験できます。API キーはいりません。

# ターミナル1:サンプルアプリを起動する(http://127.0.0.1:8081)
uv run python sample_app/app.py
# ターミナル2:コード化済みのワークフローを実行する(LLM なし)
uv run cua-agent-run

既定ではブラウザが表示されます。画面を出さずに動かしたいときは、先頭に PLAYWRIGHT_HEADLESS=1 を付けます。

uv run cua-agent-run の実行結果。Starting deterministic run のあと、約0.6秒で succeeded。run_finished のイベントに duration_seconds 0.597、status succeeded が記録されている

図15:同梱サンプルのコード実行。0.6秒ほどで終わる

手元では10回続けて実行し、10回とも成功しました(中央値0.60秒)。実行ごとに artifacts/deterministic/<実行ID>/ に画面写真と記録が残ります。

ステップ3:AI による探索を動かす

次に、同じサンプルを AI に操作させてみます。ここで OpenAI の API キーが必要になります。リポジトリ直下に .env を作ります。

# .env(リポジトリ直下。Git には含まれない設定)
OPENAI_API_KEY=<YOUR_API_KEY>
DISCOVERY_BACKEND=browser
START_URL=http://127.0.0.1:8081
WORKFLOW_ACCOUNT_JSON='{"username":"demo","password":"demo-password"}'

AI に伝える手順は src/cua_agent_kit/discovery/prompt.py に英語で書かれています。サンプルでは「REF-1001 を検索し、Jordan Ellis の理学療法であることを確かめ、2027-04-15 09:30 に予約して確定する」という内容です。

# AI に操作させる。LOG_LEVEL=DEBUG で AI の操作内容も表示される
LOG_LEVEL=DEBUG uv run cua-agent-discover
LOG_LEVEL=DEBUG での cua-agent-discover の実行結果。最初に screenshot、続いてクリックと入力をまとめた操作が5回あり、約13秒で予約完了画面の内容を報告して終わる。ログイン入力の行に type '[REDACTED]-password' と表示されている

図16:AI による探索のログ。1回の指示で複数のクリックと入力をまとめて実行している

同梱サンプルを AI が操作する録画。ログイン、REF-1001 の検索、予約画面での日付と時刻の入力、確定までを約10秒で行う

図17:同梱サンプルでの探索の録画(1.5倍速)

同梱サンプルでの探索は5回とも成功し、中央値は約9.7秒、費用は約0.028ドルでした。なお図16のログには、パスワードの一部が見えている箇所があります。理由は「5. 使う前に知っておきたい注意」で説明します。

ステップ4:自分の画面の手順を書く

ここからが本番です。自作のサポート受付アプリ(http://127.0.0.1:8082)を対象に、prompt.py の手順を日本語で書き換えました。手順は日本語でも問題なく伝わりました。

# src/cua_agent_kit/discovery/prompt.py(ブラウザ用の手順だけ書き換えた)
def workflow_prompt(username: str, password: str) -> str:
    prompt = f"""
        ユーザー名 {username}、パスワード {password} でサインインしてください。

        問い合わせ番号 INQ-2048 を検索して開き、件名が「請求書の金額が二重になっている」
        であることを確認してください。

        担当チームを「請求」、優先度を「高」にし、対応メモに
        「二重請求を確認し、差額を返金手配します」と入力してください。
        「お客様に連絡済み」にチェックを入れて、更新を保存してください。

        「更新しました」の画面に INQ-2048、請求、優先度 高、連絡済み、対応メモが
        表示されていることを確認したら終了してください。
    """
    return prompt.strip()

.env の START_URL と WORKFLOW_ACCOUNT_JSON も、自作アプリのものに変えます。{username} と {password} は、実行時に .env の値で置き換えられます。ログインの手順をコードで用意しておく必要はありません。コード化のときに Codex がログインもコードにしてくれます。

つまずき1:Mac ではプルダウンで AI が迷子になる

最初に Mac で探索したところ、失敗しました。AI はログインから問い合わせを開くところまでは順調でしたが、「担当チーム」のプルダウンで止まりました。クリック、矢印キー、Enter、Home、Esc などを20回以上試した末に、キットが知らないキー名「DOWN」を送り、Unknown key: "DOWN" のエラーで停止しました。この1回で約44秒、約0.11ドルかかりました。

Mac で AI がプルダウンに苦戦する録画。担当チームのプルダウンを何度もクリックし、矢印キーや Enter を送るが、表示は選んでくださいのまま変わらない。最後にキーのエラーで止まる

図18:Mac での探索の失敗(3倍速)。プルダウンの表示がずっと「選んでください」のまま

原因を調べるため、AI を使わずに Playwright だけでプルダウンを操作して比べました。「クリック → ↓ → Enter」「ラベルを押して ↓」など8通りの操作を試した結果は次のとおりです。

環境値が変わった操作
Mac(Playwright の Chromium、画面なし)0 / 8
Mac(同、画面あり)0 / 8
Linux(Playwright 公式の Docker イメージ)6 / 8(日本語を打つ2通りだけ選べない)

Mac の Chromium では、プルダウンの選択肢の一覧は OS の部品として別に開くので、AI が受け取るページの画面写真に写りません。さらにキーボード操作でも値が変わらないため、AI には「何をしても変わらない」状態に見えていたわけです。

Mac と Linux の比較図。Mac ではプルダウンの一覧が AI に届く画像に写らず、8通りの操作を画面あり・なしで試しても値は空のまま、AI は20回以上操作して迷い DOWN で停止。Linux コンテナでは8通り中6通りで値が変わり、探索は gpt-6-sol 5/5、gpt-6-luna 4/5 成功

図19:Mac と Linux でのプルダウンの違い

解決策は、探索だけを Linux のコンテナで動かすことです。キットにはもともと Dockerfile が同梱されていて、本番では Linux で動かす想定になっています。手元で確かめた手順は次のとおりです。

# キット同梱の Dockerfile からイメージを作る(Apple シリコンでは amd64 のエミュレーションになる)
docker build --platform linux/amd64 -t cua-agent-kit .

# 対象アプリはコンテナから届くように 0.0.0.0 で待ち受けておく(例:ポート 8085)
# OPENAI_API_KEY はシェルで export しておく(-e 名前だけで値が引き継がれる)
# 探索をコンテナの中で実行し、記録は手元の artifacts/ に書き出す
docker run --rm --platform linux/amd64 \
  -e OPENAI_API_KEY \
  -e PLAYWRIGHT_HEADLESS=1 \
  -e START_URL=http://host.docker.internal:8085 \
  -e WORKFLOW_ACCOUNT_JSON='{"username":"<USER>","password":"<PASSWORD>"}' \
  -v "$PWD/artifacts:/app/artifacts" \
  -v "$PWD/src/cua_agent_kit/discovery/prompt.py:/app/src/cua_agent_kit/discovery/prompt.py:ro" \
  cua-agent-kit cua-agent-discover

イメージの作成は約95秒、大きさは 1.76GB でした。同梱の Dockerfile は Flyway(データベースの移行ツール)のイメージに arm64 版がないため、--platform linux/arm64 では作れません。amd64 のエミュレーションでも探索は問題なく動き、1回約19.5秒で成功しました。

注意点が1つあります。README の例どおりに WORKFLOW_ACCOUNT_JSON='{...}' と引用符で囲んだ .env を docker run --env-file で渡すと、Docker は引用符を外さないので WORKFLOW_ACCOUNT_JSON must be JSON with username and password fields. で止まります。上の例のように -e で直接渡すか、Docker 用の env ファイルでは引用符を付けずに書いてください。

Linux での探索は、gpt-6-sol で5回中5回、gpt-6-luna で5回中4回成功しました(失敗の1回は API 側のエラー)。図11の録画はこのときのものです。なお、プルダウンに困るのは AI が画面を見て操作する探索のときだけです。コード化した後は Playwright の select_option で値を直接選ぶので、Mac でもそのまま動きます。

ステップ5:成功した探索を自分の目で確かめる

Codex に渡す前に、探索が本当に成功したかを確かめます。各実行の screenshots/ の最後の画像に「更新しました」の画面と正しい内容が写っているかを見てください。付属スキルも、AI の完了報告だけを信じず、最後の画面写真や URL などの証拠で成功を判断するよう求めています。手元では、成功した探索記録が Linux で9回分たまった状態でコード化に進みました。

ステップ6:Codex にコード化を頼む

リポジトリ直下で Codex を起動し、README にある一文で依頼します。今回は手元のアプリの情報を一文足しました。

# リポジトリ直下で実行する。Codex はリポジトリ内の .codex/skills を読み込む
codex exec "Use \$codify-playwright-workflow to codify the successful discovery runs. The target app is already running at http://127.0.0.1:8082 and credentials are in .env."

Codex は約6分で作業を終えました。探索の記録(画面写真、events.jsonl、trace.zip)を読み、同梱サンプル用だったログインと手順のコードを、サポート受付用に書き換えています。成功した探索のうち3回分を根拠として選び、テストを11件(うち実際のブラウザを使うもの9件)追加し、失敗したときに画面写真とエラーを記録する処理も足していました。変更は9ファイル・478行の追加と120行の削除です。

Codex の完了報告。ログイン、検索、件名確認、更新、完了内容の検証を実装し、各工程と失敗時に証跡を保存する。終了判定は inquiry_update_verified。Ruff と型チェックが成功し42テスト成功、ブラウザテスト9件は未実行。根拠の成功 run を3つ挙げ、サンドボックスが Chromium の起動を拒否したため検証 run は止まった、通常のターミナルで再検証できると書いている

図20:Codex の完了報告(途中のログは省略)

報告の最後にあるとおり、Codex のサンドボックス(安全のために操作を制限した実行環境)の中では Chromium を起動できず、Codex 自身は実際のブラウザでの確認ができませんでした。そのため、確認は自分のターミナルで行います。

Codex が書いたコードの一部を紹介します。担当チームを選ぶ部分です。

# src/cua_agent_kit/workflows/inquiry.py(Codex が生成。抜粋)
async def select_team(page: Page) -> None:
    team = page.get_by_role("combobox", name="担当チーム", exact=True)
    await team.select_option(label="請求")
    await expect(team).to_have_value("請求")


async def save_update(page: Page) -> None:
    # 保存の直前に、対象の問い合わせと全項目の値をもう一度確かめる
    await expect(page.get_by_role("heading", name=TITLE, exact=True)).to_be_visible()
    await expect(
        page.get_by_role("combobox", name="担当チーム", exact=True)
    ).to_have_value("請求")
    # (優先度・メモ・チェックの確認は省略)
    await page.get_by_role("button", name="更新を保存", exact=True).click()
    await expect(
        page.get_by_role("heading", name="更新しました", exact=True)
    ).to_be_visible()

座標は1つも出てきません。部品はすべて役割と名前で指していて、操作のたびに値を確かめています。探索中の AI はプルダウンをいったん後回しにし、最後にやり直して選んでいましたが、コードではそのやり直しは消え、select_option の1回だけになっていました。保存という取り消しにくい操作の直前に全項目をもう一度確かめているのも、人が書くなら入れたい安全策です。

ステップ7:コードで実行して確かめる

最後に、自分のターミナルで実行します。API キーは不要です。

# 環境変数 OPENAI_API_KEY がなくても動く
uv run cua-agent-run

手元では10回続けて実行し、10回とも成功しました(中央値0.78秒)。Codex が追加したブラウザのテスト9件も、RUN_BROWSER_TESTS=1 uv run pytest -q で既存の40件と合わせて51件すべて成功しました。Codex のコードは、修正なしで1回目から動いたことになります。

画面が変わったらどうなるか:壊れ方と直し方

コードで自動化する方法の弱点は、画面が変わると動かなくなることです。そこで、サポート受付アプリを2通りに変えて試しました。

3つの画面の比較。v1 は最初の画面。v2 は2列に配置を変え、対応メモを先頭に移し、色と要素の id を変えたもの。v3 は文言を変え、担当チームを担当部署に、更新を保存を登録するにしたもの

図21:試した3つの画面。v2 は見た目と配置、v3 は文言を変えた

v2 では2列のレイアウトにして項目の順番を入れ替え、色や要素の id も変えました。ラベルの文言はそのままです。v3 では文言だけを変え、「担当チーム」を「担当部署」に、「更新を保存」ボタンを「登録する」にしました。結果は次のとおりです。

画面の変更ごとの結果の表。v1 はコード10/10・0.78秒、AI 5/5・16.7秒。v2 はコード5/5、AI 1/1。v3 はコード0/3(30秒待って失敗)、AI 1/1。v3 で Codex が修正した後はコード10/10。失敗の仕方が分かりやすく、Codex の修正は5行

図22:画面の変更への強さと、修正後の結果

配置を変えた v2 では、コードは5回とも成功しました。部品を座標ではなく役割と名前で指しているので、見た目や順番が変わっても影響を受けません。

一方、文言を変えた v3 では3回とも失敗しました。失敗の仕方は分かりやすく、「担当チームという名前のプルダウンを30秒待ったが見つからない」というエラーで止まります。

修正前のコードを v3 の画面で実行した結果。約30秒後に Deterministic run failed: TimeoutError となり、Locator.select_option の Timeout 30000ms exceeded、waiting for get_by_role combobox name 担当チーム と表示される

図23:文言が変わった画面での失敗。何を探して見つからなかったかがエラーに出る

文言が変わった画面でコードが止まる録画。問い合わせを開いたあと、担当部署と書かれた画面のまま約30秒待ち、失敗を記録して終わる

図24:v3 での失敗の録画(6倍速)

AI に毎回操作させる方式なら、v2 も v3 も問題なく成功しました(どちらも1回ずつ試して成功、約18秒)。文言が変わっても、AI は画面を読んで自分で読み替えるからです。ここが、AI 操作とコードの一番大きな違いです。

Codex に失敗の記録を渡して直す

キットの README は、壊れたときは記録をもとに Codex がコードを直す、という保守の流れを示しています。そこで、v3 の画面で探索を1回だけやり直し(成功、約0.047ドル)、失敗したコード実行の記録と一緒に Codex に渡しました。

codex exec "The deterministic workflow started failing after the support desk UI was updated (the app now runs at http://127.0.0.1:8084, START_URL in .env). The failed deterministic run is artifacts/deterministic/<失敗した実行ID> and a new successful discovery run against the updated UI is artifacts/discovery/<新しい探索の実行ID>. Use \$codify-playwright-workflow to diagnose the failure from this evidence and update the deterministic workflow. Keep the change minimal."
Codex の修正報告。inquiry.py とテスト用の画面に5行の最小限の修正を加えた。担当チームを担当部署に、更新を保存を登録するに変更。新しい探索 run で部品と最終結果を確認した。Lint・型チェック・42件のテストは成功、ブラウザでの確認はサンドボックスで止まった

図25:Codex の修正報告(約1分20秒)

Codex は約1分20秒で、5行だけの修正を加えました。注目したいのは、失敗した実行がまだたどり着いていなかった「登録する」ボタンの変更まで、新しい探索の記録から見つけて直していたことです。失敗の記録だけを見て直していたら、もう一度実行して保存ボタンで止まっていたはずです。修正後のコードは、v3 の画面で10回とも成功しました(中央値0.79秒)。

このように、見た目の変更には強く、文言の変更で止まります。止まったときは「新しい画面で探索を1回 → Codex で修正 → 人が差分を確認して実行」で戻せる、というのが手元で確かめた保守の流れです。

5. 使う前に知っておきたい注意

探索ではパスワードと画面写真がモデルに送られる

README の「Security and sensitive data」の節に、はっきり書かれています。探索では、手順の文章(WORKFLOW_ACCOUNT_JSON から差し込んだユーザー名とパスワードを含む)、ブラウザの画面写真、操作の履歴が、設定した API の接続先に送られます。本物の顧客データが映る画面や本物のパスワードで探索する前に、その接続先がデータの扱いとして承認されているか、保存期間の方針はどうなっているかを確認してください。

パスワードをモデルに渡したくない場合は、探索の前にローカルのコードでログインを済ませる、またはローカルで認証情報を読むログイン用のツールを用意する、という方法が README で提案されています。

記録の伏せ字は「できる範囲」まで

キットは、記録やログに出るユーザー名とパスワードを [REDACTED] に置き換えます。ただ README 自身が、これはできる範囲の保護であり、JSON の全項目・画面写真・trace・ログを完全に伏せるものではないと書いています。

手元でも、その限界が見えました。図16のログでは、パスワード demo-password が [REDACTED]-password と表示されています。キットはユーザー名(demo)を先に置き換えるので、ユーザー名を含むパスワードは残りの部分が見えてしまいます。また、AI の最終報告の英文中の「demo」という単語まで [REDACTED] に置き換わっていました。実際の運用では、ユーザー名を含まないパスワードを使い、ログの扱いにも注意してください。

trace.zip には、操作の引数、認証情報、Cookie やセッションのトークン、通信の中身、画面の構造が入ることがあります。探索の記録を公開の issue に貼ったり、そのまま他人に渡したりしないでください。Codex にコード化を頼むことも、記録を AI に渡すことにあたります。README は、Codex を含む AI に渡す前にも記録を確認して不要な情報を取り除くよう求めています。今回の検証では、すべて架空のデータを使いました。

「AI が終わったと言った」は成功の証明ではない

公式文書は何度も、エージェントが作業を終えたことは成功の証明にならないと念を押しています。実際、最初に設定を間違えて別のアプリにつながったとき、AI は「指定の問い合わせを開けませんでした」と正直に報告して終了しましたが、キットの記録上の状態は completed でした。探索の成否は、最後の画面写真で判断してください。コードによる実行は、最後に画面の内容を確かめてから succeeded を記録します。

6. こんな場面で使えます

ここまでの結果を踏まえて、向く業務と向かない業務を整理します。

向く業務と向かない業務。向く:毎日大量に同じ手順、API が一部しかない、ラベルの付いた古い業務画面、記録を残したい。向かない・工夫が要る:毎回判断が要る、画面が画像でしか届かない、本物の個人情報・パスワード、文言が頻繁に変わる画面。まずは同梱サンプル、架空データの自作画面、本番に近い検証環境の順に試す

図26:向く業務・向かない業務

向いているのは、次のような作業です。

  • 毎日・大量に同じ手順を繰り返す作業:受付票の転記、ステータスの更新、予約の登録など。回数が多いほど、AI 操作との費用と時間の差が開きます
  • API が途中までしかない作業:OpenAI の記事で紹介された Assort(医療系スタートアップ)の例のように、API で紹介状を登録した後の「予約済みにする」操作だけが画面でしかできない、といった場面
  • ラベルがきちんと付いた業務画面:見た目の変更には強いので、デザインの刷新程度なら止まりません
  • 操作の記録を残したい作業:実行のたびに画面写真と操作の記録が残り、PostgreSQL や Azure Blob Storage に送る設定もあります

逆に、書類を読んで毎回判断が変わる作業はそのままではコード化できません。決まった部分だけをコードにし、判断の部分だけ AI を呼ぶ「ハイブリッド」を自分で組む必要があります。文言がよく変わる画面では、そのたびに再探索と修正が必要になるので、AI 操作のままにする方が手間が少ないかもしれません。

試す順番としては、同梱サンプル(API キーなしで実行まで体験できる)、架空データで作った自分の画面、本番に近い検証環境、の順がおすすめです。

7. トラブルシューティング

手元で実際に出た問題と対処を、確かめる順番にまとめます。

うまく動かないときの確認順。Docker で WORKFLOW_ACCOUNT_JSON must be JSON なら --env-file が引用符を外さないので -e で渡す。プルダウンで AI が何度もやり直すなら Mac の Chromium では一覧が写らないので Linux で探索。Unknown key DOWN はキー名の対応表にない名前で、画面側の問題を先に解消。Codex が Chromium を起動できないのはサンドボックスの制限で、自分のターミナルで実行。コード実行が30秒で TimeoutError なら画面の文言が変わったので再探索と Codex で修正

図27:トラブルの確認順

症状原因対処
Docker で WORKFLOW_ACCOUNT_JSON must be JSON with username and password fields.--env-file は値を囲む引用符を外さない-e で直接渡すか、引用符なしで書く
プルダウンで AI が何度もやり直すMac の Chromium では選択肢の一覧が画面写真に写らず、キー操作でも変わらないLinux(Docker)で探索する
探索が Unknown key: "DOWN" で止まるキットのキー名の対応表にない名前を AI が送った上のプルダウンの問題を先に解消する
Codex が「Chromium を起動できない」と報告するCodex のサンドボックスの制限コードとテストはできているので、uv run cua-agent-run を自分のターミナルで実行する
コードの実行が約30秒で TimeoutError画面の文言が変わったエラーの waiting for に探していた名前が出る。新しい画面で探索を1回して Codex で修正
--platform linux/arm64 でイメージが作れない同梱 Dockerfile の Flyway に arm64 版がない--platform linux/amd64 で作る(Apple シリコンではエミュレーション)
探索が OpenAI の APIError で止まるAPI 側の一時的なエラー(gpt-6-luna で5回中1回)キットに自動の再試行はないので、もう一度実行する

まとめ

CUA Agent Kit は、computer use のエージェントを「毎回働かせる」のではなく、「一度やり方を見つけさせて、その記録からコードを作る」ための道具です。手元の検証で分かったことをまとめます。

  • 何ができるか:文章で書いた手順を AI がブラウザで実行し、その記録から Codex が Playwright のコードを書く。2回目以降は LLM なしで動く
  • 精度:OpenAI の公表値では computer use は医療の事務作業で9割超。手元では AI の探索が gpt-6-sol で5/5、コード化したものは10/10(Codex のコードは1回目から動いた)
  • 速さと費用:AI 操作1回約16.7秒・約0.047ドルに対して、コードは約0.78秒・0ドル。コード化の費用(API 換算約2.4ドル)は gpt-6-sol 約50回分で元が取れる
  • 画面の変更:配置や色の変更には強く、文言の変更で止まる。止まったら再探索1回と Codex の修正(今回は約1分20秒・5行)で戻せた
  • Mac での注意:プルダウンのある画面の探索は Linux(Docker)で行う。コード化した後の実行は Mac で問題ない
  • 安全面:探索ではパスワードと画面写真がモデルに送られ、記録の伏せ字も完全ではない。架空のデータから始める

API がない社内システムの定型作業に悩んでいる方は、まず同梱サンプルで uv run cua-agent-run を実行してみてください。API キーなしで数分で動きます。そのうえで、架空データの画面を1つ作り、探索からコード化、画面を変えたときの修正までを一周してみると、自分の業務に使えるかどうかの感触がつかめるはずです。ぜひ試してみてください。

参考リソース

PR

生成AIを体系的に学びたい方へ

「DMM 生成AI CAMP 学び放題」は、ChatGPTなどの生成AIを学べる月額制のオンライン学習サービスです。仕事への活用に向けて継続的に学びたい方は、公式サイトでコース内容や入会条件をご確認ください。

DMM 生成AI CAMP 学び放題

リンク先は公式サイトです。

AIエージェントAI最新情報Codex
Takuyaをフォローする