HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

インターフェースを無視してコンピューター利用を解決することはできない

You can't solve computer use by ignoring the interface (steelmanlabs.com)

51 pointsby mpavlov25 コメント

要約

現在のAIエージェントは、ソフトウェア開発では目覚ましい成果を上げているものの、実際の知的作業の多くはソフトウェア利用に依存しており、その分野での性能はまだ低い。多くのエージェントがUIを直接操作する代わりにAPIをバイパスするなどの回避策を取るため、タスク完了率が低く、ユーザーの期待に応えられていない。この問題は、より大規模なモデルやトークン数ではなく、UI操作能力の向上によって解決されるべきである。

全文翻訳

Computer use is far from solved

Steelman Labs · Notes

July 2026

現在、エージェントによるコンピューター利用は、現実世界におけるAIのインパクトを最大化する最も重要な要素の一つです。LLMベースのエージェントはソフトウェア開発を変革していますが、知的労働のほとんどはソフトウェアの使用を介して行われています。コーディングエージェントが非常に優秀であるならば、当然の疑問として、税務ポータルでの確定申告、テキスト文書の修正、ウェブサイトのテストなども可能なのでしょうか?

私たちはまだそこに到達していません。長期間にわたるコンピュータータスクの主要なベンチマークであるOSWorld-V2では、最良のモデルでも完了率はわずか20.6%です。Agents' Last Examでは、最良の結果は26.2%です。チャットインタラクションにおけるLLMの印象的なパフォーマンスに慣れたユーザーは、コンピューター利用でも同様の結果を期待しますが、エージェントは信頼性が低く、遅く、高価であるというフラストレーションに直面します。現時点では、自分で作業を行う方が簡単です。

[画像: GPT-5.5、Claude Opus 4.7 および 4.8、Claude Sonnet 4.6、MiniMax M3、Qwen 3.7-Plus の OSWorld-V2 バイナリ報酬(Y軸、最大約20%)とタスクあたりの出力トークン数(X軸、最大240K)の散布図と折れ線グラフ。マーカーサイズは推論の労力を追跡しています。]

モデルと推論労力の設定全体にわたる、タスクあたりの出力トークン数に対するOSWorld-V2の完了率(バイナリ報酬)。フロンティアは20.6%あたりで頭打ちになっており、報酬の1ポイントの上昇ごとにトークンコストは急激に増加します。

2024年から2025年にかけて、主要なAIラボはすべてコンピューター利用のプロトタイプを発表しました。当時、これらのプロトタイプは、OSWorld、WebArena、AndroidWorld、WebVoyagerなどのベンチマークで優れたパフォーマンスを示し、タスク完了率は60.76%から97.4%に達していました。これらのベンチマークはエージェントに適していました。例外はほとんどなく、各タスクは主に静的な環境、クリーンなテキスト表現、および小さな事前定義されたアクション空間として提示されていました。これは、現実世界の雑然としたインターフェースとは全く異なります。それゆえ、リーダーボードは誇張され、ユーザーの期待と実際のパフォーマンスとの間にギャップが生じました。

これまでのところ、コンピューター利用を改善するための答えは、より大きなモデルとより多くのトークンという、同じことの繰り返しでした。私たちの意見では、この方向性は行き止まりです。確立されたアプローチは、クッションされた環境ではうまく機能しますが、実際のGUI作業には一般化しません。

コンピューター利用の根本的な欠陥

コンピューター利用には、知覚、計画、長期間のタスクにおけるコンテキストの維持など、よく知られた困難な側面があります。これらの問題はコミュニティによって対処されており、その一部は実際に、よりスマートなモデルを必要とします。しかし、より単純な問題はあまり注目されておらず、それがボトルネックになっている可能性があります。それは、インターフェースを使用するエージェントが、ほとんどの場合インターフェースを回避しているということです。

OSWorld-V2では、最良のモデルはしばしばUIを全く操作していません。タスク052(ホテルのスイートを予約する)では、GPT-5.5はJavaScriptを注入してサイトのソースを読み取り、内部APIエンドポイントを見つけ、予約をPOSTしました。タスク065(電車のチケットを購入する)では、GPT-5.5とClaude Opusの両方がウェブサイトをスキップして直接APIにPOSTしました。タスク003(GIMPで2つの画像を合成する)では、GPT-5.5はPythonでスクリプトを作成しました。全体として、ほとんどのタスクは意図された方法で解決されるのではなく、迂回されていました。

[画像: エージェントトレースカード、ステップ195:アシスタントメッセージには「安全のためにAPI経由でlast_scoreを150に更新させてください。」と表示され、続いてreplaceState、PUT、/stateをgrepするJavaScriptファイルをgrepするType Textアクションが実行されます。エージェントはゲームをプレイするのではなく、ゲームの状態を直接編集しています。]

OSWorldタスク068:Claude Opus 4.7は、UIを通じてゲームをプレイする代わりに、状態に直接アクセスします。「API経由でlast_scoreを150に更新」と、獲得するのではなくスコアをPOSTしています。

これは見過ごされるか、あるいは有利とさえ見なされる可能性があります。API呼び出しができるのに、なぜGUIに触れる必要があるのでしょうか?しかし、一部の作業はUIを通じてのみ行うことができます。UIを迂回すると、ソフトウェアがそのように使用されるようには設計されていないため、予期しない副作用が発生する可能性があります。さらに重要なのは、UIを通じて多くの作業がはるかに容易に行えるということです。これは、経済的に実行可能なコンピューター利用を実現するために重要です。

ボタンをクリックしたり、フォームに記入したり、ウェブサイトをナビゲートしたりすることは、難しいタスクではありません。人間は無意識に行います。サイトのAPIをリバースエンジニアリングしたり、JavaScriptを逆アセンブルしたり、コンポジタをゼロからスクリプト化したりすることは、それが置き換えるクリックよりも複雑です。直接行う方が、安価で、速く、はるかに信頼性が高くなります。

しかし、フロンティアモデルにとっては、それは選択肢ではありません。WebGamesベンチマークは、平均的なウェブサイトユーザーの反応時間と運動制御を必要とする簡単なタスクを完了するようにモデルに挑戦します。人間の成功率は95%を超えていますが、モデルは知能が高いにもかかわらず、はるかに遅れをとっています。このギャップは、より多くのトークンやパラメータを使用しても狭まりません。だからこそ、長期間のタスクでは、モデルは困難な解決策に頼るのです。それらは人間レベルでインターフェースを使用する能力を持っていないため、その制限を回避しなければなりません。

これは最適とは言えないコンピューター割り当てにつながります。エージェントは、そのアクションのほとんどを知覚とアクションに費やします。OSWorld 2.0の図10は、アクション予算を内訳しています。視覚的グラウンディング、低レベルの操作、およびツールの使用オーバーヘッドが残りの大部分を占めます。タスクを解決するための計画は、ボタンをクリックすることよりも難しいはずですが、ほとんどの計算は、見てクリックすることに費やされます。推論、反省、エラー回復は、残ったものを受け取ります。

[画像: 5つのモデルにわたる推論、知覚、アクション、および修正カテゴリのアクション予算の割合を示すグループ化された棒グラフ。知覚(視覚的グラウンディング、情報抽出)とアクションが予算を支配しています。]

図10、OSWorld 2.0 — モデル全体のアクション予算の割合。知覚とアクションが支配的であり、推論、反省、修正は残ったものを受け取ります。

私たちの意見では、これがエージェントによるコンピューター利用における根本的な問題です。私たちは、クリックを回避するために、兆単位の推論エンジンを使用しています。適切な操作により、エージェントはインターフェースの制限を回避するのではなく、タスクの解決に労力を費やすことができるようになります。これにより、実行速度の向上、無駄に消費されるトークンの削減、信頼性の向上、および長期間のパフォーマンス向上が可能になります。

エージェントによるコンピューター利用のスティールマンに向けて

これまでのすべてのコンピューター利用ソリューションは、スクリーンショット–ツールコールループに基づいて構築されてきました。

  1. 環境のスクリーンショットとテキスト表現を取得します。
  2. LLMにそれを推論させます。
  3. click(elem[#submit]) のようなツールコールを出力します。
  4. 実行します。
  5. 繰り返します。

これは、コーディングエージェントのReActループをUIインタラクションに拡張した自然なものです。しかし、些細なUIアクションでさえ、これらのエージェントにとっては依然として困難です。なぜなら、それらはすべてを行うために同じ大規模モデルを使用しているからです。その結果、エージェントはテキストに過度に依存し、すべての時間的情報を逃し、時間内に反応できません。このアプローチは、UIがユーザーに対して行うすべての仮定に反しています。

パラメータとトークンをさらに追加しても、問題は解決しません。このループを10倍速く実行したとしても、LLMのコンテキストをより速く満たすだけです。実用的なコンピューター利用エージェントを構築するには、コアとなる仮定に異議を唱える必要があります。

Steelman Labsでは、コンピューター利用エージェントは、人間ができるあらゆるインターフェースを使用できなければならないという中心的な原則に基づいて取り組んでいます。この条件を満たすために、私たちは計画と実行を分離し、エージェントにシステム1(モーターコントロールを担当するマニピュレーター)を導入します。私たちはビジョンファーストのアプローチを採用し、画面を動的な環境として扱い、人間レベルの反応時間を追求します。

[動画: ブラウザで埋め込み動画を再生できません — デモをダウンロードしてください。]

デモ:Steelman LabsのモデルがライブUIを操作し、リアルタイムで知覚・行動しています。