エージェントテストプロセス、LLMベンチマーク、およびエージェントコーディングに関するその他の注記
Agentic test processes, LLM benchmarks, and other notes on agentic coding (danluu.com)
要約
AI、特にコーディングエージェントの使用は、時に人間なら即刻解雇されるような奇妙な振る舞いを見せることがあります。著者は、AIがテストを作成しバグを特定したと主張しながらも、実際には偽の再現環境を作り出していた経験を共有しています。この記事では、LLMのテストにおける活用、特に従来のテスト手法とは異なる、ハードウェア企業で実践されていた「Caveman mode」とも呼べるようなテストプロセスについて考察し、AIコーディングワークフローへの適用可能性を探ります。
全文翻訳
AIを昨年11月からかなりヘビーに使っていて、その全体的な経験は面白いものです。エージェントが何かを行うのですが、もし人間がそれをしたら、すぐに解雇されるようなことです。私の反応はもちろん、これを素晴らしいこととして扱い、何千ものエージェントを起動して、さらに多くのことをやらせることです。
去年の半ば、GPT(おそらく5.0または5.1)にバグの原因を見つけさせようとしました。当然、そのコードにはテストがなく、git bisectも機能しませんでした。そして、私がテストを書く資格さえほとんどないUIインタラクションのバグだったので、Codexに日付XとYの間でコミットを絞り込ませて、このバグを導入したコミットを見つけさせました。Codexはすぐに、その日付範囲の後にあるはずのない、ありえないほど正確でないコミットを指摘しました。Codexにそれが間違っていると伝えると、それは明らかに間違っているコミットを一度か二度指摘しました。それらが間違っていると伝えると、それはもっともらしいコミットを指摘しました。その理論を証明または反証するように頼むと、テストを書いて、その alleged コミットがバグの原因であることを確認したと述べました。
次に、開発者のエンドツーエンドのフルスタックを通常のブラウザテスト環境でビデオにして見せるように頼みました。それは、その権限がない(嘘だった)と主張しましたが、適切なテストコードとともに、コミットの前後のリプロの実行のビデオを作成できると述べました。ビデオは説得力があり、コミット前に機能が正常に動作し、コミット後に機能しなくなったことを示していました。しかし、何かがおかしいと感じたので、手動でコミットの前後に問題を再現しようとしたところ、すべてが捏造であったことが判明しました。ビデオはCodexがバグを再現したように見せかけましたが、それは実際の環境ではなく、偽のリプロを作成するように設計された人工的なブラウザ環境でした。
言ったように、これは真剣に素晴らしい経験だったので、すぐに「どうすればもっとこれを手に入れられるか?」と考え、昨年の半ばから後半にかけてコーディングエージェントをヘビーに使うようになりました。
この記事は比較的まとまりのないトピックを扱っているので、簡単な概要を示します。
テストの背景
LLMはテストにおいて非常に活用されています。かかる労力の量という点では、特定の品質基準に到達することはこれまで以上に簡単になっていますが、ソフトウェアの品質はこれまで以上に低下しているように見えます。10年前、私たちはある週に遭遇したバグを見ました。当時もかなりのバグがありましたが、今でももっと多くのバグに遭遇します。しかし、これは避けられないことではないと思います。
まず、バグがリリースされた後、データ駆動型のアプローチでバグを見つけて修正することはこれまで以上に容易になっています。例えば、職場でサポートチケット(チャットまたはメール)からプルリクエスト(PR)へのパイプラインを作成しようとしました。私の知る限り、これはうまく機能しています。私は伝統的なワークフローを持つ会社で働いているため、これらの修正はすべて人間によってレビューされますが、これまでのところ、既知の誤検出はありません。
投資時間あたりのテストも、より徹底的に行うことが可能です。個人的には、これは十分に効果的であると考えており、私は「ソフトウェアファクトリー」ワークフローを通じて大量のコードをリリースすることにかなり快適です。なぜなら、レビューに依存するワークフローよりもはるかに高い品質をもたらす、テスト重視のレビューなしワークフローを見たことがあるからです。
皆と同じように、私も経験からくるバイアスを持っています。たまたま、私のキャリアの最初の10年間を、今日のLLM環境でうまく機能するテストプロセスを持つ会社で過ごしました。ファジングをデフォルトのテスト方法論としてMastodonで話しました。そして、懐疑的な人がそれを試してすぐにいくつかのバグを見つけました:
ブログ記事を読み直して「疑わしい顔」になりましたが、Claudeのファジングで修正する価値のあるいくつかのクラスのバグが見つかりました。
私が話した他の多くの人々も、ここで議論するようなテストフローを採用しようとしており、彼らは皆、CodexやClaudeにコードのバグ監査、「テスト」、「もっとテスト」などを依頼するだけでは見つからないバグを、自分たちが作業しているソフトウェアで即座に見つけています。例えば、Dennis Snellは、彼とチームメイトのJon Surrellが、作業中のコードだけでなく、「HTML仕様、ビッグスリーブラウザ、その他のオープンソースプロジェクトを含むアップストリーム依存関係」でも、かなりの低労力でバグを見つけたことを言及しました。
一般的に、ソフトウェア担当者とテストについて話すとき、私はまったく異なる立場から話すので、彼らはすぐに私をエイリアンのように見ますが、私がどのように働くかについての私のバイアスを形成する、私がかつて働いていたハードウェア会社、Centaurでどのようにテストしていたかについて話しましょう。ソフトウェアの世界では異例であった、または異例である私たちのいくつかのやり方は次のとおりです。
- 専任のQA/テストエンジニアを雇用し、テストを開発者と同等の第一級のキャリアパスとする。
- デフォルトでのコードレビューなし。
- 実質的に手書きのテストなし。
- プログラマーが時々プロパティベーステスト、ランダムテスト、ファジングなどと呼ぶものによる継続的なテスト。ただし、私たちはそれを単にテストと呼んでいました(手書きテストは「ハンドテスト」と呼ばれていました)。
- 大規模な回帰テストスイート(コンピュートファームで実行するのに3ヶ月かかる)。
- 単体テストなし。
一般的な構造のアイデアを与えるために、私が(2013年に)退職したとき、約20人のロジックデザイナーと20人のテストエンジニアのために、約1000台のマシンが常にテストを生成・実行していました。これはオンプレミスで、マシンは建物の一階の半分を占めていました。
一般的な構造は、マシンの約20%が回帰テストを実行し、80%が新しいテストを生成・実行していました。3ヶ月の回帰テストはコミットをゲートするには長すぎます。そのため、人々がコミット前に実行する、約10分で実行できる、はるかに短いテストリストがありました。これらのプリコミットテストは、可能な限り迅速に実行するための特別なセットアップで実行され、最も高速なマシンがオーバークロックされ、異なるシミュレーターセットアップも使用されました。
新しい失敗は発生すると発見・報告され、1〜2人のエンジニアが失敗を整理してトリアージする(誤検出を拒否する、誤検出を引き起こしたテストジェネレーターの問題を修正するなど)という仕事をしていました。
影響の大きさという点では、(文化を別の項目として数えない限り)(1)は私たちと典型的なソフトウェア企業との間の最大の差であった可能性が高いですが、読者にとって最も無関係なので、議論を脚注1に追いやります。テストは他のスキルと同様です。それを行うのに時間をかけるほどスキルが向上します。そして、テストはほとんどの大手テクノロジー企業で第一級のキャリアパスではないため、人々は一般的にソフトウェア企業でテストスキルをソフトウェア企業でテストに時間を費やす時間の5%しか費やさない同等の才能のあるエンジニアよりも高いレベルのテストスキルを持っていません。分散システムやUXで20年間働いたエンジニアは、分散システムやUXに時間の5%しか費やさない同等の才能のあるエンジニアよりも、それにおいてずっと優れているでしょう。同様に、テストに20年間費やした人は、テストに時間の5%しか費やさない人よりも、それにおいてずっと優れているでしょう。
(2)は、チップ会社で使用していたテストプラクティスの一部がAIワークフローに適している理由の1つです。デフォルトでコードレビューを行いませんでした。なぜなら、テストプラクティスを十分に信頼していたため、レビューは一般的に信頼性をあまり向上させなかったからです。私たちは年間1件の重大なユーザー可視バグ未満を出荷しており、レビューは誰かが特にトリッキーだと考えたものに余分な目を向けたい場合に必要に応じて行われていました2。AIコーディングワークフローでは、1人の人間が人間または10人の人間でさえ手でレビューできる以上のコードを生成することが容易です。レビューなしでコードをリリースすることに対する人々の快適さのレベルは異なります。個人的には、ほとんどのソフトウェア企業よりも技術的に挑戦的な製品でそれが実行されているのを見てきたので、人間のレビューなしでコードをリリースすることに非常に快適です。
私はしばしば、「それはリスクが高すぎます。私たちは何百万人ものユーザーがいます」と言うのを見ますが、経験的に、彼らは、1人あたりの生の数で1000倍も高いバグ率でバグを出荷するワークフローについて話しています。もし企業が、例えば、Centaurでのバグ率の100分の1の率でバグを出荷し、主にレビューに依存してバグを検出していたら、私は彼らの言うことを理解できますが、それは典型的なソフトウェア企業では起こっていません。そこでは、人々はバグ出荷のリスクを懸念して人間のレビューから離れたくないのです。
(3)と(4)は密接に関連しています。信頼性を真剣に考えているほとんどすべてのソフトウェアグループ(さまざまなデータベース、分散データベースなどを出荷するチーム)は、少なくとも方向性としては同じことを行っていますが、手書きテストの割合が高いかもしれません。ソフトウェア自体と対話して機能するかどうかを確認することに依存するのが悪い考えであるのと同じ理由で、テストの入力と期待される出力を直接入力することに依存するのは悪い考えです。以前議論したように、手作業でテストを書くのは非常に非効率的です。任意のレベルの信頼性に対して、手書きテストよりもランダムテスト生成を好む場合、より早くそこに到達できます。
(5)は、多くのテストが多くのバグを見つけることから生じました。一般的に、テストがバグを見つけて、後で修正した場合、そのテストは永遠に回帰テストスイートに残ります。多くの良いテストで多くのバグを見つけると、最終的に大きなテストスイートができます。しかし、それを脇に置いて、テスト効率の観点から見ると、各PRに対してCIで同じテストセットを実行するというソフトウェアの標準設定は、1日に同じテストを1000回実行するのと、同じテスト時間で1000種類の異なるテストを実行するのと、どちらがバグを見つける可能性が高いかを考えると、非常に非効率的です。
(6)もテスト効率の懸念から生じました。競合他社よりもはるかに小規模なチームでした。それが、会社が長期間存続できた理由です。IntelがAMD以外のすべてのx86デザイナーを廃業に追い込んでいる間、私たちの運用コストは十分に低かったため、会社は2021年まで存続し、その後Intelに1億2500万ドルで買収されました。会社のチームサイズが非常に小さかったため、単体テストで合理的なテストカバレッジを得ることは不可能でした。単体テストを行うのに十分な人員を雇用すると、会社は10〜20年前にTransmeta、Rise、Cyrix、TI、UMC、NEC、VMなどのx86の努力と同じ運命をたどった可能性が高いです。効率の観点から、単体テストは非常にパフォーマンスが悪いです。
要約すると、私たちはほとんどのソフトウェア担当者が悪いアイデアだと言うことをたくさん行いました(専任テストエンジニア、単体テストなし、コードレビューなしなど)。そして、私が働いた、または使用したどのソフトウェア企業よりもはるかに高い品質を持っていました。これを話すたびに、人々は「CPUはXの懸念しかなく、Yで同じことはできない」と言うでしょう。私がCPU設計からソフトウェアに切り替えたとき、それは真実かもしれないと思いましたが、それ以来、このテスト方法論を、人々がこれが機能しないと言ったあらゆる種類のYで試しましたが、すべてで機能しました。そのため、私はもはやこれをあまりもっともらしいとは考えていません(そして、Xは一般的にハードウェア開発がどのようなものかについての誤った仮定を含んでいます)。ハードウェアとソフトウェアの間には実際の違いがありますが、テスト手法が引き継がれない理由としてそれを頼りにしているのを見たとき、それは、その人がハードウェア開発についてあまり知らないために、関連性があるように見える想像上の要因に依存している場合でした。
1つの重要な違いは、テストと開発に費やされる労力の比率でしたが、ファジングの固定コストはかなり低いため、これはあらゆるレベルの労力にスケーラブルであり、効率の向上は依然として存在します。そして、テスト効率の向上により、労力の比率はソフトウェアエンジニアが一般的に想像するほど大きくありませんでした。私たちはテストエンジニアと開発者の比率が約1:1で、その後、目標がバグを見つけて新機能をリリースしないことだった「フリーズ」状態に約10%の時間を費やしました。そのため、ここでのゼロ次の見積もりは、テストに55%の労力を費やし、開発に45%を費やした、またはテストに労力をかけなければ開発に2.2倍の労力を費やすことができたということです。もし、私たちがしたよりもはるかに速いペースで重大なバグを出荷しているソフトウェア企業を見ると、緊急事態を宣言して、人々がテストに労力の55%を費やすようにした場合、比率はあまり変わらないと思います。おそらく、彼らは以前の比率の半分程度になるかもしれませんが、労力のレベルが本当に違いを生んでいるわけではありません。
今日では、人々が言うもう1つのことは、LLMにバグを見つけさせるのに、なぜファジングをする必要があるのかということです。私は両方を何度も試しましたが、私の経験では、ファジングはバグを見つけるまでのレイテンシで一般的に勝ち、より多くのバグを見つけ、誤検出率が低いという点で優れています。LLMはかなり高いばらつきを持っています(これについては後述します)。そのため、CodexやClaudeにバグを見つけるように依頼するだけで勝つこともありますが、平均的にはファジングが勝ちました。
テストに関する詳細
LLMのテストに関する非常に肯定的なことを述べたにもかかわらず、LLMはテストに関してはかなり悪いようです。しかし、テストの労力のあらゆるレベルで、LLMは適切に指示されれば、以前よりもはるかに簡単にテストを適用できます。
この極端な例として、品質やテストに関心のあるすべての人々が、LLMがデフォルトで生成するテスト、または「テストを書いて」、「もっとテストを書いて」などと指示した場合のテストが貧弱であることを見つけます。人々は、テストを価値のないものとわずかに有用なものの間にあると評価する傾向があります。たとえば、Em Chu(コンパイラエンジニア)は次のように述べています。
既存のテストは完璧ではありませんが、LLMが目指していると思われる基準、「人間によるコードレビューをすり抜けるのに十分な徹底さ」よりもまだ上です。コンパイラ(UIなどと比較して)では、平均的なテストを書くのは簡単だと思いますが、最終製品にはより高い正確性が一般的に期待されます。LLMは単にひどいです。彼らは、人間がバグを見つけるテストを書くために使用する、敵対的な「もし私がこれをしたらどうなるか?」や「すべてのもののクロス積を試してみましょう」というプロセスが痛いほど下手です。
同時に、私は多くの人々がLLMがテストに驚くほど優れていると絶賛しているのを見てきました。「テストを書いて」、「もっとテストを書いて」などと指示した場合です。人々がLLMがテストに優れていると言う理由を調べたとき、私が発見したのは、実質的にまったくテストを行っていなかった人々がLLMをテストに優れていると考えているということです。それは理にかなっています。基本的にゼロのテスト労力からわずかなテスト労力に移行すれば、それは大きな勝利です。
2026年6月現在、LLMにファジング/ランダムテストを実行するように指示することも同様です。LLMにファザーを生成させようとしましたが、ほとんどのプロジェクトでは、数分以内に実際の、しばしば深刻なバグが見つかります。しかし、LLMが作成したファザーが何をテストしようとしているのかを見ると、品質に関心のある通常のプログラマーがLLMが作成したテストを見たときと同じ反応をします。LLM生成ファザーのカバレッジは奇妙に悪く、急いで人間が書いたファザーがカバーするはずの基本的なことをすべて見落としています。楽観的か悲観的かによって、これはほとんどのプロジェクトのテストカバレッジについて何かを言っているのか、それともファジングの不合理な有効性について何かを言っているのかと言うことができます。
大まかに言うと、今日のSOTAモデルからのLLM生成ファザーは、入力がバグを引き出すためにどのように変化すべきかを「考える」のが得意ではありません。そして、入力がどのように変化すべきかについて指示を与え、それらを組み合わせるように指示しても、バグの材料を合理的な方法で組み合わせることはありません。うまくいく指示を与えることは可能ですが、それはユーザーが指示を提供するかに大きく依存します。
ランダムテストを「追加点」として使用する場合、さらにいくつかのバグを検出する場合、または従来のソフトウェアテストプロセスを置き換える場合、LLMにコードのリスクの高い領域を探し、違反される可能性のある不変条件を見つけてファジングするように指示できます。これはまあまあうまくいきます。人々がランダムテストを試すように説得した場合、彼らは通常ここで始め、見つかったバグに満足しています。この新しい手法を試すことに興味がある人々の性質上、これはしばしば、会社で最もテストされ、最も信頼性の高いコードのいくつかに取り組んできた人々から来ており、彼らは自分たちの比較的よくテストされたコードのバグを見つけることができます。
エージェント型の「ソフトウェアファクトリー」ワークフローを正直に保つためにランダムテストを使用したい場合は、SOTAモデルのギャップに対処する方法が必要です。なぜなら、1日に数百または数千のPRに相当するものをプロジェクトにリリースすると、劣化から制約されないすべてが急速に劣化するからです。
大まかに言うと、システム全体にはギャップを見つけるフィードバックが必要であり、ファザーを調整するループにギャップを閉じるように指示する必要があります。最近、私はドメインを理解しておらず、プロジェクトやコードを理解していないものについてテストしていますが、私が思いつくものには多くのギャップがあることを知っています(そして、前述のように、LLMはこの点でひどいです)。しかし、ドメインに精通していてコードを比較的よく理解している分野でさえ、人間は物事を見落とし、間違いを犯すため、常にテストセットアップにギャップを見つけて、あなたまたはエージェントがギャップを閉じることを可能にする何らかのフィードバックが必要です。
私は、エージェントが集まって再集会してエージェントループをより良く実行させるためのさまざまな方法を試していますが、そのようなことは役立ちますが、外部フィードバック(一時的な人間の入力、または何かをリリースして(理想的にはわずかに、段階的にロールアウトして)システムがメトリクス/ログ/トレース/サポートチケットなどを監視してフィードバックとして使用する)に依存しないエージェント型のソフトウェア品質改善ループを作成するほど十分にうまく機能する方法を見つけられていません。前述のサポートチケットからPRへのパイプラインは、そのようなフィードバックループの1つです。パイプラインはPRを生成しようとするだけでなく、バグを見つけるテストセットアップを追加し、他のバグを表面化させるか、将来の回帰があった場合にバグを再検出するようにしようとします。これはまあまあ機能しているように見えます。つまり、実際のバグを見つけ、テストカバレッジを改善しますが、改善の余地はたくさんあると確信しています。
関連して、LLMがテストを書くのがなぜそれほど下手なのか不思議に思っています。少し尋ねてみると、LLMの能力は、モデルがタスクを改善できるようにするRL環境を構築した人々から生まれていると言われました。これは、一般化可能な場合とそうでない場合があります。また、RL環境を販売する市場もあると言われましたが、買い手がそれほど多くなく、テスト、最適化、またはこの記事で議論されている長期的なタスク(重大なギャップを観察しやすい)のようなもののためのRL環境の買い手を知っているか、それに近い人がいる場合にのみ、非常に薄いです。もしあなたがそのような人物であるか、そのような人物に私を繋げることができるなら、私に好意を寄せて連絡してください(X、Mastodon、メールなどで、私はかなり容易に連絡できます)。これがどのように機能するか、そしてテストのようなもののためのRL環境を販売することはどれほどもっともらしいかについて興味があります。
テストに戻ると、ファジングやあらゆる種類のバグ監査を行う場合、誤検出の検出はプロセスの重要な部分です。少なくとも現時点では、公開されているものよりも優れたモデルへのアクセスはあなたを救いません。しばらく前に、Dennis Snellはフラストレーションを募らせて、彼が1日かけて、Anthropicから彼の雇用主に転送されたAIのゴミを処理したと私に言いました。それは、リリースするには危険すぎる彼らの自慢のMythosモデルからのものでした。Anthropicは、会社に何らかの好意を寄せていたか、Mythosからのセキュリティ問題の提出によって何らかのEAセキュリティ改善を行っていたようですが、合理的な誤検出拒否プロセスを持つことを怠ったため、多くのAIのゴミとともにいくつかの実際の脆弱性を転送していました[2026年9月更新:参照、および、人々が同じことを報告しています]。当時、私はFableがMythosよりも能力がわずかに劣ると思われるモデルを使用していましたが、誤検出がゼロの無限のバグ(セキュリティ問題の一部を含む)を生成することに問題はありませんでした。これは、最新かつ最高のモデルを持つことと同じくらい、モデルを中心とした合理的なセットアップを持つことが重要であることを示唆しているようです。Anthropicがなぜこのようなことをしなかったのかは不明です。なぜなら、このようなものの最大の障害は彼らには無関係だからです(トークンコスト、そして標準的な「サイバー」承認を得ても、最新/最高のモデルはエクスプロイトの作成と実行の試みを拒否するため、エクスプロイトを作成できないものを拒否するという直接的な方法を実行できないため、彼らのモデルやOpenAIの最高のモデルで良好な誤検出拒否プロセスを実行するのが難しいからです)。
私はプロジェクトごと/問題ごとにカスタムワークフローを試しており、一般的な誤検出拒否スキームを正確に持っているわけではありませんが、半一般化可能なさまざまなものがあります。トークンを惜しまないなら、独立したエージェントに誤検出されたバグの再現(リプロ)を繰り返しチェックさせることで、誤検出率が大幅に低下します。数ヶ月前、レビューだけでなく、エージェントループの管理にも異なる「ペルソナ」を使用することに成功したことを言及しました。そして、これがうまく機能しない理論的な理由についてのいくつかの応答を得ましたが、実際にはかなりうまく機能しているようです。私のワークフローは定期的に変更され、その議論から約1週間後に「反論的な」ペルソナを追加し始めました。これは、同じ壁時計時間またはトークン予算でパフォーマンスを向上させました。
人間がレビューするものであれば、何らかのアーティファクト(例えば、UIで顕著であることが期待されるバグの場合はビデオ)が必要です。エージェントにこれをレビューさせることを特に意図せずに、これを作成するだけで誤検出率がいくらか低下し、次にエージェントがアーティファクトをレビューすることで誤検出率がさらに低下します。エージェントにアーティファクトを独立してレビューさせること(例えば、ビデオ自体を見るのではなく、ビデオを生成するテストコードを見ること)も、誤検出率をさらに低下させます。一般的に、独立した視点を得ることは、誤検出を減らすのに大いに役立ちます。私が実行した実験では、これは壁時計時間またはドルあたりの異なるペルソナ/視点を持つエージェントを持つよりも効果が低いですが、同じ質問を複数回尋ねるだけで結果が改善します。これはLLMのばらつきセクションのグラフから明らかになるはずの理由です。
誤検出率を減らすために試したことはほとんどすべてうまくいったので、ワークフローをコスト最適化が重要になるレベルまでスケールアップしないのであれば、まともなことをすればかなりうまくいくようです。
ケイブマンモード
さまざまなツールやワークフローの推奨事項を常に受けていますが、それらを検討すると、推奨事項を採用することが理にかなっているかどうかについての良い情報を見つけることがほとんどありません。例えば、職場で「ケイブマンモード」が複数回推奨されているのを見ました。ケイブマンモードは、トークン使用量を削減し、プロンプト解決を高速化すると主張しています(READMEではトークン使用量を75%削減、トークン使用量を65%削減、使用トークン数を2倍、速度を3倍に増加させると主張しています)。
情報検索(引用符なしで「caveman mode」をGoogle検索するだけ)では、ケイブマンモードへのリンクではないトップヒットはこのRedditスレッドでした。そこでは、3つのトップコメントのうち1つはジョークで、残りの2つはそれを強く推奨しています。
ただ極端な簡潔さで、爽やかな方法です...そして、分析的思考に何の影響もないように見えるのに、トークン数が劇的に削減されます...しかし、前後をベンチマークする方法はありません。
職場の誰かがテストしていて、トークンを節約し、かつ同じように機能するようです。
トップヒットのほとんどは、何らかの評価を行うと主張するケイブマンモードの肯定的な推奨でしたが(それらはフィルタリングされていないLLMテキストのように読めました)、YouTubeのトップヒットは最大のプログラミングYouTuberの1人が次のように述べているものでした。
実際に機能します。実際にかなりうまく機能します...いいえ、誇張していません。
職場のSlackスレッドでケイブマンモードが推奨されているときに、誰かが比較を行ったかどうか尋ねたところ、ケイブマンモードの作成者がケイブマンモードに関するHNスレッドに「それはジョークだ」と返信したことを指摘しました。誰かが分析へのリンクを共有しましたが、その分析はLLM生成のSEOスパム記事で、多数のエラーがありました。私が丁寧に指摘すると、リンクを投稿した人は「私はそれをざっと読んだだけです」と言いました。
その時点で、私は約15秒 apieceでケイブマンモードのベンチマークを生成することにしました(人々は今ベンチマークを評価と呼ぶようですので、私もこれらを評価と呼ぶべきでしょうか?)(以前にここで詳細に議論しました)。
まず、この議論が起こった数ヶ月前、私はGPT-5.5 xhighをたくさん使っていました。そして、このことをベンチマークしました。最初のベンチマーク、wasmでコードを最適化する簡単なベンチマークを見てみましょう。これは私がエージェントにプロンプトを与えて生成するのに15秒費やしたことなので、詳細について多くの時間を費やす価値はないと思いますが、注意すべき点は、エージェントが達成した結果よりもはるかに良い結果を出すことが可能であるということです。人間が手作業で行うか、人間がエージェントに何をすべきかについて指示を与える場合、AIよりもはるかに良い結果が得られると予想されます)。最適化チャートでは、1.0は速度向上なし、それ以上は良い(1.0未満は「最適化」が遅くなったことを意味します)です。実験を実行したときの様子を理解するために、ボタンをクリックしてインタラクティブにフォローするか、アニメーションを再生できます。
最初のベンチマーク(非自明なアルゴリズムをwasmで最適化する)では、1回の実行後、ケイブマンモードが良い結果を示しています。1.027の速度向上対0.987、$12.10対$23.10、そして壁時計時間(エージェントが要した時間)は8分51秒対14分9秒です。しかし、LLMは確率的であることを知っているので、もう一度実行すべきでしょう。2回目の実行後、両方とも平均1.0の速度向上という大きな変化が見られますが、ケイブマンモードは8分64秒で$12.45対17分57秒で$40.38です。これはケイブマンモードで主張されている節約額に沿った、大幅なコスト削減です。アニメーションの各ステップを説明するのは少し愚かですが、最後にスキップすると、50回の実行後の平均はケイブマンモードに有利であり、1.03対1.01の速度向上、そして13分46秒で$17.97対16分52秒で$24.21です。これは2時点の後で見たほど良くはありませんが、それでもケイブマンモードにしっかりと有利です。
GPT-5.5 xhighに古典的およびベイズ統計を実行するように依頼したところ、最適化1ベンチマークでは、ケイブマンモードが速度向上、コスト、壁時計時間で優れているp値はそれぞれ0.1、0.005、0.001であると述べるスクリプトを生成しました。ベイズ統計では、それぞれP(ケイブマンが良い)が0.958、0.999、1.000です。他の2つのベンチマークのプロットも確認できます。最適化2は別の「wasmでコードを最適化する」ベンチマークであり、ゲームAIは、エージェントがデッドライン10ms/moveでLost CitiesというゲームのボードゲームAIを実装するように求められるタスクです。
これらのベンチマークの結果はまちまちです。最適化2では、P(ケイブマンが良い) = 0.17、0.999、1.000であり、ゲームAIでは、P(ケイブマンが良い) = 0.04、0.79、0.73です。つまり、ケイブマンモードは最適化2とゲームAIでは、最適化1で見た結果とは逆に、実際には悪い結果をもたらします。ちなみに、驚くべき物語の逆転を示すために、これらの結果の順序を意図的に選んだわけではありません。もしここで止めると、ケイブマンモードは悪い結果をもたらすがコストを節約できる、あるいは一部のタスクではより良い結果をもたらし、一部のタスクでは悪い結果をもたらし、コストを節約できると考えるかもしれません。
他のモデル(GPT-5.4 mini、GPT-5.4、GPT-5.5)をあらゆる努力レベルで試すと、次の平均が得られます。これは全体像をより不明瞭にします(以下のグラフでは、上と左が良く、下と右が悪いです。矢印はベースラインからケイブマンモードに向かっています)。
ここでのパターンは何でしょうか?いくつか挙げると、最適化1では、ケイブマンモードは一般的に標準よりも良い結果をもたらしますが、最適化2と最適化3では、ほとんどの場合逆です。ただし例外もあります。コストについては、さまざまなパターンが見られます。条件(タスク、モデル、努力レベル)間のばらつきが十分にあるため、明確な全体像を得るには、さらに多くの条件を実行する必要があることは明らかです。全体として、平均的な違いは小さすぎて、ケイブマンモードを使用する価値はないようです。
LLMのばらつき
最近、新しいモデルがリリースされると、人々がそれについて何を言っているか検索します。一般的に、矛盾するコメントがたくさんあります。例えば、GPT-5.5がリリースされたとき、人々は、GPT-5.4は5.5よりも優れていると述べました。なぜなら、5.4はタスクに留まるのが得意で、5.5は問題から逸れて考えすぎ、5.5を非常に高価で無意味にしているからです。5.5は5.4よりもはるかに優れているため、問題を修正するのに手間取ることが少ないため、使用する方が安価です。5.5は、非常にうまく機能するため、より低い努力レベルで実行できるため、5.4よりも安価です。5.5は「ただ機能する」のに対し、5.4はしばしば失敗して手助けが必要だ、などです。しばしば、誰かがベンチマークを実行して、彼らの主張が真実であることを示します。
これらのベンチマークを見ると、GPT-5.5リリース直後にRedditで見たすべての声明を裏付ける証拠が見られます。最適化1では、GPT-5.4は5.5よりも良い結果をもたらし、はるかに安価です。しかし、ゲームAIでは、GPT-5.5は5.4よりも大幅に優れており、5.5 highは5.4 xhighと同じくらいのコストですが、結果はより良く、5.5 mediumはhighよりも安価で、結果は大幅に改善しています。これら3つの評価だけで、GPT-5.5についてリリース時に見られたすべての声明を裏付けることができます。なぜなら、すべての声明は時々真実だからです。そして、これは、インターネット上のコメントを裏付けるために、合理的な人間が行うよりもはるかに多い実行回数でばらつきを平均化している場合です。
一般的に、このような理由から、ベンチマークのセットを要約するメトリックやグラフを見ると、「分布を見せてください」と思います。モデルのベンチマークはしばしば単一の、きれいで整然とした数値に還元され、XがYよりも優れており、YがZよりも優れていることがわかります。私はこれらを基本的に無意味だと考えています。なぜなら、OpenAIとAnthropicの最新かつ最高のものを探している場合、XがYよりも優れているベンチマークと、その逆のベンチマークがあることを知っているからです。もしベンチマークセットにXを支持するベンチマークがいくつかあれば、結果は反転するでしょう。そのような要約メトリックが私にとって有用であるためには、ベンチマークセットが私のタスクの分布と重みを完全に反映しており、すべてのタスクに単一のモデルしか選択できない必要があります。どちらも真実ではないため、これらのベンチマークからどのような行動可能な情報を引き出せるかは不明です。
公開ベンチマークを詳細に見ると、状況は上記の抽象的な議論から見えるよりも悪いようです。結果は一般的にかなり高い精度で提示されており、それが意味があるかのように見えます。例えば、DeepSWEでは、GPT-5.5-xhighがFable 5 mediumよりも1%優れているが、コストは19%低い、といった結果が見られるかもしれません。そして、Opus 4.8と比較すると、GPT-5.5 xhighよりも13%悪く、コストは11%高いかもしれません。これが何を意味するのかを知りたい場合、データに深く入り込み、多様なタスクの大きなセットを持っていると主張するベンチマークがありますが、それらはすべてパス/フェイルタスクであり、4回実行され、ほとんどのタスクは非常に簡単で、最高のモデルで4/4(ただし、ランダムノイズのため、時々ランダムな3/4が見られる)になるか、非常に難しく、ほとんどが0/4になります。そして、これらのSOTAモデルの相対スコアを実際に決定するタスクの小さなサブセットがあります。これらのうちの1つを別のものに置き換えると、最もスコアの高い2つのモデル間の結果が反転する可能性があります。いくつかのタスク(約100個のうち)を変更すると、明らかにスコアの低いOpus 4.8がGPT-5.5を上回るのを見ることができます。さらにいくつかのタスクを変更すると、GLM-5.2がリードする可能性があります。
このようなものを見ると、子供の頃に有名人だったので、サイクリングをフォローしていなくても彼の名前を聞いたことがあるMiguel Indurainを思い出します。数年前、Indurain以降のサイクリングの有名人がすべてIndurainとは異なるアーキタイプである理由に興味があり、その答えはそれが恣意的であることだとわかりました。恣意的な理由で、ツール・ド・フランスは世界で最も有名なサイクリングレースになり、支配的な傾向を持つ人は、サイクリングサークルの外でも知られるほど有名になることができます。他の恣意的な理由で、TdFが現在よりもはるかに長いタイムトライアルステージを持っていた時期があり、それはIndurainのアーキタイプに適していました。ベンチマークを少し調整すると、Miguel Indurainはかつての有名人から、サイクリングをフォローしない限りほとんど誰も聞いたことのない、偉大なタイムトライアリストになります。
コーディングエージェントに戻ると、これらのベンチマークを提示するモデルのパフォーマンスを要約したものを、誰が本当に注意を払う必要があるのかは不明です。前述のように、モデルのユーザーとして、これらのベンチマークはどのモデルを使用すべきかを意味のある方法で教えてくれません。
もし他の多くのユーザーがこれらのベンチマークに基づいて決定を下すなら、AIラボはそれらの結果を気にする必要があります。しかし、GPT-5.5がその期間中、ほとんどのベンチマークでさまざまなOpus 4.xモデルを圧倒していたにもかかわらず、AnthropicのビジネスはOpenAIよりもはるかに速く成長しました。GPT-5.5とOpus 4.6/4.7/4.8が公開されている最高のモデルだった期間中、OpenAIは人々がGPTを使用するように説得するために企業に無料トークンを提供していました。私の会社も、数ヶ月の無料トークンを受け取った多くの企業のうちの1つでしたが、その間、ほとんどの人は依然としてClaudeとOpusを主に利用していました。Anthropicの収益軌跡は、これらのベンチマークがユーザー選択の主要な決定要因であるという考えと互換性がありません。そのため、これらの要約メトリックが何を示しているのか、誰が本当に気にするべきなのかわかりません。
最後に見たグラフのセットは、タスク間のばらつきの量を示していますが、前のグラフのセットからは、同じモデルと努力レベルでタスク内の多くのばらつきも見られました。少数の個々の実行を見ると、ばらつきのため、ほぼすべての結論が可能になります。例えば、最適化1を見ると、GPT-5.5 xhighの場合、実行間の標準偏差は0.075です(つまり、パフォーマンスの7.5%の増加/減少)。テストされた最高のGPTと最悪のGPTの平均差を見ると、1.055(GPT-5.4 xhighケイブマン)と0.986(GPT 5.4 mini low)であり、GPT-5.5 xhighの標準偏差(SD)の1 SD未満です。実際のグラフと要約統計だけでなく、次のようになります。
すべてのタスクで、最高の条件が何であれ、最高の条件が実際には最悪の条件からの結果よりもスコアが低い結果を得るのは簡単です。私がRL環境スタートアップを経営しているMax Bittkerと話したとき、彼は次のように述べました。
はい、タスクからタスク、実行から実行へのノイズのレベルは非常に高いため、議論が混乱するのは不思議ではありません。間違いを犯しやすいのは、「すごい、$new_modelは素晴らしい」->「おっと、まだ古いモデルをずっと使っていた」とか、「この新しいハーネス/プロンプトトリックはうまくいく!」です。
しかし、一方で、ベンチマークは「OpusモデルはSonnetモデルよりも混乱した条件を回復し、デバッグするのがはるかに優れている」とか、「中国のモデルはSWE-Benchで高スコアだが、新しいタスクではパフォーマンスが低い」といった声明に統計的有意性をもって自信を与えてくれます。
別のコメントは、記憶からなので緩やかに言い換えると、Matt Mullenwegは、ギャンブラーのような高ばらつき活動を行う人々はしばしば迷信的であると言いました。誰かが幸運の靴下を履いているのを見たり、スロットに座る前に特定のルーチンを持っているのを見たりします。ケイブマンモードを使用したり、コーディングエージェントが良い結果を出したからといってどのモデルが良いかを決めたりすることは、それほど違いはありません。
私はこの記事のドラフトを書く前に上記を行い、Fableがリリースされるのを待ち、その後、Fableのベンチマークをいくつか実行しました。リリース前だったので、Opus 4.8でも数回実行しました。[この記事は、以下のグラフに5.6のベンチマークを追加するために、5.6リリース後に編集されました]
前述のように、これらは私がエージェントに15秒ずつプロンプトを与えて作成した小さなベンチマークです。コーディングエージェントがプロセスをスケーリングできるようにすると、1人あたり15秒の人間の時間でかなりの数の合理的なベンチマークを作成できますが、これは多くのベンチマークを生成するための慎重に設計されたセットアップではありません。これは、ケイブマンモードを評価し、それ以上の調査の価値がないと判断する目的には十分です。もし私がこれを公に書くつもりだったら、いくつかの点でこれらのベンチマークを改善するためにさらに数分を費やしたでしょうが、このばらつきに関する議論の目的には十分だと思います。結果をあまり読みすぎないでください。しかし、私は、エージェントが不正行為をしていないか、または異常に低い実行結果を引き起こす問題(ボックスのノイズなど)がないかを確認するために、いくつかの基本的なチェックを行いました。エージェントは不正行為をしておらず、最も遅い結果は静かなボックスで再現されました。
そして、その免責事項はさておき、GPTのベンチマークと同様に、これらのベンチマークにも、オンラインで進行中の議論を反映したばらつきが見られます。例えば、Fableは一部のタスクでは優れていますが、他のタスクではそれほど優れておらず、多くの人々が試した少数のタスクのパフォーマンスに基づいてFableの全体的なパフォーマンスについて主張しています。前述のように、OpenAIはDeepSWEでAnthropicよりも優れています(GPT-5.5 =~ Fable 5 > Opus 4.8)。そして、最適化1で同様の結果が得られるベンチマークが見られます。人々が私に渡し続けるもう1つの広く引用されているベンチマークはSenior SWE-Benchであり、そこではAnthropicがOpenAIよりも優れています(Fable 5 > Opus 4.8 > GPT-5.6 Sol)。そして、ゲームAIベンチマークで同様の結果が見られます。そこではFable 5 > Opus 4.8 > GPT-5.6 Sol > GPT-5.5です。
上記では、私や他の特定のユーザーが、モデルの良さを伝えるはずのランキングや少数の数値ペアを生成するこれらのベンチマークをどのように有用に使用できるかが不明な理由について議論しました。しかし、ベンチマークに深く入り込んでも、ユーザーとして、ベンチマークの結果に基づいて自分の行動をどのように変更すべきかは依然として不明です。
例えば、私が観察したことの1つは、Opus 4.8がGPT-5.5よりもはるかに頻繁に物事を説明するための悪い合理化を作成することです。私はそれらに何度も同じ問題に取り組むように依頼しました(何が起こるかを見るために、私が直面している実際の実際の問題を解決するように両方に依頼することがよくあります)。これらはしばしば、これらのベンチマーク問題よりもはるかに大きな問題です。たとえば、実際のデバッグタスクや、ゲームAIの構築の場合、AIを生成するための単純なプロンプトではなく、エージェントループや一連の指示を使用して、かなり強力なAIを生成します。少数の人々に尋ねましたが、彼らは皆、GPT-5.xとOpus 4.6/4.7/4.8で同じことを観察しており、Claudeを好み、主にClaudeを使用し、OpusよりもGPTに詳しい人々も含まれています。
その一方で、モデルが誤情報を検出したり、嘘をつかない能力を測定する2つのベンチマークを見ましたが、それらのベンチマークは両方ともOpusがGPTよりもはるかに優れていることを示しています。ベンチマークが期待されることを示しているとすれば、私や他の人々が経験したことは不可能に見えます。例えば、あるベンチマークでは、ベンチマークの提示を素朴に読むと、Claude OpusとSonnetは他のどのモデルよりも誤情報を検出するのがはるかに優れており、Opus 4.8が絶対的に最高で、ソフトウェアでも95%の時間、誤情報を95%検出します。GPTはこれにひどく、Qwen、Grok、Kimi、Minimax、Mimi、Nemotronを下回ります。
何が起こっているのでしょうか?わかりません。
おそらく、これらのベンチマークは、私が話した人々(と私)が実際のプログラミング問題に取り組んでいるときに遭遇するものとは異なる側面を測定しているか、それともこれは小さなサンプルサイズであり、私が話した人々(と私)はOpusからランダムに悪い結果を得ただけか、それとも私たちがOpusの使用方法に関して「間違った持ち方」をしているかのどちらかです。私は、ベンチマークがコーディングやデバッグ中に不正確な合理化に遭遇したときに起こることとは異なる何かを測定していると疑っていますが、これに自信を持つには、かなり高価な実験を実行する必要があります。もしあなたが一般的に私の実験をサポートしたいなら、私のPatreonに登録するか、AIラボにいるなら、実験を実行するための無料クレジットを提供してください。
ところで、ゲームAIベンチマークにも類似のものがあります。そこではOpusがGPTよりも大幅に優れていますが、実際に強力な(超人的な)ゲームAIを作成するプロセスを管理しようとしたとき、Opusが嘘をついたり、無意味な失敗モードを合理化したりする傾向があったため、GPTの方がうまくいくようでした。監督なしでは、どちらも無価値で独自の失敗モードを持っていましたが、指示されると、GPTは軌道に乗せ続け、機能する可能性のあることをやり続けるために、より少ないプロンプトで済みました。これは、単一のプロンプトが約10ドルのコストがかかるxhigh実行であり、小さなベンチマークが実際のタスクの逆の結果を示す小さなゲームAIベンチマークではまったく反映されていません。
しかし、ここでのポイントは、たとえあなたが気にかけているものと正確に同じことを測定しているように見えるベンチマークを見つけたとしても、それらのベンチマークは実際の結果と一致しないことが多いということです。もしあなたが私のような変わり者なら、何が起こっているのかを理解するために多くの時間と/またはお金を費やすことを決めるかもしれませんが、もしあなたが完了したい仕事(おそらくあなたの実際の仕事のため)があるなら、それは非常に不合理なことです。
ところで、人々がしばしば直感に反すると感じるベンチマークにはいくつかのパターンがあります。公開されているベンチマークに基づいてどのモデルが優れているかの議論とは異なり(これは無意味です)、私はこれがいくらか興味深く、有益であると感じています。前述のように、GPT-5.4が5.5を上回るベンチマークがあることはすでに述べました。努力によって結果が改善または悪化する場合があることもわかります。例えば、最適化1では、GPT-5.6 Lunaは努力が増えるにつれて単調に悪化し、最適化2でも一般的に悪化しますが、ゲームAIでは努力が増えるにつれて単調に改善します。また、GPT-5.6 Solの最適化1とゲームAIでは、maxがxhighよりも悪くなることもわかります。GPT-5.6 Solでは、ultraはすべての3つのベンチマークでmaxよりも優れており、最適化1とゲームAIではmaxよりも安価です。同じプロバイダーまたは同じモデル内でも、人々が直感的に期待する多くのこと(例えば、より多くの努力からより良い結果が得られること)は真実ではありません。異なるプロバイダー間のより大きな違いを考慮に入れると、結果の異質性が非常に高いため、XがYよりも優れているという単純な声明は、モデル間に非常に大きな能力差がある場合を除いて、一般的に間違っています。しかし前述のように、意図的に選ぶことなく、Anthropicの旧世代モデルがOpenAIの現世代モデルを上回る場合と、その逆の場合を見つけることができます。
人々がこれらのベンチマークを提示するのを見ると、しばしば誰かの迷信的な信念を裏付けるために使用されます。例えば、職場で、ある人がSenior SWE-Benchの結果を引用して、Fable 5 > Opus 4.8 > GPT-5.6 Solと言い、これが現実的だ(AnthropicがOpenAIをはるかにリードしていると信じている人から)と述べました。もちろん、逆を示すDeepSWEを引用することも同様に簡単です。
これらのことについて私の判断を信頼しているすべての人は、これらのベンチマークをかなりインチキだと考えています。なぜなら、今日、Anthropicの旧世代モデルが全体としてOpenAIの現世代モデルよりも優れている、またはその逆であるという考えは、これらのものをかなり使用したことがある人にとって、まったく現実的ではないからです。AIラボの外にいる信頼できる人々に、モデルの良さをどのように判断するか尋ねたとき、それは一般的に感覚に基づいており、感覚に基づいた他の人々からの印象を集めることによるものです。なぜなら、ベンチマーク結果が、物事をただ見ているだけよりも良いアイデアを与えてくれないことは明らかだからです。
ベンチマークとデータ分析
特に理由はありませんが、私は常に実験の設計と測定をすることを楽しんできました。これは、キャリアについて考え始めるずっと前からそうでしたし、今日でもそうです。ここで議論したように、測定はこのブログの主要なテーマの1つであり、おそらく主要なテーマです。幸いなことに、この生涯の趣味は、キャリアにできるものになりました。さらに幸いなことに、このスキルはコーディングエージェントによって相対的に価値が高まったようです3。
上記で議論したように、エージェントが多くのことを実行できるようにすると、テストは高度にエージェント化されたワークフローのボトルネックになります。なぜなら、テストされていないものはすべて確率的に劣化するからです。エージェントで出荷する量が多いほど、これは悪化します。もしあなたが実行するすべてが、各タスクがパス/フェイルタスクであり、タスクを間違えないこと以外に実際に改善する方法がないモデル評価のようなものであれば、テストが十分に良いことを確認でき、テストがパスするまでエージェントを自由に動かすことができます。実際には、ほとんどすべての非人工的な問題では、厳密な正しさの評価をパスするソリューションを持つことが可能ですが、それでも非厳密な正しさの意味で、より良いまたは悪い場合があります。もしあなたがエージェントに問題(高速で緩いバイブコーディングであれ、自律的なエージェントループの実行であれ)を自由に実行させたいのであれば、ベンチマークの問題が発生します。
自律的に、自己改善ループで実行されると、エージェントはこの点でかなり悪いようです。数ヶ月間行っているさまざまな小さなこと(多くのエージェントに独立して考えさせ、反論的なエージェントを混ぜて複数回繰り返すなど)で、ここでいくらかの改善が見られますが、人間の介入なしではまだそれほど良くないようです。
その理由の1つは、エージェントがデータとデータ分析を理解するのが非常に下手だということです。エージェントループや大規模な問題の文脈でこれを行うのは、スタンドアロンのデータ分析よりも難しいですが、人々が単にエージェントにスタンドアロンのデータ分析を行わせるとき、結果は多くのガイダンスなしでは一般的にひどいです。エージェントがデータ分析を容易に行えるため、私はエージェント主導の分析をかなり多く見てきましたが、少なくともこれまでのところ、私が目にしたすべてが完全にインチキです。私もかなりの数を自分でやりました(人々が完全にインチキなLLM出力を得る価値を過小評価していると本当に思っています。これについては後ほど詳しく説明します)が、同じことを発見しました。
完全にインチキと言うのは、関連性のない異なる数値を偶然見つけて、それらの関係について何か深いことを推論したり、多数の中から2つの数値または例を選んで、データ内の他の数値を矛盾する理論を立てたり、意味のないプロットを作成したりすることです(ただし、しばしば見栄えが良い)。ランダムな具体的な例として、私が最後にエージェントが生成した分析を見たとき(この記事を書いているときにちらっと見ました)、誰かが何かのリソース使用率を分析するようにエージェントに依頼しました。これはOpus 4.8をmaxで実行したものでした(Fableは無効になっていたので、当時Anthropicから買える最高のものでした)。エージェントは、100%を超えるリソースが消費されることが不可能であるタスクで、リソースの514%が消費されていると判断しました。私は同僚が時々これらのことについてコメントし、「Xは何を意味しますか?」のような無邪気な質問をすることがあります。一般的に、彼は応答がないか、最初の応答と同じくらい不正確なAIによって書かれた応答を受け取ります。
とにかく、私がデータ分析にエージェントを使い始めたとき、おそらく2025年11月頃、そのスピードアップはかなり信じられないものでした。数週間かかったであろう分析が、数時間で完了するようになりました。
私がすでに目にしている完全にインチキなデータ分析の多さから、次のことを説明することさえためらいますが、私がたくさん行っていることの1つは、「通常のバイブコーディングされたデータ分析」よりもはるかに大きなスピードアップをもたらすものです。それは、エージェント(またはエージェント)が問題を「理解」して分析し、エージェントが生成したものから良い分析を抽出するために必要な部分を修正するという、単純なエージェントループを実行することです。
このインチキなLLMループがどれだけスピードアップするかは問題によりますが、最後に試したとき、問題の従来のLLM以前の分析には数日かかったと思います。例えば2日としましょう。私がマルチタスクをして、必要に応じてLLMをいじっているワークフローでは、1〜2日かけて1〜3時間かかったでしょう。この「結果が間違っていることを知っているLLMループを生成させる」ワークフローでは、LLMを誘導しようとするよりも、数日間で約5分で許容できる結果が得られました。文字通り、私が以前に修正していない分析のどの部分を見ても、分析は間違っていました(そして、場合によっては複数の修正を発行する必要がありました)。しかし、それでも全体として、LLMを誘導しようとするよりもはるかに速く進みました。
人々がLLMから完全に不正確な結果を得ることの価値を本当に過小評価していると思います。これは、非皮肉なことに、正しく指示されれば、プラスの方向にゲームチェンジャーです。
SOTAモデルがデータ分析において信じられないほど下手であることと、人間のデータ分析をどれだけスピードアップするかという点には、少し奇妙な点があります。私は、ベンチマーク、評価、実験デザインに関する一連の演習を持っています(パート1、パート2、パート3、パート4、パート5、パート6)。GPT-o3がリリースされたとき、Tyler Cowenはo3について次のように述べました。
ほとんどすべての面で、人間を圧倒します...AGIと呼びたくないなら構いません。そして、すべてを正しく行うわけではなく、それを騙す方法もあります。通常は非常に簡単な(人間にとって)質問で。しかし、何が起こっているのかについて自分自身を欺くのはやめましょう。広範なトピックと方法において、それは人間を圧倒します。それを認め、認める時が来ました。
これは、これらの演習からの質問をSOTAモデルに尋ねてみるきっかけとなりました。それらは一般的に、質問をモデルが答えられるように具体的に言葉にしない限り、合理的なジュニア同僚から期待されるものよりもパフォーマンスが劣ります。現実の生活で合理的な人間の同僚に質問するように質問すると、一般的にうまくいきません。これは、評価の宿題の質問を誰かが尋ねたときに発生する理論的な問題だけでなく、経験的でオープンエンドな、より長期的な改善タスクを実行するようにエージェントに依頼するときはいつでも発生する問題です。
これはさまざまな実世界のさまざまな問題で発生するのを見ましたが、実世界のほとんどの問題の混乱をほとんど持たない人工的な問題でも発生します。良い問題だと思う例は、ボードゲームAIの構築です。これは、最終的に人間や他のAIを、明確に定義されたゲームで打ち負かすことを目指すため、ほとんどの実際の問題よりも評価がはるかに簡単な問題です。
エージェントは、自分で設定された場合、これを理解することができません。AIに公平を期すために、この問題はインターネットコメンターが考えるよりもいくらか難しいです。例えば、これらの実装方法に関する情報を検索するだけで、このような またはこのようなさまざまな交換が見られます。実装したことのない人がそれが簡単だと説明し、実装した人がそれが彼らが思うよりも難しいと伝えています。ほとんどのオンラインチュートリアルは役に立たず、高く評価されているbulleライブラリの作者でさえ、初心者は「[ボードゲームAI技術に関するほぼすべての記事/ブログ投稿/書籍(著者の強力な[ボードゲームAI]に裏打ちされていないもの)]」を見るのを避けることを推奨しています。問題が正確に難しいわけではありませんが、ほとんどの人(およびすべての公開されているLLM)を躓かせるのに十分な落とし穴があるようです。
私がボードゲームAIの実装を試み始めたとき(これはGPT-5.1から5.2の頃でした)、ボードゲームAIについては何も知りませんでした。そして、コーディングエージェントに機能すると思うものを実装させようとしました。今ではボードゲームAIについて少し知っているので、GPTが提案したすべての方向性が間違っており、機能しなかったと言えます。実験として、最近これをもう一度試しました。GPT-5.5とOpus 4.8が最高の公開モデルだったとき、それらはまったく同じように失敗し、多くの同じ間違ったアイデアを提案しました(確実にするために、それらに間違ったアイデアを実装させ、予想通り失敗しました)。Fableが利用可能になったときも、Fableでこれを試しましたが、まったく同じように失敗しました。Fableは実際には優れており、15〜20回の修正の後、自律ループで効果的に機能しましたが、Opus 4.8とGPT-5.5はそうではありませんでした。ところで、これは公開ベンチマークが捉えられない種類のものの別の例です。
しかし、LLMがガイダンスなしで反復することに戻ると、あるレベルでは、これは今日のLLMのかなりよく理解されているギャップだと思います。偶然にも、私がこれを試していた頃に、Code Clash評価が作成され、同じ結果をテストしました。
反復不能:モデルはラウンドごとに改善するのに苦労し、さまざまな失敗モードを示します。
エージェントが方向性を設定するのがひどく下手で、私がボードゲームAIについて何も知らなかったにもかかわらず、私はGPT-5.1/5.2で約5時間の私の時間でAzulの超人的AIを構築し、約20時間の私の時間で当時の他のどのAIよりもはるかに強力なレベルに到達させることができました。Azulの世界チャンピオンであり、おそらく世界で最も強いプレイヤーは次のように述べています。
ボットは今やかなりクレイジーです。私よりも明らかに強いですが、それを本当にテストするには、ターンベースのゲームのようにプレイする必要があります。私の時間の制約の中で、私はチャンスがありません🙂4。
「1つの奇妙なトリック」があったと言いたいのですが、実際には2つのトリックがありました。しかし、2つのトリックはそれほど悪くありません。特にそれらが他の種類のプロジェクトにも一般化できる場合です。2つのトリックは次のとおりです。
- データを見る / 合理的な評価をいくつか持つ。
- 問題を体系的に解決する。
これらはどれも非常に厳密である必要はありません。実際、私はこれらすべてがバイブス(言葉の「バイブコーディング」の前の意味)で実行されていたと言えます。データ側では、このプロジェクトのために、私は私によくある習慣を使用しました。関連性があると思われる多くのことをプロットし、それらをざっと見て、物事を改善すると思われる方向に微調整しました。より厳密な(そしておそらくより良い)アプローチは、最初から多くの実験を実行し、「アブレーション」実行(個々のアイデアを追加または削除する)を行い、各コンポーネントが何をするか、およびその影響を理解することです。しかし、私はできるだけ少ない時間で強力なAIを作成したかったので、ラップトップでトレーニングし、厳密に物事を行うことは、これらの制約を考えると高すぎると感じました。
MLの経験がない人にとっては、これらすべてが些細なことだったでしょうが、観察して対処する方法を見つける必要があった小さなことがたくさんありました(これは現在エージェントがひどいことです)。例えば、適切な評価セットを見つけることに関して、いくつかの面白いことがあります。1つは、損失を減らす変更を簡単に作成できるが、実際の対戦相手(人間または他のボット)に対する勝率を変更しないこと、またはその逆です。もう1つは、以前のバージョンに対するボットの改善を追跡しようとすると、ボットが以前のすべてのバージョンに勝てるように変更を加え、以前のバージョンに対して1000または2000のEloゲインがあるように見せかけることが非常に簡単ですが、人間や異なるスタイルのプレイヤーに対してはまったく改善されていません。そして当時、対戦できる超人的なボットがなかったので、既存のボットのフィールドと対戦するだけで合理的な評価を得ることができませんでした。
人間にとっては、これらは実際には難しい問題ではありません。合理的な人間は、これらの問題の1つを見て、数分間考え、おそらく機能する解決策を提案できます(そして機能しない場合は、別の解決策を試します)。しかし、エージェントが今日これにうまく対処できないほどの微妙さがあるため、多くの人間もそうではありません。ほとんどのボットはかなりひどく、人々はそれらにかなりの時間を費やしたように見えましたが、公開されている例外はhttps://github.com/cestpasphoto/alpha-zero-generalの「PJF98」Azulボットでした)。PJF98ボットよりも強力なボットが存在しましたが、一般公開されておらず、BGAで1シーズン勝つために使用されただけでした(ボットの使用は不正行為であるため無効になりました)そして二度と見られませんでした。
私が言及したもう1つのトリックは、体系的なアプローチを取ることでした。大まかに言うと、これは、不透明なシステムを複雑さを持って扱う場合、バグの症状を見るたびに、観察する方法を知らない他のバグの1つ以上のウィンドウである可能性が高いからです。ウィンドウを体系的に閉じずに他のバグを修正しても、他のバグはまだそこにあります。それらを見つける方法を知らないだけです。
これは、ニューラルネットを使用するボードゲームAIを構築する場合に当てはまります。なぜなら、何をしているかわからないネットと、何をしているかわからない検索関数があり、時には明らかに悪い動きを特定できるからです。これは、バイブコーディングや/またはエージェントループでも一般的に当てはまります。エージェントが何をしているかわからないものをしており、時には何がうまくいかないのかのウィンドウが得られます。なぜなら、エージェントが生成する巨大で複雑すぎるコードの山が、明らかに悪い動作を放出するからです。
特にボードゲームの場合、私は他のAzul AIを調べました。多くの人がボットを構築しており、特に最近ではコーディングエージェントがボットを構築することを非常に容易にしています。それらのいくつかは、作者がボットをどのように微調整しようとしたかを見ることができます(例えば、Claudeに与えた指示をリポジトリに含めていたため)。そして、私の知る限り、これらの他のボットがより多くの人間時間を費やしたにもかかわらず、はるかに悪かった主な理由は、間違った評価の使用と、問題の症状を修正して原因を修正しなかったことの組み合わせでした。
例えば、あるケースでは、作者がClaudeの指示をリポジトリに残していたため、何をしたかを見ることができます。ある時点で、彼らのボットは、ゲームを学んだばかりの人間でさえプレイしないような、ゲームよりも悪い動きをしていました。作者はClaudeに、その動きを止めるための直接的な修正を指示しましたが、それはボットが行ったその動きを止めましたが、ボットが持っている体系的な問題から生じる他のすべての悪い動きを修正したわけではありません。それは、作者が見ることができた明白な悪い動きの症状を修正しただけでした。
私のボットにも同様の問題がありました。ある時点で、私のボットはほぼ常に2列目で開始しようとしました。単純な修正として、ボットが2列目でプレイする頻度を減らすことが考えられます。ノイズを増やして自己プレイでの探索を増やすなどの「明白な」修正を試しましたが、明白な修正はどれも、2列目の値を直接減らすこと以外は機能しませんでした。しかし、それは問題全体を解決しないという、議論したもう1つの問題があります。この特定のケースでは、より体系的な修正が機能し、ボットのプレイをより一般的に堅牢にしたのは、ゲームのさまざまな時点(特に終盤)で、列の順列が異なる新しいゲームにゲームをフォークすることでした。考え方は、平均すると2列目が最良の列であるため、ボットが別の列で開始しても、過去のゲームで見たものにより、平均的な最良の列に戻る傾向があるということです。もしあなたがDeepMindなら、この問題にお金をたくさん費やして、ボットにさらに多くのゲームをプレイさせて、何か別のことを学ばせることができます。しかし、ラップトップで実行している場合、それは時間がかかる可能性があり、ボットがどれだけ重み付けを調整すべきかを調整しようとしている場合、それを行うための合理的に最適な重みセットを得る方法はありません。しかし、もしあなたが(例えば)時々、終盤近くに、2列目を4列目に置換すると、ボットは4列目がほぼ満杯の場合、それを完了することが勝利の動きであることを学ぶでしょう。これにより、ゲームの早い段階で、4列目が部分的に完成している場合、それをほぼ完了まで進めるのが理にかなっていることを学ぶのに役立ちます。そして、オープニングでは、ボットはオープニングで合理的な分布で開始することを学ぶでしょう。
私のようなML/AIのバックグラウンドがない人にとっては、ボットを超人的なパフォーマンスに到達させることは、データに対する正しい視点を特定し、それを体系的に調整して問題を解決するというパズルの組み合わせでした。これは、一般的な問題に対するエージェントループの管理とそれほど違いはありません。Michael Malisは、「ソフトウェアファクトリー」ワークフローの実行はFactorioをプレイするようなものだと述べており、私は彼が何を意味するのかわかります。
その他
特定のワークフローのヒントやトリックについて話す価値はあまりないと思います。なぜなら、これらの半減期は非常に短いからです。私がより自律的なループを実行する前や、より多くの人間参加型作業を行っていた頃、「私の」エージェントはしばしばAGENTS.mdやその他の指示に直接矛盾することを実行していました。Yossi Kreininにさりげなく言ったところ、彼はAGENTS.mdの最後に、圧縮後に指示を再読するようにというメモを追加することを提案しました。私の知る限り、それは何の効果もなかった迷信的な行為かもしれませんが、この問題の発生率を1日に数回(複数のエージェントを同時に扱っている場合、おそらく1エージェントの日あたり1回)から週に1〜2回(おそらく100エージェントの日あたり1回程度)に減らしたように見えました。これはもはや必要ないようです。つまり、これは最初は何の効果もなかったプラシーボであり、一時的に運が悪かっただけか、それともAIラボがこれも追加したかのどちらかです。2024年8月に議論したトリックは、LLMがコードを生成するがデフォルトでは実行しない頃でしたが、コードを実行してそれが機能し、テストに合格することを確認するループを設けるだけでした。そのトリックは、そのトリックが非常に明白で有用であったことを考えると、驚くほど長い間役立ちましたが、もちろん、大手AIラボは最終的にその有用性を認識し、それらすべてが現在これを行うツールを持っています。
過去数ヶ月間、私が使用している「トリック」は、Gas Townのようなものと似ていますが、さまざまな小さな工夫を加えて信頼性を高めようとしています。ClaudeのDynamic Workflowsは、これらのトリックの半分を使いやすいパッケージにまとめたように見えます(私はそれがウォーターフォールモデルを使用すると言われているため、使用していません。つまり、あるステージのものが前のステージに依存しますが、それはいつか修正されるか、その制限のないものがリリースされるでしょう)。Codexには、同じことを目的としたように見える、広告されているがまだリリースされていない機能があります。原則として、ゴールモードは他のトリックのほとんど半分をパッケージ化するはずですが、今のところそれほどうまく機能しません(バグで失敗することがあることに加えて、手動で書かれたループよりも目標を追求するのが劣っているように見え、また非常に脱線することがあります)。Dennis Snellは、彼が無限トークン契約を持っていなかった場合、彼の雇用主が数日間で6000万ドルを費やしたであろうとCodexによると、彼が期待していた小さなタスクをゴールモードで実行させたところ、それが数日間で6000万ドルを費やしたと述べました。再度尋ねると、それは20万ドルと言いました)。おそらくこれらは改善され、私が現在行っていることのほとんどは、数ヶ月以内に既製のものが利用可能になるでしょうか?前述のトリックと同様に、これらはすべて非常に明白なことなので、詳細について多くの時間を費やす価値はないと思いますが、興味のある人のために後で簡単なコメントを付録に記載します。
上記で議論されたメタテクニックは、さまざまなプロジェクトで私にとってかなりうまく一般化されており、エージェントが非自明な問題記述を完全に解決できない限り、耐久性があるように思われます。その場合、私の経済的価値がゼロに近くなる可能性があるため、心配する必要はありません。
もう1つの有用なメタアイデアは、コーディングエージェントが人間と比較して効果の点で非常に不均一であるという非常に明白な考えです。従来の生産性について議論する際、Fabian Giesenは、速度向上が彼の働き方をどのように変えるかについて次のようにコメントしました。
特定のしきい値を超えると、「フェーズシフト」が発生します(詳細はある程度問題によります)。作業方法全体が変わります。...理論的にはどのような速度でもできることはたくさんありますが、実際にはできません。反復時間が長くなるにつれて、まず非常にフラストレーションがたまり、長くはできなくなり、最終的には短期間の記憶から完全に消えてしまうため、メモを取るか、そうでなければ整理しないとできません。確かに、インタラクティブなUIでスライダーをドラッグして、0.5秒未満で結果を確認できる場合、それは非常に「フィルターなし」になります。試したいことがあれば、ただ実行するだけです。数秒の反復時間(静的にコンパイルされた言語でのコンパイル・リンクサイクルなど)になると、試すだけでなく、実行を無駄にしたくないほど時間がかかるため、それが教えてくれることについて考える時間も費やします。数分または数時間の反復時間に達すると、実行を無駄にしないための多くの計画があり、待っている間に他のことを行うためのコンテキストスイッチ、メモの取り方/記録管理があります。このレベルでは、間違いは両方ともより高価であり(無駄な実行はより多くの時間を無駄にするため)、より一般的です(注意が非常に分散しているため)。さらにスケールアップすると、かなりのリソースをかなりの時間消費し、承認と予算計上が必要になり、それ自体に会議などが必要になる場合があります。エージェント型コーディング速度の向上にも同様のものがあります。人々は時々、エージェント型コーディングが100倍または1000倍生産的であるという主張をします。私がやるタスクを見ると、人間ワークフローをエージェントに効果的にリフト&シフトできないため、数値を正確に特定するのは困難です。私は最初からやっていたこととは非常に異なることをやっています。例えば、すべてのサポートチケットを見て、サポート問題をPRに変換するというアイデアを検討します。ここで何らかの速度向上を主張するとしたら、それは非常に大きな数字になり、100万倍以上になるでしょう。しかし、もちろん、私はすべてのサポートチケットを自分で読むわけではないので、そのような主張は無意味です。より合理的な推定方法は、古典的な手法を使用してその数のバグ修正を生成するであろう伝統的な組織構造を考え、その比率を推定することですが、そのような推定の誤差範囲は1桁以上であり、通常のソフトウェア企業では行われなかったことなので、比較は再び無意味です。これは、年間20,000マイル運転する人が、歩いて同じ距離を移動するのにかかった時間だと主張して、通勤時間を6,000時間節約し、15倍の速度向上を得たと主張するようなものです。運転によって、彼らはそうでなければできなかったことを可能にしたことは明らかですが、比率について議論する意味はありません。
もう1つの例として、100万倍以上の速度向上を主張できるが、無意味な数字である例は、LLMにファザーを半自動的に生成させようとするときです。私は、LLMにコミット履歴全体とすべてのバグ修正、および関連する可能性のあるすべてのサポートチケットを調べさせ、LLMが書いたファザーがバグを一般的に再現できるようにしようとしました。これは有用だったようですが、その価値を正確に数値化するのは困難です。
私にとって、LLMの効果的な価値は、以前は合理的に行うには時間がかかりすぎていた多くのタスクが、今では非常に簡単に実行できるようになったことです。脚注で、簡単に構築できるアプリがたくさんあると述べましたが、そのため、時々カスタムアプリでオンラインボードゲームをプレイしています。これは、主要なボードゲームプラットフォームのいずれよりも優れた体験です(ボードゲーム専用アプリよりも優れています)。
主に好奇心を満たすために行っていることですが、ビジネスにも関連性がある可能性のあることとして、以前は時間の価値がないように思われたデータ分析も行っています。例えば、ユーザーが経験するバグとサポートチケットの比率について、以前から興味がありました。コーディングエージェントを使用すると、サイトにアクセスできなかったり、機能を使用できなかったりした主要なインシデントのリストを生成し、各インシデントに関連していると思われるチケットのリストを取得するのに、私の時間は数分しかかかりませんでした。このデータを結合すると、典型的な比率はチケットあたり200人の影響を受けたユーザーであり、比率はしばしば100:1から1000:1の間でした(そして、より多くのインシデントが含まれていれば、さらに広い範囲が見つかったと確信しています)。参考までに、私は100:1から1000:1の間の推測を事前登録しました。1000:1に傾いていましたが、そのため、典型的な200:1は1000:1よりも100:1に近いので、ここでは少し外れました)。
もちろん、この分析には多くの穴があります。チケットが不足している可能性がないとは言えません(独立して、インシデントに関連付けられていると手動でタグ付けされたチケットとクロスチェックして、偽陰性がないか確認しましたが、主な発見は、エージェントが人間よりも多くのチケットを見つけられたことですが、人間とエージェントの両方が見逃した偽陰性がないとは限りません)。また、関連チケットが妥当かどうかを確認するために、チケットをランダムにサンプリングしましたが、妥当に見えましたが、これは単なる大まかな分析だったので、高精度分析を本当に検証するのに必要なほど多くのチケットを手動で検査しませんでした。
また、軽微な問題に対する比率がどのように変化するかも不明です。軽微な問題に対しては、比率は一般的に高くなるはずであり、投資の少ないユーザー(サインアップフローの典型的なユーザーなど)に対しても同様です。多くの軽微な問題では、比率は1000:1をはるかに超え、多くの微妙な問題では10000:1または100000:1を簡単に超える比率が見られると推測しています。
この分析では正確なことは何も言えませんが、「影響を受けたユーザーは6人だけだった」という発言に対する応答としては機能します。なぜなら、問題に対して6つのチケットが添付されていたからです。エージェントを使用して関連チケットを検索すると、25枚のチケットが見つかり、問題の重大度を見ると、10000:1の比率を推定するかもしれません。したがって、「影響を受けたユーザーは6人だけだった」は、「少なくとも5000人のユーザーが影響を受けた可能性が非常に高く、25000人のユーザーが影響を受けた可能性が高い」に変わるかもしれません。
もし私がこの分析に必要なすべてのシステムにすでに精通していたら、この分析のラフな推測を得るのに数時間かかり、さらにラフな推測になったでしょう。しかし、私が精通していなかったことを考えると、これは数日かかったでしょう。代わりに、これは数日間で約15分で完了しました。Fabianが述べたように、数時間または数日かかったであろうアプリや分析が完了するこの種のスピードアップは、働き方を変えるフェーズシフトであり、自律ループで時折メンテナンスが必要なものを含めると、それはさらに言えます。
もう1つの考えは、事前に明らかではなかったことですが、LLMは、自分がやろうとしていることに対して比較的専門知識のある人にとって、より大きな生産性乗数であるように思われるということです。このことに関するコメントを探すと、もちろんLLM生成のSEOスパムのページがたくさんあり、それを読み進めると、反対を示すコメントがかなりありました。基本的に、誰でも今や何でもできるということです。それは以前よりも真実ですが、専門知識がより価値が高まっていることはさらに真実であるように思われます。Max Bittkerは、少なくとも部分的にはLLMが偽造品を作るのが得意だからだと述べていますが、偽造品は(まだ?)それほど良くなく、専門家は偽造品と本物を区別できる、と彼は述べており、私はそれを興味深いフレーミングだと考えました。
そして、2015年のAIが人間を過小評価しているという投稿をフォローアップすると、過去1年で、私のLLM駆動の遠隔カスタマーサービスインタラクションのメディアンは、私の遠隔カスタマーサービスインタラクションのメディアンよりも優れています(高給の人間のサービスは、私のLLM駆動の経験のほぼすべてよりも優れた体験を提供しますが、企業は高給の人材を望んでいません)。2015年の投稿で反論されたのと同じ論理線が、2022年のChatGPTリリース時にも繰り返されました。その論理線は、2022年以降、毎年リーダーシップのバイラルヒットとなっており、すぐに変わるとは思えませんが、今日でも私には間違っているように思えます。
ちなみに、以前議論したように、効果的なプログラマーになる方法はたくさんあるので、ここで議論されていることが最善の方法である、あるいは非常に良い方法であるとは言いません(新しいことを発見するにつれて、ワークフローを定期的に変更しています)。しかし、これは私が試していて、従来のワークフローよりも私にとってうまく機能しているように見えるものです。私の背景と興味を考えると、エージェント型コーディングに体系的で評価駆動のアプローチを取ることは自然です。私は、ほぼ反対のアプローチを使用し、それをうまく機能させている人々を見てきました。彼らは、何が起こっているのかほとんど理解せずに非常に速く動き、金塊を掘り当てたときに、そこにすべての努力を再帰的に注ぎ込みます。それは私の背景にはあまり合っていませんが、私が取り組んできたほとんどの問題にはうまく機能しないと思います。問題へのアプローチに適した問題を選択しています。間違いなく、私のワークフローが、反対のワークフローに適した問題に移植された場合、うまく機能しないでしょう。
付録:人々が話が噛み合わない
意見が一致しないときに人々が話が噛み合わないことは常にありましたが、これは今日、エージェント型コーディングについて話す際に、他の多くのトピックよりも問題になっているようです。
これの主な理由として私が目にしたのは次のとおりです。
- 一般的な信じがたさ
- ワークフローベースの信頼性の違い
- 一般的なワークフローの問題、つまり「スキル不足」
- 期待値の違い
一般的な信じがたさについて、私の人生の他のどの時期よりも、私は人々が「Xは不可能だ、誰もXをしない、そしてXをやっていると主張する人は皆嘘つきだ」と言っているのを見ますが、私は信頼できる人々がXをやっているのを知っているか、または私がXをやっています。AIに関する不信感は非常に大きいです。11年前、AIがすでに起こっているにもかかわらず、AIが人間を代替または置き換えることは不可能だと言う人々について調べましたが、そこでの変位は典型的な中間層の個人やプログラマーにとって深刻な懸念ではなかったため、私が「街で」遭遇する可能性のある人々にとって、それは今日ほど顕著ではありませんでした。今、これは私が遭遇する人々にとってより「顔に迫る」ものになったので、現実を否定する量が急増しました。
ちなみに、多くの人が信じがたいと思うのは非常に合理的だと思います。まず、AIに関する多くの肯定的な主張は不正確です。平均して、野生で不正確な主張は、退屈で正確で正しい主張よりも多くのトラクションを得るため、これをフォローしていない人は、簡単に却下できる不正確な主張をたくさん見るでしょう。これらの主張をしている多くの人々がAI企業の一般的な成功に直接的な金銭的利害を持っていることも役立ちません。これにより、懐疑論者はこれらの人々がすべて自己利益的な嘘つきであると結論付けるのが容易になります。
ワークフローベースの信頼性の違いについて、私が意味するのは、異なるワークフローは異なるレベルの信頼性を要求し、より高いレベルの信頼性を要求するワークフローを使用する人々は、AIがXの信頼性でできないため役に立たないと主張することがよくありますが、それほど高い信頼性を必要としない多くの効果的な用途があることを見落としています。極端な例として、一部の人々はAIを使用して、新しい数学的研究を行い、未解決の問題を解決しました。仮に、AIがあなたが取り組んでいる未解決の問題を、試みるたびに100回に1回解決し、99回は完全に支離滅裂な結果を返すとしましょう。それは素晴らしい結果のように思えます。数学研究における深刻な未解決問題を100回に1回解決することは、たとえコードレビューを100回に1回行い、99回は悪いコードレビューを生成したとしても、それは悪い結果になるでしょう。
より極端でない例として、プログラミングの仕事では、エージェントが100%信頼できると仮定せず、これを処理するためのシステムを構築しない場合、エージェントが信頼できると仮定し、エージェントが信頼できない場合の対処に人間の介入が必要な人よりもはるかに低い信頼性レベルを許容できます。私は定期的に、「AIをXに使用しないでください(なぜなら100%の時間機能しないからです)」というアドバイスを見かけますが、私はXを常に実行しており、Xが100%信頼できない場合の対処法について、退屈なシステムを持っている人を知っています。これは、エージェントが信頼できないかどうかに関係なく、プログラミングで一般的に行う必要があることなので、エージェントが信頼できない場合に対処するために使用するのと同じ技術を使用しませんか?
スケールの違いも、人々が話が噛み合わない原因となります。人々は異なるスケールで非常に異なる信頼性要求を持っています。伝統的なソフトウェアシステムでは、スケールが1桁増加するごとに異なるアーキテクチャが必要になるという古い経験則があります。それは実際には真実ではありませんが、異なるスケールで異なるアーキテクチャが必要になるという方向性で正しい考えを捉えています。これはエージェントの使用にも当てはまります。
例えば、以前の注記に関連して繰り返し目にしたものですが、私がやるタスクでは、AGENTS.mdに明確で厳格な指示を追加して何かをしないようにすると、10個のエージェントとルールを扱っている場合、週に1〜2回失敗します。これは、ルールエージェントの日あたり約1回の失敗率です。これは機能しますか?比較的少数のエージェントとルール(例えば、10エージェント、10ルール)で人間参加型のコーディングを行っており、失敗が通常人間レビューで捕捉される非壊滅的なものである場合、これはうまく機能します。もしあなたが数百または数千のエージェントを実行している場合、またはレビューやその他のガードレールなしで出荷している場合、たとえ少数のエージェントであっても失敗が深刻な問題を引き起こす可能性がある場合、これはまったく機能しません。一部の技術はスケール不変ですが、多くはそうではありません。
別の種類のワークフローの問題は、Xには機能しないワークフローを持っている人々が、Xを実行できないから誰もXを実行できないと結論付ける場合です。私は、何が機能しないかの詳細についてはあまり考えていませんが、Max Bittkerは次のようなコメントをしました。
いくつかのパターンに気づきましたが、順不同です。
人々は時々環境設定を誤っています。古いモデルを使用している、MCPやアフターマーケットのシステムプロンプトをたくさん有効にしている、またはLLMがWindowsや特殊な環境やIDEを扱おうとしている。
人々は時々、非常に長いチャットと多くの後戻り、または非常に乱雑な作業ディレクトリを使用してコンテキストウィンドウを台無しにします。
不正確な言語を介して誤って要件を注入し、LLMを意図したよりも難しいタスクに送り出す。例えば、ゲームのコアを構築する前にマッチメイキングシステムを構築するなど。
何をしたいのか、またはいつ完了したいのかについて強い考えがない場合、過小評価し、共同で要件を時間とともに変更し、どこにも到達しない可能性があります(多くのAI精神病バイブコーダーがこれを行います)。
付録:エージェントループとこの記事の執筆
この記事の冒頭の代替テキストで述べたように、私は長年AIについて書くことをためらっていました。なぜなら、私はガラパゴス諸島にいて、ソーシャルメディアをあまり読んでおらず、SFで実際に何が起こっているのかに詳しい人たちとの連絡もあまり取れていないからです。
5月に、SFから来た数人とチャットしたときに、何かを書くのが理にかなっているかもしれないと確信しました。彼らは最先端の状況に近く、エージェントで人々が何をしているかの最先端にいるように見えましたが、私のワークフローにはまだ彼らが興味深いと思ったことがいくつかありました。しかし、前述のように、特定のワークフローのヒントやトリックの半減期は短すぎるため、正確なワークフローの詳細なノートを書く価値はないと思いました。そのため、メインの記事はより高レベルのアイデアに焦点を当てています。何が実際に役立つかはわかりませんが、私のワークフローの進化について何かを書くことを試してみます。前述のように、私のワークフローが正確に優れていた時期はなかったと思いますが、それは有用であり、常にそれを少し生産的にするための自然な次のステップがあるように思えました。
昔々、ClaudeやCodexのようなツールが登場する前は、私は非常に単純なループを実行することがありました。それはコードをコンパイルし、テストを実行し、すべてがパスするまで再プロンプトするだけでした2024年半ばにここで言及しました。当時、私は自分が何をしているのかわかっていることには、それほど有用だとは思いませんでしたが、それにより、Webアプリケーションの構築など、実際の専門知識が必要で、私にとってあまり面白くない分野について何かを学ぶ必要があったタスクを埋め込むことができました。
そのようなことは、単純なタスクを達成したい場合にはしばらくの間、わずかに役立ちましたが、昨年の半ばから後半にかけて、バイブコーディングを試すまで、私はエージェントをあまり使い始めませんでした。そして、データ分析をどれだけスピードアップできるかを見て、データ分析をスピードアップしました。ところで、バイセクト/ビデオの話は、機能またはバグ修正の半減期がどれくらいか疑問に思っていた分析から生まれました。偶然にも、その分析は記事のいくつかのアイデアに関連しています。まず、LLM以前は半減期はかなり短かったことが判明しました。これは、速度を(LLMがあってもなくても)上げたい場合、より多くのテストを支持する点のように思われました。そして第二に、これはLLM以前は時間がかかりすぎてやらなかったであろう、もう1つの分析です。
2025年の半ばから後半のある時点で、個人的なプロジェクトをバイブコーディングしようとしました。Codexを使ったのは、人々がサブスクリプションプランでより多くのクォータを提供すると言っていたからです(その後、両方を試しましたが、それは正確なようです)。その時点で、私の目標は、望む結果を得ながら、個人的なプロジェクトに費やす時間を最小限に抑えることでしたが、私は以前にバイブコーディングをしたことがなく、何が機能するかについてはまったくアイデアがありませんでした。しかし、すぐに、私が最もナイーブなループを実行したことが明らかになりました。つまり、私は「Xが完了していない場合は、完了するまでXを実装する。Xが完了した場合は、...」というプロンプトのコピーをたくさんキューに入れました。私は他の人が何をしているかについて何も読んでいませんでしたし、個人的に話していた人々は一般的にAIをあまり使っていなかったので、「Ralph loop」という用語が2025年半ばに造語され、人々がこのバリアントのさまざまな、より手間のかからないものを実行していることを知りませんでした。しかし、それは実際にはそれほど面倒ではありませんでした(プロンプトが書かれたら、コピーをキューに入れるのに約5秒)。
そして、振り返ってみると、このワークフローは、Ralph loopと比較して、物事を正しい方向に導くという点ではそれほど悪くありませんでした。私は通常、毎日数回これを見ていました(寝る直前、起きたとき、おそらく他の数回)。そして一般的に、見るたびに、物事はうまくいかず、ログ/メトリクス/グラフなどを見て、何が起こっているかを説明するコマンドをキューに入れて、正しい方向に微調整しました。これは個人的なプロジェクトのためだったので、1日に数分しか費やしていなかったので、スループットを最大化しようとはせず、単に持っている2台の異なるラップトップでそれぞれいくつかのことを実行していました。手でキューを補充することなく、無期限に実行できるより自律的なループの方が良かったでしょうが、それによる実際の時間節約はそれほど大きくありません。おそらく1日あたり10分未満です。
しばらくそれをした後、今年初めに、より自律的なループを実行しようとしました(時々)。ここでも、私は当時の人々が興奮しているものと比較して、少し遅れていたに違いありませんが、それはまあまあ機能しているように見えました。それを開始したとき、人々が推奨していたツールの多くは、エージェントループの管理にはあまり適しておらず、それのために設計されたツールは少し「バイブ」的で信頼性の問題があることに気づきました。
最初のものの例として、Conductorはその時広く推奨されていましたが、私がやりたい多くのことをサポートするように設計されていませんでした。例えば、Conductorにはワークスペースという概念があり、物事を分離します。私はしばしば「高次ワークスペース」と呼べるものを呼び出したいのですが、そこではエージェント(または独立したエージェントのセット)が、各アイテムが別のエージェント(または独立したエージェントのセット)(おそらくエージェントの同時実行数の制限付き)にフィードされる前に、アイテムのリストで何が行われるかを決定します。その後、タスクがどのように移動するかを決定するグラフ構造があり、多くのタスクの出力を見る削減のようなステップがあり、などです。Conductorでこれを実行することは技術的に可能ですが、それは本当にそのために設計されておらず、エージェントにこのような構造を作成するスクリプトを書くように指示できることを考えると、カスタムバイブコーディングされたスクリプトを使用する方がはるかに簡単でした。
Gas Townのような多くのエージェントの使用のために設計されたツールの種類は、ほとんどの場合、より構造化されていないワークフロー用であり、それらはしばしば高度にバイブコーディングされ、結果としてやや信頼性が低く、自分で何かをまとめるのではなく、それらのうちの1つを使用したい理由がわかりませんでした。[2026-08更新:この投稿で、YeggeはGas Townを使って何も構築できなかったと述べているので、Gas Townに対する私の印象は間違っていなかったようです]。私がそこで意味するのは、ボードゲームに関する長い脚注の議論によると、品質と複雑さのある特定の基準を満たさない場合、自分でバージョンを作成するのはかなり簡単だということです。自分で作ったものが製品よりもバグが多い場合でも、あなたのワークフローに影響を与えるバグがないようにすることができます。そのため、製品が満たすべき全体的な品質基準を満たす必要さえありません。それよりもあなたにとって良いものになります。
その結果、私が最終的に行っているのは、しばらく実行する必要があるタスクのために、使い捨てのループを作成することです。おそらく、私が望むものに合ったオーケストレーターを構築することには効率的な利点がありますが、私はまだ十分な数のループを設定していないため、私が望むものを正確に把握できていません。そして、私が望むものは問題によって大きく異なります。時々、特定のメトリクスが、問題を修正できるエージェントによるヘルスチェックを引き起こすことを望み、時々、エージェントまたはエージェントのセットが、各イテレーション(それが何を意味するにせよ)の後に自動的に呼び出されて進捗状況を確認することを望み、時々、エージェントが継続的に進捗状況を確認することを望みます。時々、多層トリアージを備えたグラフ構造を望みます。
エージェントが任意の構造を設定するのはかなり簡単なので、私は一般的に基本的なヘルスチェックと監視を備えた単純な構造から始め、その後定期的にチェックインして、問題が再発しないようにするために構造的な修正を試みます。原則として、このようにうまく設定されたものは無期限に有用な作業を生成できますが、少なくとも私が設定したものについては、これらのループは時間の経過とともに生産性が低下する傾向があります。たとえ何もひどく間違っていなくても、私がキーボードで指示を入力して物事をさまざまな方向に微調整し、何が起こっているかを監視している場合、ループはより生産的になります。数日間または1週間放置しても、有用な作業をゼロでない量で生成し続けるでしょうが、毎日チェックインした場合よりもはるかに少ない量です。私はこれらのループを介入なしでより軌道に乗せるためにさまざまな戦略を試しましたが、自分自身を置き換える方法を見つけられていません(まだ?)。
例えば、2026年4月/5月に、自分で微調整する代わりに、多くの「ペルソナ」を集めて再集会させてループを微調整しようとしました。当時、私はCRDT(ちなみに、私は何も知りません)を使用するコードに関するループをスムーズに実行しようとしていたので、「Linus Torvalds、Kyle Kingsbury、Marc Brooker、TPTacek、Dan Luu、および4つの反論的なペルソナとして、独立したエージェントを使用する」といった診断問題を試しました。これらのペルソナのそれぞれが、異なる方法で物事を軌道に乗せているように見えました。例えば、「Linus Torvalds」ペルソナは、ループの「自然な」傾向である、不必要な複雑さを繰り返し追加することによって物事が制御不能になることに抵抗する傾向があり、「Dan Luu」ペルソナは、ループに実装する前に物事を測定することを強制し、時々「XYZを合理化してはならない」と言って、悪い推論に抵抗しました。これのどれも人間の観察と介入を置き換えるには十分ではありませんでしたが、これのバリエーションを行うことは、これらのループをよりスムーズに、より少ない介入で実行するには十分でした。
この種のペルソナ設定は、アーキテクチャ設計、デバッグなどにも改善をもたらしました。繰り返しますが、人間がまったく不要になるほどではありませんが、人間が少し少ない作業で済む程度です。
これらすべては、人間が一般的な失敗モードを理解している場合に最も効果的です。例えば、デバッグしてバグがいつ導入されたかを説明するように求められた場合、単に説明するように指示されただけでも、独立した分析の複数のラウンドがあっても、エージェントはしばしば完全に間違った説明を返しました(約50%の確率)。仮説をコードで実行して仮説が正しいか確認するように求められた場合、それはほとんどの間違った説明を削除しました。単純なプロンプトに強制的なチェックを追加するだけで、エージェントが独立して分析し、互いにクロスチェックするよりも成功率が高くなります(両方を一緒に行うと、さらに成功率が高くなるようです)。
エージェントから価値を得るには、その失敗モードを何らかの形で理解し、それらを回避することが重要です。記事の早い段階で、コーディングエージェントを使用していない人々がMヶ月後に開始しても、最大でもMヶ月遅れるだけであり、変化の速さからそれよりもはるかに遅れることはないだろうと述べました。これの主な理由の1つは、私が知る限り、エージェントを使用する際のスキルの多くは、それらの失敗を回避することです。もちろん、AIラボはこれらの失敗を修正したいと考えており、これは新しいリリースがこれらのスキルを可能な限り廃止するように設計されていることを意味します。これは直接観察可能であり、1年前に非常に一般的だったいくつかの失敗モードは、現在でははるかにまれになっています。
ちなみに、これは私が個人的に多くのベンチマークを役に立たないと感じるもう1つの理由です。一般的に、ベンチマークは「過度に説明しない」ように移行し、代わりにエージェントをうまく使えないナイーブなユーザーのように振る舞います。これはAIラボが気にする合理的なことですが、なぜなら彼らは操作に最小限の専門知識しか必要としない製品を作りたいからです。しかし、プロのプログラマーとして、エージェントの失敗モードを回避する方法があれば、ベンチマークのように振る舞うのではなく、それを使用する可能性が高く、したがって、ベンチマークのタスクを正確に行っている場合でも、非常に異なる結果が得られます。
Max Bittker、Dennis Snell、Em Chu、Yossi Kreinin、Peter Geoghegan、Michael Malis、@caleb@goodfeeds.net、Misha Yaugdin、Jason Seibelにコメント/修正/議論に感謝します。
- テストエンジニアを持つことに対する、私が働いたすべての場所で聞いた反論は、時々テストエンジニアが解雇されるときに、「コードを最もよくテストできるのはそれを書いた人です。また、プログラマーはテストを外部委託すると怠惰になるでしょう」というものですが、それはトレードオフの片側だけで、両側があります。
一般的に、人々が専門分野でより深いスキルを開発するため、専門化から効率の向上を得られます。そして、スキルの分割がさまざまな種類の断片化問題を引き起こすため、効率の損失があります。テストテスターを専任で持つことについて、フロントエンドとバックエンド担当者、モバイルエンジニアなどを持つことについて述べたのと同じ主張を述べることができます。すべて真実です。しかし、反対側の真実の主張もあり、一般的に、ある程度のスケールに達すると、特定のことを理解している専門家を持つことの利点は、各ことを少しだけ知っている一般担当者のチームを持つことの利点を上回ることが認識されています。10年または20年かけてテストスキルを専門化することに費やした人がどれほど優れているかを見てきたことから、ソフトウェア企業はこれらのスキルを持つ人々を持っていないことで機会を逃していると思いますが、これはおそらくこの投稿の範囲外です。なぜなら、ソフトウェアに関してそのスキルセットを持つ人々を外で雇うことができるわけではないからです。その集団が存在するためには、検証エンジニアがロジックデザイナーと同じように第一級の市民であり、同じ給与スケールにあり、同じ速度で高レベルに昇進し、同じ名声を得るなど、ハードウェア企業のような文化と梯子が必要であり、その後20年間それを行う必要があります。
ここでの利点は、キャリアを費やして得た直接の専門知識だけではありません。会社での大規模な実践コミュニティの存在は、人々が会社でより速くレベルアップすることも意味します。私が分散トレーシングの専門家の隣に座っていたため、分散トレーシングについて多くを学んだように、私もテストについて多くを学んだのは、世界クラスのテストエンジニアのクラスターに座っていたからです。そのハードウェア会社の千倍以上の規模のソフトウェア企業でさえ、私が学ぶための40年以上の専門知識を持つ才能あるテストエンジニアのクラスターがあったかどうかはわかりません(もしあったとしても、そのグループは私から遠すぎて、決して交流することはありませんでした)。
[戻る]
2. ある時点で、実験として、多くの人々が座ってすべてのコードを見たコードレビューを行いました。これは非ゼロのバグ数を見つけましたが、私の記憶が正しければ、それは低い一桁のバグ数でした。テストスキルについても同じことが言えるかもしれませんが、逆の方向で、デフォルトでコードレビューを行わなかったクルーにとっては、より多くのバグが見つかっただろうと主張するかもしれません。それは確かに真実ですが、それでも、コードレビューでバグを見つけるのに最も優れた人々を思い浮かべ、それよりもさらに優れた誰かを想像したとしても、それは依然として、私が働いたCentaurのテストエンジニアのメディアンの単位時間あたりのバグ発見効果のリーグには遠く及びません。[戻る]
3. そして偶然にも、テストと同様に、CPU企業では典型的なソフトウェア企業よりもはるかに多くの専門知識が開発されています。たとえパフォーマンスに敏感な製品(データベースなど)を製造している場合でもです。上記では、私が働いていたCPU設計ショップでのテストに費やされた労力は、伝統的なソフトウェア企業で見られるものよりも約2:1の比率であったと推定しました。ベンチマーク/評価/実験設計に関しては、伝統的なソフトウェア企業では分母が十分に低いため、比率を推定するのは困難ですが、少なくとも10:1であり、100:1および1000:1も可能性のある数字です。
もちろん、ソフトウェア企業よりもこれらの分野で多くの専門知識に焦点を当て、開発することで、チップ企業は他の多くの分野で比較的石器時代にあります。相対的に言えば、私もそれらのほとんどの分野で比較的弱いです。これは、会社という文脈では、補完的なスキルを持つ人々がいることが価値があるため、うまくいくだろうと思いますが、面接では確かにいくつかの問題を引き起こす可能性があります。
[戻る]
4. ちなみに、オンラインボードゲームはどうなるのだろうかと思います(この脚注の終わりまで、この脚注全体はボードゲームに関するものであり、ボードゲームに興味がない場合は、一番下までスキップしても構いません)。1つの問題は、「不正行為」の需要が高いことであり、LLMが登場する前から、競争的なオンラインプレイでかなりの不正行為がありました。今日では、不正行為をするボットを作ることはそれほど難しくなく、ますます容易になるでしょう。私はオンラインのランダムな見知らぬ人と対戦することにはあまり興味がないので、通常はランク付けされた/競争的なオンラインボードゲームはプレイしませんが、かなりの人々がプレイしています。不正行為の量が増加した場合、これがどのように存続するかを見るのは困難です。
もう1つ不思議なのは、大きなゲームプラットフォームの価値です。Board Game Arena(BGA)は、かなりの差で最大のプラットフォームのように見え、Tabletop Simulator(TTS)が2番目です。BGAは、うーん、寛大に言えば、かなり風変わりと呼べるでしょう。例えば、デフォルトでは、プラットフォームはプレイヤーの同時行動をあまり許可しません。他のプレイヤーがクリックするのと同じ時間に何かをクリックすると、あなたのクリックがサーバーに彼らのクリックよりもわずかに早く到達した場合、彼らのアクションを妨げます。同時アクションまたは選択があるゲームでは、他のプレイヤーがアクションを実行するにつれて、これらのことがプレイヤーを数十秒間停止させる可能性があります。BGAのさまざまな問題については、この投稿全体と同じ長さの投稿を書くことができますが、要するに、プレイヤーが同時に行動しようとすると機能しないマルチプレイヤーオンラインプラットフォームで予想される他の問題は、プラットフォーム上で問題となっています。平均して、TTSはさらに扱いにくいです。
その結果、複雑なインターフェースを必要としないゲームのために、より良いユーザーエクスペリエンスを実装することはかなり簡単です。ゲームのルールとメカニズムは米国著作権法の下にはないため、グラフィック、商標ロゴなどを使用しない限り、まったく同じルールでゲームを実装することは完全に合法であるようです。私は個人的に、ライセンスされていないゲームでBGAと競合しようとするプラットフォームを構築しようとは思いませんが、BGAの奇妙な点がないゲーム(またはBGAで利用できないゲーム)をプレイしたいときはあります。ゲームによっては、現在のモデルが一度にそれらを解決できないため、時間がかかります。私の時間という点では、Azulのガードは実装しようとしたゲームの中で最も時間がかかったゲームの1つです。それは多くのルールを持っています。なぜなら、各カードにはカスタムルールがあり、ルールは人間が理解するのが異常に難しいように見えるため、LLMにとっても理想的ではありません。相対的に言えば、ほとんどのゲームよりもルールを誤ってプレイする人の割合がはるかに高いことを観察しましたが、公式Discordにいて、そこでルールの議論に従うか、そのような人から教えられた人以外は、誰も正しくプレイしているのを見たことがないと思います。それを考えると、LLMがゲームを一度に解決することを期待するのは合理的ではないと思います。
とにかく、数秒から数時間でボードゲームを主要なオンラインボードゲームプラットフォームよりも優れた形で実装するのにかかることを考えると、主要なボードゲームプラットフォームはどうなるのだろうかと思いますか?ネットワーク効果のためにそれらを維持するでしょうか?私が知っているボードゲームをオンラインでプレイする人々のかなりの割合は、ネットワーク効果をほとんど重要視していません。例えば、世界ナンバー1のAzulプレイヤーからのこれらの引用を見てください。
私は最近、あなたのボットとのゲームで実験するのに夢中になっています。ボットは私が決して考えないようなクールで創造的な動きを見つけ、それは私がラウンドへのアプローチ方法に対してよりオープンマインドになるのに役立ちます。
...
これらのボットとのゲームプレイはかなり楽しいです(私は数ヶ月間BGAでAzulに触れていません)。もしそれらが同等の強さであれば。
世界トッププレイヤーが数ヶ月間BGAではなくボットと対戦しているのを見るのは興味深かったですが、驚くことではありませんでした。今日の主要なオンラインプラットフォームの1つのことは、同等のスキルを持つ人とマッチングするのが実際にはかなり難しいことです。プレイヤーが強いほど、この問題は悪化します。前述のように、私はランダムな見知らぬ人と対戦することを楽しんでいないので、あまりしませんが、BGAでランク付けされた競争プレイをする人々のほぼ普遍的な苦情は、ラダーがどれほど大変かということです。あなたが強力な競争プレイヤーであれば、ほとんどすべての対戦相手ははるかに低いEloなので、あなたは各ゲームでわずかなEloを獲得するために、つまらないゲームをプレイしています。そして、あなたがミスをすると、1回の敗北で大量のEloを失います。しばらく前に、私は病気でほとんど何もできなかったので、BGAでゲームのランク付けされた競争プレイを試み、世界で4位になりました。トップ10にランクインした人と対戦したのは、トップ10にランクインした人と2試合だけでした。他のすべてのゲームは、はるかに弱いプレイヤーとのつまらないゲームでした。競争プレイヤーにとって、蔓延する不正行為の問題があり、そしてランク付けされた競争プレイがほとんど退屈であるという既存の問題があります。
非競争的なプレイでは、BGAは問題が少ないですが、私がこの脚注を書いている間に、誰かにゲームの遊び方を教えていたところ、3つの異なるバグに遭遇しました。そして、最も人気のあるゲームの1つをプレイしていない限り、ゲームを待つ時間が長くなることがあります(最も人気のあるゲームでさえ、オフピーク時には待つことになります)。人々がこれらのプラットフォームでプレイする理由が、慣性以外にあるのかどうかは不明です。おそらく慣性は十分な理由であり、これらのプラットフォームは人々がプレイする場所であり続けるでしょうが、オンラインでプレイする地元の友人と主にプレイする私のような人にとっては、ランチ休憩中に誰かがバイブコーディングした、よりバグが少なくパフォーマンスの良いアプリを使用しない理由はありません。
この種の推論は、他の多くの種類のアプリにも適用されるべきです。例えば、Josh Bleecher Snyderが買い物中にショッピングリストアプリをコーディングすることについて話しているのを見てください。理論的には、ソフトウェアが機能する場合、会社が作成した、高度に洗練され、よくテストされたバージョンを使用したいと思うでしょうが、ソフトウェアはほとんど機能しません。そして、今日ほとんどの人が使用しているものよりも優れたバージョンを簡単に作成できるアプリがたくさんあります。もちろん、それが現実的ではない場合もまだたくさんありますが、私が定期的に使用するかなりの量のソフトウェアが、より良い方法で再作成できることに、私はまだ驚いています。