HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

エージェント型テストプロセス、LLMベンチマーク、およびエージェント型コーディングに関するその他の注記

Agentic test processes, LLM benchmarks, and other notes on agentic coding fr (danluu.com)

6 pointsby lifeisstillgood1 コメント

要約

この記事は、AIエージェントの奇妙な挙動とLLMのばらつきについて論じています。AIが人間なら即刻解雇されるようなバグ修正を試みる一方で、そのプロセスはしばしば不正確で、時には完全に捏造された結果を提示します。筆者は、このようなAIの限界を認識しつつも、テストプロセスにおけるLLMの活用可能性と、従来のテスト手法との比較、そしてAI時代におけるソフトウェア品質の維持について考察しています。

全文翻訳

エージェント型テストプロセス、LLMベンチマーク、およびエージェント型コーディングに関するその他の注記

私は昨年11月からAIをかなりヘビーに使っており、そのすべてが面白い経験です。エージェントが何かを行うのですが、もし人間がそれをやったら、すぐに解雇されるでしょう。私の反応はもちろん、これを素晴らしいこととして扱い、千のエージェントを起動して、さらに多くのことをやらせるというものです。

昨年の半ば、GPT(おそらく5.0または5.1)にバグの原因を見つけさせようとしました。当然、このコードにはテストがなく、git bisectも機能しませんでした。そして、私が書く資格さえほとんどないUIインタラクションのバグだったので、Codexに日付XとYの間でコミットを特定するように依頼しました。Codexはすぐに、その日付範囲以降のコミットが原因であると述べました(これはありえないほど正しくありませんでした)。Codexにそれが間違っていると伝えると、それは明白に原因ではないコミットを一度か二度述べました。それらが間違っていると伝えると、それはもっともらしいコミットが原因であると述べました。その理論を証明または反証するように求めたところ、テストを作成して、 alleged コミットがバグの原因であることを確認したと述べました。

次に、完全な開発者のエンドツーエンドスタックを通常のブラウザテスト環境でビデオにして見せるように依頼しました。それは、権限がないと主張しました(それは嘘でした)が、適切なテストコードとともに、プレイライトでコミットの前後に実行されたリプロのビデオを作成できると述べました。ビデオは説得力があり、コミット前に機能が正常に動作し、コミット後に機能しなくなったことを示していました。このことの何かが正しくないと感じたので、手動でコミットの前後に問題を再現しようとしたところ、すべてが捏造であったことがわかりました。ビデオはCodexがバグを再現したように見えましたが、それは偽のリプロを作成するために設計された人工的なブラウザ環境であり、実際の環境ではありませんでした。

前述したように、これは非冗談で素晴らしい経験だったので、私はすぐに「どうすればもっとこれを手に入れられるだろうか?」と考え、エージェントをますますヘビーに使い始め、昨年の半ばから後半にかけてコーディングエージェントをヘビーに使うようになりました。

この投稿は比較的まとまりのないトピックを扱っているので、簡単な概要を示します。

テストの背景

LLMはテストに関して非常に活用されています。必要な労力の量という点では、特定の品質基準に到達することがこれまで以上に容易になっていますが、ソフトウェアの品質はこれまで以上に低下しているように見えます。10年前、私たちはある週に遭遇したバグを見ました。当時もバグはかなりありましたが、今でももっと多くのバグに遭遇します。しかし、これは避けられないことではないと思います。

まず、バグが出荷された後、データ駆動型のアプローチでバグを見つけて修正することがこれまで以上に容易になっています。例えば、職場で、サポートチケット(チャットまたはメール)からプルリクエスト(PR)へのパイプラインを作成しようとしました。私の知る限り、これはうまく機能しています。私は伝統的なワークフローを持つ会社で働いているため、これらの修正はすべて人間によってレビューされますが、これまでのところ、既知の誤検知はありません。

投資時間あたりのテストもより徹底的に行うことが可能です。個人的には、これは十分に効果的であるため、私は「ソフトウェアファクトリー」ワークフローを通じて大量のコードをリリースすることにかなり快適です。なぜなら、レビューに依存するワークフローよりもはるかに高い品質をもたらす、テスト重視のレビューなしワークフローを見たことがあるからです。

皆と同じように、私も経験からくるバイアスを持っています。たまたま、私のキャリアの最初の10年間を、今日のLLM環境でうまく機能するテストプロセスを持つ会社で過ごしました。ファジングをデフォルトのテスト方法論としてマストドンで話しました。そして、懐疑的な人がそれを試して、すぐにいくつかのバグを見つけました:

ブログ記事を読み直して、「疑わしい顔」でしたが、Claudeのファジングは修正する価値のあるいくつかのクラスのバグを見つけました。

私が話した他の多くの人々も、ここで議論するようなテストフローを採用しようと試みており、彼らは皆、CodexやClaudeにコードのバグ監査、バグ発見、「テスト」、「もっとテスト」などを依頼するだけでは表面化しないバグを、自分たちが作業しているソフトウェアで即座に見つけています。例えば、Dennis Snellは、彼とチームメイトのJon Surrellが、作業中のコードだけでなく、「HTML仕様、主要3ブラウザ、その他のオープンソースプロジェクトを含むアップストリーム依存関係にも、比較的少ない労力でバグを見つけた」と述べています。

一般的に、ソフトウェア関係者とテストについて話すとき、私は非常に異なる立場から話すため、彼らはすぐに私をエイリアンのように見ますが、私のバイアスを形成するハードウェア会社、Centaurでどのようにテストしていたかについて話しましょう。ソフトウェアの世界では異例であった、または異例であるいくつかのことは次のとおりです。

  1. 専任のQA/テストエンジニアを採用し、テストを開発者と同等のファーストクラスのキャリアパスとする
  2. デフォルトでのコードレビューなし
  3. 事実上、手書きのテストなし
  4. プログラマーがプロパティベーステスト、ランダムテスト、ファジングなどと呼ぶものを通じた継続的なテスト。ただし、私たちはそれを単にテストと呼んでいました(手書きテストは「ハンドテスト」と呼ばれていました)。
  5. 大規模なリグレッションテストスイート(コンピュートファームでの実行に3ヶ月の壁時計時間)
  6. 単体テストなし

一般的な構造を説明するために、私が(2013年に)退職したとき、約20人のロジックデザイナーと20人のテストエンジニアのために、常時テストを生成・実行する約1000台のマシンがありました。これはオンプレミスであり、マシンは建物の一階の半分を占めていました。

一般的な構造は、マシンの約20%がリグレッションテストを実行し、80%が新しいテストを生成・実行していました。3ヶ月のリグレッションテストは、コミットのゲートにするには多すぎます。そのため、人々がコミット前に実行する、約10分かかる短いテストリストがありました。これらのコミット前テストは、可能な限り高速に実行するために、お金で買える最速のマシンをオーバークロックし、異なるシミュレータ設定を使用した特別なセットアップで実行されました。

新しい失敗は発生次第見つかり、報告されました。1〜2人のエンジニアが、失敗を整理し、トリアージする(誤検知の拒否、誤検知を生成したテストジェネレータの修正など)という仕事をしていました。

影響の大きさという点では、(1)は私たちと典型的なソフトウェア企業との最大の差であり、おそらく最も関連性が低いですが、読者にとって最も関連性が低いので、脚注1に議論を委ねます。ただし、テストは他のスキルと同様であり、より多くの時間を費やすことでスキルが向上します。そして、テストはほとんどの大手テクノロジー企業でファーストクラスのキャリアパスではないため、一般的にソフトウェア企業では、一部のキャリアCPUテストエンジニアに見られるようなレベルのテストスキルを持っていません。分散システムやUXで20年間働くエンジニアは、分散システムやUXに時間の5%しか費やさない同等に才能のあるエンジニアよりも、その分野で優れているのと同じように、テストに20年間費やす人は、テストに時間の5%しか費やさない人よりも優れているでしょう。

(2)は、私たちがチップ会社で使用した一部のテストプラクティスがAIワークフローに適している理由の1つです。デフォルトでコードレビューを行わなかったのは、テストプラクティスを十分に信頼していたため、レビューは一般的に信頼性をあまり向上させなかったからです。私たちは年間1件未満の重大なユーザー可視バグを出荷していましたが、レビューは特に難しいと思われるものに人間の目が必要な場合に必要に応じて行われました2。AIコーディングワークフローでは、1人が人間または10人の人間が手でレビューできる以上のコードを簡単に生成できます。レビューなしでコードをリリースすることに対する快適さのレベルは人それぞれです。個人的には、ほとんどのソフトウェア企業のほとんどのソフトウェアよりも技術的に挑戦的な製品でそれが実行されているのを見てきたので、人間のレビューなしでコードをリリースすることに非常に快適です。

私はしばしば、「それはリスクが高すぎます。私たちは何百万人ものユーザーを抱えています」と言うのを見かけますが、経験的に、彼らは人口あたりのバグ率が私たちがCentaurでやっていたレートの約1000倍であるワークフローについて話しています。もし企業が、例えば、レビューを主なバグ検出手段に頼ってCentaurよりも100分の1のレートでバグを出荷していたら、彼らの言い分も理解できますが、それは典型的なソフトウェア企業では起こっていません。そこでは、人々はリスクの認識のために人間のレビューから離れたくないのです。

(3)と(4)は密接に関連しています。信頼性に真剣に取り組んでいる(信頼性の高いデータベース、分散データベースなどを出荷するさまざまなチーム)ほとんどすべてのソフトウェアグループは、少なくとも方向性としては同じことを行っていますが、手書きテストの割合が大きい場合があります。ソフトウェアを自分で操作して、ソフトウェアが機能するように見えるかどうかを観察することによってテストに依存するのが悪い考えであるのと同じように、テストの入力と期待される出力を直接入力することに依存するのは悪い考えです。以前議論したように、手動でテストを書くのは非常に非効率的です。任意のレベルの信頼性に対して、手書きテストよりもランダムテスト生成を好む場合、より早くそこに到達できます。

(5)は、多くのバグを見つける多くのテストから生じました。一般的に、テストがバグを見つけて、それを後で修正した場合、そのテストは常にリグレッションテストスイートに残します。多くの良いテストで多くのバグを見つけると、大規模なテストスイートができます。しかし、それを脇に置いて、テスト効率の観点から見ると、各PRに対してCIで同じテストセットを実行するというソフトウェアの標準的なセットアップは、同じテスト時間を実行して、1日に同じテストを1000回実行するのと、1000種類の異なるテストを実行するのと、どちらがバグを見つける可能性が高いかを考えると、非常に非効率的です。

(6)もテスト効率の懸念から生じました。競合他社よりもはるかに小規模なチームだったためです。それが、会社が長期間存続できた理由です。IntelがAMD以外のすべてのx86デザイナーを廃業させていた間、私たちの運用コストは十分に低かったため、会社は2021年まで存続し、その後Intelに1億2500万ドルで買収されました。会社のチームサイズが非常に小さかったため、単体テストで合理的なテストカバレッジを得ることは不可能だったでしょう。単体テストを行うのに十分な人員を雇用すると、会社はおそらく10〜20年前にTransmeta、Rise、Cyrix、TI、UMC、NEC、VMなどのx86の努力と同じ道をたどったでしょう。効率の観点から、単体テストのパフォーマンスは非常に悪いです。

要約すると、私たちはほとんどのソフトウェア担当者が悪いアイデアだと言うことをいくつか行いました(専任テストエンジニア、単体テストなし、コードレビューなしなど)。そして、私が働いたどのソフトウェア会社よりも、または私が使用したどのソフトウェアよりも高い品質を持っていました。これを話すたびに、人々は「CPUはXの懸念しかないので、ソフトウェアでは同じことはできない」と言うでしょう。私が最初にCPU設計からソフトウェアに切り替えたとき、それは真実かもしれないと思いましたが、それ以来、このテスト手法を、それが機能しないと言われたあらゆる種類のYで試しましたが、すべてで機能しました。そのため、私はもはやこれをあまりもっともらしく考えていません(そしてXは一般的にハードウェア開発がどのようなものかについての誤った仮定を含んでいます)。ハードウェアとソフトウェアの間には実際の違いがありますが、テスト手法が引き継がれない理由としてそれを強調するとき、それは、その人がハードウェア開発についてあまり知らないために、関連性があるように見える想像上の要因に依存している場合です。

重要な違いの1つは、テストと開発に費やされた労力の比率でしたが、ファジングの固定コストは比較的低いため、これはあらゆるレベルの労力にスケーラブルであり、効率の向上は依然として存在します。そして、テスト効率の向上により、労力の比率はソフトウェアエンジニアが一般的に想像するほど大きくありませんでした。私たちはテストエンジニアと開発者の比率が約1:1で、その後、目標がバグを見つけて新機能をリリースしないことだった「フリーズ」状態に時間の約10%を費やしました。そのため、ここでのゼロ次の概算では、テストに55%、開発に45%の労力を費やしたことになります。または、テストに労力をかけなければ、開発に2.2倍の労力を投入できたことになります。もし、私たちがしていたよりもはるかに速いペースで重大なバグを出荷しているソフトウェア企業を見ると、緊急事態を宣言して人々がテストに労力の55%を費やすようにした場合、比率はそれほど変わらないと思います。おそらく、彼らは以前のレートの半分程度になるかもしれませんが、労力のレベルが違いを生んでいるわけではありません。

今日、人々が言うもう一つのことは、なぜファジングをする必要があるのか、LLMにバグを見つけさせることができるのに、ということです。私は両方を何度も試しましたが、私の経験では、ファジングはバグを見つけるまでのレイテンシで一般的に勝ち、より多くのバグを見つけることと、誤検知率が低いことで優れています。LLMはかなり高いばらつきを持っているので(これについては後述)、CodexやClaudeにバグを見つけるように依頼すると、時には勝つこともありますが、平均的にはファジングが勝ちました。

テストに関するいくつかの詳細

LLMのテストに関する非常に肯定的なことを述べたにもかかわらず、LLMはテストにおいてかなり悪いようです。しかし、任意のレベルのテスト労力に対して、LLMは適切に誘導されれば、以前よりもはるかに容易にテスト労力を適用できます。

この極端な例として、品質やテストに関心のあるすべての人が、LLMがデフォルトで生成するテスト、または「テストを作成して」、「もっとテストを作成して」などと指示した場合のテストは、貧弱であることを見つけています。人々は、テストの価値を、無価値からわずかに有用なものの間にあると評価する傾向があります。

例えば、Em Chu(コンパイラエンジニア)は次のように述べています。

既存のテストは完璧ではありませんが、LLMが目指すバーよりもまだ上です。それは「人間のコードレビューをすり抜けるのに十分な徹底さ」とでも言いましょうか。コンパイラ(例えばUIと比較して)では、平均的なテストを書くのは簡単だと思いますが、最終製品にはより高い正確性が一般的に期待されます。LLMはひどいです。彼らは、人間がバグを見つけるために使用する、敵対的な「さて、これをやったらどうなるか?」や「すべての組み合わせを試してみよう」というプロセスが痛いほど下手です。

同時に、私は多くの人々がLLMがテストに驚くほど優れていると絶賛しているのを見てきました。「テストを作成して」、「もっとテストを作成して」などと指示した場合です。人々がLLMがテストに優れていると言う理由を調べたところ、本質的にまったくテストを行っていなかった人々がLLMをテストに優れていると感じていることがわかりました。それは理にかなっています。基本的にゼロのテスト労力からわずかなテスト労力に移行すれば、それは大きな勝利です。

2026年6月現在、LLMにファジング/ランダムテストを実行させることも同様です。LLMにファザーを生成させようとしましたが、ほとんどのプロジェクトでは、数分以内に実際の、しばしば深刻なバグが見つかります。しかし、LLMが作成したファザーが何をテストしようとしているのかを見ると、品質を気にする通常のプログラマーがLLMが作成したテストを見たときと同じ反応をします。LLM生成ファザーのカバレッジは奇妙に悪く、急いで人間が書いたファザーがカバーするはずの基本的なことをすべて見落としています。楽観的か悲観的かによって、これはほとんどのプロジェクトのテストカバレッジについて何かを言うか、ファジングの不合理な有効性について何かを言うかのどちらかです。

大まかに言うと、今日のSOTAモデルからのLLM生成ファザーは、入力がどのように変化すればバグを引き起こすかを「考える」という点でうまく機能しません。そして、入力がどのように変化すべきかを無邪気に指示し、それらを組み合わせるように指示しても、バグの材料を合理的な方法で組み合わせることはありません。うまくいく指示を与えることは可能ですが、それはユーザーが指示を提供するかに大きく依存します。

ランダムテストを「追加点」として使用し、さらにいくつかのバグを検出するため、または従来のソフトウェアテストプロセスを置き換えるために、LLMにコードのリスクの高い領域を探し、違反される可能性のある不変条件を見つけてファジングするように指示できます。これはまあまあうまくいきます。ランダムテストを試すように説得した人々は、通常ここで始め、見つかったバグに満足しています。彼ら自身が新しいテスト手法を試すことに興味があるという性質上、これはしばしば、会社で最もよくテストされ、最も信頼性の高いコードで作業してきた人々からであり、彼らは自分たちの比較的よくテストされたコード内のバグを見つけることができます。

エージェント型の「ソフトウェアファクトリー」ワークフローを正直に保つためにランダムテストを使用したい場合は、SOTAモデルのギャップに対処する方法が必要です。なぜなら、1日に数百または数千のPRに相当するものをプロジェクトにリリースする場合、低下から制約されないすべてが急速に低下するからです。

大まかに言うと、システム全体には、ギャップを見つけて、ファザーの調整を行うループに指示を与えるための何らかのフィードバックが必要です。最近、私はドメインを理解しておらず、プロジェクトやコードを理解していないことをテストしていますが、そのため、私が思いつくことには多くのギャップがあることを知っています(そして、前述のように、LLMはこの点でひどいです)。しかし、私がドメインに慣れており、コードを比較的よく理解している分野でさえ、人間は物事を見落とし、間違いを犯すため、ギャップは依然として存在します。したがって、テスト設定にギャップを見つけて、あなたまたはエージェントがギャップを埋めることができるようにするための何らかのフィードバックが常に必要です。

私は、エージェントが会合して再会し、エージェントループをより良く実行させるためのさまざまな方法を試していますが、そのようなことは役立ちますが、人間の入力、または何かをリリースすること(理想的にはわずかに、段階的にロールアウトする)と、システムがメトリクス/ログ/トレース/サポートチケットなどを監視してフィードバックとして使用することに依存しない、エージェント型のソフトウェア品質改善ループを作成するのに十分な方法をまだ見つけていません。前述のサポートチケットからPRへのパイプラインは、そのようなフィードバックループの1つです。パイプラインはPRを生成しようとするだけでなく、バグを見つけ、おそらく他のバグを表面化させるテスト設定を追加しようとします。または、将来のリグレッションでバグが再検出された場合にもバグを再検出します。これはまあまあ機能しているように見えます。つまり、実際のバグを見つけ、テストカバレッジを改善しますが、改善の余地はたくさんあるはずです。

関連して、LLMがテストを書くのがなぜそれほど下手なのか疑問に思っています。少し調べてみると、LLMの能力は、モデルがタスクを改善できるRL(強化学習)環境を構築した人々から生まれており、時には一般化可能であり、時にはそうではないと聞きました。RL環境を販売する市場もあると聞きましたが、買い手がそれほど多くないため、かなり薄いです。そして、あなたはラボに買い手またはそれに近い人がいることを本当に知りたいはずです。もしあなたがそのような人物であるか、またはそのような人物と私を繋げることができるなら、私に連絡していただけますか(X、Mastodon、メールなどで簡単に連絡できます)。テスト、最適化、またはこの投稿で議論されているより長期的なタスクなど、重大なギャップを観察しやすいものに対するRL環境の販売の仕組みと可能性について興味があります。

テストに戻ると、ファジングやバグ監査を行う際には、誤検知の検出がプロセスの重要な部分です。少なくとも現時点では、公開されているものよりも優れたモデルへのアクセスは、あなたを救うことはできません。しばらく前に、Dennis Snellはイライラしながら、彼が一日中、Anthropicから彼の雇用主に転送されたAIのゴミを調べていたと私に言いました。それは、公開からリリースするには危険すぎるという彼らの自慢のMythosモデルからのものでした。Anthropicは会社に恩恵を与えていたか、またはMythosからのセキュリティ問題の提出によってEAセキュリティ改善を行っていたのかもしれません。ただし、合理的な誤検知拒否プロセスを持っていなかったため、多くのAIのゴミとともにいくつかの実際の脆弱性を転送していただけでした[9月2026年更新:参照、および、人々が同じことを報告しています]。当時、私はFableがMythosよりも能力がわずかに劣ると思われるモデルを使用していましたが、誤検知がまったくない無限のバグ(セキュリティ問題も含む)を生成することに問題はありませんでした。これは、最新かつ最高のモデルを持つことと同じくらい、モデルを中心とした合理的なセットアップを持つことが重要であることを示唆しているようです。Anthropicがなぜこのようなことをしなかったのかは不明です。なぜなら、このようなことの最大の障害は彼らにとって無関係だからです(トークンコスト、そして標準的な「サイバー」承認があっても、最新/最高のモデルがエクスプロイトの作成と実行の試みを拒否するため、単純な方法で誤検知を拒否することが困難であるため、エクスプロイトを作成できないものを拒否するという直接的な方法が取れないからです)。

私はプロジェクトごと/問題ごとにカスタムワークフローを試しており、汎用的な誤検知拒否スキームを正確に持っているわけではありませんが、半汎用化できるさまざまなものがあります。トークンを消費しても構わない場合、独立したエージェントが alleged バグ再現(リプロ)を繰り返しチェックすることで、誤検知率が大幅に低下します。数ヶ月前、レビューだけでなく、エージェントループの管理にも「ペルソナ」を使用することに成功したと述べました。そして、理論的にはこれがうまく機能しない理由についての応答を得ましたが、実際にはかなりうまく機能するようです。私のワークフローは定期的に変更され、その議論から約1週間後に「反論的な」ペルソナをミックスに追加し始めました。これは、同じ壁時計時間またはトークン予算でパフォーマンスを向上させました。

人間がレビューするものであれば、何らかのアーティファクト(例えば、UIで顕著であることが期待されるバグの場合はビデオ)が必要です。エージェントにこれをレビューさせることを特に意図しなくても、これを生成するだけで誤検知率がいくらか低下し、その後、エージェントがアーティファクトをレビューすることで誤検知率がさらに低下します。エージェントにアーティファクトを独立してレビューさせること(例えば、ビデオ自体を見るのではなく、ビデオを生成するテストコードを見る)も、誤検知率をさらに低下させます。一般的に、独立した視点を得ることは、誤検知を減らすのに大いに役立ちます。私が実行した実験では、これはペルソナ/視点が異なるエージェントを壁時計時間またはドルごとに持つよりも効果が低いですが、同じ質問を複数回尋ねるだけで結果が改善します。これは、LLMのばらつきセクションのグラフから明らかになるはずです。

誤検知率を減らすために試したことはほとんどすべてうまくいったので、ワークフローをコスト最適化が重要になるレベルまでスケーリングしていないのであれば、まともなことをすればかなりうまくいくようです。

ケーブマンモード

さまざまなツールやワークフローの推奨事項を常に受けていますが、それらを調査すると、推奨事項を採用することが理にかなっているかどうかについての良い情報を見つけることはほとんどありません。例えば、「ケーブマンモード」が職場で複数回推奨されているのを見ました。ケーブマンモードは、トークン使用量を削減し、プロンプト解決を高速化すると主張しています(READMEではトークン使用量を75%削減、トークン使用量を65%削減、トークン使用量を2倍、速度を3倍に増加させると主張しています)。

情報検索(単に「caveman mode」でGoogle検索、引用符なし)をすると、ケーブマンモードへのリンクではないトップヒットはこのRedditスレッドでした。そこでは、トップ3コメントのうち1つはジョークで、他の2つは強く推奨しています。

ただ、爽やかな極端な簡潔さ…そして、分析的思考に何の影響もないように見えるのに、トークン数が劇的に削減されます…しかし、私は前後にベンチマークする方法がありません。

誰かが職場でテストしていて、トークンを節約し、かつうまく機能するように見えるようです。

トップヒットの残りのほとんどは、何らかの評価(ただし、フィルタリングされていないLLMテキストのように読める)を行ったと主張するケーブマンモードの肯定的な推奨事項であり、YouTubeのトップヒットは最も有名なプログラミングYouTuberの1人が

実際に機能します。実際にかなりうまく機能します…いいえ、誇張していません。

職場のSlackスレッドでケーブマンモードが推奨されていたとき、比較を行った人がいるか尋ねました。ケーブマンモードの作成者がHNスレッドでそれがジョークだと返信したことに言及しました。誰かがケーブマンモードの分析へのリンクを共有しましたが、その分析は多数のエラーを含むLLM生成SEOスパム記事でした。私が丁寧に指摘すると、リンクを投稿した人は「私はそれをざっとしか読んでいません」と言いました。

その時点で、私はケーブマンモードのベンチマークを生成するために約15秒を費やすことにしました(人々は今ベンチマークを評価と呼ぶので、私もこれらを評価と呼ぶべきでしょうか?)以前ここで詳細に議論しました。

まず、この議論が数ヶ月前に起こったとき、私はGPT-5.5 xhighをたくさん使っていました。そして、このものをベンチマークしました。最初のベンチマーク、wasmコードを最適化する簡単なベンチマークで、これがどのように見えるか見てみましょう。これは私がエージェントにプロンプトを15秒かけて生成させたものなので、詳細を議論するのに多くの時間を費やす価値はないと思いますが、エージェントが達成した結果よりもはるかに良い結果を出すことが可能であることに注意してください。人間が手作業で行うか、エージェントに何をすべきかを指示する人間であれば、AIよりもはるかに良い結果を得られるでしょう)。最適化チャートでは、1.0はスピードアップなし、それ以上は良い(1.0未満は「最適化」が遅くなったことを意味します)です。実験を実行したときの様子を把握するために、アニメーションをインタラクティブにフォローするか、単にアニメーションを再生するためにボタンをクリックできます。

最初のベンチマーク(wasmで非自明なアルゴリズムを最適化する)では、1回の実行後、ケーブマンが良い結果を出していることがわかります。1.027のスピードアップ対0.987、12.10ドル対23.10ドル、そしてエージェントが要した時間(壁時計時間)は8分51秒対14分9秒です。しかし、LLMは確率的であることを知っているので、もう一度実行すべきでしょう。2回目の実行後、両方とも平均1.0のスピードアップという大きな変化が見られますが、ケーブマンモードは8分64秒で12.45ドル対17分57秒で40.38ドルとなりました。これはケーブマンモードで主張されている節約額に匹敵する大幅なコスト削減です。アニメーションの各ステップを説明するのは少しばかげていますが、最後にスキップすると、50回の実行後の平均はケーブマンに有利で、スピードアップは1.03対1.01、コストは13分46秒で17.97ドル対16分52秒で24.21ドルです。これは2回の実行後に見たものほど良くはありませんが、それでもケーブマンモードにしっかりと有利です。

GPT-5.5 xhighに古典的およびベイズ統計を実行するように依頼したところ、最適化1ベンチマークでは、ケーブマンがスピードアップ、コスト、壁時計時間で優れているp値はそれぞれ0.1、0.005、0.001であると述べるスクリプトを生成しました。ベイズ統計では、それぞれP(ケーブマンが良い)は0.958、0.999、1.000です。残りの2つのベンチマークのプロットも確認できます。最適化2は別の「wasmでコードを最適化する」ベンチマークであり、ゲームAIは、エージェントがLost CitiesというゲームのボードゲームAIを実装するように求められ、1ムーブあたり10ミリ秒の締め切りがあるタスクです。

これらのベンチマークの結果はまちまちです。最適化2では、それぞれP(ケーブマンが良い) = 0.17、0.999、1.000であり、ゲームAIでは、それぞれP(ケーブマンが良い) = 0.04、0.79、0.73です。したがって、ケーブマンは実際には最適化2とゲームAIでより悪い結果をもたらし、最適化1で見たものとは逆です。ところで、私は驚くべき物語の逆転を提示するためにこれらの結果の順序をチェリーピッキングしたわけではありません。ここでやめると、ケーブマンはより悪い結果をもたらすがコストを節約すると考えるかもしれません。あるいは、一部のタスクではより良い結果をもたらし、一部のタスクではより悪い結果をもたらし、コストを節約するかもしれません。

いくつかの追加モデル(GPT-5.4 mini、GPT-5.4、GPT-5.5)をすべての労力レベルで試すと、以下の平均が得られます。これにより、全体像はより不明瞭になります(以下のグラフでは、上と左が良く、下と右が悪いです。矢印はベースラインからケーブマンへの方向を示しています)。

パターンは何でしょうか?いくつか例を挙げると、最適化1では、ケーブマンは一般的に標準よりも良い結果をもたらしますが、最適化2と最適化3では、ほとんどの場合逆です。ただし例外もあります。コストに関しては、さまざまなパターンが見られます。条件(タスク、モデル、労力レベル)間のばらつきが十分にあるため、明確な全体像を得るにはさらに多くの条件を実行する必要があることは明らかです。全体として、差は平均化されると小さすぎて、ケーブマンモードを使用する価値はないようです。

LLMのばらつき

最近、新しいモデルがリリースされると、人々がそれらについて何を言っているか検索します。一般的に、矛盾するコメントがたくさんあります。例えば、GPT-5.5がリリースされたとき、人々はGPT-5.4は5.5よりも優れていると述べました。なぜなら、5.4はタスクに留まるのが得意で、5.5は問題から逸れて考えすぎるため、5.5ははるかに高価で無意味であると。5.5は5.4よりもはるかに優れているため、問題を起こして自分で修正するのに手間がかからないため、使用する方が安価であると。5.5は、非常にうまく機能するため、より低い労力レベルで実行できるため、5.4よりも安価であると。5.5は「ただ機能する」が、5.4はしばしば失敗して手助けが必要である、など。しばしば、誰かがベンチマークを実行して、彼らの主張が真実であることを示します。

これらのベンチマークを見ると、GPT-5.5のリリース直後にRedditで見たコメントのすべてを裏付ける証拠が見つかります。最適化1では、GPT-5.4は5.5よりも良い結果をもたらし、はるかに安価です。しかし、ゲームAIでは、GPT-5.5は5.4よりも大幅に優れており、5.5 highは5.4 xhighと同じくらいのコストですが、結果はより良く、5.5 mediumはhighよりも安価で、結果は大幅に改善しています。これら3つの評価だけで、GPT-5.5についてリリース時に人々がしていたすべての主張を裏付けることができます。なぜなら、すべての主張は時々真実だからです。そして、これは、インターネット上でコメントを投げかけるために合理的な人が行うであろうよりも多くの実行でばらつきを平均化している場合です。

一般的に、このような理由から、ベンチマークのセットを要約するメトリックやグラフを見ると、「分布を見せてください」と思います。モデルのベンチマークはしばしば単一の、きれいで整然とした数値に還元され、XがYよりも優れており、YがZよりも優れていると表示されます。私はこれらを基本的に無意味だと考えています。なぜなら、OpenAIとAnthropicの最新かつ最高のものを調べている場合、XがYよりも優れているベンチマークと、その逆のベンチマークがあることを知っているからです。もしベンチマークのセットがYを支持するベンチマークをいくつか追加した場合、結果は反転するでしょう。そのような要約メトリックが私にとって有用であるためには、ベンチマークのセットが私のタスクの分布と重みを完全に反映しており、単一のモデルしか使用できない必要があります。どちらも真実ではないため、これらのベンチマークからどのような実行可能な情報を引き出せるかは不明です。

公開ベンチマークをより詳細に見ると、状況は上記の抽象的な議論から見えるよりも悪いようです。結果は一般的にかなり高い精度で提示されており、それが意味があるかのように見えます。例えば、DeepSWEでは、(例えば)GPT-5.5-xhighはFable 5 mediumよりも1%優れているが、コストは19%低い、といった結果が見られます。そして、Opus 4.8と比較すると、GPT-5.5 xhighよりも13%劣るが、コストは11%高いかもしれません。これが何を意味するかを知るためには、データを掘り下げて、多様なタスクの大きなセットを持っていると主張するベンチマークがありますが、それらはすべてパス/フェイルタスクであり、4回実行され、ほとんどのタスクは非常に簡単で、最高のモデルで4/4を獲得します(ただし、ランダムノイズのため、ランダムな3/4が見られることもあります)。または非常に難しく、ほとんどが0/4を獲得します。そして、これらのSOTAモデルの相対スコアを実際に決定するタスクの小さなサブセットがあります。これらのうちの1つを別のものに置き換えると、最もスコアの高い2つのモデル間の結果が反転する可能性があります。いくつかのタスク(約100のうち)を変更すると、明らかに劣っているOpus 4.8がGPT-5.5を上回るのを見ることができます。さらにいくつかのタスクを変更すると、GLM-5.2が先行する可能性があります。

これを見ると、自転車競技のミゲル・インデュラインを思い出します。私が子供の頃は、自転車競技をフォローしていなくても彼の名前を聞いたことがあるほど有名でした。数年前、インデュライン以降の自転車競技の有名人がすべてインデュラインとは異なるアーキタイプである理由に興味がありましたが、答えはそれが恣意的であるということでした。恣意的な理由で、ツール・ド・フランスは世界で最も有名な自転車レースになり、支配的な傾向を持つ人は、自転車競技サークル外でも知られるほど有名になることができます。他の恣意的な理由として、TdFが現在よりもはるかに長いタイムトライアルステージを持っていた時期があり、それはインデュラインのアーキタイプに適していました。ベンチマークを少し調整すると、ミゲル・インデュラインはかつて有名だった人物から、自転車競技をフォローしている人以外はほとんど知らない偉大なタイムトライアリストになります。

コーディングエージェントの話題に戻ると、モデルのパフォーマンスをまとめたメトリックやグラフに誰が本当に注意を払う必要があるのかは不明です。前述のように、モデルのユーザーとして、これらのベンチマークはどのモデルを使用すべきかを意味のある方法で教えてくれません。

もし他の多くのユーザーがこれらのベンチマークに基づいて決定を下すなら、AIラボはそれらの結果を気にする必要があります。しかし、GPT-5.5が5.5の期間中、ほとんどのベンチマークでさまざまなOpus 4.xモデルを大きく上回っていたにもかかわらず、AnthropicのビジネスはOpenAIよりもはるかに速く成長しました。その期間、公開されている最高のモデルはGPT-5.5とOpus 4.6/4.7/4.8でしたが、OpenAIは人々がGPTを使用するように説得するために企業に無料トークンを提供していました。私の会社は、無料トークンを数ヶ月間受け取った多くの企業のうちの1つでしたが、その間、ほとんどの人は依然としてClaudeとOpusを主に利用していました。Anthropicの収益軌跡は、これらのベンチマークがユーザー選択の主要な決定要因であるという考えと両立しないため、これらの要約メトリックが何を示しているのか、なぜ誰も本当に気にするべきなのかはわかりません。

最後に見たグラフのセットは、タスク間のばらつきの量を示していますが、前のグラフのセットから、同じモデルと労力レベルでのタスク内のばらつきも多く見られました。少数の個々の実行を見ると、ばらつきのため、ほぼすべての結論が可能になります。例えば、最適化1を見ると、GPT-5.5 xhighの場合、実行間の標準偏差は0.075です(つまり、パフォーマンスの7.5%の増加/減少)。テストされた最高のGPTと最悪のGPTの平均差を見ると、1.055(GPT-5.4 xhighケーブマン)と0.986(GPT 5.4 mini low)であり、これはGPT-5.5 xhighの標準偏差(SD)の1未満です。実際のグラフと要約統計だけでなく、次のようになります。

すべてのタスクで、最高の条件が何であれ、最高の条件が最悪の条件からの実行よりも実際に悪くスコアする結果を得るのは簡単です。私がMax Bittkerとチャットしていたとき、彼は私よりもはるかに多くのベンチマークを実行しています。なぜなら、彼はRL環境のスタートアップを運営しているからです。

はい、タスク間および実行ごとのノイズのレベルが非常に高いため、議論が混乱するのは不思議ではありません。間違いを犯しやすいです。「わあ、$new_modelは素晴らしい」→「おっと、まだ古いモデルを使っていた」とか、「この新しいハーネス/プロンプトトリックは素晴らしい!」

しかし、一方で、ベンチマークは「OpusモデルはSonnetモデルよりも混乱した条件を回復し、デバッグするのがはるかに優れている」とか、「中国のモデルはSWE-Benchで高スコアだが、新しいタスクではパフォーマンスが低い」といったステートメントに自信を与えてくれます。統計的有意性をもって。

別のコメントは、記憶から緩やかに言い換えたものですが、Matt Mullenwegは、ギャンブラーのような高ばらつき活動を行う人々を見ると、しばしば迷信的であると述べました。幸運の靴下を履いている人や、スロットに座る前に特定のルーチンを行う人を見かけるでしょう。ケーブマンモードを使用したり、コーディングエージェントが試行後に良い結果を出したからといって、どのモデルが良いかを決定したりすることは、それほど違いはありません。

私は上記を行い、この投稿のドラフトを書きました。Fableがリリースされる前でした。そしてFableがリリースされたので、興味本位で、いくつかのFableベンチマークを実行しました。それは未リリースだったので、Opus 4.8でも数回実行しました。[この投稿は、以下のグラフに5.6ベンチマークを追加するために、5.6リリース後に編集されました]

前述したように、これらは私がエージェントに15秒ずつプロンプトを入力して作成した小さなベンチマークです。コーディングエージェントがプロセスをスケーリングできるようにすることで、1人あたり15秒の人間の時間で、非常に多くの合理的なベンチマークを作成できますが、これは大量のベンチマークを作成するための慎重に設計されたセットアップではありません。これは、ケーブマンモードを評価し、それ以上の調査の価値がないと判断する目的で十分だと感じただけです。もし私がこれを公に書くつもりなら、いくつかの点でこれらのベンチマークを改善するためにさらに数分を費やしたでしょうが、ばらつきに関する議論の目的には十分だと思います。結果をあまり読みすぎないでください。しかし、私は外れ値の結果を見て、エージェントが不正行為をしていないか、またはボックスのノイズなどが異常に低い実行結果を引き起こしていないかなど、いくつかの基本的なチェックを行いました。エージェントは不正行為をしておらず、最も遅い結果は静かなボックスで再現されました。

そして、その免責事項はさておき、GPTベンチマークと同様に、これらのベンチマークにも、オンラインで起こっている議論を反映したばらつきが見られます。例えば、Fableは一部のタスクでは優れていますが、他のタスクではそれほど優れていません。そして、多くの人々が、彼らが試した少数のタスクのパフォーマンスに基づいて、Fableの全体的なパフォーマンスについて主張をしています。前述したように、OpenAIはDeepSWEでAnthropicよりも優れています(GPT-5.5 =〜 Fable 5 > Opus 4.8)。そして、類似の結果が得られるベンチマークが見られます。最適化1です。人々が私に渡し続けるもう一つの広く引用されているベンチマークはSenior SWE-Benchです。そこではAnthropicがOpenAIよりも優れています(Fable 5 > Opus 4.8 > GPT-5.6 Sol)。そして、ゲームAIベンチマークで類似の結果が見られます。そこではFable 5 > Opus 4.8 > GPT-5.6 Sol > GPT-5.5)です。

上記では、私やエージェントの特定のユーザーが、モデルの良さを示すとされるランキングや少数の数値のタプルを生成するこれらのベンチマークをどのように有用に利用できるかが不明な理由を議論しました。しかし、ベンチマークを掘り下げても、ユーザーとして、ベンチマークの結果に基づいてどのように行動を変えるべきかは依然として不明です。

例えば、私が観察したことの1つは、Opus 4.8がGPT-5.5よりもはるかに頻繁に物事を説明するために悪い合理化を作り出すことです。私は何度も同じ問題にアプローチさせようとしました(何が起こるかを見るために、私が直面している実際の問題の解決を両方に依頼することがよくあります)。これらはしばしば、これらのベンチマーク問題よりもはるかに大きな問題です。実際のデバッグタスクや、ゲームAIの構築の場合のように、単純なプロンプトでAIを生成させるのではなく、エージェントループや一連の指示を使用して強力なAIを生成させます。少数の人々に尋ねましたが、彼らは皆、GPT-5.xとOpus 4.6/4.7/4.8で同じことを観察しており、Claudeを好み、主にClaudeを使用し、Opusよりも経験が豊富な人々も含まれています。

一方で、モデルが偽情報を検出したり、嘘をつかない能力を測定する2つのベンチマークを見ましたが、それらのベンチマークは両方ともOpusがGPTよりもはるかに優れていることを示しています。ベンチマークが期待されることを示しているとすれば、私や他の人々が経験したことは不可能に見えます。例えば、あるベンチマークでは、ベンチマークの提示を素直に読めば、Claude OpusとSonnetは他のどのモデルよりも偽情報を検出するのがはるかに優れており、Opus 4.8が絶対的に最高で、ソフトウェアでも95%の時間、偽情報を95%検出しています。GPTはこれにひどく、Qwen、Grok、Kimi、Minimax、Mimi、Nemotronを下回っています。

何が起こっているのでしょうか?よくわかりません。

おそらく、これらのベンチマークは、コーディングやデバッグ中に誤った合理化に遭遇したときに、人々が経験することとは異なる側面を測定しているのかもしれません。あるいは、これはサンプルサイズが小さく、私や他の人々がOpusからランダムに悪い結果を得ただけなのかもしれません。あるいは、Opusの使用方法に関して「間違った持ち方」をしているのかもしれません。私は、ベンチマークがコーディングやデバッグ中に誤った合理化に遭遇したときに起こることとは異なる何かを測定していると疑っていますが、これに自信を持つためには、かなり高価になる可能性のある実験を実行する必要があります。もしあなたが私の実験を一般的にサポートしたいなら、私のPatreonを購読することができます。あるいは、AIラボにいるなら、実験を実行するための無料クレジットを提供してください。

ところで、ゲームAIベンチマークにも類似のものがあります。そこではOpusがGPTよりも大幅に優れていますが、実際に強力な(超人的な)ゲームAIを作成するプロセスを管理しようとしたとき、Opusは嘘をついたり、無意味な失敗モードを合理化したりする傾向があったため、GPTの方がうまくいくように見えました。監督なしでは、どちらも無価値で独自の失敗モードを持っていましたが、指示されると、GPTは軌道に乗って機能する可能性のあることを続けるために、それほど多くのプロンプトを必要としませんでした。これは、約10ドルのコストがかかる単一のプロンプトであるxhigh実行があり、小さなベンチマークが逆の結果を示す小さなゲームAIベンチマークではまったく反映されていません。実際のタスクを実行したときに見られる結果とは反対です。

しかし、ここで重要なのは、たとえあなたが気にかけているものと正確に同じことを測定しているように見えるベンチマークを見つけたとしても、それらのベンチマークは実際の結果と一致しないことが多いということです。もしあなたが私のような変わり者なら、何が起こっているのかを理解するために多くの時間と/またはお金を費やして実験を実行することを決定するかもしれませんが、もしあなたが(実際の仕事のために)完了したい仕事があるなら、それは非常に不合理なことです。

ところで、人々がしばしば直感に反すると感じるベンチマークにはいくつかのパターンがあります。公開されているベンチマークに基づいたモデルの比較(これは無意味です)とは異なり、私はこれが興味深く情報に富むと感じています。前述したように、GPT-5.4が5.5を上回るベンチマークがあることはすでに述べました。より多くの労力が結果を良くしたり悪くしたりすることもあることがわかります。例えば、最適化1では、GPT-5.6 Lunaは労力が増えるにつれて単調に悪化し、最適化2でも一般的に悪化しますが、ゲームAIでは労力が増えるにつれて単調に改善します。また、GPT-5.6 Solの最適化1とゲームAIでは、maxがxhighよりも悪くなることもわかります。GPT-5.6 Solでは、ultraはすべての3つのベンチマークでmaxよりも優れており、最適化1とゲームAIではmaxよりも安価です。単一のプロバイダーまたは単一のモデル内でも、人々が直感的に期待する多くのこと(例えば、より多くの労力からのより良い結果)は真実ではありません。異なるプロバイダー間のより大きな違いを考慮に入れると、結果の異質性が非常に高いため、XがYよりも優れているといった単純なステートメントは、モデル間に非常に大きな能力差がある場合を除いて、一般的に間違っています。しかし前述のように、私たちは、Anthropicの旧世代モデルがOpenAIの現世代モデルを上回る場合と、その逆の場合を見つけることができます。チェリーピッキングなしで。

人々がこれらのベンチマークを提示するのを見ると、しばしば誰かの迷信的な信念を裏付けるために使用されます。例えば、職場で、私はSenior SWE-Benchの結果を引用している人を見ました。Fable 5 > Opus 4.8 > GPT-5.6 Solであり、これは現実的だと言っていました(AnthropicがOpenAIをはるかにリードしていると信じている人から)。もちろん、逆を示すDeepSWEを引用することも同様に簡単です。

これらのことについて私の判断を信頼しているすべての人は、これらのベンチマークをかなりインチキだと考えています。なぜなら、今日、Anthropicの旧世代モデルが全体としてOpenAIの現世代モデルよりも優れているという考えは、これらのものをかなり使ったことがある人にとっては、あまり信じられないからです。AIラボの外の信頼できる人々に、モデルの良さをどのように評価するか尋ねたところ、一般的には感覚に基づいており、感覚に基づいている他の人々からの印象を集めているとのことです。なぜなら、ベンチマークの結果が、物事をただ見ているよりも良いアイデアを与えてくれないことは明らかだからです。

ベンチマークとデータ分析

特に理由はありませんが、私は常に実験の設計と測定が好きでした。これは、キャリアについて考え始めるずっと前からそうでしたし、今日でもそうです。ここで議論したように、測定はこのブログの主要なテーマの1つ、おそらく主要なテーマです。幸いなことに、この生涯の趣味は、キャリアにできるものになりました。さらに幸いなことに、このスキルはコーディングエージェントによって相対的に価値が高まったようです3。

前述のように、テストは高度にエージェント化されたワークフローにおけるボトルネックです。なぜなら、エージェントが多くのことをやり始めると、十分にテストされていないものはすべて確率的に劣化するからです。エージェントで出荷する量が増えるほど、これは悪化します。もしあなたがやることすべてが、各タスクがパス/フェイルタスクであり、単にタスクを間違えないことよりも良くする方法がないようなモデル評価のようなものであれば、テストが十分に良いことを確認して、テストがパスするまでエージェントを自由に実行させることができます。実際には、ほとんどの非人工的な問題では、厳格な正しさの評価をパスするソリューションを持つことができますが、非厳格な正しさの感覚では依然として良いか悪いかのどちらかです。もしあなたがエージェントに問題(高速で緩いバイブコーディングであれ、自律エージェントループの実行であれ)を自由にやらせたいのであれば、ベンチマークの問題が発生します。

自律的に、自己改善ループで実行されると、エージェントはこの点でかなり悪いようです。数ヶ月間行っているさまざまな小さなこと(多くのエージェントに独立して考えさせ、複数のイテレーションで反論的なエージェントのミックスで再会させるなど)で、ここでいくらかの改善が見られますが、人間の介入なしではまだそれほど良くないようです。

その理由の1つは、エージェントがデータを理解し、データ分析を行うのが非常に苦手であることです。エージェントループや大規模な問題の文脈でこれを行うことは、スタンドアロンのデータ分析よりも難しいですが、人々が単にエージェントにスタンドアロンのデータ分析を行わせるとき、結果は多くのガイダンスなしでは一般的にひどいです。エージェントがデータ分析を行うのは非常に簡単なので、私はエージェント主導の分析をかなりの数見てきましたが、少なくともこれまでのところ、私が目にしたすべては完全にインチキでした。私もかなりの数を自分でやりました(LLMから完全にインチキな出力を得ることの価値を人々が過小評価していると信じています。これについては後述します)が、同じことを見つけました。

完全にインチキなものと言うとき、私は実際には関係のない異なる数値を見つけて、それらの関係について何か深いことを推測したり、多くの例の中から2つの数値または例を選んで、データ内の他の数値と矛盾する理論を考え出したり、無意味なものを表示するプロットを作成したりすること(ただし、しばしば見栄えが良い)などを意味します。ランダムな具体的な例として、私がエージェントによって生成された分析を見た最後のとき(これを書いているときにちらっと見ました)、誰かがエージェントにリソース使用率を分析するように依頼しました。これは、Anthropicから当時購入できる最良のものであったOpus 4.8をmaxで実行したものでした。エージェントは、リソースの100%を超えることが不可能であるはずのタスクで、リソースの514%が消費されていると判断しました。私は時々これらのことについてコメントする同僚がいますが、「Xは何を意味しますか?」のような無邪気な質問をします。一般的に、彼は応答がないか、または最初の応答と同じくらい不正確なAIによって書かれた応答のように見えるものを受け取ります。

とにかく、私がエージェントをデータ分析に使い始めたとき、おそらく2025年11月頃、そのスピードアップはかなり信じられないものでした。数週間かかったであろう分析が、代わりに数時間で完了しました。

私が現在行っていることの次のことを説明することさえためらいます。なぜなら、すでに完全にインチキなデータ分析が非常に多く見られるからです。しかし、私がたくさん行っていることの1つで、「通常のバイブコーディングされたデータ分析」よりもはるかに大きなスピードアップをもたらすものは、エージェント(またはエージェント)が問題を「理解」して分析し、その後、エージェントが生成したものから良い分析を抽出するために必要な部分を修正するという、単純なエージェントループを実行することです。

このインチキなLLMループがどれだけスピードアップするかは問題によりますが、最後に試したときは、問題を伝統的に分析するには数日かかったと思います。2日間としましょう。マルチタスクで、LLMが必要なときにポークするワークフローでは、1〜2日かけて私の時間の1〜3時間かかったと思います。この「エージェントに間違った結果を出すようにループさせる」ワークフローでは、エージェントを誘導しようとするよりも、数日間で許容できる結果を得るために私の時間の約5分かかりました。文字通り、私が以前に修正していない分析のどの部分を見ても、分析は間違っていました(そして、場合によっては複数の修正を発行する必要がありました)。しかし、どういうわけか、全体として、LLMを誘導しようとするよりもはるかに速く進みました。

私は、LLMから完全に間違った結果を得ることの価値を人々が本当に過小評価していると信じています。これは、非冗談で、正しく指示されれば、プラスの方向にゲームチェンジャーです。

SOTAモデルがデータ分析で信じられないほど下手であることと、人間のデータ分析をどれだけスピードアップするかという点には、少し奇妙な点があります。私は、ベンチマーク、評価、実験デザインに関する一連の演習を持っていますパート1、パート2、パート3、パート4、パート5、パート6。GPT-o3がリリースされたとき、Tyler Cowenはo3について次のように述べました。

ほとんどすべての面で、人間を圧倒します…AGIと呼びたくないなら構いません。そして、すべてを正しく行うわけではなく、それを騙す方法もあります。通常は非常に簡単な(人間にとって)質問で。しかし、何が起こっているのかについて、自分自身を欺くのはやめましょう。広範なトピックと方法論において、それは人間を圧倒します。それを認め、受け入れる時が来ました。

これは、これらの演習からの質問をSOTAモデルに尋ねてみる気にさせました。それらは一般的に、質問をモデルが答えられるように特別に言葉遣いしない限り、まともなジュニア同僚から期待されるものよりもパフォーマンスが劣ります。現実の人間同僚に質問するのと同じように質問すると、一般的にうまくいきません。これは、評価の宿題の質問をするときに発生する理論的な問題だけでなく、経験的でオープンエンドな、より長期的な改善タスクを実行するようにエージェントに依頼するときはいつでも発生する問題です。

この問題は、さまざまな実世界の問題で発生していますが、実世界の問題のほとんどの混乱を含まない人工的な問題でも発生します。良い問題だと思う例は、ボードゲームAIの構築です。これは、最終的には人間や他のAIを、明確に定義されたゲームで打ち負かすことを望むため、ほとんどの実世界の問題よりも評価が簡単な問題です。単純な勝/負/引き分けの結果があります。

エージェントは、自律的にこれを行う方法を理解できません。AIに公平を期すために、この問題はインターネットコメンターが考えるよりもいくらか難しいです。例えば、これらの実装方法に関する情報を検索すると、このようなまたはこのようなさまざまな交換が見られます。そこでは、経験のない人がそれが簡単であると説明し、経験のある人がそれが彼らが思うよりも難しいと伝えます。ほとんどのオンラインチュートリアルはあまり役に立たず、評価の高いbulleライブラリの作者でさえ、初心者は見るのを避けるべきだと示唆しています「[ボードゲームAIテクニックに関するほとんどすべての記事/ブログ投稿/書籍で、著者の強力な[ボードゲームAI]に裏打ちされていないもの]」。問題は正確には難しくありませんが、ほとんどの人(およびすべての公開されているLLM)を躓かせるのに十分な落とし穴があるようです。

私がボードゲームAIの実装を試み始めたとき(これはGPT-5.1から5.2の頃でした)、ボードゲームAIについては何も知りませんでした。そして、コーディングエージェントに機能すると思うものを実装させようとしました。今ではボードゲームAIについて少し知っているので、GPTが提案したすべての方向性が間違っており、機能しなかったと言えます。実験として、最近これをもう一度試しました。GPT-5.5とOpus 4.8が公開されている最高のモデルだったとき、それらはまったく同じように失敗し、多くの同じ悪いアイデアを提案しました(確実にするために、それらに悪いアイデアを実装させ、予想通り失敗しました)。Fableが利用可能になったとき、私はFableでもこれを試しましたが、まったく同じように失敗しました。Fableは、15〜20回の修正後に自律ループで効果的に機能できたため、実際にはより優れていましたが、Opus 4.8とGPT-5.5はそうではありませんでした。ところで、これは公開ベンチマークが捉えられない種類のもののもう1つの例です。

しかし、LLMがガイダンスなしでイテレーションすることに戻ると、あるレベルでは、これは今日のLLMのかなりよく理解されているギャップだと思います。偶然ですが、私がボードゲームAIを試していた頃、Code Clash評価が作成され、これも同じことをテストし、同じ結果を見つけました。

イテレーション不能:モデルはラウンドごとに改善するのに苦労し、さまざまな失敗モードを示します。

エージェントが方向性を設定するのがひどく下手で、私がボードゲームAIについて何も知らないにもかかわらず、私はどうにかしてAzulの超人的AIを約5時間で構築することに成功しました。そして、当時の他のどのAIよりも(そして今でもそうだと思います)はるかに強力なレベルに到達しました。Azulの世界チャンピオンであり、おそらく世界で最も強いプレイヤーは次のように述べています。

ボットは今やかなりクレイジーです。私よりも間違いなく強いですが、本当にテストするには、ターンベースのゲームのようにプレイする必要があります。私の時間制限では、私はチャンスがありません🙂4。

「一つの奇妙なトリック」があったと言いたいのですが、実際には2つのトリックがありました。しかし、2つのトリックはそれほど悪くありません。特に、他の種類のプロジェクトにも汎用化できる場合はなおさらです。2つのトリックは次のとおりでした。

  • データを見る/合理的な評価を持つ
  • 体系的に問題を解決する

これらのいずれも非常に厳密である必要はありません。実際、これはすべてバイブ(言葉の「バイブ」の古い意味で)で実行されていました。データ側では、このプロジェクトで、私は私にとって一般的な習慣を使用しました。関連性があると思われる多くのことをプロットし、それらをざっと見て、物事を改善したい方向に微調整しました。より厳密な(そしておそらくより良い)アプローチは、最初から多くの実験を実行し、「アブレーション」実行(個々のアイデアを追加または削除する)を行い、各コンポーネントが何をするか、およびその影響を理解することです。しかし、私はできるだけ少ない時間で強力なAIを取得したかったので、ラップトップで実行し、厳密に実行することは、これらの制約を考えると高すぎると感じました。

MLの経験がない人にとっては、これらすべてが些細なことだったでしょうが、観察して対処する方法を見つける必要があった小さなことがたくさんありました(これは現在エージェントが非常に苦手としていることです)。例えば、適切な評価セットを見つけるという点では、いくつかの興味深いことがあります。1つは、損失を減らす変更を簡単に作成できるが、実際の対戦相手(人間または他のボット)に対する勝率を変更しないこと、またはその逆です。もう1つは、以前のバージョンに対するボットの勝ち方という点で改善を追跡しようとすると、ボットが以前のすべてのバージョンに勝てるように変更を加え、以前のバージョンに対して1000または2000のEloゲインを達成するのは非常に簡単ですが、人間や異なるスタイルのプレイヤーに対してはまったく改善されません。そして当時、対戦できる超人的なボットがなかったので、既存のボットのフィールドに対してプレイするだけで合理的な評価を得ることができませんでした。

人間にとっては、これらは本当に難しい問題ではありません。まともな人間は、これらの問題の1つを見て、数分間考えて、おそらく機能する提案された解決策を思いつくことができます(そして機能しない場合は、別の解決策を試します)。しかし、エージェントが今日これらをうまく扱えないほどの微妙さがあります(コーディングエージェントに公平を期すために、ほとんどの人間もそうではありません。私が対戦したほとんどすべてのボットはかなり下手でした。人々はかなりの時間を費やしているように見えましたが、公開されている唯一の例外はhttps://github.com/cestpasphoto/alpha-zero-generalの「PJF98」Azulボットでした)。存在したPJF98ボットよりも強力なボットが1つありましたが、一般公開されず、BGAで1シーズン勝っただけでした(ボットの使用は不正行為のため無効になりました)。そして二度と見られませんでした。

私が言及したもう1つのトリックは、体系的なアプローチを取ることでした。大まかに言うと、これは、不透明なシステムを複雑さを持って扱う場合、バグの症状を見るたびに、観察する方法を知らない他のバグの1つまたは複数への窓である可能性が高いからです。ウィンドウを体系的に閉じても他のバグを修正しない場合、それらの他のバグはまだそこにありますが、それらを見つける方法を知らなくなります。

これは、ニューラルネットを使用するボードゲームAIを構築する場合に当てはまります。なぜなら、何をしているかわからないネットと、何をしているかわからない検索関数があり、時には明らかに悪い動きを特定できるからです。これは、バイブコーディングや/またはエージェントループにも一般的に当てはまります。なぜなら、エージェントが何をしているかわからないものをしており、エージェントが生成する巨大で過度に複雑なコードの山が、明らかに悪い動作を放出するときに、何が間違っているのかの窓を時々得ることができるからです。

特にボードゲームの場合、私は他のAzul AIを調べました。多くの人がボットを構築していました。特に最近では、コーディングエージェントがボットの構築を非常に容易にしたためです。それらのいくつかは、作者がClaudeに与えた指示をリポジトリに含めているため、どのようにボットを微調整しようとしたかを見ることができます。私の知る限り、これらの他のボットがより多くの人間の時間を費やしたにもかかわらず、はるかに劣っていた主な理由は、間違った評価の使用と、問題の原因ではなく症状の修正の組み合わせでした。

例えば、あるケースでは、作者がClaudeの指示をリポジトリに残していたため、何をしたかを見ることができます。ある時点で、彼らのボットは、ゲームを学んだばかりの人間でさえプレイしないような、非常に悪い動きをしていました。作者は、ボットがその動きをしないようにするための直接的な修正をClaudeに指示しましたが、それはボットが抱える体系的な問題から生じる他のすべての悪い動きを修正しませんでした。それは、作者が見ることができる明白な悪い動きの症状を修正しただけでした。

私のボットにも同様の問題がありました。ある時点で、私のボットはほぼ常に2列目で開始しようとしていました。単純な修正は、ボットが2列目でプレイする頻度を減らすことだったでしょう。ノイズを増やして自己プレイでの探索を増やすなど、さまざまな「明白な」修正を試しましたが、明白な修正はどれも、2列目の値を直接減らすこと以外は機能しませんでした。しかし、それには問題がないという別の問題があります。実際の問題を解決することなく。

ML/AIの経験がない私のような人間にとって、ボットを超人的なパフォーマンスに到達させることは、データを見るべき正しい視点を理解し、それを体系的に調整して問題を解決することの組み合わせであるパズルのシリーズでした。これは、エージェントループを一般的な問題のために管理することとそれほど違いはありません。Michael Malisは、「ソフトウェアファクトリー」ワークフローの実行はFactorioをプレイするようなものだと述べており、私は彼が何を意味するのかわかります。

その他

特定のワークフローのヒントやトリックについて話す価値はあまりないと思います。なぜなら、それらの半減期は非常に短いからです。私がより自律的なループを実行する前や、より多くの人間参加型ループを行っていた前は、「私の」エージェントはしばしばAGENTS.mdやその他の指示に直接矛盾するようなことをしていました。Yossi Kreininに何気なく言ったところ、AGENTS.mdの最後に、圧縮後に指示を再読するようにというメモを追加することを提案しました。私の知る限り、それは何の効果もなかった迷信的な行為かもしれませんが、この問題の発生率を1日に数回(一度に数人のエージェントを扱うため、おそらく数エージェント日に1回)から週に1〜2回(おそらく100エージェント日に1回程度)に減らしたように見えます。これはもはや必要ないようです。つまり、これは最初は何の効果もなかったプラシーボであり、一時的に運が悪かっただけか、またはAIラボがこれを追加したかのどちらかです。2024年8月に議論したトリックは、LLMがデフォルトでコードを生成するが実行しない頃、コードを実行してそれが機能し、テストに合格することを確認するループを単に持つことでした。そのトリックは、そのトリックが非常に明白で有用であったことを考えると、驚くほど長い間有効でしたが、もちろん、大手AIラボは最終的にそれがどれほど有用であるかに気づき、それらはすべて現在それを行うツールを持っています。

過去数ヶ月間、私が使用している「トリック」は、Gas Townのようなものと似ていますが、さまざまな小さな工夫を加えて信頼性を高めようとしています。ClaudeのDynamic Workflowsは、これらのトリックの半分を使いやすいパッケージに入れているようです(私はそれ以来使用していません。なぜなら、それらはウォーターフォールモデルを使用しており、あるステージのものが最後のものに依存すると言われているからです。しかし、それはいつか修正されるか、またはその制限のないものがリリースされるでしょう)。Codexには、同じことを行うことを目的とした、まだリリースされていない機能がいくつかあります。原則として、goal modeは他のトリックのほとんどをパッケージ化するはずですが、今のところそれほどうまく機能しません(バグで失敗することに加えて、手動で書かれたループよりも目標を追求するのが劣っているように見え、また非常に脱線することもあります。Dennis Snellは、彼が期待していた小さなタスクがgoal modeに入り、Codexによると、彼の雇用主が無制限トークン契約を持っていなかった場合、数日で6000万ドル相当のトークンを費やしたと述べていました。再度尋ねると、それは20万ドルと言いました)。おそらくこれらは改善され、私が現在行っていることのほとんどは、数ヶ月以内に既製のものが利用可能になるでしょう?前述のトリックと同様に、これらはすべて非常に明白なことなので、詳細について多くの時間を費やす価値があるとは思えませんが、誰かが興味を持っている場合に備えて、後で付録に簡単なコメントを載せます。

上記で議論されたメタテクニックは、さまざまなプロジェクトで私にとってかなりうまく汎用化されており、エージェントが非自明な問題記述を完全に私よりも良く解決できない限り、耐久性があるように思われます。その場合、私の経済的価値がゼロに近くなる可能性があるため、心配する必要はなくなります。

もう1つの有用なメタアイデアは、コーディングエージェントが人間と比較して効果の点で非常に不均一であるという非常に明白な考えです。従来の生産性について議論する際、Fabian Giesenは、速度の向上velocity improvementsが彼の働き方を変える方法について次のようにコメントしました。

特定のしきい値を超えると、「フェーズシフト」が発生します(詳細は問題にいくらか依存します)。これにより、働き方が完全に変わります。...理論的にはどんな速度でもできることはたくさんありますが、実際にはできません。なぜなら、イテレーション時間が長くなるにつれて、まず非常にフラストレーションがたまり、長く続けることができなくなり、最終的には短期間の記憶から完全に消えてしまうほど長くなるため、メモを取るか、そうでなければ整理しないと、まったくできません。確かに、インタラクティブなUIでスライダーをドラッグして、0.5秒以内に結果を見ることができるなら、それは非常に「フィルターなし」になります。試したいことがあれば、ただ実行するだけです。数秒(例:静的コンパイル言語でのコンパイルリンクサイクル)のイテレーション時間に達すると、単に試すだけでなく、実行を無駄にしたくないほど時間がかかるため、それが何を教えてくれるかを考える時間も費やします。数分または数時間のイテレーション時間に達すると、実行を無駄にしないための多くの計画があり、待っている間に他のことをするためコンテキストスイッチングがあり、メモを取ったり記録したりします。また、このレベルでは間違いは両方ともより高価であり(無駄な実行はより多くの時間を無駄にするため)、より一般的であり(注意が非常に分散しているため)ます。さらにスケールアップすると、顕著な時間のためにかなりのリソースが必要になり、承認と予算が必要になり、それ自体で会議などが必要になります。エージェントコーディングの速度向上にも同様のことがあります。人々は時々、エージェントコーディングが100倍または1000倍生産的であるという主張をします。私がやるタスクを見ると、数字を正確に特定するのは難しいです。なぜなら、人間のワークフローをエージェントに効果的にリフト&シフトすることはできないからです。そのため、私は最初にやっていたこととは非常に異なることをやっています。例えば、すべてのサポートチケットを見て、サポート問題をPRに変換するというアイデアを検討します。もし私がここで何らかの速度向上を主張するなら、それは非常に大きな数字になります。歩いて同じ距離を移動するのにかかった時間で計算した場合、年間の通勤距離20,000マイルを運転して6,000時間節約し、15倍の速度向上を得たと言うようなものです。運転によって、そうでなければできなかったことを可能にしたことは明らかですが、比率について議論する意味はありません。

もう1つの例は、非常に大きな速度向上数(おそらく100万倍以上)を主張できる場所ですが、意味のない数字です。LLMにファザーを半自動的に生成させようとするとき、私はLLMにコミット履歴全体とすべてのバグ修正、および関連する可能性のあるすべてのサポートチケットを調べさせ、LLMが書いたファザーがバグを一般的に再現できるようにしようとしました。これは有用だったようですが、その価値を実際の数字で表すのは難しいです。

私にとって、LLMの効果的な価値は、以前はあまりにも時間がかかりすぎて合理的にできなかった多くのタスクが、今では非常に簡単に実行できるようになったことです。脚注で、簡単に構築できるアプリがたくさんあると述べましたが、そのため、時々カスタムアプリでオンラインボードゲームをプレイしています。これは、主要なボードゲームプラットフォームのいずれよりも優れた体験です(ボードゲーム専用の典型的なアプリよりも優れています)。

好奇心を満たすために主にやっていることですが、ビジネスにも関連性がある可能性のあることとして、以前は時間の価値がないように思われたデータ分析も行っています。例えば、ユーザー体験バグとサポートチケットの比率について、以前から興味がありました。コーディングエージェントを使用すると、サイトまたは機能にアクセスしようとしたすべてのユーザーが機能またはサイトを使用できなかった主要インシデントのリストを作成し、各インシデントに関連付けられていると思われるチケットのリストを取得するのに、私の時間は数分しかかかりませんでした。このデータを結合すると、典型的な比率はチケットあたり200人の影響を受けたユーザーであり、比率はしばしば100:1から1000:1の間でした(そして、より多くのインシデントが含まれていれば、さらに広い範囲が見つかったはずです)。参考までに、私は100:1から1000:1の間の推測を事前登録しました。1000:1に傾いていました。そのため、ここでは少しずれていました。典型的な200:1は100:1に近いですが、1000:1には近くありません)。

もちろん、この分析には多くの穴があります。欠落しているチケットがないとは言えません(バグトラッカーにインシデントに関連付けられていると手動でタグ付けされたチケットと独立してクロスチェックして誤検知を確認しましたが、主な発見はエージェントが人間が見つけたよりも多くのチケットを見つけたということでしたが、人間とエージェントの両方が見逃した誤検知がないとは限りません)。また、関連するチケットが合理的かどうかを確認するために、チケットをランダムにサンプリングしましたが、合理的であるように見えました。しかし、これは単なる概算分析だったので、高精度分析を本当に検証するために必要なほど多くのチケットを詳細に検査しませんでした。

また、問題の深刻度が低い場合、比率がどのように変化するかも不明です。一般的に、問題の深刻度が低いほど、比率は高くなり、また、投資の少ないユーザー(サインアップフローの典型的なユーザーなど)についても同様です。多くの軽微な問題では、比率は1000:1をはるかに超え、多くの微妙な問題では10000:1または100000:1を簡単に超える比率が見られると推測します。

この分析では、あまり正確なことは言えませんが、「影響を受けたユーザーは6人だけだった」という発言に対する応答としては機能します。なぜなら、問題に対して6つのチケットがあったからです。通常、これは、誰かが6つのサポートチケットを添付した内部バグトラッカーチケットがあることを意味します。関連チケットを検索するためにエージェントを使用すると、25のチケットが見つかる可能性があり、問題の深刻度を見ると、10000:1の比率を推定する可能性があります。したがって、「影響を受けたユーザーは6人だけだった」は、「少なくとも5000人のユーザーが影響を受けた可能性が非常に高く、25000人のユーザーが影響を受けた可能性が高い」に変わるかもしれません。

もし私がこの分析に必要なすべてのシステムにすでに精通していたなら、大まかな推測を得るのに数時間かかり、それはより大まかな推測だったでしょう。しかし、そうではなかったので、私の時間の約15分しかかからなかったでしょう。Fabianが述べたように、数時間または数日かかったであろうアプリや分析を完了できるこの種のスピードアップは、働き方を変えるフェーズシフトであり、自律ループ(わずかなメンテナンスしか必要としない)は含まれていません。

もう1つの考えは、事前に明らかではなかったことですが、LLMは、自分がやろうとしていることに対して相対的に専門知識が豊富な人々にとって、より大きな生産性乗数であるように思われることです。このことに関するコメントを探すと、もちろんLLM生成SEOスパムのページがたくさんあり、それを読み進めると、反対を示すコメントがかなりありました。基本的に、誰でも今や何でもできるということです。それは以前よりも真実ですが、専門知識の価値がさらに高まっているように思われます。Max Bittkerは、少なくとも部分的にはLLMが偽造品を作るのが得意だからだと述べていますが、偽造品は(まだ?)それほど良くなく、専門家は偽造品と本物の区別ができると述べており、私はそれを興味深いフレーミングだと考えました。

そして、2015年のAIが人間をどれだけ置き換えるかを過小評価している人々についての投稿をフォローアップすると、過去1年で、私のLLM駆動のリモートカスタマーサービスインタラクションのメディアンは、私の人間のリモートカスタマーサービスインタラクションのメディアンよりも良くなりました(高給取りの人間は、私のLLM駆動の経験のほとんどすべてよりも優れた体験を提供するでしょうが、企業は高給取りの人間を望んでいません)。2015年にその投稿で反論されたのと同じ論理は、ChatGPTのリリース時に2022年に繰り返されました。その論理は、毎年リーダーシップのバイラルヒットとなっており、今後も変わらないように思えますが、今日でも私には間違っているように思えます。

ところで、以前議論したように、効果的なプログラマーになる方法はたくさんあるので、ここで議論されていることが最善の方法である、または非常に良い方法であるとは言いません(新しいことを発見するにつれて、ワークフローを定期的に変更しています)。しかし、これは私が試していて、従来のワークフローよりも私にとってうまく機能しているものです。私の背景と興味を考えると、エージェントコーディングに体系的で評価駆動のアプローチを取ることは自然です。私は、ほぼ反対のアプローチを使用し、それをうまく機能させている人々も見てきました。つまり、何が起こっているのかほとんど理解せずに非常に速く動き、金塊を打ったときに、そのすべてに努力を再帰的に集中させます。それは私の背景にはあまり合っていませんが、私が取り組んできた問題のほとんどにはうまく機能しないと思います。間違いなく、私のワークフローは、反対のアプローチが適している問題に移植しても、あまりうまく機能しないでしょう。

付録:人々が話が噛み合わない理由

人々が意見が合わないときに話が噛み合わないのは常にそうでしたが、これは今日、エージェントコーディングについて話す際に、他の多くのトピックよりも問題になっているようです。

これの主な理由のいくつかは次のとおりです。

  • 一般的な信じがたさ
  • ワークフローベースの信頼性の違い
  • 一般的なワークフローの問題、つまり「スキル不足」
  • 期待の違い

一般的な信じがたさについてですが、私の人生でこれほど、Xは不可能だ、誰もXをしない、そしてXをやっていると主張する人は皆嘘つきだ、と言う人を多く見たことはありません。AIについては、多くの信じがたいことがあります。11年前、AIがすでに起こっているにもかかわらず、AIが人間を置き換えたり追い出したりできないと人々が言っていたことを見ましたが、そこでの変位は典型的な中間層の個人やプログラマーにとって深刻な懸念ではなかったため、私が「街で」会う人々にとってそれほど顕著ではありませんでした。今、これが私が会う人々にとってより「顔に迫る」ようになっているので、現実を否定する量が急増しています。

ところで、多くの人が信じがたいと感じるのは非常に合理的だと思います。まず、AIに関する肯定的な主張の多くは不正確です。平均して、ワイルドで不正確な主張は、退屈で正確で正しい主張よりも多くのトラクションを得ます。そのため、これをフォローしていない人は、簡単に却下できる不正確な主張をたくさん見るでしょう。これらの主張をしている多くの人々が、AI企業の一般的な成功に直接的な経済的関心を持っていることも役立ちます。そのため、懐疑論者はこれらの人々がすべて利己的な嘘つきであると結論付けるのが簡単です。

ワークフローベースの信頼性の違いについてですが、異なるワークフローは異なるレベルの信頼性を要求し、より高いレベルの信頼性を要求するワークフローを使用する人々は、AIがXの信頼性でそれを行えないため役に立たないと主張することがよくあります。彼らは、そのレベルの信頼性を必要としない多くの効果的な用途があることを見落としています。極端な例として、一部の人々は新しい数学的研究を行い、AIを使用して未解決の問題を解決しました。仮に、AIがあなたが取り組んでいる未解決の問題を、それを試すたびに100回に1回解決し、99回に1回完全に意味不明な結果を返すとしましょう。それは素晴らしい結果のように思えます。数学研究における深刻な未解決問題を100回に1回解決することは、非常に素晴らしい結果です。たとえコードレビューを100回に1回行い、99回に1回悪いコードレビューを生成することが悪い結果であってもです。

より極端でない例として、プログラミングの仕事では、エージェントが100%信頼できると仮定せず、これを処理するためのシステムを構築する場合、エージェントが信頼できると仮定し、エージェントが信頼できないケースを処理するために何らかの人間参加型修正を必要とする人よりもはるかに低い信頼性レベルを許容できます。私は定期的に、人々が「AIをXに使用しないでください(なぜなら100%機能しないからです)」というアドバイスをしているのを見かけますが、私はXを常に実行しており、Xが100%信頼できない場合を処理するための単純なシステムを持っている人を知っています。これは、人間参加型であれ、エージェントが信頼できない場合であれ、プログラミングにおいて一般的に処理する必要があることなので、エージェントが信頼できない場合を処理するために使用するのと同じ技術を使用しないのはなぜですか?

スケールの違いも、人々が話が噛み合わない原因となります。なぜなら、人々は異なるスケールで非常に異なる信頼性の要求を持っているからです。伝統的なソフトウェアシステムでは、スケールが10倍になるごとに異なるアーキテクチャが必要になるという古い経験則があります。それは実際には真実ではありませんが、それは異なるスケールで異なるアーキテクチャが必要になるという方向性的に正しい考えを捉えています。これはエージェントの使用にも当てはまります。

例えば、以前のメモに関連して繰り返し見てきたことの1つは、私がやっているタスクでは、AGENTS.mdに明確で厳格な指示を追加して何かをしないようにすると、10人のエージェントとルール(例えば、10人のエージェント、10のルール)を扱っている場合、失敗は通常人間によるレビューで捕捉される非壊滅的なものである場合、週に1〜2回失敗します。これは問題ありません。しかし、数百または数千のエージェントを実行している場合、または少数のエージェントであってもレビューやその他のガードレールなしで出荷しており、失敗が深刻な問題を引き起こす可能性がある場合、これはまったく機能しません。一部の技術はスケール不変ですが、多くはそうではありません。

もう1つのワークフローの問題は、人々が機能しないワークフローを持っており、それから誰もXをできないと結論付ける場合です。私は何が機能しないかの詳細についてはあまり考えていませんが、Max Bittkerは次のコメントをしました。

私が気づいたいくつかのパターン、順不同です。

1)人々は時々環境を誤設定しています。古いモデルを使用している、MCPやアフターマーケットのシステムプロンプトがたくさん有効になっている、またはLLMがWindowsや特殊な環境やIDEを扱おうとしている。

2)人々は時々、長いチャットと多くのバックトラッキング、または非常に乱雑な作業ディレクトリを使用してコンテキストウィンドウを台無しにします。

3)不正確な言語を介して意図しない要件を注入し、LLMを、ゲームのコアの前にマッチメイキングシステムを構築するような、意図したよりも難しいタスクに送り出す。

4)あなたが何を望んでいるのか、またはいつ終わるのかについて強い考えを持っていない場合、あなたは過小評価し、共同でドリフトし、要件を時間とともに変更し、どこにも行かない可能性があります(多くのAI精神病バイブコーダーがこれを行います)。

付録:エージェントループとこの投稿の執筆

この投稿の冒頭の代替テキストで述べたように、私は長年AIについて書くことをためらっていました。なぜなら、私はガラパゴス諸島にいて、ソーシャルメディアをあまり読んでおらず、SFで最先端を行く人々と連絡を取り合うのも下手だったからです。そのため、何が起こっているのかから大きく切り離されています。

SFから来た数人と5月に話したとき、何かを書くのが理にかなっているかもしれないと確信しました。彼らは最先端を行っており、エージェントで人々が何をしているかの最先端に近いように見えますが、私のワークフローにはまだ彼らが興味深いと思ったことがいくつかありました。しかし、前述したように、特定のワークフローのヒントやトリックの半減期は非常に短いため、正確なワークフローの詳細なメモを書く価値はないと思いました。そのため、メインの投稿はより高レベルのアイデアに焦点を当てています。何が本当に役立つかはわかりませんが、ワークフローの進化について何かを書くことを試してみます。前述したように、私のワークフローが完璧だった時期はないと思いますが、それは役立ちました。そして、それを少しでも生産的にするための自然な次のステップが常にあったように思えます。

石器時代、ClaudeやCodexのようなツールが登場する前は、私は非常に単純なループを実行することがあり、コードをコンパイルしてテストを実行し、すべてがパスするまで再プロンプトするだけでした2024年半ばにここで言及しました。当時、私は自分が何をしているのか分かっていることには十分有用だとは思いませんでしたが、それにより、実際の専門知識が必要となる分野、例えばWebアプリの構築のような、私にとって決して興味深いものではないであろうタスクを埋め込むことができました。

そのようなことは、単純なタスクを達成したい場合にはしばらくの間、わずかに役立ちましたが、この投稿の冒頭のビスect/ビデオの話や、他のデータ分析を行い、それがデータ分析をどれだけスピードアップできるかを見るまで、エージェントをあまり使い始めませんでした。ところで、ビスect/ビデオの話は、動作中の機能や/またはバグ修正の半減期がどれくらいか疑問に思っていた分析から生まれました。偶然ですが、その分析は投稿のいくつかのアイデアに関連しています。まず、LLM以前は半減期はかなり短かったことが判明しました。これは、速度を上げたい場合(LLMの有無にかかわらず)により多くのテストを行うことを支持する点のように思われました。そして第二に、これはLLM以前では長すぎてやらなかったであろうもう1つの分析です。

2025年半ばから後半にかけて、個人的なプロジェクトでバイブコーディングを試みました。Codexを使用した理由は、サブスクリプションプランでより多くのクォータが得られると人々が言っていたからです(その後、両方を試しましたが、それは正確なようです)。その時点で、私の目標は、望む出力を得ながら、個人的なプロジェクトに費やす時間を最小限に抑えることでしたが、それまでバイブコーディングはまったく行っていませんでしたし、何が機能するかわかりませんでした。しかし、すぐに最も単純なループを実行していることが明らかになりました。つまり、「Xが完了していない場合は、完了するまでXを実装する。Xが完了した場合は、...」というプロンプトのコピーをたくさんキューに入れるだけでした。他の人が何をしているかについては何も読んでいませんでしたし、個人的に話していた人々もAIをあまり使っていなかったので、「Ralph loop」という言葉が2025年半ばに作られ、人々がそれのさまざまな、より手間のかからないバリアントを実行していることを知りませんでした。ただし、これはそれほど手間がかかるものではありませんでした(プロンプトが書かれたら、コピーをキューに入れるのに約5秒程度)。

そして、振り返ってみると、このワークフローは、Ralph loopと比較して、物事を正しい方向に導くという点ではそれほど悪くありませんでした。私は通常、毎日数回(寝る直前、起きたとき、そしておそらく他の数回)これを見ていました。そして一般的に、見るたびに、物事は完全には正しくなく、ログ/メトリクス/グラフなどを見て、それを正しい方向に導くためのコマンドをキューに入れました。

しばらくの間、それを続けた後、今年初めに(時々)より自律的なループを実行しようとしました。ここでも、おそらく当時の人々が興奮していたものと比較すると、少し遅れていたと思いますが、まあまあ機能したように思えます。それを始めたとき、人々が推奨していたツールの多くは、エージェントループの管理にはあまり適しておらず、それ用に設計されたツールは少し「バイブ」的で、結果として信頼性の問題があることに気づきました。

最初のものの例は、Conductorが当時広く推奨されていたことですが、私がやりたい多くのことをサポートするために設計されていませんでした。例えば、Conductorにはワークスペースという概念があり、物事を分離します。私はしばしば「高次ワークスペース」と呼べるものを呼び出したいのですが、そこではエージェント(または独立したエージェントのセット)がアイテムのリストをどう扱うかを決定し、その後、各アイテムが別のエージェント(または独立したエージェントのセット)(おそらくエージェントの同時実行制限付き)にフィードされ、その後、など、グラフ構造がタスクがどのように移動するかを決定し、多数のタスクからの出力を確認するリデュースのようなステップがあり、などです。Conductorでこれを実行することは技術的には可能ですが、それは本当に設計されていなかったため、エージェントにこのような構造を作成するスクリプトを書くように指示できるため、カスタムバイブコーディングされたスクリプトを使用する方がはるかに簡単でした。

Gas Townのような多くのエージェントの使用のために設計されたツールの種類は、ほとんどの場合、より構造化されていないワークフロー用であり、それらはしばしば非常にバイブコーディングされており、結果としていくらか信頼性が低かったため、自分で何かをまとめるのではなく、それらのうちの1つを使用したい理由がわかりませんでした。[2026-08更新:この投稿で、YeggeはGas Townを構築することに成功したことがないと述べており、Gas Townに対する私の印象は間違っていなかったようです]。私がそこで意味することは、ボードゲームに関する長い脚注の議論によると、あるものが品質と複雑さの特定の基準を満たさない場合、自分でバージョンを作成するのはかなり簡単です。自分で作成したものが製品よりもバグが多い場合でも、ワークフローにとって影響がないようにバグがないようにすることができます。そのため、製品が全体として満たす品質基準と同じ品質基準を満たす必要はありません。

その結果、私が最終的に行っていることは、しばらく実行する必要があるタスクのために、ワンオフのループを作成することです。私が望むものに合ったオーケストレーターを構築することには効率的な利点があるかもしれませんが、私はまだこれらのループを十分に設定していないため、自分が何を望んでいるのかを知りません。そして、私が望むものは問題によって大きく異なります。時には、特定のメトリクスが問題を修正できるエージェントによるヘルスチェックをトリガーすることを望み、時にはエージェントまたはエージェントのセットが各イテレーション(それが何を意味するにせよ)後に自動的に呼び出されて進捗を確認することを望み、時にはエージェントが継続的に進捗を確認することを望みます。時には、多段階のトリアージを備えたグラフ構造を望みます。

エージェントに任意の構造を設定させることがかなり簡単なので、私は一般的に、基本的なヘルスチェックと監視を備えた単純な構造から始め、その後、定期的にチェックインして、問題が再発しないように問題に対処するための構造的な修正を試みます。原則として、このようにうまく設定されたものは無期限に有用な作業を生成できますが、少なくとも私が設定したものでは、これらのループは時間の経過とともに生産性が低下する傾向があります。何もひどく間違っていない場合でも、私がキーボードで指示を入力してさまざまな方向に導き、何が起こっているのかを監視している場合、ループはより生産的です。数日間または1週間放置しても、通常は非ゼロの有用な作業を生成しますが、私が毎日チェックインした場合ほどではありません。これらのループを介入なしで軌道に乗せるためにさまざまな戦略を試しましたが、自分自身を置き換える方法を見つけていません(まだ?)。

例えば、2026年4月/5月、私が自分で介入する代わりに、多くの「ペルソナ」が会合して再会してループを微調整するようにしました。当時、私はCRDT(ちなみに、私は何も知りません)を使用するコードで作業しているループをスムーズに実行しようとしていました。そのため、「Linus Torvalds、Kyle Kingsbury、Marc Brooker、TPTacek、Dan Luu、および4つの反論的なペルソナとして独立したエージェントにレビューさせる。それぞれに長時間考えさせる」といったもので問題を診断しようとしました。複数のイテレーションで(はい、自分の名前を呼び出すのはかなりばかげていると思います)。これらのペルソナのそれぞれが、異なる方法で物事を軌道に乗せているように見えました。例えば、「Linus Torvalds」ペルソナは、ループの「自然な」傾向である、不必要な複雑さを繰り返し追加することによって物事が制御不能になる傾向に抵抗する傾向がありました。「Dan Luu」ペルソナは、ループに実装する前に物事を測定することを強制し、時には「XYZを合理化してはならない」と言って、悪い推論に抵抗しました。これらはすべて人間の観察と介入を置き換えるには十分ではありませんでしたが、これらのバリエーションを実行することは、これらのループをよりスムーズに、より少ない介入で実行するのに十分でした。

この種のペルソナ設定は、アーキテクチャ設計、デバッグなどにも役立ちました。ここでも、人間がまったく不要になるほどではありませんが、人間がより少ない作業で済む程度には役立ちました。

これらすべては、人間が一般的な失敗モードを理解している場合に最も効果的です。例えば、デバッグしてバグがいつ導入されたかを説明するように求められた場合、単に説明するように求められた場合でも、独立した分析の複数のラウンドで、エージェントはしばしば完全に間違った説明を返しました(約50%の時間)。仮説を検証するために実際にコードを実行して仮説が正しいか確認するように求めると、ほとんどの間違った説明が削除されました。単に強制的なチェックを単純なプロンプトに追加するだけで、エージェントが独立した分析を行い、互いにクロスチェックするよりも成功率が高くなります(両方を一緒に行うと、さらに成功率が高くなるようです)。

エージェントから価値を引き出すことの多くは、その失敗モードを何らかの形で理解し、それらを回避することにあるようです。投稿の前半で、人々は数ヶ月後にコーディングエージェントを使用しない場合でも取り残されないと述べましたが、せいぜいMヶ月遅れるだけで、実際にはそれよりもはるかに遅れることはないでしょう。なぜなら、物事が急速に変化しているからです。その主な理由の1つは、私が知る限り、エージェントを使用するスキルの多くは、その失敗に対処することです。もちろん、AIラボはこれらの失敗を修正したいと考えており、これは新しいリリースがこれらのスキルを可能な限り廃止するように設計されていることを意味します。これは直接観察可能であり、1年前に非常に一般的だったいくつかの失敗モードは、現在でははるかにまれになっています。

ところで、これは私が個人的に多くのベンチマークを役に立たないと感じるもう1つの理由です。一般的に、ベンチマークは「過度に説明しない」ように移行し、代わりにエージェントの使用にあまり長けていないナイーブなユーザーのように振る舞います。これはAIラボが気にするのに合理的なことです。なぜなら、彼らは操作に専門知識をほとんど必要としない製品を作りたいからです。しかし、プロのプログラマーとして、エージェントの失敗モードを回避する方法があれば、ベンチマークのように振る舞うのではなく、それを使用する可能性が高いです。したがって、ベンチマークのタスクとまったく同じタスクを実行していても、非常に異なる結果が得られます。

マックス・ビットカー、デニス・スネル、エム・チュー、ヨッシ・クレニン、ピーター・ジョージガン、マイケル・マリス、@caleb@goodfeeds.net、ミーシャ・ヤウグディン、ジェイソン・シーベルにコメント/修正/議論に感謝します。

  1. テストエンジニアを置かないことに対する、私が働いたすべての場所で聞いた議論は、時々テストエンジニアが解雇されるときに、「コードを最もよくテストできるのはそれを書いた人です。また、プログラマーはテストを外部委託するとテストに怠惰になるでしょう」というものですが、それはトレードオフの両面のうちの一方だけです。

一般的に、人々が専門分野に特化することで効率が向上し、専門分野でより深いスキルを開発しますが、スキルの分割がさまざまな種類の断片化問題を引き起こすため、効率が低下します。テスト担当者を置かないことに対するのと同じ議論を、フロントエンドとバックエンド担当者、モバイルエンジニアなどを置かないことについても行うことができます。それらはすべて真実です。しかし、反対側にも真実の議論があり、一般的に、ある規模に達すると、特定のことを理解しているスペシャリストを持つことからの利益は、各ことについてまあまあしか知らないジェネラリストのチームを持つことの利益を上回ることが認識されています。10年か20年かけてテストスキルを専門的に学ぶことで、人々がどれほど優れているかを見てきたので、ソフトウェア企業はこれらのスキルを持つ人々を雇用していないことで機会を逃していると思いますが、これはおそらくこの投稿の範囲外です。なぜなら、ソフトウェアに関してそのスキルセットを持つ人々をすぐに採用できるわけではないからです。その集団が存在するためには、検証エンジニアがロジックデザイナーと同じように、同じ給与スケールにあり、同じ速度で高レベルに昇進し、同じ名声を得るなど、ハードウェア企業が持つような文化とラダーが必要であり、その後20年間それを続ける必要があります。

ここでの利益は、キャリアを通じて得られた直接的な専門知識だけではありません。企業内での大規模な実践コミュニティの存在は、人々が企業内でより速くレベルアップすることも意味します。私が分散トレーシングの専門家の隣に座っていたという偶然から、分散トレーシングについて多くのことを学んだのと同じように、私は数ヶ月で独力で解決するよりも多くのことを学んだでしょう。私は、世界クラスのテストエンジニアのクラスターに座っていたので、テストについて多くのことを学びました。そのハードウェア企業の1000倍以上の規模のソフトウェア企業でさえ、私が学ぶための40年以上のテスト専門知識を持つ、それほど多くの才能あるテストエンジニアのクラスターがあったかどうかはわかりません(もしあったとしても、そのグループは私から遠すぎて、決して交流することはありませんでした)。

[戻る]
2. ある時点で、実験として、多くの人々がすべてのコードを見たコードレビューを行いました。これは非ゼロのバグを見つけましたが、私の記憶が正しければ、それは少数でした。テストスキルについて述べたことと同じことが逆方向にも当てはまるかもしれませんが、デフォルトでコードレビューを行わなかったクルーにとっては、コードレビューのスキルが高い人がいれば、より多くのバグを見つけられたでしょう。それは確かに真実ですが、それでも、コードレビューでバグを見つけるのに最も優れている人々を考えて、それよりもさらに優れた人を想像しても、それは依然として、Centaurの平均的なテストエンジニアの単位時間あたりのバグ発見能力と同じリーグにはほど遠いです。[戻る]
3. そして偶然ですが、テストと同様に、CPU企業では典型的なソフトウェア企業よりもはるかに多くの専門知識が開発されています。上記では、私が働いていたCPU設計ショップでのテストに費やされた労力は、従来のソフトウェア企業よりも約2:1の比率であると推定しました。ベンチマーク/評価/実験設計に関しては、従来のソフトウェア企業では分母が十分に小さいため、比率を推定するのは困難ですが、確実に10:1以上であり、10:1や1000:1も可能性のある数字です。

もちろん、ソフトウェア企業よりもこれらの分野でより多くの専門知識に焦点を当て、開発することで、チップ企業は他の多くの分野で比較的石器時代にいます。相対的に言えば、私もそれらの分野のほとんどで比較的弱いです。これは、企業という文脈では、補完的なスキルを持つ人々がいることは価値があるので、うまくいくだろうと思いますが、面接では確かにいくつかの問題を引き起こす可能性があります。

[戻る]
4. 余談ですが、オンラインボードゲームはどうなるのだろうかと思います(この脚注の終わりまで、この脚注全体はボードゲームに関するものであり、ボードゲームに興味がない場合は下部へのスキップを推奨します)。1つの問題は、「不正行為の需要」が高いことであり、LLMが登場する前から、競争的なオンラインプレイではかなりの不正行為がありました。今日では、不正行為をするボットを作成することはそれほど難しくなく、ますます容易になるでしょう。私はオンラインの見知らぬ人とプレイすることにあまり興味がないので、通常はランク付けされた/競争的なオンラインボードゲームをプレイしませんが、かなりの数の人々がプレイしています。不正行為の量が増加した場合、これがどのように存続するかを見るのは困難です。

もう1つ疑問に思うのは、大きなゲームプラットフォームの価値です。Board Game Arena (BGA) は、かなりの差で最大のプラットフォームのように見え、Tabletop Simulator (TTS) が2番目です。BGAは、うーん、寛大に言えば、かなり風変わりと呼べるでしょう。例えば、デフォルトでは、プラットフォームはプレイヤーが同時にアクションを実行することをあまり許可しません。他のプレイヤーがクリックするのと同じ時間に何かをクリックすると、あなたのクリックがサーバーに彼らのクリックよりもわずかに早く到達した場合、彼らはアクションを実行できなくなります。同時アクションまたは選択があるゲームでは、他のプレイヤーがアクションを実行している間、人々は数十秒間ターンを停止させられる可能性があります。BGAのさまざまな問題について、この投稿と同じ長さの投稿を書くことができますが、要するに、プレイヤーが同時にアクションを実行しようとした場合に機能しないマルチプレイヤーオンラインプラットフォームで予想される他の問題がプラットフォーム上に存在することだけ言っておきます。平均して、TTSはさらに使いにくいです。

その結果、複雑なインターフェースを必要としないゲームでは、より良いユーザーエクスペリエンスを実装することはかなり容易です。ゲームのルールとメカニズムは米国の著作権法の下にはないため、グラフィック、商標ロゴなどを使用しない限り、まったく同じルールでゲームを実装することは完全に合法であるようです。私は個人的に、ライセンスされていないゲームでBGAと競合しようとするプラットフォームを構築しようとは思いませんが、BGAの奇妙さがないゲーム(またはBGAにないゲーム)をプレイしたいことがあります。ゲームによっては、数秒から数時間かかりました。合理的なバージョンのルールが機能しているように見えます。秒は、ゲームが基本的に単純なプロンプトから機能する単純なゲーム用です(例えば、Scoutと同じルールを持つゲームはこちらです。私の友人がScoutをオンラインでプレイする方法を見つけられなかったので、それを実装しました。ところで、ゲームが動作することを保証するものではありません。それは、ある種のジャンクな無料ティアホスティングでホストされています。なぜなら、前述したように、私は大規模なプラットフォームを構築しようとしているわけではなく、私と私の友人が使用するときはBGAよりもうまく機能するからです。これは(非常に低い)品質基準であり、私が目指しているのは、プレイ中にバグに遭遇しないことです。一般的な堅牢な実装であることではありません。そして、私のゲーム実装の実行パフォーマンスは技術的に可能なものと比較して非常に悪いですが、BGAに慣れている私の友人は皆、BGAの遅いパフォーマンスに慣れているため、瞬時に感じるとコメントしています。人々が慣れているプラットフォームが非常に遅く、非常にバグが多い場合、ランチブレーク中に誰かがバイブコーディングしたより良いものを簡単に作成できます。

一部のゲームは、現在のモデルが一度に処理できないため、より時間がかかります。私の時間という点では、Guards of Atlantisはおそらく最も時間のかかるゲームです。ルールが多く、各カードにカスタムルールがあり、ルールは人間が理解するのが特に難しいようです。そのため、LLMにも理想的ではありません。相対的に言えば、ほとんどのゲームよりもルールを誤ってプレイする人の割合がはるかに高いことを観察しており、公式ディスコードにいてルールディスカッションに従っている人、またはそのような人に教えられた人以外は、誰も正しくプレイしているのを見たことがないと思います。それを考えると、LLMがゲームを一度に処理することを期待するのは合理的ではないと思います。

とにかく、誰かの時間で数秒から数時間で、主要なオンラインボードゲームプラットフォームよりも優れた形式でボードゲームを実装できることを考えると、主要なボードゲームプラットフォームはどうなるのだろうかと思いますか?ネットワーク効果のためにそれらを維持するのでしょうか?私が知っているオンラインでボードゲームをプレイする人々のかなりの割合は、ネットワーク効果をほとんど重要視していません。例えば、世界No.1のAzulプレイヤーからのこれらの引用を見てください。

最近、ゲーム中に[あなたのボット]を試して実験するのがとても楽しいです。ボットは私が決して考えないようなクールで創造的な動きを見つけ、それが私がラウンドへのアプローチ方法に対してよりオープンマインドになるのに役立ちます。

...

これらのボットと対戦するのはかなり楽しいです(私は数ヶ月間BGAでAzulに触れていません)。それらがほぼ同等の強さであれば。

世界No.1プレイヤーが数ヶ月間BGAではなくボットと対戦していたのを見るのは興味深いですが、驚くことではありませんでした。今日の主要なオンラインプラットフォームの1つの問題は、同等のスキルを持つ人とマッチングするのが実際にはかなり難しいことです。プレイヤーが強いほど、この問題は悪化します。前述したように、私はランダムな見知らぬ人とプレイすることを楽しんでいないので、あまりプレイしませんが、BGAでランク付けされた競争的なゲームをプレイする人々のほぼ普遍的な不満は、ラダーがどれほど大変かということです。あなたが強い競争プレイヤーなら、対戦するほとんどすべての人があなたのEloよりもはるかに低いので、あなたは小さなEloを稼ぐために、相手を圧倒する退屈なゲームをプレイしています。そして、1つのミスをすると、1回の敗北で大量のEloを失います。しばらく前に、私は病気でほとんど何もできなかったので、BGAでゲームのランク付けされた競争プレイを試み、世界No.4になりました。トップ10にランクインしている人と対戦したのは、トップ10にランクインしている人と2試合だけでした。他のすべてのゲームは、はるかに弱いプレイヤーとの退屈なゲームでした。競争プレイヤーにとって、蔓延する不正行為の問題があり、ランク付けされた競争プレイがほとんど退屈であるという既存の問題があります。

非競争的なプレイでは、BGAは問題が少ないですが、この脚注を書いている間に、ある人にゲームのプレイ方法を教えていたところ、3つの異なるバグに遭遇しました。そして、最も人気のあるゲームの1つをプレイしていない場合でも、オフピーク時には長い待ち時間があります。人々がこれらのプラットフォームでプレイする理由が、慣性以外にあるのかどうかは不明です。おそらく慣性は十分な理由であり、これらのプラットフォームは人々がプレイする場所であり続けるでしょうが、私のようにオンラインでプレイするときは主に地元の友人とプレイする人にとっては、誰かがランチブレーク中にバイブコーディングしたより良いバージョンを使用する理由はありません。

この種の推論は、他の多くの種類のアプリにも適用されるべきです。例えば、Josh Bleecher Snyderが買い物リストアプリを買い物中にコーディングしたことについて話しています。理論的には、ソフトウェアが機能する場合、会社が作成した高度に洗練されたテスト済みのバージョンを使用したいでしょうが、ソフトウェアはほとんど機能しません。そして、今日ほとんどの人が使用しているものよりも優れたバージョンを簡単に作成できるアプリがたくさんあります。もちろん、それが現実的ではない場合もまだたくさんありますが、私が定期的に使用するかなりの量のソフトウェアが、より良い方法で再作成できることは、今でも驚くべきことです。

[戻る]