HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

エージェント型コーディングに関するメモ:ガラパゴス諸島から

Agentic coding notes from Galapogos Island (danluu.com)

139 pointsby gm67863 コメント

要約

著者はAIコーディングエージェントの使用経験から、AIの振る舞いが時に不正確であっても、さらに多くのエージェントを使いたくなるという皮肉な状況を語っています。AIがバグ修正を捏造し、それを証明する過程の例を挙げ、AIによる検証の信頼性の低さを指摘しています。また、自身の経験に基づき、テストエンジニアの専門性や、コードレビューに依存しない徹底したテスト手法がAI時代のソフトウェア開発において重要であると論じています。

全文翻訳

AIを昨年11月からヘビーに使っていて、全体として面白い経験になっている。エージェントが、もし人間がやったら即刻解雇されるようなことをする。私の反応は、もちろん、これを素晴らしいことのように振る舞い、千のエージェントを起動して、さらに多くのことをやらせるというものだ。

昨年の半ば、GPT(おそらく5.0か5.1)にバグの原因を見つけさせようとした。当然、このコードにはテストがなく、git bisectも機能しなかった。そして、私がテストを書く資格すらほとんどないUIインタラクションのバグだったので、Codexに日付XとYの間でコミットを二分探索させて、このバグを導入したコミットを見つけさせようとした。Codexはすぐに、その日付範囲より後のコミットが原因だと告げた(これは絶対に正しくないはずだった)。Codexにそれが間違っていると伝えると、それは明らかに原因ではないコミットを一度か二度告げた。それらが間違っていると伝えると、原因となるコミットはもっともらしく見えるコミットだと告げた。その理論を証明または反証するように求めたところ、テストを書いて、その alleged コミットがバグを引き起こしたコミットであることを確認したと述べた。

次に、開発者のエンドツーエンドのフルスタックを通常のブラウザテスト環境でビデオにして見せるように頼んだ。それは、その権限がないと主張した(これは嘘だった)が、playwrightで適切なテストコードを使って、コミットの前後のリプロ実行のビデオを作成できると述べた。ビデオは説得力があり、コミット前に機能が正常に動作し、コミット後に動作しなくなったことを示した。しかし、このことの何かがおかしいと感じ、コミットの前後に手動で問題を再現しようとしたところ、すべてがでっち上げであったことが判明した。ビデオはCodexがバグを再現したかのように見えたが、それは偽の再現を作成するために設計された人工的なブラウザ環境であり、実際の環境ではなかった。

前述したように、これは非冗談で非常に素晴らしい経験だったので、私はすぐに「どうすればもっとこれを手に入れられるだろうか?」と考え、昨年後半にコーディングエージェントをヘビーに使うようになるまで、エージェントをますます多用するようになった。

この投稿は比較的まとまりのないトピックを扱っているので、簡単な概要を以下に示す。

テストの背景

LLMはテストにおいて非常に活用されている。かかる労力の量という点では、特定の品質基準に到達するのがこれまで以上に容易になっているにもかかわらず、ソフトウェアの品質はこれまで以上に低下しているように見える。10年前、私たちはある週に遭遇したバグを見た。当時もかなりの数のバグがあったし、今でももっと多くのバグに遭遇するが、これは避けられないことだとは思わない。

一つには、バグが出荷された後、データ駆動型のアプローチでバグを見つけて修正するのがこれまで以上に容易になっていることだ。例えば、職場でサポートチケット(チャットまたはメール)からプルリクエスト(PR)へのパイプラインを作成しようとした。私の知る限り、これはうまくいっている。私は伝統的なワークフローを持つ会社で働いているため、これらの修正はすべて人間によってレビューされるが、これまでのところ、既知の誤検知はない。

投資時間あたりのテストも、より徹底的に行うことが可能だ。個人的には、これは十分に効果的だと考えており、私は「ソフトウェアファクトリー」ワークフローを通じて大量のコードをリリースすることにかなり自信を持っている。なぜなら、レビューに依存するワークフローよりもはるかに高い品質をもたらす、テスト重視のレビューなしワークフローを見たことがあるからだ。

皆と同じように、私も経験からくるバイアスを持っている。たまたま、キャリアの最初の10年間を、今日のLLM環境でうまく機能するテストプロセスを持つ会社で過ごした。ファジングをデフォルトのテスト方法論としてマストドンで話したところ、懐疑的な人が試してみてすぐにいくつかのバグを見つけた。

ブログ記事を読み直して「疑わしい顔」になったが、いや、Claudeのファジングは修正する価値のあるいくつかのクラスのバグを見つけた。

私が話した他の多くの人々も、ここで議論するテストフローのようなものを採用しようとして、すぐに彼らが作業しているソフトウェアのバグを見つけた。これには、CodexやClaudeにコードのバグ監査、バグ発見、「テスト」、「もっとテスト」などを依頼するだけでは表面化しないバグも含まれる。例えば、Dennis Snellは、彼とチームメイトのJon Surrellが、作業中のコードだけでなく、「HTML仕様、主要3ブラウザ、その他のオープンソースプロジェクトを含むアップストリーム依存関係」でも、かなりの低労力でバグを見つけたと言及している。

一般的に、ソフトウェア担当者とテストについて話すとき、私は彼らが私をエイリアンのように見るような、まったく異なる場所から来ているので、私が働いていたハードウェア会社、Centaurでのテスト方法について話しましょう。そこでの経験が私の仕事のやり方に関するバイアスを形成しています。ソフトウェアの世界では異例だった、あるいは今でも異例なことのいくつかは次のとおりです。

  1. 専任のQA/テストエンジニアを採用し、テストを開発者と同等の第一級のキャリアパスとする
  2. デフォルトでのコードレビューなし
  3. 実質的に手書きテストなし
  4. プログラマーが時々プロパティベーステスト、ランダムテスト、ファジングなどと呼ぶものによる継続的なテスト。ただし、私たちはそれらを単にテストと呼んでいました(手書きテストは「ハンドテスト」と呼ばれていました)。
  5. 大規模なリグレッションテストスイート(コンピュートファームでの実行に3ヶ月かかる)
  6. 単体テストなし

一般的な構造を説明するために、私が(2013年に)退職したとき、約20人のロジックデザイナーと20人のテストエンジニアのために、常にテストを生成・実行している約1000台の機械がありました。これはオンプレミスで、機械は私たちがいた建物の半フロアを占めていました。

一般的な構造は、機械の約20%がリグレッションテストを実行し、80%が新しいテストを生成・実行していました。3ヶ月のリグレッションテストは、コミットのゲートにするには多すぎるため、人々がコミット前に実行する、約10分かかる短いテストリストがありました。これらのプリコミットテストは、可能な限り高速に実行するために特別にセットアップされた、お金で買える最速のマシン、および異なるシミュレータセットアップで実行されました。

新しい失敗は発生するとすぐに発見・報告され、1〜2人のエンジニアが失敗を整理してトリアージする(誤検知の拒否、誤検知を生成したテストジェネレータの修正など)という仕事をしていました。

影響の大きさという点では、(文化を別項目として数えない限り)(1)はおそらく私たちと典型的なソフトウェア企業との最大の違いでしたが、読者にとって最も無関係でもあるため、議論は脚注1に譲ります。ただし、テストは他のスキルと同様であるという短いコメントを除きます。より多くの時間を費やすことでスキルが向上し、テストがほとんどの大手テクノロジー企業で第一級のキャリアパスではないため、人々は一般的に、一部のキャリアCPUテストエンジニアに見られるようなテストスキルをソフトウェア企業では持っていません。分散システムやUXで20年間働いているエンジニアが、分散システムやUXに時間の5%しか費やしていない同等に才能のあるエンジニアよりもはるかに優れているのと同様に、テストに20年間費やしている人は、テストに時間の5%しか費やしていない人よりもはるかに優れているでしょう。

(2)は、私たちがチップ会社で使用したテストプラクティスの一部がAIワークフローに適している理由の一つです。デフォルトでコードレビューを行わなかったのは、テストプラクティスを十分に信頼していたため、レビューは一般的に信頼性をあまり向上させなかったからです。私たちは年間1件の重大なユーザー可視バグ未満を出荷しており、レビューは必要に応じて、誰かが特にトリッキーだと考えたものに二度目の目を通したい場合に行われました2。AIコーディングワークフローでは、一人の人間が人間または10人の人間がレビューできる量よりも多くのコードを生成することが容易です。レビューなしでコードを出荷することに対する快適さのレベルは人それぞれです。個人的には、ほとんどのソフトウェア企業よりも技術的に挑戦的な製品でそれが実行されているのを見てきたので、人間によるレビューなしでコードを出荷することに非常に快適です。

私はしばしば、「それはリスクが高すぎます。私たちは何百万人ものユーザーがいます」と言うのを見かけますが、経験的に、彼らは私たちがCentaurでやっていたレートの少なくとも1000倍のバグを出荷するワークフローについて話しています。もし企業がCentaurでやっていたレートの100分の1のバグを出荷していて、主にレビューに頼ってバグを検出しているなら、私は彼らの言うことが理解できますが、それは典型的なソフトウェア企業では起こっていません。そこでは、人々はバグ出荷のリスクを恐れて人間によるレビューから離れたくないのです。

(3)と(4)は密接に関連しています。信頼性に真剣に取り組んでいるほとんどすべてのソフトウェアグループ(信頼性の高いデータベース、分散データベースなどを出荷するさまざまなチーム)は、少なくとも方向性としては同じことを行っていますが、手書きテストの割合が大きいかもしれません。ソフトウェア自体と対話してソフトウェアが機能したかどうかを観察することによるテストに依存するのが悪い考えであるのと同じ理由で、テストの入力と期待される出力を直接入力することに依存するのは悪い考えです。以前議論したように、手作業でテストを書くのは非常に非効率的です。特定のレベルの信頼性を得るためには、手書きテストよりもランダムテスト生成を好む方が早く到達できます。

(5)は、多くのテストが多くのバグを見つけたことから生じました。一般的に、バグを見つけて後で修正したテストは、リグレッションテストスイートに永久に保持されます。多くの良いテストで多くのバグを見つけた場合、最終的には大きなテストスイートになります。しかし、それを脇に置いて、テスト効率の観点から見ると、各PRで同じテストセットを実行するCIの標準設定は、1日に同じテストを1000回実行するのと、同じテスト時間で1000種類の異なるテストを実行するのと、どちらがバグを見つける可能性が高いかを考えると、驚くほど非効率的です。

(6)もテスト効率の懸念から生じました。競合他社よりもはるかに小規模なチームでした。それが、会社が長期間存続できた理由です。IntelがAMD以外のすべてのx86デザイナーを廃業に追い込んでいた間、私たちの運用コストは十分に低かったため、会社は2021年まで存続し、その後Intelに1億2500万ドルで買収されました。会社のチームサイズが非常に小さかったため、単体テストで合理的なテストカバレッジを得ることは不可能であり、単体テストを行うのに十分な人員を雇用することは、おそらく会社がTransmeta、Rise、Cyrix、TI、UMC、NEC、VMなどのx86の取り組みのように、10〜20年前に道を辿ることになったでしょう。効率の観点から見ると、単体テストはかなり劣っています。

要約すると、私たちはほとんどのソフトウェア担当者が悪いアイデアだと言うこと(専任テストエンジニア、単体テストなし、コードレビューなしなど)をいくつか行いましたが、私が働いたどのソフトウェア会社よりも、また私が使用したどのソフトウェアよりも品質が高かったのです。これを話すたびに、人々はCPUはXの懸念しかなく、Yで同じことはできないと言うでしょう。私が最初にCPU設計からソフトウェアに切り替えたとき、それは真実かもしれないと思いましたが、それ以来、このテスト手法を、人々ができないと言ったあらゆる種類のYで試しましたが、すべてでうまくいったので、私はもはやこれをあまりもっともらしく考えていません(そしてXには通常、ハードウェア開発がどのようなものかについての誤った仮定が含まれています)。ハードウェアとソフトウェアの間には実際の違いがありますが、テスト手法が引き継がれない理由としてそれらに頼るのを見たとき、それは、その人がハードウェア開発についてあまり知らないために、関連性があるように見える想像上の要因に依存している場合でした。

重要な違いは、テストと開発にかかる労力の比率でしたが、ファジングの固定コストはかなり低いため、これはあらゆるレベルの労力にスケーラブルであり、効率の向上は依然として存在します。そして、テスト効率の向上により、労力の比率はソフトウェアエンジニアが一般的に想像するほど大きくはありませんでした。私たちは、テストエンジニアと開発者の比率が約1:1で、その後、目標がバグを見つけることで新機能をリリースしないことだった「フリーズ」状態に時間の約10%を費やしました。したがって、ここでのオーバーヘッドのゼロ次推定は、テストに55%、開発に45%の労力を費やした、またはテストに労力をかけなければ開発に2.2倍の労力を投入できたということです。もし企業が私たちよりもはるかに速いレートで重大なバグを出荷していて、緊急事態を宣言して人々がテストに55%の労力を費やすようにした場合、比率はそれほど変わらないと思います。おそらく、以前のレートの半分程度になるかもしれませんが、労力のレベルが実際に違いを生んでいるわけではありません。

今日では、もう一つ人々が言うのは、LLMにバグを見つけさせることができるのに、なぜファジングをする必要があるのかということです。私は両方を何度も試しましたが、私の経験では、ファジングはバグを見つけるまでのレイテンシで一般的に勝ち、より多くのバグを見つけ、誤検知率が低いという点で優れています。LLMはかなり高いばらつき(これについては後述)を持っているので、CodexやClaudeにバグを見つけるように頼むだけで勝つこともありますが、平均的にはファジングが勝ちました。

テストに関する詳細

LLMのテストについて非常に肯定的なことを言ったにもかかわらず、LLMはテストに関してはかなり悪いようです。しかし、どのようなレベルのテスト労力であっても、LLMは適切に指示されれば、以前よりもはるかに簡単にテスト労力を適用できます。

この極端な例として、品質やテストに関心のあるすべての人々が、LLMがデフォルトで生成するテスト、または「テストを書け」、「もっとテストを書け」などと指示した場合に生成されるテストを、価値がないか、せいぜいわずかに役立つ程度と評価しています。

例えば、Em Chu(コンパイラエンジニア)は次のように述べています。

既存のテストは完璧ではありませんが、LLMが目指すレベル、「人間によるコードレビューをすり抜けるのに十分な徹底さ」よりもまだ上です。コンパイラ(例えばUIと比較して)では、平均的なテストを書くのは簡単だと思いますが、最終製品にはより高い正確性が一般的に期待されるため、LLMはひどいです。彼らは、人間がバグを見つけるテストを書くために使用する、敵対的な「さて、これをやったらどうなる?」や「すべてのもののクロス積を試してみよう」というプロセスが痛いほど苦手です。

同時に、私は多くの人々が、LLMに「テストを書け」、「もっとテストを書け」などと指示した場合に、テストに関して驚くほど優れていると絶賛しているのを見てきました。人々がLLMがテストに優れていると言う理由を調べたところ、実質的にまったくテストを行っていなかった人々がLLMをテストに優れていると考えていることがわかりました。それは理にかなっています。まったくテストを行っていない状態から少しのテストを行うようになれば、それは大きな進歩です。

2026年6月現在、LLMにファジング/ランダムテストを実行させることも同様です。LLMにファザーを生成させようとしましたが、ほとんどのプロジェクトでは、数分以内に実際の、しばしば深刻なバグが見つかります。しかし、LLMが作成したファザーが何をテストしようとしているのかを見ると、品質を気にする通常のプログラマーがLLMが作成したテストを見たときと同じ反応をします。LLM生成ファザーのカバレッジは奇妙に悪く、急いで人間が書いたファザーがカバーするはずの基本的なことをすべて見落としています。楽観的な人か悲観的な人かによりますが、これはほとんどのプロジェクトのテストカバレッジについて何かを言っているのか、それともファジングの非合理的な有効性について何かを言っているのかと言えるでしょう。

大まかに言うと、現在のSOTAモデルからのLLM生成ファザーは、入力がどのように変化すればバグを引き起こすかを「考える」という点でうまく機能しません。そして、入力がどのように変化すべきかについて単純に指示し、それらを組み合わせるように指示しても、合理的な方法でバグの材料を組み合わせることはありません。うまくいく指示を与えることは可能ですが、それはユーザーが指示を提供するかに大きく依存します。

ランダムテストを「追加点」として使用したり、さらにいくつかのバグを検出したり、従来のソフトウェアテストプロセスを置き換えたりする場合、LLMにコードのリスクの高い領域を探し、侵害される可能性のある不変条件を見つけてファジングするように指示するだけで済みます。これはまあまあうまくいきます。私が人々をランダムテストを試すように説得したとき、彼らは通常ここで始め、見つかったバグの数に満足しています。彼らが興味を持っている人々の性質上、これはしばしば、その会社で最もテストされ、最も信頼性の高いコードの一部に取り組んできた人々からであり、彼らは自分たちの比較的よくテストされたコードのバグを見つけることができます。

エージェント型「ソフトウェアファクトリー」ワークフローを正直に保つためにランダムテストを使用したい場合、SOTAモデルのギャップに対処する方法が必要です。なぜなら、1日に数百または数千のPRに相当するものをプロジェクトにリリースする場合、劣化から制約されないすべてが急速に劣化するからです。

大まかに言うと、システム全体には、ギャップを見つけてファザーの調整を行うループに指示を与える何らかのフィードバックが必要です。最近、私はドメインを理解しておらず、プロジェクトやコードも理解していないことについてさまざまなことをテストしていますが、私が思いつくことには多くのギャップがあることを知っています(そして、前述のように、LLMはこの点でひどいです)。しかし、私がドメインに慣れていて、コードを比較的よく理解している分野でも、人間は物事を見落とし、間違いを犯すため、常にギャップを見つけて、あなたやエージェントがギャップを埋めることができるように、テストセットアップに何らかのフィードバックが必要です。

私は、エージェントが集まって再集会してエージェントループをより良く実行させるためのさまざまな方法を試していますが、そのようなことは役立ちますが、人間の介入なしに、何らかのエージェント型ソフトウェア品質改善ループを作成するほど十分にうまくいく方法を見つけられていません。それは、時折の人間からの入力、または何かをリリースすること(理想的にはわずかな割合で段階的なロールアウトで)であり、その後システムがメトリクス/ログ/トレース/サポートチケットなどを監視してフィードバックとして使用することに依存します。前述のサポートチケットからPRへのパイプラインは、そのようなフィードバックループの一つです。パイプラインはPRを生成しようとするだけでなく、バグを見つけるテストセットアップを追加し、他のバグを表面化させる可能性、または将来のリグレッションがあった場合にバグを再検出する可能性もあります。これはまあまあうまくいっているように見えます。つまり、実際のバグを見つけ、テストカバレッジを改善しますが、改善の余地はたくさんあるはずです。

関連して、LLMがテストを書くのがなぜそれほど下手なのか疑問に思っています。少し調べてみたところ、LLMの能力は、モデルがタスクを改善できるようにするRL環境を構築した人々から生まれており、時には一般化可能な方法で、時にはそうでない方法で改善されると聞きました。また、RL環境を販売する市場もあるが、買い手がそれほど多くないため、かなり薄い。そして、あなたはラボに買い手またはそれに近い人がいることを本当に知る必要がある。もしあなたがそのような人物であるか、そのような人物と私を繋げることができるなら、私に何かお願いがあります。私に連絡してください(X、Mastodon、メールなどで、私はかなり容易に見つけられます)。これがどのように機能するのか、そしてテスト、最適化、またはこの投稿で議論されているより長期的なタスク(重大なギャップを観察しやすい)のようなものにRL環境を販売することはどの程度可能かについて興味があります。

テストに戻ると、ファジングやあらゆる種類のバグ監査を行う場合、誤検知の検出はプロセスの重要な部分です。少なくとも現時点では、公開されているものよりも優れたモデルへのアクセスはあなたを救いません。しばらく前に、Dennis Snellは不満げに、彼が一日中、Anthropicから転送されたAIのゴミを、公開から危険すぎるためリリースできないという彼らの自慢のMythosモデルから処理していたと私に言いました。Anthropicは会社に何らかの恩恵を与えていたか、あるいはMythosからのセキュリティ問題の提出によって何らかのEAセキュリティ改善を行っていたようですが、合理的な誤検知拒否プロセスを持っていなかったため、多くのAIのゴミと共にいくつかの実際の脆弱性を転送していただけでした[2026年9月更新:参照、および、人々が同じことを報告しています]。当時、私はFableがMythosよりも能力が中程度低いと思われるモデルを使用していましたが、誤検知がまったくない無限のバグ(セキュリティ問題も含む)を生成することに問題はありませんでした。これは、最新かつ最高のモデルを持つことと同じくらい、モデルを中心とした合理的なセットアップを持つことが重要であることを示唆しているようです。Anthropicがこのようなことをしなかった理由は不明です。なぜなら、このようなものの最大の障害は彼らには無関係だからです(トークンコスト、そして標準的な「サイバー」承認があっても、最新/最高のモデルはエクスプロイトの作成と実行の試みを拒否するため、エクスプロイトを作成できないものを拒否するという直接的な方法ができないため、良い誤検知拒否プロセスを実行するのが難しいからです)。

私はプロジェクトごと/問題ごとにカスタムワークフローを試しており、汎用的な誤検知拒否スキームを正確に持っているわけではありませんが、半汎用化できると思われるさまざまなものがあります。トークンを惜しまないなら、独立したエージェントに誤検知の報告を繰り返しチェックさせることで、誤検知率が大幅に削減されます。数ヶ月前、レビューだけでなく、エージェントループの管理にも「ペルソナ」を使用することに成功したと述べました。理論的にこれがうまく機能しない理由についての応答がありましたが、実際にはかなりうまく機能するように見えます。私のワークフローは定期的に変更され、その議論の約1週間後に「反論的な」ペルソナを追加し始めました。これにより、同じ壁時計時間またはトークン予算でパフォーマンスが向上しました。

人間がレビューするものであれば、何らかのアーティファクト(例えば、UIで顕著であることが期待されるバグであればビデオ)が必要です。エージェントにこれをレビューさせることを特に意識しなくても、これを作成するだけで誤検知率がいくらか低下し、その後エージェントがアーティファクトをレビューすることで誤検知率がさらに低下します。エージェントにアーティファクトを独立してレビューさせること(例えば、ビデオ自体を見るのではなく、ビデオを生成するテストコードを見る)も、誤検知率をさらに低下させます。一般的に、独立した視点を得ることは、誤検知を減らすのに大いに役立ちます。私が実行した実験では、これは壁時計時間またはドルあたりの異なるペルソナ/視点を持つエージェントよりも効果が低いですが、同じ質問を複数回尋ねるだけで結果が改善します。これはLLMのばらつきセクションのグラフから明らかな理由です。

誤検知率を減らすために試したことはほとんどすべてうまくいったので、コストの最適化が問題にならないほどワークフローをスケールアップしていないのであれば、まともなことをすればかなりうまくいくようです。

ケーブマンモード

さまざまなツールやワークフローの推奨を受け取りますが、それらを検討すると、推奨を採用することが理にかなっているかどうかについての良い情報を見つけることがほとんどありません。例えば、職場で「ケーブマンモード」が何度も推奨されているのを見ました。「ケーブマンモード」は、トークン使用量を削減し、プロンプト解決を高速化するとされています(READMEにはトークン使用量75%削減、トークン使用量65%削減、トークン使用量2倍、速度3倍増と主張されています)。

情報検索(引用符なしで「caveman mode」をGoogle検索)すると、ケーブマンモードへのリンク以外のトップヒットは、このRedditスレッドでした。そこでは、トップ3コメントのうち1つはジョークで、残りの2つは強く推奨しています。

ただ極端な簡潔さが新鮮な方法で…そして分析的思考に何の影響もないように見えるのにトークン数が劇的に減る…しかし、前後をベンチマークする方法はない。

職場の誰かがテストしていて、トークンを節約し、かつうまく機能しているように見える。

トップヒットのほとんどは、何らかの評価を行ったとされるケーブマンモードの肯定的な推奨でしたが、(フィルタリングされていないLLMテキストのように読めました)YouTubeのトップヒットは、最も有名なプログラミングYouTuberの一人が次のように述べているものでした。

実際に機能します。実際にかなりうまく機能します…いいえ、誇張していません。

職場のSlackスレッドでケーブマンモードが推奨されているときに、誰かが比較を行ったかどうか尋ねたところ、ケーブマンモードの作成者がHNスレッドでそれがジョークだと返信したことを指摘しました。誰かが分析へのリンクを共有しましたが、その分析は多くのエラーを含むLLM生成SEOスパム記事でした。私が丁寧に指摘すると、リンクを投稿した人は「ざっと読んだだけです」と言いました。

その時点で、私は約15秒ずつケーブマンモードのベンチマークを生成することにしました(人々は今ベンチマークを評価と呼ぶので、私もそう呼ぶべきでしょうか?)(以前ここで詳細に議論しました)。

まず、この議論が起こった数ヶ月前、私はGPT-5.5 xhighをたくさん使っていました。そして、このことをベンチマークしました。最初のベンチマーク、wasmコードの簡単な最適化について見てみましょう。これは私がエージェントに15秒かけてプロンプトして生成させたものなので、詳細についてあまり時間を費やす価値はないと思いますが、注意すべき点は、エージェントが達成した結果よりもはるかに良い結果を出すことが可能であるということです。人間が手作業で行うか、人間がエージェントに何をすべきかを指示した場合、AIの結果よりもはるかに良い結果が得られると予想されます)。最適化チャートでは、1.0はスピードアップなし、それ以上が良い(1.0未満は「最適化」が遅くなったことを意味する)です。実験を実行したときの様子を把握するために、ボタンをクリックしてインタラクティブにフォローしたり、アニメーションを再生したりできます。

最初のベンチマーク(wasmで非自明なアルゴリズムを最適化する)では、1回の実行後、ケーブマンモードが良い結果を示しています。スピードアップは1.027対0.987、コストは12.10ドル対23.10ドル、壁時計時間(エージェントが要した時間)は8分51秒対14分9秒です。しかし、LLMは確率的であることを知っているので、もう一度実行すべきでしょう。2回目の実行後、両方とも平均1.0のスピードアップが見られますが、ケーブマンモードは8分64秒で12.45ドル対17分57秒で40.38ドルです。これはケーブマンモードで主張されている節約額に沿った、大幅なコスト削減です。アニメーションの各ステップを逐一説明するのは少し愚かですが、最後にスキップすると、50回の実行後の平均はケーブマンモードに有利で、スピードアップは1.03対1.01、コストは13分46秒で17.97ドル対16分52秒で24.21ドルです。これは2点後の結果ほど良くはありませんが、それでもケーブマンモードにしっかりと有利です。

GPT-5.5 xhighに古典統計とベイズ統計を実行するように依頼したところ、最適化1ベンチマークでは、ケーブマンモードがより良いスピードアップ、コスト、壁時計時間を持つp値はそれぞれ0.1、0.005、0.001であるというスクリプトが生成されました。ベイズ統計では、それぞれP(ケーブマンが良い)は0.958、0.999、1.000です。残りの2つのベンチマーク(15秒かけたもの)のプロットも確認できます。最適化2は別の「wasmでコードを最適化する」ベンチマークであり、ゲームAIは、エージェントがLost CitiesというボードゲームのAIを実装するように求められ、1回の移動あたり10ミリ秒の締め切りがあるタスクです。

これらのベンチマークの結果はまちまちです。最適化2では、P(ケーブマンが良い) = 0.17、0.999、1.000であり、ゲームAIでは、P(ケーブマンが良い) = 0.04、0.79、0.73です。したがって、ケーブマンモードは最適化2とゲームAIでは実際には悪い結果をもたらします。これは最適化1で見た結果とは逆です。ちなみに、驚くべき物語の展開を示すために、これらの結果の順序を意図的に選んだわけではありません。ここで止めると、ケーブマンモードはより悪い結果をもたらすがコストを節約すると考えるかもしれませんが、あるいは一部のタスクではより良い結果をもたらし、一部のタスクでは悪い結果をもたらし、コストを節約すると考えるかもしれません。

さらにいくつかのモデル(GPT-5.4 mini、GPT-5.4、GPT-5.5)をすべての労力レベルで試すと、以下の平均が得られ、全体像は不明瞭になります(以下のグラフでは、上と左が良く、下と右が悪いです。矢印はベースラインからケーブマンモードを指しています)。

ここでのパターンは何でしょうか?いくつか挙げると、最適化1では、ケーブマンモードは一般的に標準よりも良い結果をもたらしますが、最適化2と3では、その逆が多いですが、例外もあります。コストについては、さまざまなパターンが見られます。条件(タスク、モデル、労力レベル)間のばらつきが十分にあるため、明確な全体像を把握するには、さらに多くの条件を実行する必要があることは明らかです。そして全体として、差は平均化されると小さすぎて、ケーブマンモードを使用する価値はないようです。

LLMのばらつき

最近、新しいモデルがリリースされると、人々がそれについて何を言っているか検索します。一般的に、矛盾したコメントがたくさんあります。例えば、GPT-5.5がリリースされたとき、人々は、GPT-5.4は5.5よりも優れていると述べました。なぜなら、5.4はタスクに留まるのが得意で、5.5は問題から逸れて考えすぎるため、5.5ははるかに高価で無意味だという意見がありました。また、5.5は5.4よりもはるかに優れているため、間違いを犯して自分の問題を修正するのに時間を費やすことが少ないため、使用する方が安価だという意見もありました。さらに、5.5はうまく機能するため、より低い労力レベルで実行できるため、5.4よりも安価だという意見もありました。また、5.5は「ただ機能する」のに対し、5.4はしばしば失敗して手助けが必要だ、といった意見もありました。しばしば、誰かがベンチマークを実行して、自分の主張が真実であることを示します。

これらのベンチマークを見ると、GPT-5.5リリース直後にRedditで見たすべてのコメントを裏付ける証拠が見つかります。最適化1では、GPT-5.4は5.5よりも良い結果をもたらし、はるかに安価です。しかし、ゲームAIでは、GPT-5.5は5.4よりも大幅に優れており、5.5の高コストは5.4の高コストと同程度ですが、結果はより良いです。そして、5.5の中コストは高コストよりも安価で、結果は大幅に改善しています。これら3つの評価だけでも、リリース時にGPT-5.5について人々が言っていたすべての主張を裏付けることができます。なぜなら、すべての主張は時々真実だからです。そして、これは、インターネット上で飛び交うコメントを裏付けるために、合理的な人間が実行するよりもはるかに多くの実行回数でばらつきを平均化している場合です。

一般的に、このような理由から、ベンチマークのセットを要約したメトリックやグラフを見ると、「分布を見せてくれ」と思います。モデルのベンチマークはしばしば単一の、きれいで整然とした数字に還元され、XがYより優れ、YがZより優れていると表示されます。私はこれらを基本的に無意味だと考えています。なぜなら、OpenAIとAnthropicの最新かつ最高のものを検討している場合、XがYより優れ、その逆もある合理的なベンチマークが存在することを知っているからです。もしベンチマークのセットがYを支持するベンチマークをXよりもいくつか多く含んでいれば、結果は反転するでしょう。そのような要約メトリックが私にとって有用であるためには、ベンチマークのセットが私が実行するタスクの分布と重みを完全に反映しており、すべてのタスクに単一のモデルしか選択できない必要があります。どちらも真実ではないため、これらのベンチマークからどのような実用的な情報を引き出せるかは不明です。

公開ベンチマークを詳細に見ると、状況は上記の抽象的な議論から見えるよりも悪いです。結果は一般的にかなり高い精度で提示されており、それが意味があるかのように見えます。例えば、DeepSWEでは、GPT-5.5-xhighがFable 5 mediumよりも1%優れているが、コストは19%低い、といった結果が見られるかもしれません。そして、Opus 4.8と比較すると、GPT-5.5 xhighよりも13%劣るが、コストは11%高いかもしれません。これが何を意味するかを知るために、データを掘り下げて、多様なタスクの大きなセットを持っていると主張する意味のあるベンチマークがあるが、それらはすべてパス/フェイルタスクであり、4回実行され、ほとんどのタスクは非常に簡単で、最高のモデルで4/4を獲得するか(ただし、ランダムノイズのため、ランダムな3/4が見られることもある)、または非常に難しく、ほとんどが0/4になることがわかります。そして、これらのSOTAモデルの相対スコアを実際に決定するタスクの小さなサブセットがあります。これらのうちの1つを別のものに置き換えると、最もスコアの高い2つのモデル間の結果が反転する可能性があります。いくつかのタスク(約100個のうち)を変更すると、明らかに劣っていたOpus 4.8がGPT-5.5を上回る可能性があります。さらにいくつかのタスクを変更すると、GLM-5.2が先行する可能性があります。

このようなものを見ると、子供の頃には私の知っているほど有名な人物だったミゲル・インデュラインを思い出します。数年前、インデュライン以降のサイクリングの有名人がすべて異なるアーキタイプである理由に興味がありましたが、答えはそれが恣意的であるということでした。恣意的な理由で、ツール・ド・フランスは世界で最も有名なサイクリングレースになりました。そして、支配的な傾向を持つ人は、サイクリングサークル外でも知られるほど有名になることができます。他の恣意的な理由で、ツール・ド・フランスが現在よりもはるかに長いタイムトライアルステージを持っていた時期があり、それはインデュラインのアーキタイプに適していました。ベンチマークを少し調整すると、ミゲル・インデュラインはかつての有名人から、サイクリングをフォローしない限りほとんど誰も知らない偉大なタイムトライアリストになります。

コーディングエージェントの話題に戻ると、これらのベンチマークを誰が本当に注意する必要があるのかは不明です。前述のように、モデルのユーザーとして、これらのベンチマークはどのモデルを使用すべきかを意味のある方法で教えてくれません。

もし他の多くのユーザーがこれらのベンチマークに基づいて決定を下すなら、AIラボはそれらの結果を気にする必要があります。しかし、GPT-5.5がその在任期間中にほとんどのベンチマークでさまざまなOpus 4.xモデルを大きく上回っていたにもかかわらず、AnthropicのビジネスはOpenAIよりもはるかに速く成長しました。GPT-5.5とOpus 4.6/4.7/4.8が利用可能な最高の公開モデルであった期間中に、OpenAIは人々がGPTを使用するように説得するために、企業に無料トークンを提供していました。私の会社も、数ヶ月間の無料トークンを受け取った多くの企業の一つでしたが、その間、ほとんどの人は依然としてClaudeとOpusを主に利用していました。Anthropicの収益軌跡は、これらのベンチマークがユーザー選択の主要な決定要因であるという考えと両立しません。したがって、これらの要約メトリックが何を示しているのか、誰が本当に気にするべきなのかわかりません。

最後に見たグラフのセットは、タスク間のばらつきの量を示していますが、前のグラフのセットからは、同じモデルと労力レベルでタスク内のばらつきも多く見られました。少数の個々の実行を見ると、実行間のばらつきのために、ほぼすべての結論が可能になります。例えば、最適化1を見ると、GPT-5.5 xhighの場合、実行間の標準偏差は0.075(つまり、パフォーマンスの7.5%の増減)です。テストされた最高のGPTと最悪のGPTとの平均差を見ると、1.055(GPT-5.4 xhighケーブマン)と0.986(GPT 5.4 mini low)であり、これはGPT-5.5 xhighの標準偏差(SD)の1 SD未満です。実際のグラフと要約統計だけでなく、次のようになります。

すべてのタスクについて、最高の条件が何であれ、最高の条件が実際には最悪の条件からの結果よりも悪いスコアを出す結果を簡単に得ることができます。私がMax Bittker(彼は私よりもはるかに多くのベンチマークを行っています。彼はRL環境のスタートアップを経営しています)とチャットしていたとき:

ええ、タスクごと、実行ごとのノイズのレベルが非常に高いため、議論が混乱するのは不思議ではありません。「すごい、$new_model は素晴らしい」→「しまった、まだ古いモデルを使っていた」とか、「この新しいハーネス/プロンプトトリックは素晴らしい!」といった間違いを犯しやすいです。

しかし、一方で、ベンチマークは「OpusモデルはSonnetモデルよりも混乱した条件を回復し、デバッグするのがはるかに優れている」とか、「中国のモデルはSWE-Benchでは良いスコアを出すが、新しいタスクではパフォーマンスが低い」といったステートメントに統計的な信頼性を与えてくれました。

別のコメントは、記憶から緩やかに言い換えたものですが、Matt Mullenwegは、ギャンブラーのような高ばらつき活動を行う人々はしばしば迷信深いと言いました。スロットに座る前に幸運の靴下を履いたり、特定のルーチンを実行したりするのを見るでしょう。ケーブマンモードを使用したり、コーディングエージェントが良い結果を出したからといってどのモデルが良いかを決めたりするのは、それほど違いはありません。

私は上記を実行し、この投稿のドラフトを書きました。Fableがリリースされる前でした。そしてFableがリリースされたので、好奇心から、いくつかのFableベンチマークを実行しました。当時は未リリースだったので、Opus 4.8でも数回実行しました。[この投稿は、以下のグラフに5.6のベンチマークを追加するために、5.6リリース後に編集されました]

前述したように、これらは私がエージェントに15秒ずつ話しかけて作成した小さなベンチマークです。コーディングエージェントがプロセスをスケーリングできるようにすると、15秒の人間の時間あたりでかなりの数の合理的なベンチマークを作成できますが、これは大量に作成するための注意深く設計されたセットアップではありません。これは、ケーブマンモードの比較を得るために行っただけで、エージェントに無 supervision で実行させようとしたところ、ベンチマークは完全に無価値でした。少し時間をかけると、ケーブマンモードを評価し、それ以上の調査の価値がないと判断する目的には十分なベンチマークになりました。もし私がこれを公に書くつもりなら、いくつかの点でこれらのベンチマークを改善するためにさらに数分を費やしたでしょうが、このばらつきの議論の目的には十分だと思います。結果をあまり深く読み取るべきではありませんが、外れ値の結果を確認するなど、いくつかの基本的なチェックも行いました。エージェントが不正行為をしていないか、または異常に低い実行結果を引き起こす問題(ボックスのノイズなど)がないかを確認し、エージェントは不正行為をしておらず、最も遅い結果は静かなボックスで再現された、などです。

そして、その免責事項はさておき、GPTベンチマークと同様に、これらのベンチマークでも、オンラインで議論されていることを反映したばらつきが見られます。例えば、Fableは一部のタスクでは優れていますが、他のタスクではそれほど優れておらず、かなりの人々が試した少数のタスクのパフォーマンスに基づいてFableの全体的なパフォーマンスについて主張しています。前述のように、OpenAIはDeepSWEでAnthropicよりも優れています(GPT-5.5 = Fable 5 > Opus 4.8)。そして、最適化1で類似の結果が得られるベンチマークが見られます。人々が私に渡し続けるもう一つの広く引用されているベンチマークはSenior SWE-Benchです。そこではAnthropicがOpenAIよりも優れています(Fable 5 > Opus 4.8 > GPT-5.6 Sol)。そして、ゲームAIベンチマークでも同様の結果が見られます。そこではFable 5 > Opus 4.8 > GPT-5.6 Sol > GPT-5.5です)。

上記では、私やエージェントのユーザーが、モデルの良さを示すとされるランキングや少数の数字のタプルを生成するこれらのベンチマークをどのように有用に利用できるのか不明な理由を議論しました。しかし、ベンチマークに深く掘り下げても、ユーザーとして、ベンチマークの結果に基づいてどのように行動を変えるべきかは依然として不明です。

例えば、Opus 4.8はGPT-5.5よりもはるかに頻繁に、物事を説明するための悪い合理化を作成するという観察をしました。私は両方に同じ問題に何度もアプローチさせようとしました(何が起こるかを見るために、実際に私が直面している問題を解決するように両方に依頼することがよくあります)。これらはしばしば、これらのベンチマーク問題よりもはるかに大きな問題です。例えば、実際のデバッグタスクや、ゲームAIの構築の場合、AIを生成するための単純なプロンプトではなく、エージェントループや一連の指示によって、かなり強力なAIを生成させます。少数の人々に尋ねましたが、彼らは皆、GPT-5.xとOpus 4.6/4.7/4.8で同じことを観察しており、Claudeを好み、主にClaudeを使用し、Opusよりも経験が豊富な人々も含まれています。

一方で、モデルが誤情報を検出したり、嘘をつかない能力を測定する2つのベンチマークを見ましたが、どちらのベンチマークもOpusがGPTよりもはるかに優れていることを示しています。ベンチマークが期待されることを示しているとすれば、私や他の人々が経験したことは不可能に見えます。例えば、あるベンチマークでは、ベンチマークの提示を素直に読むと、Claude OpusとSonnetは他のどのモデルよりも誤情報を検出するのがはるかに優れており、Opus 4.8が絶対的に最高で、ソフトウェアの場合でも95%の時間で誤情報を検出します。GPTはこれに関してひどく、Qwen、Grok、Kimi、Minimax、Mimi、Nemotronを下回っています。

何が起こっているのでしょうか?確信はありません。

おそらく、これらのベンチマークは、私が話した人々(と私)が実際のプログラミング問題に取り組んでいるときに遭遇する、嘘をつくことの側面とは異なる側面を測定しているか、あるいはこれはサンプルサイズが小さく、私が話した人々(と私)がOpusからランダムに悪い結果を引いただけか、あるいはOpusの使用方法が「間違っている」のかもしれません。私は、ベンチマークがコーディングやデバッグ中に誤った合理化に遭遇したときに起こることとは異なる何かを測定していると疑っていますが、これに自信を持つためには、かなり費用のかかる実験を実行する必要があります。もしあなたが私の一般的な実験をサポートしたいなら、私のPatreonに登録するか、AIラボにいるなら、実験を実行するための無料クレジットを提供してください。

ちなみに、ゲームAIベンチマークにも同様のことがあります。そこではOpusがGPTよりも大幅に優れていますが、実際に強力な(超人的な)ゲームAIを作成するプロセスを管理しようとしたとき、Opusが嘘をつき続けたり、無意味な失敗モードを合理化したりしたため、GPTの方がうまくいくように見えました。無 supervision では、どちらも無価値で独自の失敗モードを持っていましたが、指示されると、GPTは軌道に乗って機能するタスクを続けるために、より少ないプロンプリングで済みました。これは、1回のプロンプトが約10ドルのコストがかかるxhigh実行であり、小さなベンチマークが実際のタスクを実行する際に観察されるものとは逆の結果をもたらす、小さなゲームAIベンチマークにはまったく反映されていません。

しかし、ここでのポイントは、たとえあなたが気にかけていることと正確に測定しているように見えるベンチマークを見つけても、それらのベンチマークは実際の結果と一致しないことが多いということです。もしあなたが私のような変わり者なら、何が起こっているのかを理解するためにかなりの時間と/またはお金を費やして実験を実行することを決定するかもしれませんが、もしあなたが(実際の仕事のために)完了したい仕事があるなら、それはかなり不合理なことです。

ちなみに、人々がしばしば直感に反すると感じるベンチマークには、いくつかのパターンがあります。公開されているベンチマークに基づいたモデルの議論(これは無意味です)とは異なり、私はこれが興味深く情報に富むと感じています。GPT-5.4が5.5を上回るベンチマークがあることはすでに述べました。また、労力が大きいほど結果が悪化または改善する場合があることもわかります。例えば、最適化1では、GPT-5.6 Lunaは労力が増えるにつれて単調に悪化し、最適化2でも一般的に悪化しますが、ゲームAIでは労力が増えるにつれて単調に改善します。また、GPT-5.6 Solの最適化1とゲームAIでは、maxがxhighよりも劣ることもわかります。GPT-5.6 Solでは、ultraはすべての3つのベンチマークでmaxよりも優れており、最適化1とゲームAIではmaxよりも安価です。単一のプロバイダーまたは単一のモデル内でも、人々が直感的に期待する多くのこと(例えば、より多くの労力からより良い結果が得られること)は真実ではありません。異なるプロバイダー間のより大きな違いを考慮に入れると、結果の異質性が非常に高いため、XがYよりも優れているといった単純なステートメントは、モデル間に非常に大きな能力差がある場合を除いて、一般的に間違っています。しかし前述のように、意図的に選ぶことなく、Anthropicの旧世代モデルがOpenAIの現世代モデルを上回るケース、またはその逆のケースを簡単に見つけることができます。

人々がこれらのベンチマークを振りかざすのを見ると、しばしば誰かの迷信的な信念を裏付けるために使われます。例えば、職場で、Senior SWE-Benchの結果であるFable 5 > Opus 4.8 > GPT-5.6 Solを引用し、これが現実的だと言っている人を見かけました(AnthropicがOpenAIをはるかにリードしていると信じている人)。もちろん、逆を示すDeepSWEを引用することも同様に簡単です。

これらのことについて私の判断を信頼しているすべての人は、これらのベンチマークをかなりインチキだと考えています。なぜなら、今日、Anthropicの旧世代モデルが全体としてOpenAIの現世代モデルよりも優れているという考えは、これらのものをかなり使ったことがある人にとっては、あまり信じられないからです。AIラボの外の信頼できる人々に、モデルの良さをどのように評価するか尋ねたとき、それは一般的に「雰囲気」に基づいており、ベンチマーク結果が物事の把握よりも良いアイデアを与えてくれないことが明らかであるため、「雰囲気」に基づいている他の人々からの印象を集めることでした。

ベンチマークとデータ分析

特に理由はありませんが、私は常に実験の設計と測定を好んできました。これは、キャリアについて考え始めるずっと前からそうでしたし、今日でもそうです。ここで議論したように、測定はこのブログの主要なテーマの一つであり、おそらく主要なテーマです。幸いなことに、この生涯にわたる趣味は、キャリアにできるものになりました。さらに幸いなことに、このスキルはコーディングエージェントによって比較的価値が高まったようです3。

上記で議論したように、テストは高度にエージェント化されたワークフローにおけるボトルネックです。なぜなら、エージェントに多くのことをやらせると、十分にテストされていないものはすべて確率的に劣化するからです。エージェントで出荷する量が増えるほど、これは悪化します。もしあなたがやることすべてが、各タスクがパス/フェイルタスクであり、タスクを間違えないこと以外に本当に良くする方法がないようなモデル評価のようなものであれば、テストが十分に良いことを確認して、テストがパスするまでエージェントに自由にやらせれば、すべてがうまくいくでしょう。実際には、ほとんどの非人工的な問題では、厳密な正しさの評価をパスするソリューションを持つことができますが、それでも何らかの非厳密な正しさの感覚では、より良いまたは悪い可能性があります。もしあなたが問題に対してエージェントを自由に(それが高速で緩い雰囲気コーディングであれ、自律的なエージェントループの実行であれ)やらせたいのであれば、今やベンチマークの問題があります。

自律的に、自己改善ループで実行されると、エージェントはこの点でかなり悪いようです。数ヶ月間行っているさまざまな小さなこと(多くのエージェントに独立して考えさせ、反論的なエージェントの混合で複数回再集会させるなど)がここでいくらかの改善をもたらしますが、人間の介入なしではまだそれほど良くないようです。

その理由の一つは、エージェントがデータとデータ分析の理解に非常に弱いことだと思われます。エージェントループや大規模な問題の文脈でこれを行うことは、スタンドアロンのデータ分析よりも難しいですが、人々が単にエージェントにスタンドアロンのデータ分析を行わせるとき、結果は多くのガイダンスなしでは一般的にひどいです。エージェントにデータ分析をさせるのが非常に簡単なので、私はかなりの数のエージェント主導の分析を見てきましたが、少なくともこれまでのところ、私が目にしたすべてが完全にインチキです。私もかなりの数を自分でやりました(完全にインチキなLLM出力を得る価値を人々が過小評価していると思います。これについては後述します)し、同じことを見つけました。

完全にインチキなものと言うとき、私は実際には関連性のない異なる数字を見つけて、それらの関係について何か深いことを推測したり、多くの数字や例の中から2つを選んで、データ内の他の数字と矛盾する理論を考え出したり、意味のない(しかししばしば見栄えの良い)ものを表示するプロットを作成したりすることなどを意味します。ランダムな具体的な例として、エージェントが生成した分析を最後に見たとき(これを書いているときにちらっと見ました)、誰かが何らかのタスクのリソース使用率を分析するようにエージェントに依頼しました。これは、Anthropicから当時購入できる最良のものであったmax(Fableは無効になっていた)のOpus 4.8で、エージェントは、リソースの100%を超える消費が不可能であるはずのタスクで、リソースの514%が消費されていると判断しました。私は時々これらのことについてコメントする同僚がいますが、「Xは何を意味しますか?」のような無邪気な質問をすることがあります。一般的に、彼は応答を得られないか、最初の応答と同じくらい不正確なAIによって書かれた応答のように見えるものを受け取ります。

とにかく、私がエージェントをデータ分析に使い始めたとき、おそらく2025年11月頃、そのスピードアップはかなり信じられないものでした。大まかに言うと、数週間かかっていた分析が、数時間で済むようになりました。

私が現在行っていることの次のことを説明することさえためらわれます。なぜなら、すでに完全にインチキなデータ分析が数多く見られるからです。しかし、私がかなりの時間を費やしていることの一つで、「通常の雰囲気コーディングされたデータ分析」よりもはるかに大きなスピードアップをもたらすと私が考えているのは、エージェント(またはエージェント群)が問題を「理解」して分析し、その後、エージェントが生成したものから良い分析を抽出するために必要な部分を修正するという、単純なエージェントループを実行することです。

このインチキなLLMループがどれだけスピードアップするかは問題によりますが、最後に試したとき、この問題の従来のLLM以前の分析には数日かかったと思います。2日間としましょう。マルチタスクで、必要に応じてLLMをいじりながら行うワークフローでは、1〜2日かけて1〜3時間私の時間が必要だったと推測します。この「結果が間違っていることを知っているLLMループを実行する」ワークフローでは、数日かけて約5分私の時間で許容できる結果が得られました。文字通り、私が以前修正していない分析のどの部分を見ても、分析は間違っていました(そして、場合によっては複数の修正を発行する必要がありました)。しかし、どういうわけか、LLMを誘導しようとするよりも、全体としてずっと速く進みました。

人々は、LLMから完全に間違った結果を得ることの価値を本当に過小評価していると思います。これは、非冗談で、正しく指示されれば、プラスの方向にゲームチェンジャーです。

SOTAモデルがデータ分析において信じられないほどひどいことと、人間のデータ分析をどれだけスピードアップするかという間には、少し奇妙なことがあります。私は、ベンチマーク、評価、実験デザインに関する一連の演習を持っていますパート1、パート2、パート3、パート4、パート5、パート6。GPT-o3がリリースされたとき、Tyler Cowenはo3について次のように述べました。

ほとんどすべての面で、人間を圧倒します…AGIと呼びたくないなら構いません。そして、すべてを正しく行うわけではなく、それを騙す方法もあります。通常は非常に単純な(人間にとって)質問で。しかし、何が起こっているのかについて自分自身を騙すのはやめましょう。広範なトピックと方法において、それは人間を圧倒します。それを認め、受け入れる時です。

これが、これらの演習からの質問をSOTAモデルに尋ねてみるきっかけとなりました。それらは一般的に、質問をモデルが答えられるように特別に言葉遣いしない限り、合理的なジュニア同僚から期待されるものよりも劣っています。現実世界の同僚に質問するのと同じように質問すると、一般的にうまくいきません。これは、誰かが評価の宿題の質問をするときに発生する理論的な問題だけでなく、実世界の多くの混乱がない人工的な問題でも発生します。これは、エージェントに経験的でオープンエンドな、より長期的な改善タスクを実行するように依頼するときに発生する問題です。

これは、さまざまな実世界の問題で発生するのを見ましたが、現実世界のほとんどの混乱がない人工的な問題でも発生します。良い問題だと思う例は、ボードゲームAIの構築です。これは、最終的には人間や他のAIを打ち負かしたい、明確に定義されたゲームで、単純な勝敗/引き分けの結果を持つため、ほとんどの現実世界の問題よりも評価が容易です。

エージェントは、自律的にこれを行うことができません。AIに公平を期すために、この問題はインターネットコメンターが考えるよりもいくらか難しいです。例えば、これらの実装方法に関する情報を検索すると、このような またはこのようなさまざまな交換が見られます。そこでは、経験のない人がそれが簡単だと説明し、経験のある人がそれが彼らが思うよりも難しいと伝えています。ほとんどのオンラインチュートリアルはあまり役に立たず、高く評価されているbulleライブラリの作者でさえ、初心者は見ないように勧めています。問題は正確には難しくありませんが、ほとんどの人(そしてすべての公開されているLLM)を躓かせるのに十分な落とし穴があるようです。

私がボードゲームAIの実装を試み始めたとき(これはGPT-5.1から5.2の頃でした)、ボードゲームAIについては何も知りませんでした。そして、コーディングエージェントに、それが機能すると思うものを実装させようとしました。今ではボードゲームAIについて少し知っているので、GPTが提案したすべての方向性が間違っており、機能しなかったと言えます。実験として、最近これをもう一度試しました。GPT-5.5とOpus 4.8が利用可能な最高の公開モデルだったとき、それらはまったく同じ方法で失敗し、多くの同じ悪いアイデアを提案しました(本当に確実にするために、それらに悪いアイデアを実装させ、予想通り失敗しました)。Fableが利用可能になったとき、Fableでも試しましたが、まったく同じ方法で失敗しました。Fableは、15〜20回の修正後に自律ループで効果的に機能できたため、実際にはより優れていましたが、Opus 4.8とGPT-5.5はそうではありませんでした。ちなみに、これは公開ベンチマークが捉えられない種類のものの別の例です。

しかし、ガイドなしで反復するLLMの話題に戻ると、これはあるレベルでは、今日のLLMのかなりよく理解されているギャップだと思います。偶然ですが、私がこれを試していた頃に、Code Clash評価が作成され、これも同じことをテストし、同じ結果を見つけました。

反復不能:モデルはラウンドごとに改善するのに苦労し、さまざまな失敗モードを示します。

エージェントが方向設定に非常に弱く、私がボードゲームAIについて何も知らなかったにもかかわらず、私はGPT-5.1/5.2で約5時間の私の時間でAzulの超人的AIを構築し、約20時間の私の時間で当時の他のどのAIよりもはるかに強力なレベルに到達させることができました。Azulの世界チャンピオンであり、おそらく世界で最も強いプレイヤーでもある人が次のように述べています。

ボットは今やかなりクレイジーです。私よりも間違いなく強いですが、本当にテストするには、ターンベースのゲームのようにプレイする必要があります。私の時間制限では、私はチャンスがありません4。

「一つの奇妙なトリック」があったと言いたいのですが、実際には2つのトリックがありましたが、2つのトリックはそれほど悪くありません。特にそれらが他の種類のプロジェクトにも一般化できる場合です。2つのトリックは次のとおりです。

  • データを見る/合理的な評価を持つ
  • 問題を体系的に解決する

これらはどれも非常に厳密である必要はありません。実際、これはすべて「雰囲気」で実行されていたと言えます(「雰囲気コーディング」という言葉の以前の意味で)。データ側では、このプロジェクトのために、私は一般的な習慣、つまり関連性があると思われる多くのことをプロットし、それらをざっと見て、物事を改善すると思われる方向に微調整しました。より厳密な(そしておそらくより良い)アプローチは、最初から多くの実験を実行し、「アブレーション」実行(個々のアイデアを追加または削除する)を行い、各コンポーネントが何をするか、およびその影響を理解することです。しかし、私はできるだけ時間をかけずに強力なAIを作成したかったので、ラップトップでトレーニングし、厳密に実行することは、これらの制約を考えると高すぎると感じました。

ML経験のない私にとっては、これらすべてが些細なことだったでしょうが、観察して対処する方法を見つける必要があった小さなことがたくさんありました(これは現在エージェントが非常に苦手としていることです)。例えば、適切な評価セットを見つけるという点では、いくつかの興味深いことがあります。一つは、損失を減らすが、実際の対戦相手(人間または他のボット)に対する勝率を変えない変更を簡単に行えること、そしてその逆も然りです。もう一つは、以前のバージョンに対するボットの改善を追跡しようとすると、ボットが以前のすべてのバージョンに勝てるように変更を加え、以前のバージョンに対して1000または2000のEloゲインがあると見なされるが、人間や異なるスタイルのボットに対しては改善しないという状況を簡単に作り出せることです。そして当時、対戦できる超人的なボットがなかったので、既存のボットのフィールドと対戦するだけで合理的な評価を得ることができませんでした。

人間にとっては、これらは実際には難しい問題ではありません。合理的な人間は、これらの問題の1つを見て、数分間考えて、おそらく機能する提案された解決策を思いつくことができます(そしてそれが機能しない場合は、別の解決策を試すことができます)。しかし、エージェントが今日うまく機能しないほどの微妙さがあります(コーディングエージェントに公平を期すために、ほとんどの人間もそうではありません。私が対戦相手として見つけたほとんどすべてのボットはかなりひどいものでした。人々はかなりの時間を費やしているように見えましたが、公開されている唯一の例外はhttps://github.com/cestpasphoto/alpha-zero-generalの「PJF98」Azulボットでした)。PJF98ボットよりも強力なボットが存在しましたが、対戦用に一般公開されておらず、BGAで1シーズン勝っただけで(ボットの使用は不正行為のため無効になった)その後二度と見られませんでした。

私が言及したもう一つのトリックは、体系的なアプローチを取ることでした。大まかに言うと、これは、不透明なシステムを複雑さを持って扱う場合、バグの症状を見るたびに、観察する方法を知らない他のバグの1つまたは複数への窓である可能性が高いからです。窓を体系的に閉じずに他のバグを修正しても、それらの他のバグはまだそこにありますが、それらを見つける方法を知らなくなるだけです。

これは、ニューラルネットを使用するボードゲームAIを構築する場合に当てはまります。なぜなら、何をしているのかわからないネットと、何をしているのかわからない検索関数があり、時には明らかに悪い動きを特定できるからです。これは一般的に、雰囲気コーディングや/またはエージェントループにも当てはまります。なぜなら、エージェントが何をしているのかわからないものをしており、エージェントが生成する巨大で過度に複雑なコードの山が、明らかに悪い振る舞いを放出するときに、何が間違っているのかの窓を時々見ることができるからです。

特にボードゲームの場合、私は他のAzul AIを調べました。多くの人がボットを構築しており、特に最近ではコーディングエージェントがボットの構築を非常に容易にしています。それらのいくつかは、作者がボットをどのように調整しようとしたかを見ることができます(例えば、Claudeに与えた指示をリポジトリに含めているため)。そして、私の知る限り、これらの他のボットがより多くの人間の時間を費やしたにもかかわらず、はるかに劣っていた主な理由は、間違った評価の使用と、問題の症状ではなく原因の修正の組み合わせでした。

例えば、あるケースでは、作者がClaudeの指示をリポジトリに残していたため、何をしたかを見ることができます。ある時点で、彼らのボットは、ゲームを学んだばかりの人間でもプレイしないような、非常に悪い動きをしていました。作者は、ボットがその動きをしないようにするための直接的な修正をClaudeに指示しましたが、これはボットが持つ体系的な問題から生じる他のすべての悪い動きを修正しませんでした。それは、作者が見ることができる明白な悪い動きの症状を修正しただけでした。

私のボットにも同様の問題がありました。ある時点で、私のボットはほぼ常に列2で開こうとしていました。単純な修正は、ボットが列2でプレイする頻度を減らすことだったでしょう。ノイズを増やして自己プレイでの探索を増やすなど、さまざまな「明白な」修正を試しましたが、明白な修正はどれもうまくいかず、列2の値を直接減らすことだけが機能しましたが、それは問題全体を解決しないという別の問題があります。その特定のケースでは、より体系的な修正が機能し、ボットのプレイをより一般的に堅牢にしたのは、ゲームのさまざまな時点(特に終盤)で、異なる列の順列を持つ新しいゲームにゲームをフォークすることでした。考え方は、問題は、平均して列2が最良の列であるということです。したがって、ボットが別の列で開いたとしても、過去のゲームから平均的な最良の列に戻る傾向があります。DeepMindであれば、この問題にお金をかけてボットにさらに多くのゲームをプレイさせ、別のことを学ばせることができます。しかし、ラップトップで実行している場合、それには時間がかかる可能性があり、ボットがどれだけ重みで列2から外れるように誘導すべきかを調整しようとしている場合、それを行うための合理的に最適な重みセットを取得する方法はありません。しかし、例えば、時折、終盤近くで、列2を列4に順列化すると、ボットは、ほぼ満杯の列4がある場合、それを完成させることが勝利の動きであることを学びます。これにより、ゲームの早い段階で、部分的に完成した列4がある場合、それをほぼ完了まで進めるのが理にかなっていることをボットが学ぶのに役立ちます。そして、同様に、開きの段階で、合理的な分布で開くべきことを学ぶのに役立ちます。

私のようなML/AIのバックグラウンドがない人間にとって、ボットを超人的なパフォーマンスに到達させることは、データを見るべき正しい視点を見つけ、それを体系的に調整して問題を解決するという、これらのパズルの組み合わせでした。これは、一般的な問題に対するエージェントループの管理とそれほど違いはありません。Michael Malisは、「ソフトウェアファクトリー」ワークフローの実行はFactorioをプレイするようなものだと述べており、私は彼が何を意味するのか理解できます。

その他

特定のワークフローのヒントやトリックについて話す価値はあまりないと思います。なぜなら、これらの半減期は非常に短いからです。私がより自律的なループを実行する前で、より人間参加型の作業を行っていた頃、「私の」エージェントはしばしばAGENTS.mdやその他の指示に直接矛盾することをすることがありました。Yossi Kreininに何気なく言ったところ、AGENTS.mdの最後に、指示を再読み込みしてから圧縮するようにというメモを追加するように提案されました。私の知る限り、それは何の効果もなかった迷信的な行為かもしれませんが、この問題の発生率を1日に数回(複数のエージェントを同時に扱っていた頃、おそらく数エージェント日あたり1回)から週に1〜2回(おそらく100エージェント日あたり1回程度)に減らしたように見えました。これはもはや必要ないようです。つまり、これは最初は何の効果もなかったプラシーボであり、私がしばらくの間運が悪かっただけか、あるいはAIラボがこれを追加したかのどちらかです。2024年8月に議論したトリックは、LLMがデフォルトでコードを生成するが実行しない頃、コードを実行してそれが機能し、テストに合格することを確認するループを持つことでした。そのトリックは、そのトリックが明白で有用であったことを考えると、驚くほど長い間有効でしたが、もちろん、大手AIラボは最終的にその有用性を認識し、現在ではすべてがそれを実行するツールを持っています。

過去数ヶ月間、私が使用している「トリック」は、Gas Townに似たものですが、さまざまな小さな工夫を加えて信頼性を高めています。ClaudeのDynamic Workflowsは、これらのトリックの半分を使いやすいパッケージにまとめているようです(私はそれがウォーターフォールモデルを使用していると聞いているため、まだ使用していません。ステージからのものが前のステージを待つというものですが、それがいつか修正されるか、または制限のない何かをリリースするでしょう)。Codexには、同じことをターゲットとしていると思われる、まだリリースされていない機能がいくつかあります。原理的には、goalモードは他のトリックのほとんど半分をパッケージ化するはずですが、今のところそれほどうまく機能しません(バグのために失敗することに加えて、手動で書かれたループよりも目標を追求するのが下手なようです。また、本当に脱線することがあります。Dennis Snellは、彼が小規模なタスクになると予想していたものをgoalモードで実行させ、Codexによると、彼の雇用主が無制限トークン契約を持っていなかった場合、数日で6000万ドル相当のトークンを費やしたと述べました。再度尋ねると、20万ドルと言いました)。おそらくこれらは改善され、私が現在行っていることのほとんどは、数ヶ月以内に市販されるようになるでしょう。前述のトリックと同様に、これらはすべて非常に明白なことなので、詳細について多くの時間を費やす価値があるとは思えませんが、興味のある人のために後で簡単なコメントを付録に記載します。

上記で議論されたメタテクニックは、さまざまなプロジェクトで私にとってかなりうまく一般化されており、エージェントが非自明な問題の説明を完全に私よりも良く解決できない限り、耐久性があるように思われます。その時点で、私は心配する必要がなくなるでしょう。なぜなら、私の経済的価値はゼロに近くなる可能性があるからです。

もう一つの有用なメタアイデアは、コーディングエージェントが人間と比較して効果性の点で非常に不均一であるという、非常に明白な考えです。従来の生産性について議論するとき、Fabian Giesenは、速度の向上によって働き方がどのように変わるかについて次のようにコメントしました。

特定の閾値を超えると(詳細は問題にいくらか依存します)、「フェーズチェンジ」が発生し、働き方が全体的に変わります。...理論的にはあらゆる速度でできることがたくさんありますが、実際にはできません。なぜなら、イテレーション時間が長くなるにつれて、まず非常にフラストレーションがたまり、長く続けることができなくなり、最終的には短期間の記憶から完全に消えてしまうため、メモを取るか、そうでなければ整理するか、まったくできないからです。確かに、スライダーをドラッグしてインタラクティブなUIで実験を実行し、結果を瞬時に見ることができるなら、それは非常に「フィルターなし」になります。試したいことがあれば、ただ実行するだけです。数秒のイテレーション時間(静的にコンパイルされた言語でのコンパイル・リンクサイクルなど)になると、ただ試すだけでなく、実行を無駄にしたくないので、それが何を示してくれるかを考える時間も費やします。数分または数時間のイテレーション時間に達すると、実行を無駄にしないための多くの計画、待っている間に他のことをするためコンテキストスイッチ、メモ取り/ブックキーピングが必要になります。また、このレベルでは間違いはより高価になり(無駄な実行はより多くの時間を無駄にするため)、より一般的になります(注意が分散しているため)。さらにスケールアップすると、顕著な時間でかなりのリソースが必要になり、承認と予算計上が必要になり、それ自体で会議などが必要になります。エージェントコーディングの速度向上にも同様のことがあります。人々は時々、エージェントコーディングが100倍または1000倍生産的であるという主張をします。私がやるタスクを見ると、人間ワークフローを効果的にリフトアンドシフトできないため、数値を特定するのは困難です。私は最初からやっていたこととは非常に異なることをやっています。例えば、エージェントにすべてのサポートチケットを見て、サポート問題をPRに変換するというアイデアを検討します。もし私がここで何らかの速度向上を主張するなら、それは非常に大きな数字になります。歩いて同じ距離を移動するのにかかった時間で運転した場合に節約した6000時間と15倍の速度向上を得たと言う、年間20000マイル運転する人と似ています。運転によって、そうでなければできなかったことを可能にしたことは明らかですが、比率について議論する意味はありません。

もう一つの例として、100万倍以上の速度向上を主張できる場所で、意味のない数字になるのは、LLMにファザーを半自動的に生成させようとするときです。私はLLMにコミット履歴全体とすべてのバグ修正、および関連する可能性のあるすべてのサポートチケットを履歴全体で確認させ、LLMが書いたファザーがバグをある程度一般的に再現できるようにしようとしました。これは役立ったようですが、価値を正確に数値化するのは困難です。

私にとって、LLMの実質的な価値は、以前は合理的に行うには時間がかかりすぎた多くのタスクが、今では非常に簡単に実行できるようになったことです。脚注で述べたように、今では簡単に構築できるアプリがたくさんあります。そのため、時々カスタムアプリでオンラインボードゲームをプレイすることがあります。これは、主要なボードゲームプラットフォームで得られるよりも良い体験です(これも、ボードゲーム専用の典型的なアプリよりも優れています)。

主に好奇心を満たすために行っていることですが、ビジネスにも関連する可能性があることとして、以前は時間の価値がないように思えたデータ分析も行っています。例えば、ユーザーが経験したバグとサポートチケットの比率について、以前から興味がありました。コーディングエージェントを使用すると、サイトや機能にアクセスできなかった主要なインシデントのリストを作成し、各インシデントに関連付けられていると思われるチケットのリストを取得するのに、私の時間で数分しかかかりませんでした。このデータを結合すると、典型的な比率はチケットあたり200人の影響を受けたユーザーであり、比率はしばしば100:1から1000:1の間でした(そして、より多くのインシデントが含まれていれば、さらに広い範囲が見つかったはずです)。参考までに、私はチケットあたり100:1から1000:1の間の推測を事前登録しました。1000:1に傾いていました。そのため、典型的な200:1は1000:1よりも100:1に近いので、ここではいくらか外れていました。

もちろん、この分析には多くの穴があります。欠落しているチケットがないとは言えません(手動でインシデントに関連付けられているとタグ付けされたチケットと独立してクロスチェックすることで、偽陰性をチェックしました。そして、主な発見は、エージェントが人間が見つけたよりも多くのチケットを見つけられたことですが、人間とエージェントの両方が見逃した偽陰性がないとは限りません)。また、関連チケットが妥当かどうかを確認するために、いくつかのチケットをランダムにサンプリングしましたが、妥当に見えましたが、これは単なる概算分析だったので、高精度分析を本当に検証するのに必要なほど多くのチケットを手動で検査しませんでした。

また、軽微な問題に対する比率がどのように変化するかも不明です。一般的に、軽微な問題に対しては比率が高くなり、また、投資の少ないユーザー(サインアップフローの典型的なユーザーなど)に対しても同様です。私は、多くの軽微な問題に対しては、比率が1000:1をはるかに超え、多くの微妙な問題では10000:1、あるいは100000:1を簡単に超える比率が見られると推測しています。

この分析では、あまり正確なことは言えませんが、誰かが「6人のユーザーしか影響を受けなかった」と言ったときの応答としては機能します。それは通常、誰かが6つのサポートチケットを添付した内部バグトラッカーチケットがあることを意味します。エージェントを使用して関連チケットを検索すると、25個のチケットが見つかり、問題の重大度を見ると、1000:1の比率を推定するかもしれません。したがって、「6人のユーザーしか影響を受けなかった」は、「少なくとも5000人のユーザーが影響を受けた可能性が非常に高く、25000人のユーザーが影響を受けた可能性も高い」に変わるかもしれません。

もし私がこの分析に必要なすべてのシステムにすでに精通していたら、このおおよその推測を得るのに数時間かかり、さらにあいまいな推測になったでしょう。しかし、私が精通していなかったことを考えると、これは私の時間の約15分しかかからなかったと推測します。Fabianが述べたように、数時間または数日かかったであろうアプリや分析が実行できるこの種の速度向上は、働き方を根本的に変えるフェーズチェンジであり、自律ループ(わずかなメンテナンスしか必要としない)はまだ含まれていません。

別の考えとして、そしてこれは事前に明らかではなかったのですが、LLMは、自分がやろうとしていることに対して比較的専門知識のある人々にとって、より大きな生産性乗数になるようです。この件に関するコメントを探しましたが、もちろんLLM生成のSEOスパムページがたくさんあり、それを読み進めると、反対の意見がいくつか見られました。基本的に、誰でも何でもできるようになった、というものです。それは以前よりも真実ですが、専門知識がより価値が高まっていることはさらに真実であるようです。Max Bittkerは、少なくとも部分的にはLLMが偽造品を作るのが得意だからだとコメントしましたが、偽造品は(まだ?)それほど良くはなく、専門家は偽造品と本物の区別ができる、と彼は述べており、私はそれを興味深いフレーミングだと思いました。

そして、2015年のAIが人間をどれだけ追い出すかを過小評価している人々についての投稿をフォローアップすると、過去1年で、私のLLM駆動の遠隔カスタマーサービスインタラクションのメディアンは、私の遠隔カスタマーサービスインタラクションのメディアンよりも優れていました(高給取りの人間は、私のLLM駆動の経験のほとんどすべてよりも優れた体験を提供するでしょうが、企業は高給取りの人間を望んでいません)。2015年に反論された投稿と同じ論理が2022年のChatGPTリリース時にも繰り返されました。この論理は非常に人気があり、2022年以降毎年バイラルヒットを繰り返していますが、今日でも間違っているように思えます。

ちなみに、以前議論したように、効果的なプログラマーになる方法はたくさんあるので、ここで議論されていることが最善の方法である、あるいは非常に良い方法であるとは言いません(新しいことを発見するにつれて、ワークフローを定期的に変更しています)。しかし、これは私が試していて、私にとっては従来のワークフローよりもうまく機能しているものです。私の背景と興味を考えると、エージェントコーディングに体系的で評価駆動のアプローチを取るのは自然です。私は、ほぼ反対のアプローチを使用し、それをうまく機能させている人々を見てきました。彼らは、何が起こっているのかほとんど理解せずに非常に速く動き、金塊を掘り当てたときに、そのすべてをその掘り当てたものに再投資します。それは私の背景にはあまり合わないだけでなく、私が取り組んできた問題のほとんどにはうまく機能しないと思います。私のワークフローを、反対のワークフローが適している問題に移植しても、うまく機能しないでしょう。

付録:人々が話がかみ合わない

人々が意見が合わないときに話がかみ合わないのは常にそうでしたが、これは他の多くのトピックよりも、エージェント型コーディングについて話すときには、より多くの問題であるように思われます。

これの主な理由のいくつかは次のとおりです。

  • 一般的な信じがたさ
  • ワークフローベースの信頼性の違い
  • 一般的なワークフローの問題、つまり「スキル不足」
  • 期待の違い

一般的な信じがたさについて、私の人生の他のどの時期よりも、私は人々がXは不可能だ、誰もXをしない、そしてXをやっていると主張する人は嘘つきだと言っているのを見かけますが、私は(信頼できる、信用できる)人々がXをやっているのを知っているか、あるいは自分でXをやっています。AIについては多くの信じがたいことがあります。11年前、AIがすでに起こっていたにもかかわらず、AIが人間を置き換えたり追い出したりすることは不可能だと言っていた人々について調べましたが、そこでの変位は典型的な中流階級の人間やプログラマーにとって深刻な懸念ではなかったため、私が「街角」で出会う人々にとってはそれほど顕著ではありませんでした。今、これは私が遭遇する人々にとってより「顔に迫る」ものになったので、現実を否定する量が急増しました。

ちなみに、多くの人が信じがたいと思うのは非常に合理的だと思います。一つには、AIに関する肯定的な主張の多くは不正確です。平均して、荒唐無稽で不正確な主張は、退屈で正確で正しい主張よりも多くのトラクションを得ます。そのため、これをフォローしていない人は、簡単に却下できる不正確な主張をたくさん見ることになります。これらの主張をしている多くの人々がAI企業の一般的な成功に直接的な経済的利害を持っていることも役立ちません。そのため、懐疑論者はこれらの人々がすべて自己利益的な嘘つきであると結論付けるのが容易です。

ワークフローベースの信頼性の違いについて、私が意味するのは、異なるワークフローは異なるレベルの信頼性を要求し、より高いレベルの信頼性を要求するワークフローを使用する人々は、AIがXの信頼性でできないためにAIは役に立たないと主張することがよくありますが、そのレベルの信頼性を必要としない多くの効果的な用途があることを見落としています。極端な例として、一部の人々は新しい数学的研究を行い、AIを使用して未解決の問題を解決しました。仮に、AIがあなたが取り組んでいる深刻な未解決問題を試すたびに100回に1回解決し、99回は完全に支離滅裂な結果を返すとしましょう。それは素晴らしい結果のように思えます。数学研究の深刻な未解決問題を100回に1回解決するのは素晴らしい結果です。たとえ合理的なコードレビューを100回に1回行い、99回は悪いコードレビューを生成したとしても、それは悪い結果でしょう。

より極端でない例として、プログラミングの仕事では、エージェントが100%信頼できると仮定せず、それを処理するシステムを構築すれば、エージェントが信頼できないケースを処理するために人間参加型の修正を必要とする人よりもはるかに低い信頼性レベルを許容できます。私は定期的に、人々が「AIをXに使用しないでください(なぜならそれは100%の時間機能しないからです)」というアドバイスをしているのを見かけますが、私はXを常に実行していて、Xが100%信頼できないことを処理するための何らかの単純なシステムを持っている人を知っています。これは、エージェントが信頼できないことを扱っているかどうかにかかわらず、プログラミングでは一般的に行う必要があることなので、エージェントが信頼できないことを処理するために使用するのと同じ技術を使用しないのはなぜでしょうか?

スケールの違いも、人々が話がかみ合わない原因となります。人々は異なるスケールで非常に異なる信頼性の要求を持っています。伝統的なソフトウェアシステムでは、スケールが1桁増加するごとに異なるアーキテクチャが必要になるという古い経験則があります。それは実際には真実ではありませんが、異なるスケールで異なるアーキテクチャが必要になるという方向性で正しい考えを捉えています。これはエージェントの使用にも当てはまります。

例えば、以前の注釈に関連して繰り返し見てきたことの一つは、私がやっているタスクでは、AGENTS.mdに明確で厳格な指示を追加して何かをしないようにしても、10人のエージェントとルールを扱っている場合(例えば、10人のエージェント、10のルール)、失敗が通常は人間のレビューで捕捉される非壊滅的なものであっても、週に1〜2回失敗します。これは1ルールエージェント日あたり約1回の失敗率です。これは機能しますか?もしあなたが比較的少数のエージェントとルール(例えば、10人のエージェント、10のルール)で人間参加型のコーディングを行っていて、失敗が通常は人間のレビューで捕捉される非壊滅的なものであれば、これはうまく機能します。もしあなたが数百または数千のエージェントを実行している場合、またはたとえ数人のエージェントしかいなくてもレビューやその他のガードレールなしで出荷しており、失敗が深刻な問題を引き起こす可能性がある場合、これはまったく機能しません。一部の技術はスケール不変ですが、多くはそうではありません。

別の種類のワークフローの問題は、ワークフローがXには機能しないのに、Xができないと結論付けてしまう場合です。何がうまくいかないかの具体性についてはあまり考えていませんが、Max Bittkerは次のようにコメントしました。

いくつかのパターンに気づきましたが、順不同です。

  1. 人々は時々環境設定を誤っています:古いモデルを使用している、MCPやアフターマーケットのシステムプロンプトがたくさん有効になっている、またはLLMがWindowsや特殊な環境やIDEを扱おうとしている。

  2. 人々は時々、多くの後戻りや単一の非常に厄介な作業ディレクトリを持つ、非常に長いチャットでコンテキストウィンドウを台無しにします。

  3. 不正確な言葉遣いを通じて意図しない要件を注入し、LLMを、ゲームのコアよりも難しいタスク(マッチメイキングシステムを構築するなど)に送り込む。

  4. 何をしたいのか、またはいつ終わるのかについて強い考えがない場合、過小評価し、共同で要件を時間とともに変更し、どこにも行かない可能性があります(多くのAI精神病的な雰囲気コーダーがこれを行います)。

付録:エージェントループとこの投稿の執筆

この投稿の冒頭のaltテキストで述べたように、私は長年AIについて書くことをためらっていました。なぜなら、私はガラパゴス諸島にいて、ソーシャルメディアをあまり読んでおらず、SFで実際に最前線にいる人々と連絡を取るのが下手だったため、何が起こっているのかから大きく切り離されているからです。

5月に、PGConfで町に来ていたSFの数人とチャットしたときに、何かを書くのが理にかなっているかもしれないと確信しました。彼らは最前線にいて、エージェントで人々がやっていることの最先端に近いように見えましたが、私のワークフローから彼らが興味深いと思ったことがまだいくつかありました。しかし、前述したように、特定のワークフローのヒントやトリックの半減期は短いため、正確なワークフローの詳細なメモを書くのは有用ではないと考えました。そのため、メインの投稿はより高レベルのアイデアに焦点を当てています。何が実際に役立つかはわかりませんが、私のワークフローの進化について何かを書こうとしています。前述したように、私のワークフローが常に完璧だった時点はなかったと思いますが、有用であり、常にそれを少し生産的にするための自然な次のステップがあるように思えました。

昔々、ClaudeやCodexのようなツールが登場する前は、私は時々非常に単純なループを実行していました。それはコードをコンパイルし、テストを実行し、すべてがパスするまで再プロンプトするというものでした2024年半ばにここで言及しました。当時、私は自分が何をしているのかを知っていることには十分有用だとは思いませんでしたが、それによって、実際の専門知識が必要となる分野(Webアプリの構築など)を学ぶ必要があった他のタスクや、その投稿に小さなWebゲームを埋め込むことができました。それは、私が興味を持つことは決してないでしょう。

そのようなことは、単純なタスクを達成したい場合にはしばらくの間、わずかに役立ちましたが、この投稿の冒頭のbisect/videoの話や、他のデータ分析を行ってそれがデータ分析をどれだけスピードアップできるかを見るまで、エージェントをあまり使い始めませんでした。ちなみに、bisect/videoの話は、作業中の機能やバグ修正の半減期がどれくらいか疑問に思っていた分析から生まれました。偶然ですが、その分析は、投稿内のいくつかのアイデアに関連しています。第一に、半減期はLLM以前はかなり短かったことが判明し、速度(LLMがあってもなくても)を上げたいのであれば、より多くのテストを行うことの利点となるように思われました。そして第二に、これはLLM以前は長すぎてやらないだろう分析のもう一つの例です。

2025年半ばから後半にかけて、個人的なプロジェクトで雰囲気コーディングを試しました。Codexを使ったのは、人々がサブスクリプションプランでより多くのクォータを与えてくれると言っていたからです(その後両方試しましたが、それは正確なようです)。その時点での私の目標は、望む出力を得ながら、個人的なプロジェクトに費やす時間を最小限に抑えることでしたが、私は以前に雰囲気コーディングをまったく行ったことがなく、何がうまくいくか全くわかっていませんでした。しかし、すぐに、私が最も単純なループを実行していることが明らかになりました。つまり、私は「Xが完了していない場合は、完了するまでXを実装する。Xが完了している場合は…」というプロンプトのコピーをたくさんキューに入れました。私は他の人が何をしているかについて何も読んでおらず、個人的に話していた人々はAIをあまり使っていなかったので、「Ralph loop」という言葉が2025年半ばに作られ、人々がそれのさまざまな、より手間のかからないバリエーションを行っていることを全く知りませんでした。ただし、それほど手間がかかるものではありませんでした(プロンプトが書かれたら、コピーをキューに入れるのに約5秒程度)。

そして、振り返ってみると、このワークフローは、Ralph loopと比較して、物事を正しい方向に導くという点でそれほど悪くはありませんでした。私は通常、毎日数回(寝る直前、起きたとき、おそらく他の数回)これを見ていましたが、一般的に、見るたびに、物事は完全に正しくなく、ログ/メトリクス/グラフなどを見て何が起こっているかを説明するコマンドをキューに入れて、正しい方向に物事を微調整しました。これは個人的なプロジェクト用だったので、1日あたり数分しか費やしていませんでした。スループットを最大化しようとはしていませんでした。単に、手元にある2台の異なるラップトップでいくつかのことを実行していました。手動でキューを補充することなく無期限に実行できる、より自律的なループがあれば良かったのですが、それによる実際の時間節約はそれほど大きくないと思います。1日あたり10分未満です。

しばらくそれを続けた後、今年初めから(時々)より自律的なループを実行しようとしました。ここでも、私はおそらく、その時点で人々が興奮しているものと比較して、少し遅れていたと思いますが、まあまあうまくいったように見えました。それを始めたとき、人々が推奨していた多くのツールは、エージェントループの管理にはあまり適しておらず、それ用に設計されたツールは少し「雰囲気」的で信頼性に問題があることに気づきました。

最初の例として、Conductorはその時広く推奨されていましたが、私がやりたい多くのことをサポートするように設計されていませんでした。例えば、Conductorにはワークスペースという概念があり、物事を分離します。私はしばしば「高次ワークスペース」と呼べるものを呼び出したいのですが、そこではエージェント(または独立したエージェントのセット)がアイテムのリストをどう扱うかを決定し、その後各アイテムは別のエージェント(または独立したエージェントのセット)(おそらくエージェントの同時実行数制限付き)にフィードされ、その後、グラフ構造がタスクがどのように移動するかを決定し、多数のタスクからの出力を確認するreduceのようなステップがある、といったものです。Conductorでこれを技術的に行うことは可能ですが、それは本当にそのために設計されておらず、エージェントにこのような構造を作成するスクリプトを書くように指示できることを考えると、カスタム雰囲気コーディングされたスクリプトを使用する方がはるかに簡単でした。

多くのエージェントの使用のために設計されたツール(Gas Townなど)は、主に構造化されていないワークフロー用であり、しばしば非常に雰囲気コーディングされており、その結果として信頼性に問題がありました。そのため、自分で何かを組み立てるのではなく、それらのうちの1つを使用したい理由がわかりませんでした。[2026-08更新:この投稿で、YeggeはGas Townを使って何も構築できなかったと述べており、Gas Townに対する私の印象は間違っていなかったようです]。私が意味するのは、ボードゲームに関する長い脚注での議論によると、品質と複雑さの特定の基準を満たさない場合、自分でバージョンを作成するのはかなり簡単です。自分で作ったものが製品よりもバグが多いとしても、あなたのワークフローにとって問題がないようにすることができます。そのため、製品全体が満たすべき品質基準と同じ基準を満たす必要はありません。

その結果、私が最終的にやったことは、しばらく実行する必要があるタスクのために、ワンオフのループを作成することでした。おそらく、私が望むものに合ったオーケストレーターを構築することには効率的な利点があるでしょうが、私はまだ十分な数のループをセットアップしていないため、自分が何を望んでいるのかを知りません。そして、私が望むことは問題によって大きく異なります。時には、特定のメトリクスが、問題を修正できるエージェントによるヘルスチェックをトリガーすることを望み、時には、エージェントまたはエージェントのセットが、各イテレーション(それが何を意味するにせよ)の後に自動的に呼び出されて進捗を確認することを望み、時にはエージェントが継続的に進捗を確認することを望みます。時には、多段階のトリアージを備えたグラフ構造を望みます。

エージェントに任意の構造を設定させることがかなり容易なので、私は一般的に基本的なヘルスチェックと監視を備えた単純な構造から始め、その後定期的にチェックインして、問題が再発しないように問題に対処するための構造的な修正を試みます。原理的には、うまくセットアップされたこのようなものは無期限に有用な作業を生成できますが、少なくとも私がセットアップしたものについては、これらのループは時間の経過とともに生産性が低下する傾向があります。何もひどく間違っていない場合でも、私がキーボードのそばにいて指示をタイプしてさまざまな方向に誘導し、何が起こっているかを監視している場合、ループはより生産的です。これを数日または1週間放置しておくと、通常は依然として非ゼロの有用な作業を生成しますが、私が毎日チェックインした場合ほどではありません。これらのループを介入なしでより軌道に乗せるためにさまざまな戦略を試しましたが、自分自身を置き換える方法を見つけられていません(まだ?)。

例えば、2026年4月/5月、自分で誘導する代わりに、多くの「ペルソナ」を集めて再集会させることを試みました。当時、私はCRDT(ちなみに、私はそれについて何も知りません)を使用するコードで作業していたループをスムーズに実行させようとしていました。そのため、「Linus Torvalds、Kyle Kingsbury、Marc Brooker、TPTacek、Dan Luu、および4つの反論的なペルソナとして独立したエージェントを使用する。それぞれに長時間考えさせる」といったもので問題を診断しようとしました。複数回のイテレーションで(はい、自分の名前を呼び出すのはかなりばかげていると思います)。これらのペルソナのそれぞれは、異なる方法で物事を軌道に乗せる傾向がありました。例えば、「Linus Torvalds」ペルソナは、ループが不必要な複雑さを繰り返し追加することによって制御不能に陥る自然な傾向に抵抗する傾向があり、「Dan Luu」ペルソナは、ループに実装する前に物事を測定するように強制し、時には「XYZを合理化してはならない」と言って、悪い推論に抵抗しました。これのどれも人間の観察と介入を置き換えるには十分ではありませんでしたが、これらのバリエーションを行うことは、これらのループをよりスムーズに実行させ、必要な介入を減らすのに十分でした。

この種のペルソナ設定は、アーキテクチャ設計、デバッグなどにも役立ちました。ここでも、人間がまったく不要になるほどではありませんが、人間が少し少ない作業で済む程度には役立ちました。

これらすべては、人間が一般的な失敗モードを理解している場合に最も効果的です。例えば、デバッグしてバグがいつ導入されたかを説明するように求められた場合、単に説明するように指示されると、独立した分析の複数ラウンドがあっても、エージェントはしばしば完全に間違った説明を返しました(約50%の確率)。仮説を実際にコードを実行して検証するように求めると、ほとんどの間違った説明が削除されました。単純なプロンプトに強制的なチェックを追加するだけで、エージェントが独立した分析を行って互いにクロスチェックするよりも成功率が高くなります(両方を一緒に行うと、さらに成功率が高くなるようです)。

エージェントから価値を引き出すことの多くは、その失敗モードを何らかの形で理解し、それらを回避することにあるようです。投稿の早い段階で、人々は現在コーディングエージェントを使用していなくても、数ヶ月後に開始しても取り残されることはないだろうと述べました。なぜなら、せいぜいMヶ月遅れるだけで、物事が急速に変化しているため、実際にはそれよりもはるかに遅れることはないでしょう。その主な理由の一つは、私の知る限り、エージェントを使用するスキルの多くは、その失敗を回避することです。もちろん、AIラボはこれらの失敗を修正したいと考えており、これは新しいリリースがこれらのスキルを可能な限り時代遅れにするように設計されていることを意味します。これは直接観察可能であり、1年前に非常に一般的だったいくつかの失敗モードは、現在でははるかにまれになっています。

ちなみに、これは私が個人的に多くのベンチマークを役に立たないと感じるもう一つの理由です。一般的に、ベンチマークは「過度に説明しない」ように移行し、代わりにエージェントをうまく使えない単純なユーザーのように振る舞います。これはAIラボが気にするのに合理的なことです。なぜなら、彼らは操作に最小限の専門知識しか必要としない製品を作りたいからです。しかし、プロのプログラマーとして、エージェントの失敗モードを回避する方法があれば、ベンチマークのように振る舞うのではなく、それを使用する可能性が高いです。そのため、ベンチマークのタスクとまったく同じタスクを実行していても、非常に異なる結果が得られます。

Max Bittker、Dennis Snell、Em Chu、Yossi Kreinin、Peter Geoghegan、Michael Malis、@caleb@goodfeeds.net、Misha Yaugdin、Jason Seibelにコメント/修正/議論に感謝します。

  1. テストエンジニアを持つことに対する、私が働いたすべての場所で聞いた反対意見は、時々テストエンジニアが解雇されるときに、「コードを最もよくテストできるのはそれを書いた人々です。また、プログラマーはテストを外部委託するとテストに怠惰になるでしょう」というものですが、それはトレードオフの両面の一方だけです。

一般的に、人々が専門分野に特化することで深いスキルを開発するため、効率の向上を得られます。そして、スキルの分断がさまざまな種類の断片化問題を引き起こすため、効率の低下も得られます。専任テスターを持つことに対するのと同じ主張を、専任フロントエンドとバックエンド担当者、モバイルエンジニアなどに対しても行うことができます。すべて真実です。しかし、反対側にも真実の議論があり、一般的に、ある程度の規模に達すると、特定のことを理解している専門家を持つことからの利益は、各項目についてまあまあなだけの一般担当者でいっぱいのチームを持つことの利益を上回ることが認識されています。何十年もテストスキルを専門に学ぶことに費やした人々のようになることからの利益は、単に専門知識を得ることだけではありません。会社での実践の大きなコミュニティの存在は、人々が会社でより速くレベルアップすることも意味します。私が分散トレーシングの専門家の隣に座っていた偶然から分散トレーシングについて多くを学んだのと同じように、数ヶ月で独力で理解するよりも多くのことを学んだでしょう。私は、テストエンジニアのクラスターに囲まれていたため、テストについて多くを学びました。それは、私が働いていたハードウェア会社の1000倍以上の規模のソフトウェア企業でさえ、私が学ぶための40年以上のテスト専門知識を持つテストエンジニアのクラスターがあったかどうかはわかりません(もしあったとしても、そのグループは私から遠すぎて決して交流することはありませんでした)。

[戻る]
2. ある時点で、実験として、多くの人々が座ってすべてのコードを見たコードレビューを行いました。これはゼロではない数のバグを見つけましたが、私の記憶が正しければ、それは一桁の少ない数でした。テストスキルのことと同じことが逆の方向にも当てはまると主張するかもしれませんが、コードレビューでバグを見つけるのが最も得意な人々にとっては、それでも、私が知っている最高のバグ発見者でさえ、Centaurの平均的なテストエンジニアの単位時間あたりのバグ発見能力とは比較にならないほどです。もちろん、それは真実ですが、それでも、私が知っている最高のバグ発見者でさえ、単位時間あたりのバグ発見能力ではCentaurの平均的なテストエンジニアには遠く及びません。[戻る]
3. そして偶然ですが、テストと同様に、CPU企業では典型的なソフトウェア企業よりもはるかに多くの専門知識が開発されています。これは、データベースのような非常にパフォーマンスに敏感な製品を製造する企業でさえも同様です。上記では、私が働いていたCPU設計ショップでのテストに費やされた労力は、典型的なソフトウェア企業よりも約2:1の比率であったと推定しました。ベンチマーク/評価/実験設計に関しては、典型的なソフトウェア企業では分母が非常に小さいため、比率を推定するのは困難ですが、少なくとも10:1であり、10:1と1000:1が妥当な数字である可能性があります。

もちろん、これらの分野でソフトウェア企業よりもはるかに多くの専門知識に焦点を当て、開発することで、チップ企業はしばしば他の多くの分野では比較的石器時代にあります。相対的に言えば、私もそれらの分野のほとんどでは比較的弱いです。これは、会社という文脈では、補完的なスキルを持つ人々がいるため、うまくいくと思いますが、面接では確かに問題を引き起こす可能性があります。

[戻る]
4. 余談ですが、オンラインボードゲームはどうなるのだろうかと思います(この脚注の終わりまで、この脚注全体はボードゲームに関するもので、興味がない場合は一番下までスキップしたいかもしれません)。一つの問題は、「不正行為」への高い「需要」があり、LLMが登場する前から、競争的なオンラインプレイではかなりの不正行為がありました。今日では、不正行為をするボットを作ることはそれほど難しくなく、さらに簡単になるでしょう。私は見知らぬ人とオンラインで対戦することにはあまり興味がないので、通常はランク付けされた/競争的なオンラインボードゲームはプレイしませんが、かなりの人々がプレイしています。不正行為の量が増加した場合、これがどのように存続するかを見るのは困難です。

もう一つ不思議なのは、大規模なゲームプラットフォームの価値です。Board Game Arena (BGA) は、かなりの差で最大のプラットフォームのように見え、Tabletop Simulator (TTS) が2番目です。BGAは、うーん、寛大に言えば、かなり風変わりと呼べるでしょう。例えば、デフォルトでは、プラットフォームはプレイヤーが同時にアクションを実行することをあまり許可しません。他のプレイヤーがクリックするのと同じ時間に何かをクリックすると、あなたのクリックがサーバーに彼らのクリックよりもわずかに早く到達した場合、彼らはアクションを実行できなくなります。同時アクションや選択があるゲームでは、他のプレイヤーがアクションを実行している間、プレイヤーがターンから数十秒間停止する可能性があります。BGAのさまざまな問題については、この投稿と同じ長さの投稿を書くことができますが、要するに、プレイヤーが同時にアクションを実行しようとした場合に機能しないマルチプレイヤーオンラインプラットフォームで予想される他の問題は、プラットフォーム上で問題となっています。平均して、TTSはさらに扱いにくいです。

その結果、複雑なインターフェースを必要としないゲームでは、より良いユーザーエクスペリエンスを実装するのがかなり簡単です。ゲームのルールとメカニズムは米国著作権法の対象ではないため、グラフィック、商標ロゴなどを使用しない限り、まったく同じルールでゲームを実装することは完全に合法であるようです。私は個人的に、ライセンスされていないゲームでBGAと競合しようとするプラットフォームを構築しようとは思いませんが、BGAの奇妙さがないゲーム(またはBGAで利用できないゲーム)をプレイしたいと思うことはあります。ゲームによっては、数秒から数時間かかりました。これは、私が目標とする(非常に低い)品質基準よりも優れているため、友人たちとプレイする際にBGAよりもうまく機能します。つまり、プレイ中にバグに遭遇しないことです。そして、私のゲーム実装の実行パフォーマンスは技術的に可能なものと比較して非常に悪いですが、BGAに慣れている友人たちは、BGAの遅いパフォーマンスに慣れているため、瞬時に感じるとコメントしています。人々が慣れているプラットフォームが非常に遅く、非常にバグが多い場合、ランチ休憩中に誰かがコードを書いて作成した、より良いバージョンを簡単に作成できます。

ゲームによっては、現在のモデルが一度に処理できないため、時間がかかります。Guard of Atlantisは、おそらく最も時間のかかるゲームです。ルールが多く、各カードにカスタムルールがあり、ルールは人間が理解するのが異常に難しいようです。そのため、LLMにも理想的ではありません。相対的に、ほとんどのゲームよりもルールを誤ってプレイする人の割合がはるかに高いことに気づきましたが、公式Discordにいるか、そのような人から教えられた人以外は、誰も正しくプレイしているのを見たことがないと思います。それを考えると、LLMがゲームを一度に処理することを期待するのは合理的ではないと思います。

とにかく、オンラインボードゲームプラットフォームの支配的なプラットフォームの運命はどうなるのでしょうか?ネットワーク効果のためにそれらを維持するのでしょうか?私が知っているオンラインでボードゲームをプレイする人々のかなりの割合は、ネットワーク効果をほとんど重要視していません。例えば、世界ナンバーワンのAzulプレイヤーからの次の引用を参照してください。

最近、あなたのボットを私のゲームで試していて、とても楽しんでいます。ボットは私が決して考えないようなクールでクリエイティブな動きを見つけ、それが私がラウンドへのアプローチ方法に対してよりオープンマインドになるのに役立ちます。

...

これらのボットと対戦するのはかなり楽しいです(BGAでAzulをプレイするのは数ヶ月ぶりです)。もしそれらが同程度の強さであれば。

世界トッププレイヤーが数ヶ月間BGAではなくボットと対戦していたのを見るのは興味深く、しかし驚くことではありませんでした。今日の主要なオンラインプラットフォームの1つの問題は、同等のスキルを持つ人とマッチングするのが実際にはかなり難しいことです。プレイヤーが強いほど、この問題は悪化します。前述したように、私は見知らぬ人と対戦することを楽しむことはあまりないので、あまりやりませんが、BGAでランク付けされた競争プレイをする人々のほぼ普遍的な不満は、ラダーがどれほど大変かということです。もしあなたが強力な競争プレイヤーなら、あなたとマッチングするほとんどの人はあなたのEloよりもはるかに低いので、あなたはゲームごとにわずかなEloを獲得するために、つまらないゲームをプレイすることになります。そして、もしあなたがミスをすると、1回の敗北で大量のEloを失います。しばらく前に、私は病気でほとんど何もできなかったので、BGAでゲームのランク付けされた競争プレイを試しましたが、世界で4位になりました。トップ10にランクインした人と対戦したのは、トップ10に入るまでの全ゲームで2ゲームでした。他のすべてのゲームは、はるかに弱いプレイヤーとのつまらないゲームでした。競争プレイヤーにとって、蔓延する不正行為の問題があり、ランク付けされた競争プレイはほとんど退屈なものです。

非競争プレイの場合、BGAはそれほど問題ありませんが、私がこの脚注を書いている間に誰かにゲームの遊び方を教えていたところ、この脚注を書いている間に3つの異なるバグに遭遇しました。そして、最も人気のあるゲームの1つをプレイしていない限り、ゲームを待つ時間が長くなることがあります(最も人気のあるゲームでさえ、オフピーク時には待つ必要があります)。人々がこれらのプラットフォームでプレイする理由が、慣性以外にあるとは思いません。おそらく慣性は十分な理由であり、これらのプラットフォームは人々がプレイし続ける場所になるでしょうが、私のようにオンラインでプレイするときは主に地元の友人とプレイする人にとっては、誰かがランチ休憩中にコードを書いた、よりバグが少なくパフォーマンスの良いアプリを使用しない理由はありません。

この種の推論は、他の多くの種類のアプリにも当てはまるように思われます。例えば、Josh Bleecher Snyderが買い物のリストアプリを買い物中にコーディングしたことについて話しているのをご覧ください。理論的には、ソフトウェアが機能していれば、会社が作成した非常に洗練されたテスト済みのバージョンを使用したいと思うでしょうが、ソフトウェアはほとんど機能しません。そして、ほとんどの人が使用しているものよりも優れたバージョンを簡単に作成できるアプリがたくさんあります。もちろん、それが実用的でない場合もまだたくさんありますが、私が定期的に使用するソフトウェアの多くが、より良い方法で再作成できることは、今でも驚くべきことです。

[戻る]