HN 日本語サマリー

← 一覧へ戻る
プログラミング

ソフトウェアが遅い理由など、もはや存在しない

There's no reason for software to be slow anymore (danluu.com)

593 pointsby Jach447 コメント

要約

AIの進化により、かつては専門知識と多大な時間を要したパフォーマンス最適化が、誰でも容易に行えるようになった。これにより、特定のワークロードに合わせたカスタムソフトウェアの開発や、JITコンパイラ、インデックス構築といった高度な最適化が、以前よりはるかに低コストで実現可能になった。LLMは、コード生成だけでなく、パフォーマンスチューニングの敷居を劇的に下げ、ソフトウェア開発の可能性を広げている。

全文翻訳

先日、LLMが遅くて肥大化したコードの原因だと言っている人々は、すべてをスーパー最適化されたアセンブリで書き直せば、そのうち後悔することになるだろう、というバイラルツイートを見かけました。私たちはまだすべてをアセンブリで書きたいという段階には達していませんが、ノーラン・ローソンがテストについて述べたことの変種、つまり「バグの数は自分で選べる」という考え方が、パフォーマンスに関してもより現実のものになりつつあります。

前回の投稿へのコメントで、「かつて専門的なパフォーマンス作業にかかっていたコストは数桁低下した」と指摘されました。これは、かつては希少なスキルセットを持つ個人またはチームを必要としたパフォーマンス作業が、数行の文章をタイプできる人なら誰でも実行できるようになることを意味します。これにより、大規模または最も収益性の高いプロジェクト以外では割に合わないと思われていたあらゆる種類の最適化が可能になります。これに対し、マーク・ブルッカーは次のように応答しました。

あなたの最後のポイントには完全に同意します。特定のワークロードではなく、ワークロードのクラスに合わせたダイナミックなカスタムソフトウェアが、非常に可能性の高い結果として現れるでしょう。(それ自体が、多くの興味深いリスクと機会をもたらします)。FFTWや、非常に特定のハードウェア上で非常に特定の課題に対して超高速かつ小型であることを追求した、奇妙な古いデモシーンのテクニックの多くを思い出させます。例えば、キャッシュの局所性を高めるために、コード自体をテクスチャとして再利用したデモを覚えています。

そしてマイケル・マリスは次のように述べています。

AIは「コードを書くことは難しい部分ではなかった」から役に立たない、というミームが広まっています。これは一部のドメインでは真実ですが、他のドメインでは、コードを書くことが間違いなく難しい部分でした。JITコンパイラはその素晴らしい例です。多くのソフトウェアにとって、JITコンパイラはコードの高速化に大いに役立つでしょう。JITコンパイラの希少性は、歴史的にJITコンパイラの開発が割に合わないほど困難であったことを示唆しています。LLMは参入障壁を下げ、JITコンパイラをはるかに容易に書けるようにしました。これがpgrustの背後にある考え方です。データベースは歴史的に構築が最も難しいソフトウェアであり、そのために制限されていました。今やAIのおかげで、私たちは構築するソフトウェアの種類について、より野心的になれるのです。

ワークロードクラスの最適化

これを、前回の投稿で作成した正規表現エンジンであるFREで試してみましょう。覚えているかもしれませんが、これはエージェントがrebar正規表現ベンチマークスイートにアクセスして、1ヶ月間正規表現エンジンのパフォーマンス改善を繰り返した結果作成されました。これにより、FREはrebarに過度に特化しましたが、ホールドアウトベンチマークがあることをエージェントに警告したところ、エージェントは最適化を一般化し、ホールドアウトでのパフォーマンスはまあまあになりました。ホールドアウトベンチマークでテスト済みの正規表現エンジンに勝てない「ソフトウェアファクトリ」正規表現エンジンを使用する特別な理由はありませんが、FREの注目すべき点は、ネイティブAOTコンパイル版が長い検索で非常にうまく機能したことです。これを踏まえると、ripgrepが通常のマッチャーを実行している間にネイティブコードコンパイラを別のスレッドで実行し、コンパイルが完了したらネイティブコードに切り替えることで、一般的にパフォーマンスが向上すると考えられます。もちろん、コンパイルにスレッドを1つ失うため、短いクエリでは一般的にパフォーマンスが悪化しますが、数秒しかかからない場合よりも、数秒または数分かかる場合のripgrepの実行時間の方がはるかに重要なので、このトレードオフは受け入れられます。

人間が数分で正規表現エンジンを構築できるのと同じように、人間が数分でこの実験を試すこともできます。私は数行の文章を入力し、エージェントがそれを行いました(これは人間にとってはかなりのコード手術になります)。そして、私のコード履歴から取得した実際のripgrepクエリでベンチマークを実行しました。長いクエリでは、非常に単純なクエリで2〜4倍のパフォーマンス向上が見られました。しかし、ほとんどのクエリはより複雑であり、代表的なホールドアウトクエリで実行すると、AOTが有効になるべき場合[2]では、約7%の速度向上が得られました。驚異的な結果ではありませんが、Codexに数分間入力した結果としては悪くありません(まだ最適化は続けられており、さらに速度が向上すると予想されます)。

インデックスを構築する?

これは明らかに愚かなことです。なぜなら、コンピュータ上で繰り返しテキストを検索する場合、速度を上げるためにネイティブコードコンパイラを記述するのではなく、インデックスを作成するのが明白な方法だからです。しかし、ここでのポイントは、かつてはかなりの時間と専門知識を必要としたこの種の技術作業が、今や簡単に実行できるということです。そして、テキストインデックスを構築したい場合、私はBitFunnel(SIGIRで最優秀論文賞を受賞した、定数/高速なテキスト取り込みに特化したBingの検索インデックス)で作業したことがあるので、マシン全体を高速にローカルインデックス構築する場合に試せる実験がいくつか思いつきます。私が知る限り、プロジェクトはコードディレクトリをインデックス化することを意図していますが、私のマシンパフォーマンスを最も低下させるのは、Codexが大量の生成ファイルを持つ巨大な一時ディレクトリに対してripgrepを実行し、それが失敗したときに私のマシン全体を見るように展開することです。そのため、プロジェクトのコードだけでなく、ディスク全体をインデックス化したいのです。

もし私がAIラボで働き、Cerebrasチップやその他のアクセラレータで実行されるSOTAモデルのようなものにアクセスでき、トークン/秒が大幅に増加し、検索の負荷/需要が高まる場合、既存のインデクサーが十分に高速かどうか、またはカスタムのものを自分で構築したいかどうかを調査するかもしれません。BitFunnelのオープンソース版にはバイトコードインタープリタと1つのJITしか含まれていませんが、Bing版には複数のJITコンパイラが含まれています。そのレベルの最適化を行うプロジェクトはかつては大きな事業でしたが、「週末にできる」ことが、今やこれらの種類のプロジェクトの一部では実際に可能になっています。私の貧弱な月額200ドルのアカウントでも、いくらか高速なripgrepと、市販のインデックスがあれば十分だと思います。したがって、この高速取り込み型の全マシンインデックスプロジェクトは、「AIラボで働く読者のための演習」として残しておきましょう。

最適化は安価である

最適化コストの劇的な削減は、2025年11月から、そしておそらくそれ以前の公開モデルでも(そしてAIラボでアクセスできたものについてはさらに前でも)続いています。GPT-5.1または5.2時代の例として、ゲームAIに関する知識なしに、Azul AIを構築してみました。これは、そのゲームにおいて、かなりの差をつけて世界で最も強力なAIとなりました。2番目に強力なAIを記述した論文を読むと、私のAIはおそらく「AI」の側面では少し優れていると思いますが、主な勝利点は最適化にあり、おそらく相手よりも2桁少ない時間を費やし(論文を読み、プロセスと私のプロセスを比較して推定)、また主にラップトップで作業したのに対し、相手はクラスターマシンを使用しました(これは実験を実行したり、パラメータを調整したりするための帯域幅が大幅に少ないことを意味します)。例えば、そのAIはシングルスレッドですが、私のAIはマルチスレッドです。ネイティブコード版と、忌まわしい共有wasmメモリ+JavaScript版、そして2つの異なるバージョンのための2つの異なる検索アーキテクチャ(非常に小さく高速なネット用のミニマックスと、より大きなネット用のMCTSを「必要」とする)があるため、手作業で行うとかなりの大仕事になったでしょう。そして、マルチスレッドアルゴリズムをゲームAI用に自分で読む前に、LLMにその(誤った)推論に基づいて数回アルゴリズムを選ばせたため、マルチスレッドアルゴリズムを数回書き直すことになりました(Codexに書き直させた)。

このようなもののマルチスレッドアルゴリズムをデバッグおよび検証するために、デバッグログからのリプレイを実装するなど、標準的な作業がたくさんあります。これは、アルゴリズムが非決定的であってもバグを再現できます。これだけでも、手作業で行えば数日から1週間かかる作業だったかもしれませんが、エージェントがループで簡単に実行できる種類の作業です(ログをリプレイさせ、完璧なリプレイが得られないたびに非決定性のためのロギングを挿入させます)。このようなトリッキーな最適化を機能させるために必要だった多くの手間がなくなりました。

これは他の多くのトリッキーな最適化にも当てはまります。CPUマイクロコードの作成、CPU検証、検索エンジンインデックスの最適化などを行った経験から、最適化を見て「うーん、これはパフォーマンスを2%向上させるだろうが、このトリッキーな最適化が機能することを検証するにはN人日かかるだろう」と考え、時間に見合うかどうかを判断して進むかどうかの決定を下すことがよくありました。今やこのNは、(変動しますが、人間の時間で考えると、しばしば1000倍/10000倍/1000000倍、ドルコストで考えると、トークンコストをメーター料金と比較して、検索インデックスが使用するJITを作成したBingエンジニアと比較すると、おそらく1000倍)という驚異的な要因で減少したため、実行する価値のあるこれらの種類の最適化の数は大幅に増加しました。うまくいくかどうかわからない最適化についても同様です。かつて、パフォーマンスが向上するかどうかわからない最適化を見て、「パフォーマンスへの影響を推測するのに十分な測定ができるようになるまで、実装にM時間かかるだろう」と考えたことがありました。今では、これらの最適化の多くを試すことがより現実的になりました。

ゲームAIのケースに戻ると、少なくとも私が試したAIでは、速度が2倍になるごとに約100 Elo向上するようです(チェスよりも多いのは、引き分けが非常に少ないためだと思います)。マルチスレッドを追加するだけで、大規模なマシン上で同等のAIを圧倒するのに十分です。手作業でやるには面倒すぎると思われる20〜30の最適化をさらに追加すると、強さの違いは壊滅的であり、手書きのAIに追いつこうとすることは実際には合理的ではありません[3]。

ゲームAIのケースは、他のほとんどのソフトウェアよりも少し厄介です。なぜなら、望む最適化の多くは実際の結果を変更し、速度の向上と結果の変化が実際にはより良い結果または悪い結果をもたらすかどうかを判断するための、安価で簡単な方法がないからです。そして、以前に指摘したように、現在公開されているSOTAモデルは実験デザインがかなり苦手なので、最適化が良いかどうかを判断するためのフレームワークを設定する必要がありましたが、それが整ってしまえば、他の最適化問題と同じです。LLM最適化に取り組んでいる人々もこの種の問題に対処しなければならないと思いますが、ほとんどの最適化問題ははるかに簡単です。

別の例として、パフォーマンス面接の準備の一環として、ジェイミー・ブランドンはAnthropicの現在公開されているパフォーマンステイクホーム課題を試しました。それを試した後、彼はクロードに引き継がせ、クロードは彼が残したところからさらに良い結果を出しました。クロードが彼にしなかったことをしたことを見ると、彼は「最適化の多くは彼にも思いついたが、まだ手が回っていなかったものだった」と述べ、「[他は、私がこの作業に数週間取り組んでいなければ決して試さないようなクレイジーなものだった]」[4]と述べています。彼はまともなパフォーマンスエンジニアであり、望んでいたパフォーマンス職のオファーを得ましたが、よく定義された最適化問題においては、彼はまともなモデルには太刀打ちできません(私は自分で問題を試していませんが、同等の時間制限があれば私も太刀打ちできないだろうと推測します)。

ワークロード固有の最適化

マーク・ブルッカーのコメントのこの部分に戻りましょう。

特定のワークロードではなく、ワークロードのクラスに合わせたダイナミックなカスタムソフトウェアが、非常に可能性の高い結果として現れるでしょう。

これは pretty inevitable のようです。私の投稿への別の応答で、pgrustのマイケル・マリスが同様のことを述べました。

[pgrustの最適化に関する議論]...これらの最適化を作成するのは非常に簡単なので、顧客のワークロードを見て、必要に応じて追加できると思います。

フレームワークやセットアップなしに、この投稿を書き始める直前に、私はエージェントに私のripgrepクエリのためのワークロード固有の最適化(ネイティブコードコンパイラ切り替えではなく、FREエンジンの一般的な最適化をベンチマークセットに基づいて行うもの)を実行させました。これは私にとって約2分で開始できました。最適化はクエリセットで実行され、その後、実行するためのホールドアウトクエリセットがあります。まだ実行中ですが、初期の結果は有望です。1回の最適化パスの後、ワークロード最適化バージョンは、ホールドアウトで標準のripgrepよりも2%高速であり、さらに高速化しています。2%は私のローカルripgrep使用には大きな影響はありませんが、これが数分で完了したことを考えると、ここで行われた最適化は、このポイントをタイプし始めたときに開始され、まだ改善されているため、私はここで2%の勝利を受け入れます(これはネイティブコードコンパイラと組み合わされていないことに注意してください。適切に組み合わせれば、全体としてより大きな勝利が得られるでしょう)。そして、これがFRE正規表現エンジンを利用していることを思い出してください[5]。これはホールドアウトベンチマークでRust正規表現エンジンよりも大幅に遅く、私が正規表現ワークロードについて何も知らず、SOTA LLMがガイドなしのオープンエンド自己改善ループを実行するのに十分な実験デザイン能力を持っていなかったため、ホールドアウトでのパフォーマンス改善が停滞していましたが、私の関心が自分のワークロードでのパフォーマンスにある場合、十分なデータがあり、常に生成しています。マーク・ブルッカーが上記で述べたように、レジームチェンジが古いデータに含まれていない場合などに過剰適合に注意する必要がありますが、以前よりも良い状況にあります。

より一般的なケースでは、Amazonのマーク・ブルッカーやpgrustで働くマイケル・マリスのような人物であれば、これを一度きりのこととして行うだけでなく、顧客と協力してプログラムをパイロットし、彼らのデータを使用して顧客のために最適化し、その後、一般の顧客のためにそれをスケーリングする方法を見つけることが理にかなっています。私はそれが私の時間の最善の使い道であるような会社で働いていません[6]が、より大きな企業やより大規模な企業でこれが来ているのを見ることができるのは非常にワイルドであり、私の個人的なワークフローのためにこれらの実験を実行するのに私の時間の数分しかかからないことを考えると、個人的なプロジェクトでこのようなことをいじるのは非常に合理的です。

ジェイミー・ブランドン、マイケル・マリス、アンドレア(@s_video)、アーティョム・ボロゴフ、マックス・ビットカー氏のコメント/修正/議論に感謝します。

P.S. 前回の投稿とその前の投稿で述べたように、コーディングエージェントを使用すると、実験を実行して好奇心を満たすのに十分な結果を見るのにかかる時間が大幅に短縮されましたが、結果を非常に厳密にするのにかかる時間は変わらないか、増加しました。そのため、以前のように書くと、実行できる帯域幅に対して実験の数が非常に少なくなることになります。その結果、これらの実験を実行し、数人の友人と結果を共有するだけになりました。実験として、非常に迅速かつ非厳密な方法でこれらの記事を書き上げることを目指しています。前回の投稿と同様に、この投稿を書き上げ、すべてのクリーンアップを30分で行うという目標を設定しましたが、時間を計っていませんが、少し目標を達成できなかったと確信しています。

それでも、これらを書き上げるのにかかる時間は、最近の結果を共有するのに遅れをとるほど長いですが、LLMで書かれた投稿に切り替える気にはなれません(まだ?)。そして、データクリーンアップとこのような投稿を書くのにかかる時間を、30分未満で投稿を回転させるほど短縮することは現実的ではないと思います。この投稿の長さだけでも、執筆には、一時停止して書いていることを考える時間を含めて約20〜30分かかるでしょう。そして、データを見ると、問題があるように見えることがあり、修正が必要な問題があるかどうかをさらに詳しく調べる必要があります(これはここで複数回発生しました。そして、さらに時間をかけなかったので、私が知らない他のデータの問題があるだろうと予想しています)。

とにかく、これらの迅速な(そして間違いなくより不正確な)書き方について意見があれば、教えてください(X Bsky Mastodon)!

付録: Codexはripgrepをどのように実行しているか?

私のマシンでのripgrepクエリの分布に関する情報です。これがどこかの代表であるという主張は一切しません。検索されるパターンの長さの分布は、予想よりも長いパターンが多くあります。p50は55ユニコードコードポイント(簡単のため文字と呼びます)で、これは私が手でgrepするものよりすでに長く、p90は119です!

正規表現の代替アームの数を見ることもできます。これもまた、私が手で行うものよりもはるかに複雑です。

別の見方として、これらがどのように相関しているかを見てみましょう。正規表現が長くなるにつれて、代替アームの数も増えますか? はい。

そもそも、これらの非常に長い正規表現は何なのでしょうか? 見てみると、ほとんどの最も長いものは、関数名やテスト名に対する長い代替であり、以下のような正規表現です。これはFRE開発に関連しているようです。

  fn (hot_byte_compiler_is_generic_only_and_anonymous_count_uses_auto_count|
  one_pattern_count_spans_uses_the_retained_complete_span_session|
  formal_compact_state_byte_visitors_coexist_with_native_count|
  fixed_boundary_record_visit_matches_line_relative_reference_and_is_atomic|
  unbounded_languages_refuse_finite_extraction_before_allocation|
  formal_single_raw_span_sweep_preflight|
  assert_exact_fixture_uses_formal_large_continuation_sweep|
  url_only_compile_identity_binds_language_and_owner_mode|
  url_only_compile_exact_limits_and_runtime_refusals_close|
  url_only_compile_post_plan_allocation_faults_close|
  url_only_owner_discriminator_is_stable_and_precharged|
  url_only_compile_owner_is_strategy_and_operation_scoped|
  formal_rebar_url_owner_is_compile_only_and_matches_oracle|
  formal_rebar_url_exact_fixture_uses_certified_execution|
  formal_fixed_schema_materialization_matches_both_record_oracles_and_controls|
  formal_single_count_selects_compact_state_byte_complete_bound_visitors|
  authenticated_bound_line_total_lf_free_domain_opportunity_exceeds_five_percent|
  prepared_absolute_onepass_fuses_slots_and_preserves_pre_source_fallback|
  authenticated_word_boundary_russian_compact_lowering_public_canary|
  ordered_nfa_x86_epsilon_edges_bypass_the_assertion_call|
  ordered_nfa_aarch64_epsilon_edges_bypass_the_assertion_call|
  ordered_edge_dispatch_v2_is_target_neutral_deterministic_and_relocation_free|
  ordered_edge_dispatch_v2_copies_canonical_tables_and_cap_falls_back_to_v1|
  ordered_nfa_v3_composes_terminal_range_and_dispatch_without_data_relocations|
  ordered_nfa_x86_terminal_range_emits_authenticated_reverse_scan|
  ordered_nfa_aarch64_terminal_range_emits_authenticated_reverse_scan|
  ordered_nfa_x86_boundary_assertion_cache_is_lazy_and_boundary_scoped|
  ordered_nfa_aarch64_caches_repeated_assertions_once_per_boundary|
  boundary_assertion_cache_requires_dense_exact_kind_reuse|
  boundary_assertion_cache_selection_is_compiler_only_and_deterministic)

しかし、中には面白い数値構成のものもあります。

:(13[0-9]|14[0-9]|15[0-9]|16[0-9]|17[0-9]|18[0-9]|19[0-9]|20[0-9]|21[0-9]|22[0-9]|23[0-9]|24[0-9]|25[0-9]|26[0-9]|27[0-9]|28[0-9]|29[0-9]|30[0-9]|31[0-9]|32[0-9]|33[0-9]|34[0-9]|35[0-9]|36[0-9]|37[0-9]|38[0-9]|39[0-9]|40[0-9]|41[0-9]|42[0-9]|43[0-9]|44[0-9]|45[0-9]|46[0-9]|47[0-9]|48[0-9]|49[0-9]|50[0-9]|51[0-9]|52[0-9]|53[0-9]|54[0-9]|55[0-9]|56[0-9]|57[0-9]|58[0-9]|59[0-9]|60[0-9]|61[0-9]|62[0-9]|63[0-9]|64[0-9]|65[0-9]|66[0-9]|67[0-9]|68[0-9]|69[0-9]|70[0-9]|71[0-9]|72[0-9]|73[0-9]|74[0-9]|75[0-9]|76[0-9]|77[0-9]|78[0-9]|79[0-9]|80[0-9]|81[0-9]|82[0-9]|83[0-9]|84[0-9]|85[0-9]|86[0-9]|87[0-9]|88[0-9]|89[0-9]|90[0-9]|91[0-9]|92[0-9]|93[0-9]|94[0-9]|95[0-9]|96[0-9]|97[0-9]|98[0-9]|99[0-9])[0-9]:

これは :(?:1[3-9]|[2-9][0-9])[0-9]{2}: に相当します(元の入力でripgrepを実行すると、パフォーマンスはほぼ同じです。短い正規表現の方が実際のクエリデータではわずかに高速ですが、ごくわずかです)。その全体のパイプラインは次のとおりでした。

cargo clippy … | rg 'crates/fre-aot-regex/src/module.rs:' | rg NUMBER_REGEX | head -250

これは人間にとっては奇妙なことかもしれませんが、エージェントはこのようなことを常にやっているようです。

別のトピックとして、ripgrepクエリにどれくらいの時間がかかったかを見ると、かなりの数の遅いクエリがあります。例えば、p99は約1分です!そしてp999は約10分です!そして、この期間(1台のラップトップで約1ヶ月。クエリと分布は、私がエージェントを実行するAWSホストでは異なる可能性が高いですが、まだ確認していません)の最大クエリは2時間近くに達しています!

コマンドラインオプションの観点からは、次のようになります。驚くことではありませんが、Codexはしばしば行番号を要求し、何らかの理由で、ごくまれにPCRE2正規表現を使用します。

これらのためのプロットやテーブルは追加しませんが、もう1つ注意すべき点は、検索されるパターンの局所性が比較的低いことです(パターンの約94%は一度しか発生しません)。これは、多くのクエリが長かったことを考えると理にかなっています。しかし、検索されるファイルには比較的高い局所性があり、検索されたファイルがすぐに再度検索される可能性は比較的高いです。これは、(十分に小さいファイルの場合)メモリ内で検索される可能性が高いことを示しています。

また、クエリの99%は正規表現クエリ(1%は非正規表現文字列検索)であり、99.9%の検索クエリはASCIIのみでしたが、検索されるファイルに関しては、約45%がASCIIのみで、55%がUnicodeを含んでいました。Unicodeの割合は、私が予想していたよりも高かったです。

前回の投稿のドラフトで、ピーター・ジョージガン氏は次のように述べていました。

正規表現実装が、サポートする機能を少なくすることでより高速になる可能性もあります。一部の実装は後方参照などをサポートしていません。

これはここでも真実です。ここで行われたワークロード固有の最適化はかなり表面的でした。なぜなら、私はCodexに短い指示を与えて、好きなようにやらせただけだからです(一般的に、Codexの最も効果的な使い方ではありません)。しかし、より詳細な計画があれば、私のクエリの一般的なユースケースをサポートする、より焦点を絞った最適化は、より大きな利益をもたらすと期待できます。


  1. ただし、この投稿で以前にも議論したように、SOTAモデルのベンチマークおよび実験デザインスキルは、人間(またはスキル)がベンチマーク環境をエージェントのために設定しない限り、一般的なケースでこれを行うには十分ではありません。[戻る]
  2. 古いベンチマークからわかるように、コンパイラを実行する時間が十分にあっても、ネイティブコードコンパイル版がRust正規表現クレートよりも遅いケースが多くあります。その理由を見ると、これらは通常、Rust正規表現クレートがアルゴリズム最適化を備えており、FREネイティブコードコンパイラが単純なものにフォールバックする、より複雑なクエリです(FREを作成したエージェントは、「通常の」正規表現エンジンよりもネイティブコードコンパイラに費やした時間がはるかに少なかったです)。[戻る]
  3. AIの専門知識を持つ人物、例えば世界でトップクラスのGoおよびチェスエンジンを開発した人物が手作業で作成したAIは、AIの側面で私のAIよりも優れている可能性があります。なぜなら、AIについて何も知らない私(著者)が作成したAIよりも優れているからです。しかし、専門知識のレベルが同程度であれば、費やされた時間に対して、LLMで書かれたバージョンが圧倒するでしょう。[戻る]
  4. エージェントが彼が中断したところから引き継ぐ結果を比較するのは、議論の余地があるほど不公平です。なぜなら、彼の作業はエージェントが単独で実行するよりもはるかに良い結果を出すための出発点となる可能性があるからです。そのため、私は新しいタスクをエージェントに与えてみましたが、エージェントが彼の作業を再利用したときと同様のスコアを得ました(そして、別のエージェントによる簡単なチェックでは不正行為の証拠は見つかりませんでした)。[戻る]
  5. エージェントが直接ripgrepのフォークを修正した場合、パフォーマンスはおそらく向上したでしょうが、私はこれがFREの過剰適合問題を私のクエリに対して解決できるかどうかにも興味がありました。[戻る]
  6. しばらく前に、サインアップフローのページサイズを50MBから5MBに縮小したところ、収益のA/Bテストでは収益が約0.5%増加したと示唆されました。一般的に、私はこれのような、シンプルで簡単な勝利を最初に行うことを強く支持しており、カスタムコンパイラの構築やその他の高度に専門的な技術作業を行うよりも、ROIの高い勝利がたくさんあるでしょう。[戻る]