HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

リーンソフトウェアのスケーリング則

Lean Software Scaling Laws (gwern.net)

10 pointsby gmays0 コメント

要約

本記事は、コーディングLLMのパープレキシティ(予測困難性)がコードベースのサイズとともにどのようにスケールするかを測定する研究提案について論じています。特に、形式言語であるLeanを事例として、その予測可能性の指数が優れているかを検証し、より安全でセキュアなソフトウェア開発への貢献を目指します。LLMによるソフトウェア開発が主流になる将来を見据え、スケーリング則の改善がグローバルなサイバーセキュリティ向上につながる可能性を示唆しています。

全文翻訳

Lean Software Scaling Laws

コーディングLLMのパープレキシティがコードベースのコンテキストサイズとともにどのようにスケールするかを測定するための研究提案。Leanを、形式言語がより良い予測指数を持ち、世界中でより安全でセキュアなソフトウェアにつながる可能性があるかのテストケースとして使用します。

研究アイデア:プログラミング言語やその他の要因による「予測可能性」のスケーリング則を推定するために、コードベースサイズに対するコーディングLLMのパープレキシティのスケーリングを経験的に測定する。これは全体的なセキュリティと安全性につながるはずです。

我々は、ゼロから学習させたりファインチューニングしたりすることで、現代のLLMでこれを高コストで測定することもできますし、ソースコードのますます大きなコンテキストウィンドウでパープレキシティを測定することで安価に測定することもできます。

スケーリング則でより良い指数を持つコードベースやプログラミング言語は、最終的にLLMが理解し、修正し、書くのが容易になるでしょう。

特に、Leanプログラミング言語は、2026年頃のLLMで、既存のコードベースに対するベースライン定数と総損失は劣るかもしれませんが、スケーリング指数は優れている可能性が高いです。

これは、Leanでの実装が最終的に勝利し、グローバル規模でプログラムの正確性において大きな利益をもたらすことを意味します。それゆえ、既存のコードベースをLeanに書き換えたり、新しいLeanコードの支払いを正当化したりすることに大規模な投資を支援し、それによってグローバルなサイバーセキュリティを向上させることができます。

コーディングLLMは現在、一般的に品質が mediocre であるか、 outright に安全でない(特にvibecodedソフトウェアが悪い)にもかかわらず、近い将来、ほとんどのソフトウェアを生成する軌道に乗っています。コーディングLLMによる将来の書き換えは役立つかもしれませんが、それが起こる、または私たちが普及しているサイバーセキュリティLLM攻撃に対して安全になるために必要な多くの穴を塞ぐことが保証されているわけではありません。これをどう避けることができるでしょうか?LLMは、証明可能な安全でセキュアな方法、例えば形式的に検証可能なシステムのように、すべてのソフトウェアを書くことができる可能性がありますが、その進歩は遅れています。

どのくらい遅れているのでしょうか?

言語の事前知識

ニューラルスケーリング則の方法論は、既存のアプローチを検証し、将来のアプリケーションを予測するために、深層学習において依然として過小評価されています。その一例がコーディングエージェントです。LLMは、より一般的な言語の方が、より多くのデータが利用可能であるため、より得意であることが一般的に観察されています。Luo et al 2025は、プログラミングは特にデータ飢餓であり、そのため長期的な「ロックイン」があり、HaskellやRustやLeanのようなより良い技術へのアップグレードは不可能かもしれないと主張しています。

しかし、これは必ずしもそうではありません。人気のある言語で多くの学習データがあるということは、LLMがデフォルトでパフォーマンスを発揮することしか意味しません。(プログラミング言語とそのエコシステム全体を分離するのは難しいため、ここでは単に「言語」と呼びます。)

任意のコーパスは「事前知識」と見なすことができ、言語間の特定の交換レートがあり、より良いPythonスキルは、例えばHaskellに部分的に転送されます(Yang et al 2025を参照)。したがって、「潮が満ちればすべての船が持ち上がる」可能性があり、実際、より良いコーディングLLMは、LLMが「十分に良くなる」と、プログラマーがすべてを再学習するのに何年も費やす必要がなくなるため、よりマイナーな言語のルネッサンスにつながる可能性があります。

スケールの失敗

また、コードベースが拡大しても、それらがパフォーマンスを維持し続けることを意味するわけではありません。多くのものは小規模ではうまく機能しますが、大規模になるにつれて失敗します。Haskellのような言語の「BDSM」規律は、一時的なプログラムを書いている場合にはイライラして苦痛かもしれませんが、100万行の複雑なコードがある場合には不可欠になるかもしれません。したがって、LLMが少しのPythonを書くのは簡単かもしれませんが…たくさん書くのはどうでしょうか?短いスクリプトは書きやすく、特にLLMが全体をコンテキストウィンドウで見ることができるため、多くの落とし穴がありません。しかし、コードベースが大きくなり、複雑になり、古くなり、コンテキストウィンドウに収まらなくなるとどうなるでしょうか?動的型付けや例外を正しく扱えるでしょうか?あの隅にあるモンキーパッチングはどうでしょうか?あるいは、アップグレード中に実行時動作を変更した依存関係はどうでしょうか?それができない場合、単一のエラーでさえ致命的になり、人間のプログラマーに数週間かけて微妙なエラーをデバッグさせる可能性があります。

実行速度とプログラミング言語のパワーの点で、大規模なソフトウェアプログラムを実装するために最も極端なプログラミング言語はおそらくLeanでしょう。Leanは、定理証明を超えて、実際のプログラムの実装にその使用法が発見されるにつれて、人気が急上昇しています。たとえば、zlibのLeanでの書き換えのようなものもあります!

Leanのボトルネック

今や、メモリ安全性、例外、境界外エラーを排除し、ロスレス圧縮のような主要なプロパティの正確性を証明するために、Leanでソフトウェアを書き換え、新しいソフトウェアを書くことを想像できます。

欠点は…Leanのソースコードはあまり多くありません。そのため、驚くことではありませんが、LLMはそれほど得意ではありません。まだ、zlibよりも複雑なI/Oや動作を持つ大規模で複雑なコードベースを自律的に翻訳するほど良くはありません。

そこで、私たちは一種の鶏と卵の問題に直面しています。LLMを使って大規模なLeanコードベースを作成し、それを学習させ、すべての既存コードをLeanに置き換えることができますが、それは、最初から大規模なLeanコードベースがたくさんあり、おそらく既存コードをLeanに置き換えることでそれらを入手した場合に限られます。

そして、Leanがそれほど優れているのか、あるいはもし存在し、LLMがそれらを学習した場合でも、LLMが大規模なLeanコードベースを効果的に書くことができるのかどうかは不明です。Leanは単に設計が悪いためでしょうか?どうすればわかるでしょうか?実際のLeanコードベースは、泥の塊に崩壊するかもしれませんし、多くの場当たり的な特殊ケースの総当たり証明(必然的に「mathslop」と名付けられたもの)を持つかもしれません。

予測可能性の代理

これをテストする1つの方法は、LLMの観点から、設計が優れた言語がどのようなものになるかを期待できるかを尋ねることです。

場当たり的な設計上の選択、大量の総当たり、バグ、重複などで満たされている場合、LLMの観点からは、コードベースが「読みにくい」ように見えるでしょう。何が起こっているかを理解するために、ますます多くのトークンを読む必要があります。グローバルな状態やオーバーライド、「落とし穴」があるため、予測不可能な動作が非常に多くなります。単一のファイルを単独で見て何が起こっているかを理解することはできません。他の12個のファイルを調べ、置換と書き換えをトレースして、ユーザーが設定したこの文書化されていないシェル変数がない限り通常はXを行うが、その場合はZ(おそらく)を行うことを突き止める必要があります。これは、次に何を読むか決して確信できないことを意味します。いつでも、ランダムなものが中断する可能性があり、元のコードが単にバグっているだけなので、行を誤って予測する可能性があります…現在のモジュールがうまく書かれており、事実上の「安全なサブセット」のみを使用している場合でも、大規模になると、コードベースはキュレーターのエッグ(curate's egg)になります。プログラマー、時間、複雑さが関わるほど、コードベースはパッチワークになります。

逆に、強力に型付けされたメモリ安全な言語を備えた、優れたアーキテクチャのコードベースは、その逆になるはずです。エスケープハッチやバックドアがないため、コードは単独で読みやすく、すべてがその通りです。ドキュメント化されたインターフェースで出入りし、一言で言えば…予測可能です。

しかし、単に予測可能であるだけではありません。大量の定型文、データ、冗長なテストケースも予測可能である可能性があるからです。実際、誰かがこの種のアイデアをテキストやコードに適用しようとするたびに、個々の単語の予測不可能性(パープレキシティ)や、gzipで圧縮されたコードベースのサイズを見ても、失敗します。「悪い」単語は問題なく、修正する必要がないか、gzipはJavaScriptを最もよく圧縮するか、結果はそうでなければ説得力がありません。

圧縮可能性を設計の代理として使用することに何がうまくいっていないのでしょうか?おそらく何もありません。私たちはそれを間違った方法で使用しているだけかもしれません(cf. 「創造性」/「新規性」の圧縮ベースのメトリクス)。おそらくそれは圧縮可能なのではなく、圧縮の2番目または3番目の導関数です。

大規模な優れた設計は、必ずしも予測可能である必要はありません。「優れた設計は目立たない」ものであり、理解するのが難しい場合がありますが、システムをより多く見て設計を理解するにつれて、ますます予測可能になります。そして、大規模な悪いコードはますます予測不可能になります。なぜなら、システムをより多く見ても、残りを理解するのに役立たないからです。(悪いコードが多いほど、言語やシステムがより寛容になるほど、たとえ最も完璧に手書きされたコードベースであっても、バグや意図しない相互作用があるため、何も確信できないことが本当に多くなります。そして、「悪い」証明の兆候、例えば総当たりケースや還元は、「何も学ばない」ということです。各ケースは前のケースと同じくらい予測可能です。)

したがって、LLMの予測精度、またはパープレキシティ/ビット/文字(BPC)は、システム全体としての予測可能性の弱い代理であり、予測可能性は重要なスケーリング特性であると提案します。競合他社と比較して、大規模なシステムがますます予測可能になるプログラミング言語は、最終的にはLLMとうまく連携するでしょう。

測定設計

凍結された事前学習済みLLM(例:GLM-5.2)を使用して、最も安価に経験的に測定できます。

  1. コーパス構築: 言語ごとの既存のソースコードコーパスを取得し、適切なメタデータヘッダーを付けて単一の大きなテキストファイルに変換します。シャッフルするか、依存関係でソートされた順序にする場合があります。

  2. 損失測定: LLMのフォワードパスを実行して、完全なコンテキストウィンドウ内のトークン位置ごとのパープレキシティを測定します(トークナイザーのバイアスを考慮してバイトに正規化し、理想的には言語ごとの正規化を行って、言語がコード行の長さで10倍異なる可能性があり、混乱を招くことを考慮します)。

    • クロスチェック:

      • 異常/バグ検出:これをさらにテストするために、「逆スケーリング」の一種として、微妙なバグのようなノイズをコンテキストウィンドウに注入します。LLMがより驚くほど、より良いです。(欠落した境界チェック、間違った単位変換、符号エラー、広すぎる例外ハンドラ、サイレントなdtypeキャスト、またはもっともらしいが間違った定理の補題は、スタイル的には完璧に見え、コードベース全体の深い意味論的理解を必要とする場合があります。)

      • 正確性:人工的なコンテキスト制限を使用してコードベースのますます多くの部分を隠した場合、サンプリングされたロールアウトのいくつがコンパイルされ、すべての品質テストに合格しますか?

        • Leanのシグネチャ:特に、コーディングLLMはモジュールシグネチャヘッダーのみを与えられた場合に、動作するLeanモジュールを予測できますか?型シグネチャは問題空間をそれほど制約し、「それを実行する唯一の方法がある」のでしょうか?
    • アブレーション:型シグネチャのようなオプションコンポーネントは削除/追加でき、グローバルなメリットを定量化できます。(型シグネチャはコーディングLLMに実際に役立ちますか…それとも単に冗長なゴミですか?それとも、あるスケールを超えてからしか役立たないのでしょうか?)

    • セマンティクス:具体的にどの部分が、特定の言語で特に予測不可能ですか?そして、何が非常に予測可能な定型文ですか?前者はバグや誤解を招くソースコードを反映している可能性があり、無視されるべきです(おそらく一部のプログラマーは非常に紛らわしい一貫性のない識別子を書くだけです)。後者は、適切な抽象化を提供できなかった言語の設計上の欠陥を反映している可能性があります。

    • コアセット/最小コンテキスト:優れたモジュール性を持つ優れた設計システムは、任意の部分を理解するために少数の重要なビットを読むだけでよいシステムです。LLMは、完全なコードベースプレフィックス(オラクル)が達成するものとほぼ同じ損失を達成するために最小限のコンテキストを生成しようとすることができます(cf. 私のSAEトゥルーサイト提案)。短いほど良く、これはうまくスケールするはずです。

      優れた設計のLeanコードベースは、次の関数を完全に予測するために、はるかに小さいコンテキストウィンドウ(型と定理シグネチャのみ)を必要とするはずですが、PythonコードベースはLLMに10個の異なるファイルを読ませて動的な実行時動作を推測させる必要があるかもしれません。

    • スコアリングの改善:リファクタリングとクリーンアップ編集はコードベースをより予測可能にしますか?その場合、これは有用な学習データ信号を提供します。特に、新しい要件を段階的に導入するだけで、ソフトウェアエンジニアリングの「味」をストレステストするようなシナリオではそうです。

  3. 位置平均: コンテキストウィンドウ内のトークン位置で平均します。

  4. 曲線フィッティング: 言語ごとにスケーリング則をフィッティングします。

  5. 外挿: 最後に、外挿して交差点を調べます(例:どのくらいのサイズでLeanコードベースがPythonコードベースよりも絶対的に予測可能になりますか?十分なパフォーマンス(インコンテキスト学習や動的評価を含む)を達成するために、コーディングLLMはどのくらいの大きさが必要になりますか?)—そして定数/指数を設計メトリクスとして見ます。

これは、大学院生やMATSプロジェクトが行えるほど簡単だと思います。

交差予測

「弱い」言語、つまり不変条件が少なく、動的型付けや可変グローバル状態などをサポートする言語は、数千行のコードのような小規模では予測しやすいが、スケーリング指数が悪く、数万行または数百万行のコードで最も人気のある「強い」言語(Haskellなど)を「交差」すると予測します。そして、Leanは非常に高い定数に苦しむため、合理的な長さで絶対損失の交差点を必ずしも達成しないかもしれませんが、最も良いスケーリング指数を持ち、したがって依然としてある時点で交差するだろうと予測します。

これはLeanの研究開発とポートへの大規模な投資を動機付けるでしょう。トレーニングデータを支払うだけで、鶏と卵の問題を解決します。

おそらく、総トレーニングコーパスとLean対Python/JSなどの比率を推定し、Leanの交差点ポイントを任意の特定のレポジトリ規模にまで引き下げるのにどれだけのトレーニングデータが必要かの推定値を逆算することもできるでしょう。定数をコーパスで回帰することによって。Leanは高すぎるかもしれないので、Haskellのような他の言語でコードを購入/生成する方が費用対効果が高いかどうかを検討することもできます。(コードは、データラベラーを使用して市場で購入するか、エージェント型LLMを使用してコードベースを自動的にトランスパイルしようとすることで計算によって購入できます。おそらく繰り返し行うことで、試行回数に対してほぼ対数的なスケーリングが得られるはずです。)

バイアス制御

初期の推定値は、少なくとも部分的にはプログラマーとドメインによって混同されるでしょう。Leanコードは数学を重視し、Leanプログラマーは非常に珍しい(しばしば学者またはホビイスト)ですが、JavaScriptプログラミングはWeb開発と一般のプログラマーによるビジネスコードを重視します。したがって、これらの違い自体が異なる指数を駆動します。これらの体系的なバイアスの深刻さは不明です。最初の分析でJavaScriptがLeanよりもスケールすると判明した場合、ナイーブなアプローチは破棄されなければなりません。

これは、「トピック」でコードベースを一致させ、ペアの違いを分析しようとすることで部分的に制御できます。しかし、コーディングLLMが改善され、その評価がますます現実的になるにつれて、より野心的なプログラミング言語スケーリング則の調査は、制御された比較を合成することによってこれらのバイアスを修正し始めることができます。仕様を2つの異なる言語で、測定された品質まで書き、その後パープレキシティの違いを測定します。(たとえば、元のC zlib対Lean zlib。)

コンテキスト学習

言語がコンテキスト学習において体系的に異なることをさらに懸念するかもしれません。LLMはLeanを十分に知らないため、コンテキストウィンドウを最適に活用できない可能性があります。したがって、コンテキストウィンドウ内のスケーリングは無意味です。十分なLeanがあり、最先端のAIラボが現在数学/プログラミングを十分に重視しているため、「基本的なLeanプログラミングスキル」は堅固であり、残りのエラーは学習データが少ないことに起因すると疑っています。

しかし、そのようなことを確認するために、手順をさらに拡張することができます。ソースコードデータセットでファインチューニングされたLLM、あるいはゼロから学習されたLLMで実行して、可能な限り多くの要因を制御し、学習データが増加するにつれて推定Leanスケーリング指数自体がどのようにスケールするかを見ることで、「基本的な」バイアスを確認できます。しかし、そのために莫大なコストをかける価値はないと思います。

失敗モード

そして、数学に焦点を当てたアプローチをベンチマークするために、この圧縮可能性の導関数アプローチを再利用しようとすることができます。良い方法またはツールは、コーパスのサイズとモジュール性を削減する定理を生成するはずですが、理解可能性も向上させるはずです。これはスケーリング指数として定量化できます。良い形式化は再利用可能な意味論的圧縮を作成するはずであり、mathslopは再利用が悪く、修理の局所性も悪いはずです。

このアプローチが致命的に間違っている場合、最も可能性の高い失敗モードは、エコシステムの成熟度とコーパスの事前知識効果が言語レベルの不変量を支配することだと疑っています。それはそれ自体が有用でしょう。それは、ツール、慣習、ドキュメントが、少なくとも今のところ、エージェント型プログラミングにおいて形式言語のプロパティを上回ることを意味するでしょう。

類似リンク

[トピック別の類似リンク]

参考文献

[ページで使用されているリンク/参照の参考文献]