HN 日本語サマリー

← 一覧へ戻る
プログラミング

RustでAIが構築したPHPエンジンがPHP-srcテストの17%をパスし、WordPressをレンダリング

My AI-built PHP engine in Rust passes 17% of PHP-src tests, renders WordPress (ekinertac.com)

26 pointsby ekinertac38 コメント

要約

著者はRustの知識がないにも関わらず、AIを用いてPHPのインタプリタ「Phargo」をゼロから開発しました。このエンジンはPHP公式テストスイートの17%をパスし、WordPressのページをレンダリングすることに成功しています。本プロジェクトは、AI生成コードの評価に外部テストスイートを厳密かつ公平なシステムとして活用する有効性を示しています。

全文翻訳

Rustを知らない。それでもAIがPHPをRustで書き換えている。

数晩前、私はターミナルが26KBのWordPressのフロントページを出力するのを見守っていました――<title>Phargo Test Site</title>、ブロックライブラリのCSS、「Hello world!」がSQLiteデータベースから取得され、一番下にはきれいな</html>がありました。完全に平凡な出力でしたが、一つの詳細を除いては。その出力を提供したPHPエンジンには、PHPの実際のソースコードは一行も含まれていません。これはRustでゼロから書かれたインタプリタです。

ここで皆さんに少し考えてほしい部分があります:私はRustを知りません。 レキサーを書いたこともありません。「ツリーウォーキング評価器」が何であるかを、別のタブでWikipediaの記事を読むことなく説明することはできません。もしパーティーで私を捕まえてPHPのガベージコレクタの仕組みを尋ねたら、私は電話をふりをしてごまかすでしょう。

このエンジンはPhargoと呼ばれ、私のそれへの貢献は、大まかに言うと、照準を合わせることです。AIがコードを書きます。私はターゲットをAIに指示し、返ってきたものを中世の王が海図をレビューするように読みます――厳粛なうなずき、理解はゼロ――そして現代のソフトウェア開発における最も強力なフレーズをタイプします:

「良さそうだ、続けろ。」

実験:ラディカル・ホンネスをビルドシステムとして

誰も彼もがAI構築プロジェクトを発表しており、そのすべてに同じ反証不可能な主張がついてきます:「動く!」 誰にとって動くのでしょうか?書いたAIにとって?4回目のテイクで録画されたデモにとって?

そのため、この実験全体は一つのアイデアに基づいています。BunチームがJavaScriptランタイムを実際のテストスイートで動かすのを見て借用したものです:AIに自分の宿題を採点させない。

PHPは独自のテストスイートを備えています――30年以上にわたってPHPの内部チームによって書かれた、約22,000の.phptファイルです。私が書いたテストではありません。AIが書いたテストでもありません。言語のあらゆる呪われたコーナーをエンコードしたテストです。DateTimeの夏時間計算から、var_dump()がfloatに対して正確に何をプリントするかまで。そのスイートが神託です。スコアボードはそれらすべてを実行し、パス率は実行ごとにリポジトリに自動生成されます。

その数字はごまかせませんし、交渉もできませんし、気分を良くするためにプロンプトを調整することもできません。bug40261.phptがパスするかしないか、それだけです。

現在のスコア:22,037件中3,844件――全アップストリームPHPテストスイートの17.4%。そして17%に鼻で笑う前に:現実的な上限は約40〜45%です。なぜなら、残りのスイートはC拡張機能(GD、curl、SOAP、intl、MySQLドライバなど)をテストしており、これらは明確に範囲外だからです。実際の競技フィールド内では、この上昇は非常に現実的です――ゼロから始まりました。

人間としての私のループは、ほとんど恥ずかしいほど薄いです:

  • AIは、修正できる最大の失敗テストクラスターを見つけるために、コーパス全体で失敗ヒストグラムを実行します。
  • それがその機能を実装します。
  • 約22,000テストのスコアボードを実行します(約7分間のファンノイズ)。
  • 数値が上昇した場合:コミット、プッシュ、繰り返し。
  • 数値が下降した場合:私は私の別のセリフを言うことになります、「ふむ、それは後退したな、もう一度見てくれ」。

それだけです。それが仕事です。私はピークの委任を達成しました、そして全く後悔していません。

神託は買収できない。しかし、ハーネスは私の顔に嘘をついた。

初期の頃、パス率が停滞し、それが間違っているように感じられました。明らかに簡単なカテゴリのテスト――まるですべてのテスト――が、期待される出力と同一に見える差分で失敗し続けました。私は、違いを見つけるパズルで2つの同一の写真を見つめる男のように、それらの差分を見つめましたが、何も見つかりませんでした。

違いは文字通り目に見えなかったため、見えませんでした:キャリッジリターン。テストコーパスはWindowsでCRLFの行末でチェックアウトされており、私たちのスコアボードはバイトごとに出力を比較していました。PHP自身のテストランナーは、比較前に自動的に行末を正規化します。私たちのものはしませんでした。これは、ハーネスが事実上すべての複数行テストを単に行末だけでサイレントに失敗させており、それが数週間続いていたことを意味します。

正規化コードの一行。何百ものテストが一瞬でグリーンに変わりました。

その教訓はプロジェクトに刻み込まれました:測定を測定せよ。 あなたの神託は、それにつながる配管と同じくらい正直です。私たちは今、run-tests.phpと全く同じように正規化しており、それ以来のすべての疑わしい停滞は、まず同じ質問を引き起こしました――エンジンが間違っているのか、それともスコアボードが嘘をついているのか?

PHPのテストスイートはReadme付きの地雷原

誰かが教えてくれないことの一つは、他人の22,000ファイルのテストコーパスを実行することです:それらのファイルの一部は爆弾です。 悪意のあるものではありません――偶発的なものです。古代のメモリバグの回帰テストで、不条理な構造を割り当てたり、無限に展開するジェネレータテスト、PHP自身の注意深く隔離されたCI内でしか実行されないことを意図したテストです。

私はすべての偉大な発見と同じ方法でこれを発見しました:私の開発マシンがハードリセットしました。「プログラムがクラッシュした」のではありません。「ターミナルがフリーズした」のでのではありません。ジェネレータテストが私たちのエンジンに、ロケット推進のショッピングカートのように、RAMのバイトすべてをブレーキなしで食わせるように仕向けたため、コンピュータ全体がブラックアウトして再起動しました。

その後の出来事はエンジンを偏執的にさせ、正直に言って、それは偏執をうまく着こなしています:

  • 上限付きグローバルアロケータ――テストがどれほどクリエイティブになっても、エンジンは物理的に6GiB以上を割り当てることができません。
  • ステップ制限、無限ループがスペースヒーターではなくエラーで終了するように。
  • 文字列サイズ、配列ノード、出力長、ジェネレータ展開の上限。
  • スコアボードが現在のテスト名を更新するパンくずファイル、これにより何かがハングした場合、どのファイルを睨むべきかが正確にわかります。

これらはどれも華やかな言語実装の仕事ではありません。「研究プロジェクト」と「コーヒーを淹れている間に安全に22,000の敵対的なファイルを unattended で処理できるもの」との違いです。

静かに嘘をついていた機能

私が最も好きなバグのジャンル――そしてコーパスはそれを執拗に見つけます――は、存在するが、パースされ、エラーなく実行され、そして全く何も行わない機能です。ポチョムキンの組み込み。数ヶ月にわたり、コーパスは、とりわけ以下を明らかにしました:

  • clone――パースはうまくいきましたが、評価するとNULLになりました。エンジン全体で。すべてのDateTimeImmutableは、イミュータブルな日付計算がcloneでできているため、永遠にサイレントに壊れていました。
  • unset($arr[$key])――完全なノープラグ。キーは単に…残りました。
  • trim($str, $charlist)――開始以来、charlist引数を無視し、とにかく空白をトリムしていました。
  • $$variableVariables――存在しませんでした。
  • static関数変数――存在しませんでした。
  • spl_autoload_register()――ローダーを温かい笑顔で受け入れましたが、決して呼び出しませんでした。
  • catch ( hrowable)――何もキャッチしませんでした。これは、キャッチオールにとって非常に面白い特性です。

これらのそれぞれはデモを生き延びたでしょう。それぞれは、Rustを読まない誰か(私)によるコードレビューを生き延びたでしょう。どれもコーパスを生き延びませんでした。 これが実験の全体の論文です。私はコードを監査できません。だから22,000のテストが私の代わりにそれを監査します。人間のレビュー担当者が昼食を過ぎて維持できるような徹底さで。

そしてWordPressページをレンダリングした

北極星は常にWordPressでした――PHP互換性の最終ボスであり、2003年以来のあらゆるPHPイディオムの堆積層を含んでいる可能性のある古いコードベースです。

wp-load.phpをブートストラップさせるだけでも、言語弁護士の悪夢のようなブロッカーの連鎖を消費しました:goto(はい、WordPressのHTMLパーサーはgotoを使用します)、str_replaceの参照渡し $count パラメータ、正規表現文字クラス内の xNNエスケープ、私たちの組み込みの半分には見えないfunction_exists()。インストーラーは、wpdb::prepare内でpreg_splitがPREG_SPLIT_DELIM_CAPTUREフラグを無視していたため、独自のデータベースを破損しました――私が診断できたどのレベルよりも4層下のバグで、AIによって発見・修正されました。私は、曇りガラス越しに開胸手術を見ているような男の自信で監督していました。

そしてある晩:wp_install()が完了しました。管理者ユーザーが作成され、オプションテーブルが入力され、SQLiteに3つの投稿がありました。フロントページがレンダリングされました――実際のテーマ、実際の投稿、実際のパーマリンク。

完全な開示、なぜならラディカル・ホンネスがすべてだからです:

  • ✅ 新規インストールが実行され、フロントページがデータベースからレンダリングされます。
  • ✅ /wp-admin/もレンダリングされます――実際のダッシュボードで、問題なく。これは正直、フロントページよりも私を驚かせました。
  • ⚠️ REST APIは未踏の領域です。
  • ⚠️ 現在、実際のPHPよりも約55倍遅いです(そのページで7.1秒 vs 126ミリ秒)――ただし、ピカピカの新しいバイトコードVMはすでにPHP 8.5のマイクロベンチマークを1〜3倍で実行しており、次のターゲットはその数値です。

これが実際には何についてのものか

AIが言語エンジンを書けるかどうかを学ぶことを期待して始めました。驚くべき答えは、これが決して本当の質問ではなかったということです。もちろん、それはレキサーを書くことができます――それはこれまでに出版されたすべてのレキサーを読みました。本当の質問は常にこうでした:コードを検証できない人が、プロジェクトをどのように正直に保つことができるのか? そして答えは、昔ながらの、退屈で、美しいものになりました:誰かが書いたテスト、現実が動いたときにしか動かない数字、そして私たちを称賛するかどうかにかかわらず、すべての結果が公開リポジトリにプッシュされることです。

私はまだRustを知りません。エンジンは現在約24,000行のRustでできています。スコアボードは一度に数十テストずつ上昇し、開発ログは戦場の物語を集め、そしてどこかには、私がパーサーを書けない男が出荷しているというバージョンがあります。

数字の上昇を見守ってください:github.com/ekinertac/Phargo。あるいは見なくても、どこかで、パーサーを書けない男がそれを船積みしているという事実を楽しんでください。

ああ、そして明らかに:この投稿もLLMで下書きされ、私が私らしく聞こえるまで編集されました。機械が書き、私が照準を合わせる。それがすべてです。