AI・機械学習

現代化が動作するコードを壊すとき：レガシーPHPにおけるLLMの研究

When Modernization Breaks Working Code: A Study of LLMs on Legacy PHP (arxiv.org)

13 pointsby tambourine_man2026年11月2日9 コメント

要約

本研究では、レガシーPHPコードをPHP 8.3に最新化する際に、LLM（大規模言語モデル）が動作を維持できるかを調査しました。プロジェクトのコンテキストや実行フィードバックなしに、5つのLLMが100個のWordPress 4.0 PHPファイルを処理しましたが、多くの場合、コードは壊れ、元の状態よりも悪化することが判明しました。

全文翻訳

コンピュータサイエンス > ソフトウェアエンジニアリング

arXiv:2610.40269 (cs)

[2026年10月29日提出]

タイトル: 現代化が動作するコードを壊すとき：レガシーPHPにおけるLLMの単一ファイル研究

著者: Afridi Mahmud, Abid Hasan Khondaker, Sadif Ahmed, Md Nafiu Rahman, Rifat Shahriyar

Afridi Mahmudと他の4人の著者による「When Modernization Breaks Working Code: A Single-File Study of LLMs on Legacy PHP」というタイトルの論文のPDFを表示します。

PDFを表示 HTML (実験的)

要旨: レガシーファイルをLLMに貼り付けて「これを最新化して」と依頼するのは簡単な近道です。しかし、その結果はコードをそのままにしておくよりも良いのでしょうか？本稿では、この単一ファイルのシナリオを5つのLLMで研究します。各LLMには、プロジェクトのコンテキストや実行フィードバックなしに、WordPress 4.0 PHPファイル100個をPHP 8.3に、動作を維持しながら最新化するように依頼しました。私たちは、630の隠された動作チェックと511のRectorによって検出された最新化の発見事項で、すべての出力を評価します。元のコードとルールベースのツールRectorという2つのベースラインと比較します。多くの場合、答えは「いいえ」です。変更されていない場合、83個のファイルはすでにすべてのチェックをパスしています。最も優れたLLMでも、パスしたのは59個だけです。各モデルは32〜51個の動作するファイルを壊し、最大10個しか修復できません。一方、Rectorは7個を壊し、6個を修復します。この損傷のほとんどは不要です。PHP 8.3の下で変更が必要なのは37件の発見事項（7パーセント）のみですが、互換性があり変更が不要なファイルでさえ、LLMは36〜60パーセント（Rector：8パーセント）を壊します。最新化スコアが最も高いモデルは、最も近い競合他社よりも互換性が高いわけではありません。ほとんどの回帰チェックは、PHP自体が拒否する型宣言のために、もはやロードされないファイルから来ています。これらは、プロジェクトのコンテキストなしに回避できるべきエラーです。したがって、LLMベースの最新化の評価は、変更なしのベースラインに対して測定し、最新化と動作の維持を別々に報告する必要があります。


コメント:	6ページ、5図、5表。プレプリント
件名:	ソフトウェアエンジニアリング (cs.SE)
引用として:	arXiv:2610.40269 [cs.SE]
	（またはこのバージョンについては arXiv:2610.40269v1 [cs.SE]）
	https://doi.org/10.48550/arXiv.2610.40269 DataCite経由のarXiv発行DOI