AI・機械学習
AIコーディングエージェントはコードをより多く生成するが、ソフトウェアはより多く生成しない
AI coding agents generate more code, but not more software (arstechnica.com)
要約
ハーバード大学の研究によると、AIコーディングエージェントは生成されるコード量を大幅に増加させるものの、ソフトウェア全体の生産性向上や雇用削減にはほとんど寄与しないことが明らかになりました。AIが生成したコードのレビューに時間がかかることがボトルネックとなり、コーディング段階での効率向上は相殺されてしまうと結論づけています。
全文翻訳
AIコーディングアシスタントやエージェントが、膨大な量の機能的なコードを生成する上で信じられないほど効率的であることは、コンピュータプログラミングに少しでも関わったことがある人なら誰でも知っていることです。しかし、これらのツールを利用するコーダーは、そのコードの正確性を信頼しない方が良いことも知っており、AIが生成した出力のレビューにかなりの労力が必要となります。
数百の企業における実際のコーディングプラクティスを調査した最近の研究では、人間のコードレビューがAIコーディングツールの全体的な効率にとって重要な「ボトルネック」を形成しており、それらを利用することによる「ソフトウェア出力の増加や雇用の削減を示す証拠はほとんどない」ことが示されています。研究著者たちは、実際のコーディングフェーズで増加した効率は、「生産プロセスにおける下流の制約によって吸収される」と結論づけており、「コードレビュープロセスが著しく長くなり、プルリクエストは改訂を要求される可能性が高まり、レビュー担当者はより多くのコメントを残す」としています。
この結論に至るため、ハーバード大学の研究者であるフィオナ・チェンとジェームズ・ストラットンは、エンジニアリングチームの粒度の細かい出力を測定するJellyfishのアグリゲート分析データを利用しました。このデータは、2021年から2026年3月までの700以上の関連ソフトウェア開発企業にわたる70万人以上の従業員の3億件の個別の「作業イベント」(コミットやプルリクエストなど)と、課題管理ソフトウェアのデータを含んでいます。
これらの企業へのAIツールの影響を評価するため、研究者たちは直接測定されたAI使用状況とGitHubアクティビティの分析を組み合わせて、各企業がAIコーディングアシスタント(主に人間が作成したコードの自動補完を支援する)やAIコーディングエージェント(プロンプトに基づいて主に自律的にコードを作成・提出する)をワークフローに導入し始めた時期を特定しました。その後、研究者たちは複雑な数学的手法を用いて、異なる組織で異なる時期にこれらのツールが導入される前後の主要な変数に対して「差分の差分」回帰分析を行いました。
生成されるコードの量に関して、結果は明確かつ stark です。研究者たちによると、企業へのAIコーディングエージェントの導入は、生成されるコード総行数の30パーセント増加、総コミット数の20パーセント増加、プルリクエスト数の平均23パーセント増加につながります。しかし、その余分なコードのすべてが、企業レベルでのソフトウェア出力の改善に直接結びつくわけではありません。
それどころか、Jiraのようなツールで追跡される課題やエピック(つまり、ソフトウェア全体の機能)の解決率は、AIツールが導入された後、統計的に有意な方法では変化しませんでした(研究者たちは、AI導入後のこれらのJira追跡課題のサイズや複雑さにおける「構成上の変化」も見出せませんでした)。その乖離の理由は、コードレビュープロセスに直接見出すことができ、AIコーディングエージェント導入後、平均して著しく時間がかかるようになります。全体として、プルリクエストが提出されてからコードベースにマージされるまでの平均「レビュープロセス」時間は、AIエージェントが導入された後、平均で49パーセントも膨れ上がります。
その影響は、より粒度の細かいデータでも見られ、「変更要求があったプルリクエストの割合がほぼ倍増し、プルリクエストあたりのコメント数が35パーセント増加した」と研究者たちは述べています。この変化に対応して、研究者たちはAIエージェント導入後にコードレビューを行う労働者の割合が14パーセント増加したことを発見しました。また、Jellyfishの総アクティブワーカーと、それらの企業のLinkedInデータをクロスリファレンスして分析した結果、「AIに起因する有意な雇用変化を特定することはできなかった」と述べています。
AIは理論的にはこのレビュープロセスを支援することもできますが、研究者たちは、これまでのところその影響は限定的であると発見しました。測定された企業の80パーセントは2026年3月までに何らかの形式のAIコードレビューを使用していましたが、AIエージェントは全レビューコメントの23.3パーセントと、全プルリクエストの10.8パーセントしか担当しておらず、この作業の大部分は依然として人間が担当していることを示唆しています。
AIエージェントは、もちろん、コーディングの世界ではまだ比較的新しい部分であり、この研究の2026年3月のデータカットオフ以降も、その出力には重要なアップデートやアップグレードがありました。そして、研究の95パーセントの企業がこの時点でAIコーディングエージェントを導入していますが、多くの企業が、それらをいつ、どのように最良に展開するかについて、まだ学習プロセスを経ていることは間違いありません。
このような「コーディング時間対レビュー時間」のトレードオフは、ソフトウェアエンジニアリングチームが特定のコーディング問題にAIエージェントを投入することの長所と短所について経験を積むにつれて改善する可能性があります。しかし、今のところ、AIにコードを書かせることは諸刃の剣のように見え、コーディング速度の増加は、人間のコードレビューの時間と労力の同様の増加によって相殺されています。これは、AIコーディングエージェントを機能させるためのかなりの時間と費用が、ほとんどの企業にとって本当に価値があるのかどうかを疑問視させる結果です。