ハーバード大学の研究者、AIコーディングエージェントがボトルネックをコードレビューに移行させたことを発見
要約
ハーバード大学の研究によると、AIコーディングエージェントを導入したエンジニアはコード記述量を約30%増やしたものの、完了した作業量に測定可能な増加は見られませんでした。その結果、コードレビューのプロセスがボトルネックとなり、レビューにかかる時間が49%増加したことが明らかになりました。この研究は、AIがドラフト作成を高速化する一方で、人間のレビュープロセスが過負荷になる可能性を示唆しています。
全文翻訳
記事の概要:ハーバード大学の研究者、AIコーディングエージェントがボトルネックをコードレビューに移行させたことを発見
情報 - 92%
洞察 - 90%
関連性 - 88%
客観性 - 90%
権威性 - 92%
90%
優秀
ComplexDiscovery OÜが「Harvard researchers find AI coding agents shifted the bottleneck to code review」と題した最近の記事に対して、肯定的な評価の割合を示す短いパーセンテージベースの評価。
ニュース分析 – 人工知能ニュース
ハーバード大学の研究者、AIコーディングエージェントがボトルネックをコードレビューに移行させたことを発見
ComplexDiscovery OÜ スタッフ
AIコーディングエージェントを導入した企業のエンジニアは、コード記述量を約30%増やしましたが、完了した作業量は測定可能なほど増加せず、コードレビューを通過するのに49%長い時間がかかったと、ハーバード大学のワーキングペーパーが発見しました。
この研究のデータでは、追加されたコーディングは完了した作業量の検出可能な増加をもたらさず、コードレビューがボトルネックとなりました。ハーバード大学のPh.D.候補者であるフィオナ・チェン氏とジェームズ・ストラットン氏は、718社で725,938人の労働者を対象にこのパターンを測定しました。今月の2つのリーガルAI発表、Harveyのモーション却下ワークフローと、CooleyがGoogle Cloudと共同開発中の裁判書類の訂正エージェントは、同様のレビュー段階に弁護士を配置していますが、どちらもそのレビュー段階の測定値は報告していません。
[画像]
ハーバード大学のデータが測定したもの
そのパターンがどれだけの重みを持つかは、数字がどこから来たかによります。チェン氏とストラットン氏は、エンジニアリング活動を追跡する分析プラットフォームを販売するJellyfish社のデータに基づいてこの研究を構築し、それをRevelio Labsが集めたLinkedInの雇用記録と結合しました。サンプルは2021年1月から2026年3月までのもので、研究目的でのデータ使用に同意したJellyfishのクライアント企業を対象としています。この論文の表には、6830万件のJiraイシュー、2億900万件のコミット、4910万件のプルリクエスト、2130万件のカレンダーイベントがリストされていますが、718社のうち213社のみがカレンダーデータを提供しました。
設計は段階的な差分の差分比較であり、導入した企業で結果がどのように変化したかを、まだ導入していない企業と比較して月ごとに追跡します。このような比較は、導入時期が異なる理由がどれだけ妥当かによります。そしてここでは、著者らは、法務およびセキュリティチームが認識するプロセス、なぜならそれらがその中に位置しているからです。この論文によると、時期は主に企業がツールについて知った時期と調達にかかった期間によって形作られました。つまり、調達、法務、セキュリティの承認、およびパイロットプログラムです。あるインタビュー対象者の企業は1日ほどでツールを承認しましたが、別のインタビュー対象者は平均承認時間を6〜12ヶ月としました。
著者らは、これらの調達遅延は企業の成長速度とは無関係である可能性が高いと述べており、早期導入者と後期導入者を比較することを支持すると主張しています。彼らは、より大きな企業が早期に導入したという既知の不均衡を認めており、企業規模を調整しています。もし隠れた違いが残っている場合、著者らは、それはAIを実際よりも生産的であるように見せる可能性が高いと述べています。その方向へのバイアスは、フラットな出力結果を、もしあれば、AIに有利なものにするでしょう。
論文の現在のバージョンは2026年8月4日付で、最初のバージョンは2026年1月7日付です。チェン氏はこれをジョブマーケットペーパーとして配布しましたが、この記事でレビューされたバージョンには、ジャーナルへの採択や査読完了を示すものは何もありません。彼女のウェブサイトには、The Wall Street JournalやThe Economistへの言及リンクがリストされており、法務専門誌も今月取り上げました。これには、Doug Austin氏による10月12日付のeDiscovery Todayの記事も含まれており、Ars Technicaのレポートを伝えています。
ドラフトは増加したが、完了したイシューは増加せず
その出所を考慮すると、コーディングの結果は大きいです。コード行の追加は、ベースラインの5,017行に対して労働者1人月あたり1,494行増加し、約30%に相当します。コミットは20%、プルリクエスト(レビューのために提出されたコードの束)は23%増加しました。著者らは、これらの推定値は、AIコーディングアシスタントを既に持っている企業におけるエージェントの追加効果を捉えたものであり、ゼロから始めた場合のAIの効果ではないと指摘しています。
出力は、利益が止まる場所です。この論文では、完了した作業を解決されたJiraイシューとしてカウントしており、イシューはコードが本番環境にデプロイされたときに完了と見なされます。エージェントは、この指標を労働者1人月あたり0.12イシュー(ベースライン3.67)移動させましたが、標準誤差は0.17でした。この結果は統計的にゼロと区別がつかず、95%信頼区間はベースラインの約12%を超える増加を排除しており、書かれたコードの30%の増加には遠く及びません。
著者らは、明白な逃げ道をテストしました。もしエンジニアがより大きなタスクに移行していた場合、フラットなイシュー数は実際の出力を過小評価することになります。そこで研究者たちは、イシューの0.5%のサンプルをGPT-4oでサイズ別にラベル付けし、テキスト埋め込みモデルで全てのイシューにそのラベルを拡張しました。彼らは平均イシューサイズに変化がないこと、プルリクエストも大きくなっていないことを発見しました。著者らはこれを用いて、レビューで何が起こったのかについての最も単純な説明を却下しています。
不足が現れる場所:レビューキュー
この論文は、不足がコードレビューにあることを特定しています。プルリクエストの提出からマージまでの時間は、ベースラインの7.03日から3.45日増加し、49%の増加です。正式な変更要求を受けたプルリクエストの割合は、ベースラインの13%から約12パーセントポイント増加し、ほぼ倍増しました。プルリクエストあたりのレビューコメントは35%増加しました。コードレビューを行った労働者の割合は、約29%のベースラインから14%増加しましたが、コードを書いた労働者の割合には測定可能な変化は見られませんでした。
AIレビューツールはボトルネックを解消しませんでした。2026年3月までに、企業のほぼ80%がAIレビューツールを使用していましたが、AIが生成したレビューコメントはわずか23.3%であり、プルリクエストのわずか10.8%しかAIコメントを1つも受けませんでした。著者らは、これらのツールを導入した後もボトルネックが持続すると書いています。この論文のインタビューは、チームでそれがどのように見えるかを示しています。あるジュニアソフトウェアエンジニアは、1人のシニアエンジニアしか変更を承認できず、そのインタビュー対象者のコードを週に1回しかレビューできなかったプロジェクトについて説明しました。「AI生成コミットによって引き起こされたいくつかの障害の後、AI生成コードのシニアエンジニア承認を義務付ける新しいルールも導入され、さらにレビューのボトルネックが生じました」とエンジニアは述べました。これは著者らが明確さのために軽く編集した引用です。
その説明は、著者らが数字を説明するために使用するモデルに適合しており、それは2つのチャネルを持っています。最初のチャネルでは、より速いドラフト作成が固定されたレビュー担当者のプールにコードをより多く送ります。これは、労働力をレビューに移動させることで大部分が緩和できる問題です。2番目のチャネルでは、変更要求とコメントの増加(より速いドラフト作成だけでは説明できない)は、モデルを通じて低品質なドラフトの兆候として読み取れます。著者らは、この問題はより良い技術を必要とすると述べています。エージェントを購入する人は誰でも、どちらのチャネルが支配的かに関心を持つべきです。なぜなら、両者は異なる支出を要求するからです。
雇用も移動しなかった
コーディングの利益は、人員削減としても現れませんでした。推定値は、全体的な雇用の大幅な減少(2.9%以上)を排除しています。よりノイズの多い推定値は、エンジニアリング雇用の大幅な減少(13.8%以上)を排除しています。著者らは、これらは部分均衡で測定された短期的な影響であり、競合他社での雇用喪失を覆い隠す可能性があると警告しています。また、エンジニアリング雇用に関するアシスタント推定値は、因果関係を読み取ることを困難にする上昇傾向を示しています。
リーガルAIツールも同様のチェックポイントを中心に設計されている
これらのソフトウェアの結果は、リーガルAIツールが関連する設計を採用するにつれて登場します。HarveyとCooleyの発表は両方ともそれに従っています:最初のパスを自動化し、次に弁護士をチェックポイントに配置します。LexisNexisと共同開発され10月7日に発表されたHarveyのワークフローは、ドラフト作成のケースです。Harveyは、訴状を読み、調査し、却下申し立てをドラフトするという多段階プロセスが「一般的に40〜50時間以上の作業」を要し、そのツールが「数時間」で調査と最初のドラフトを生成すると述べています。発表では、「弁護士の判断が最も重要となる瞬間に人間によるチェックポイント」と説明されていますが、弁護士がこれらのチェックポイントにどれだけの時間を費やすか、または提出準備のできた申し立てに到達するまでにかかる時間は述べられていません。
Cooleyの10月8日の発表は、そのエージェントが議論をドラフトするのではなく訂正を推奨するため、異なるタスクに同じ姿勢を適用しています。Cooleyは、エージェントはまだ開発中であり、弁護士が提出前にすべての訂正決定を行うと述べており、人間によるチェックポイントを提出直前の最後のステップに置いています。ComplexDiscoveryが10月10日に報じたように、その発表にはエラー率に関する言及はありません。
連邦裁判所に提出される申し立ての場合、チェックポイントは設計上の選択ではなく、法的義務です。連邦民事訴訟規則11(b)の下では、申し立てを提出する弁護士は、弁護士の知識、情報、および信念に基づいて、「状況に応じて合理的な調査の後」にいくつかの事項を証明します。その法的論点は、「既存の法律によって、または既存の法律を拡張、修正、または覆すための、あるいは新しい法律を確立するための、虚偽でない議論によって」正当化されなければなりません。その事実上の論点は、証拠による裏付けがあるか、または特別に特定されている場合は、さらなる調査または開示の合理的な機会を得た後にそうなる可能性が高い必要があります。最初のドラフトは数時間で到着するかもしれませんが、その調査は弁護士に残り、ソフトウェアの証拠は、レビューがドラフト作成の節約の一部を吸収する可能性を示唆しています。
この論文の方法は、2番目の教訓を情報ガバナンスチームに提供します。研究者たちは、企業自身のシステム内のトレース、AIツールに紐付けられたボットアカウントや、コミットメッセージやプルリクエストの説明にある「共同作成者」のような署名などから、エージェントの使用を特定しました。AIの作成は、コラボレーションシステムに独自のメタデータトレイルを残す可能性があります。そのトレイルは、保持スケジュールや法的保留が到達する必要がある可能性のある記録です。
これらすべてが、リーガルワークがソフトウェアのように振る舞うことを意味するわけではなく、比較の限界も重要です。ドキュメントレビューはコードレビューではなく、プロダクションはプルリクエストではありません。そして、チェン氏とストラットン氏はリーガルワークを一切研究していません。独立したNational Bureau of Economic Researchのワーキングペーパー(2026年9月改訂)は、50万人以上のGitHub開発者に関するデータを使用して同様の低下を報告しています。その著者であるMert Demirer氏、Leon Musolff氏、Liyuan Yang氏は、自律エージェントからのコミットの累積240%の増加が、実際のリリースでは30%に縮小したことを発見しました。その論文には独自の開示があります:Demirer氏とMusolff氏は、以前Microsoft(GitHubを所有)でポスドク研究員を務めており、それぞれ現在同社の有料研究コンサルタントとして働いています。2つのソフトウェア研究は、ソフトウェアにおけるパターンを示しており、法律事務所に関する発見ではありません。
ドキュメントレビューは部分的な前例を提供する
ディスカバリーの実務家は以前にもこの質問のバージョンを議論しており、Austin氏の記事はその比較を引いています。彼は、ディスカバリーでも生成AIレビューに関する同様の議論があったと書いており、一部の実務家は手動検証が利益を相殺すると主張し、彼を含む他の人々は、予測コーディングで使用されるような統計的サンプリングで十分だと主張しています。しかし、コーディングエージェントについては、90%正しいコードでも実行できない可能性があるため、追加のレビュー時間は正当化されるかもしれないと彼は書いています。
彼の比較は、2種類のリーガルアウトプットの有用な分割を示唆しています。最初のパスの関連性レビューのような集団レベルの作業は、サンプリングによって検証できます。単一の提出物は異なります。なぜなら、その引用、事実上の主張、および機密データは、偽造された引用または見落とされた社会保障番号が失敗である場合、一般的に直接的な検査を必要とするからです。バイヤーは、その分割をテストに転換できます。ベンダーに、そのエージェントがどのような種類の出力を生成するかを尋ね、次にドラフト測定値ではなく、下流の測定値を尋ねてください:アップロードから承認された成果物までの時間、レビュー担当弁護士が差し戻したドラフトの割合、および案件あたりのレビュー時間。ドラフト量をスケーリングする前にレビュー容量を予算化し、レビュー担当者が何を変更したかを記録してください。なぜなら、そのログはボトルネックが量なのか質なのかを示すからです。
論文の限界をその発見と同じくらい注意深く読む
これらの質問は、論文自体の情報源にも適用されます。データパートナーは対象分野に商業的関心を持っており、その関係はデータライセンスよりも深いものです。Jellyfishは自身を「AIインパクトプラットフォーム」と説明しており、著者らはそのブログで発表しています:2025年9月25日のチェン氏とストラットン氏による投稿は、「Jellyfishとの継続的な仕事の一部」と自己紹介しています。論文はJellyfishチームに「協力に感謝します」と述べており、Jellyfishは科学的内容ではなく、専有情報の開示を確認するために原稿をレビューしましたが、結論は著者のものであると述べています。その資金提供者は、Stripe Economics of AI Fellowship、ハーバード・ケネディ・スクール(富の分配に関するプログラム)、およびSchmidt Sciences AI at Work Programでした。
Jellyfishはまた、この作業の以前のバージョンを宣伝しています。1月28日のJellyfishのブログ投稿では、Nicholas Arcolano氏がこれを「ハーバード経済学の共同研究者であるFiona Chen氏とJames Stratton氏による新しい論文の予備版」と呼び、500社で10万人のソフトウェアエンジニアを対象としています。その投稿と、その後の3月17日のJellyfishのプレスリリースは、AIがコーディングを高速化しており、「コードの品質は損なわれていないようです」と報告しました。2026年3月までのより大きなサンプルに基づいた8月のバージョンでは、変更要求のほぼ倍増をモデルを通して読み取り、ドラフト品質の低下の可能性を示唆しています。2つの説明は異なるバージョンとサンプルに基づいているため、矛盾する必要はありませんが、Jellyfishの要約に依存する読者は、現在の論文が提起する品質の問題を見落とすでしょう。
この論文には、主要なエージェントの推定値に影響を与えない、小さな内部的な不整合も含まれています。導入部ではサンプルを約700社、70万人と丸めており、本文では17回のインタビューを説明していますが、付録では21回を説明しています。その他の限界は、事務的なものではなく構造的なものです。基盤となるデータは専有であり、個々のライセンスを通じたAIツールの使用は記録されていません。
これらの注意点のいずれも、中心的な結果を覆すものではありません。ただし、2026年3月のデータカットオフは、改訂によって数値が移動する可能性があることを意味します。この論文が提供するのは、ここで議論されている2つのリーガル発表が満たしていない基準です:著者名、開示された方法、信頼区間、および測定されたチェックポイントです。エージェントが40時間の調査とドラフト作成を数時間に短縮した場合、その時間の何時間が、申し立てに署名する弁護士の机に戻ってくるのでしょうか?
[画像]
ニュースソース
- Artificial Intelligence in the Firm: Bottlenecks in Software Production (Fiona Chen and James Stratton, Harvard University)
- Fiona Chen (Fiona Chen)
- James Stratton | Department of Economics (Harvard University Department of Economics)
- Writing Code vs. Shipping Code: Productivity Effects Across Generations of AI Coding Tools (National Bureau of Economic Research)
- Rule 11. Signing Pleadings, Motions, and Other Papers; Representations to the Court; Sanctions (Legal Information Institute, Cornell Law School)
- Introducing the Motion to Dismiss Workflow, Co-Developed With LexisNexisⓇ (Harvey)
- Cooley Collaborates With Google Cloud to Develop AI Agent for Complex Litigation (Cooley)
- Jellyfish Reveals AI’s Real Impact on Engineering Teams with Industry’s Largest Ongoing Benchmark Study (Jellyfish)
- New Research from Harvard & Jellyfish: AI Is Making Developers Faster. So Where’s the Business Impact? (Jellyfish)
- Does AI Assistance Mean Engineers Are Doing Less Coding Work? Maybe Not. (Jellyfish)
- AI Coding Agents Productivity Gains Offset by Human Review (eDiscovery Today)
- Cooley and Google Cloud are building a court-filing redaction agent without a published error rate (ComplexDiscovery)
[画像]
Generative Artificial Intelligence and Large Language Model Use
追加記事
- MonsterCloud indictment exposes the ransom payment a victim’s own file may not record
- Wikimedia publishes its own account of suspected OpenAI agent activity on its wikis
- Cyber Law Toolkit tests AI deception, cyber torture and peacetime cyber duties
- ENISA Threat Landscape 2026 finds DDoS leads incident counts while ransomware stays most impactful in the short term
- Cyber Resilience Act reporting starts Sept. 11 on an unfinished platform
- Europe’s draft cloud rule would put vendor ownership in the audit file
- The eight-hour clock starts today: EU e-evidence orders now land on covered U.S. providers’ EU addressees
- California’s AI Transparency Act arrives alongside Europe’s Article 50
- Federal magistrate judge treats LinkedIn’s Relativity aiR workflow as TAR
- One benchmark, three directions: 2026 legal rates rise, flatten and fall at once
- Confidence cools, commitment holds: full results from the 1H 2026 eDiscovery Business Confidence Survey
- Complete look: ComplexDiscovery OÜ’s 2025 to 2030 eDiscovery market size mashup
- The workstream of eDiscovery: Considering processes and tasks
ソース:ComplexDiscovery OÜ
[画像]
ComplexDiscoveryの使命は、デジタルリスク、法務テクノロジー、規制変更を実務家、政策立案者、ビジネスリーダーにとってより理解しやすくする、独立したデータ駆動型の報告、研究、解説を提供することにより、複雑な意思決定のための明確化を可能にすることです。
リクエストはありますか?
情報や提供に関するリクエストがあれば、お知らせください。対応を優先いたします。
ComplexDiscovery OÜ は、エストニアのタリンを拠点とする独立したデジタル出版および研究組織です。ComplexDiscoveryは、サイバーセキュリティ、データプライバシー、規制遵守、eディスカバリーをカバーしており、法務およびビジネステクノロジーの開発(急成長中のスタートアップトレンドを含む)を国際ビジネス、政策、グローバルセキュリティのダイナミクスに結びつける報告を行っています。クロスボーダー規制と地政学的な複雑さによって形成されるテクノロジーとリスクの問題に焦点を当て、ComplexDiscoveryは、法務、コンプライアンス、セキュリティ、テクノロジーの専門家からなるグローバルなオーディエンス向けに、編集カバレッジ、独自の分析、キュレーションされたブリーフィングを提供しています。詳細については、ComplexDiscovery.comをご覧ください。
生成人工知能および大規模言語モデルの使用
ComplexDiscovery OÜは、コンテンツ作成プロセスを効率化し、研究、執筆、編集の全体的な品質を向上させる上で、GAIおよびLLMツールの価値を認識しています。この目的のため、ComplexDiscovery OÜは、ChatGPT、Claude、Gemini、Grammarly、Midjourney、PerplexityなどのGAIツールを定期的に使用し、新規および改訂されたコンテンツの開発と公開を支援、補強、加速しています(2022年後半に開始)。
投稿ナビゲーション
[画像]