HN 日本語サマリー

← 一覧へ戻る
キャリア

ゲージが壊れた:AIで開発者は20%速くなったと感じたが、実際は19%遅くなった

The gauge broke: devs felt 20% faster with AI, measured 19% slower (intrepidkarthi.com)

61 pointsby intrepidkarthi63 コメント

要約

AIツールは開発者の体感を20%向上させたものの、実際の作業速度は19%低下したという研究結果が示されました。特に経験豊富な開発者が既存のコードベースで作業する場合、AIはタイピング速度を向上させるものの、プロンプト作成、待機、不正確な出力のレビューといったオーバーヘッドを増加させ、結果的に開発プロセスを遅くする可能性があります。この「体感速度」と「実際の速度」の乖離は、多くのチームがAI導入の判断基準としている指標が、実態を正確に反映していない可能性を示唆しています。

全文翻訳

ゲージが壊れた

← /writing 2025年8月19日 #ai#productivity#metr#engineering-leadership

2年間、私はAIによる体感速度と実際の速度が乖離していると主張してきました。それは自分のチームを見ていて感じたことです。この夏、それは単なる逸話ではなくなりました。管理された試験では、経験豊富な開発者は約20%速くなったと感じた一方で、実際の作業速度は約19%遅くなりました。私たちが進むべき方向を示す計器が、逆に指し示しているのです。

短い答え。 AIはタイピングを速くしますが、それは既にコードベースを知っているエキスパートにとって、かつてボトルネックであったものではありません。AIは、プロンプトの作成、待機、そしてしばしば微妙に間違っている出力のレビューといったオーバーヘッドを追加し、それは既にコストのかかっていた段階で発生します。管理された試験では、経験豊富な開発者は約20%速くなったと感じた一方で、実際の作業速度は約19%遅くなりました。

なぜAIは大規模なコードベースで経験豊富な開発者を遅くするのか?

2023年12月、私は体感速度と実際の速度が私のチームで乖離していると書きました。それは証明できない、私が見たことだと認めました。この夏、その逸話にストップウォッチが当てられ、結果は私の推測よりも悪いものでした。

METRは、経験豊富なオープンソース開発者を対象に、彼らがよく知っているコードベースで、最先端のAIツールを使用してランダム化比較試験を実施しました。作業前、開発者はツールが自分たちの作業を速くすると予想していました。作業後、彼らはツールが約20%速くしたと報告しました。時計で測定すると、彼らは約19%遅くなっていました。自己申告とストップウォッチは、約40ポイントも反対方向を指していました。この研究は小規模で、16人の開発者が246のタスクを担当しました。著者たちは、AIがすべての人をどこでも遅くするということを証明するものではないと慎重に述べています。この効果は、ジュニア開発者や新規開発(グリーンフィールド)の作業ではプラスに転じます。注意点を読んでください。そして、注意点のない部分を読んでください。ツールが自分たちの作業を速めていると最も確信していた人々が、実際に測定では遅くなっていた人々だったのです。

それがゲージの破損です。エンジニアリングリーダーが操縦する計器、チーム自身の体感的な速度感覚は、単にノイズを含んでいるだけではありません。それは積極的に誤解を招くものであり、AI導入に関するほとんどの決定が基づいている唯一の入力です。チームが今や2倍速くなったと主張するすべてのリーダーシップデッキは、データが逆転していると示しているその一つの読み取り値の上に構築されています。

チームレベルのテレメトリは、反対側から、そして小規模な試験ではできない規模で、同じことを示しています。Faros AIは、10,000人以上の開発者を対象に調査した結果、マージされたプルリクエストが98%増加し、プルリクエストのサイズが150%以上増加し、レビュー時間が91%増加した一方で、デリバリーには実質的に変化がなかったことを発見しました。プルリクエストの31%がレビューなしでマージされました。DORAの研究では、AIの採用率が高いほど、デリバリーの安定性が測定可能に低下することが関連していることが判明し、そのダメージは今年に入っても続いています。GitClearは、2億行の変更コードを分析し、コピー&ペーストされたコードの増加、コードのチャーン(変更頻度)の増加、リファクタリングの減少(変更の10%未満)を発見し、2024年は開発者が再編成したコードよりも貼り付けたコードの方が多い記録上初の年となりました。これらの調査のパターンはすべて同一です。生成される量は増え、マージされる量も増え、チャーンも増えました。デリバリーされる量は同じですが、本番環境にデプロイされると不安定になります。

2022年以来私がずっと言おうとしてきた文章が、今や測定結果を伴って真実となりました。生成は安価になりました。検証は高価になりました。私たちは古いボトルネックを取り除き、作業を直接新しいボトルネックに送り込みました。そして、その新しいボトルネックはレビューです。私たちが人員を増やさなかったその段階で、作業量が爆発的に増加しました。そして、私たちが信頼するダッシュボードは、コストがインシデントやチャーン、レビュアーの燃え尽き症候群として下流に着地するため、コストを認識できません。それは、皆が称賛している速度チャートとは別のページにあります。

この夏、ツール開発者が同じ点を認めるところを見ることができます。私が1月から利用しているエディタであるWindsurfは、7月の週末に分解されました。Googleは、その創設者とコア研究者をDeepMindに移すために数十億ドルを支払い、残りはDevinのメーカーに吸収されました。そして、創設者たちが残して構築しようとしているものは、エージェントファーストのIDEです。エージェントファーストのブランド名を剥がせば、静かに語られるべき本音が見えてきます。あなたはキーボードの前に座って生成するのをやめ、エージェントが生成したものをレビューし、何を保持するかを決定するダッシュボードに移動します。ツーリング市場で最も積極的な賭けは、作業が今や検証であるという賭けです。彼らは、この研究がちょうどストップウォッチを当てたばかりのボトルネックのコックピットを構築しています。

ここで、通常よりも重要な、正直な反論があります。これは、Jカーブの下降局面である可能性が最も高く、終着点ではありません。新しいツールは、支払われる前にコストがかかります。そして、体感と事実の乖離のほとんどは、ペイオフが現れる前に現れるコストです。この試験の効果は、ジュニア開発者や新規コード(構築されるものの増加するシェア)ではプラスに転じます。DORAのスループットは、安定性が遅れながらも回復しましたが、これはチームが下降局面から抜け出そうとしている様子です。私はこのツールが悪いと主張しているわけではありません。私が主張しているのは、ゲージが壊れているということです。これは、より危険な主張です。なぜなら、悪いツールは最終的に気づきますが、壊れたゲージは信頼し続けるからです。

したがって、この状況を乗り越えようとしているチームのリーダーが従うべき規律は一つです。体感速度で判断するのをやめてください。その感覚は、今や逆を指しているとわかっている唯一の数値です。本番環境に到達し、維持されるものを測定し、作業が実際に行き詰まる段階に人員を再配置し、感覚に基づいた生産性に関する主張は、ストップウォッチが同意するまで未証明として扱ってください。ゲージはこの夏壊れました。次の区間を勝ち抜くチームは、それを認識し、置き換えるチームです。感覚から得た数値を報告する前に。