HN 日本語サマリー

← 一覧へ戻る
プログラミング

AI時代のエンジニアリングの重要指標

Engineering Vitals in the Age of AI (octopus.com)

7 pointsby paulstovell0 コメント

要約

AIの進化に伴い、エンジニアリング組織がその効果をどのように測定すべきかという問いに対し、この記事は「活動量」や「最終的な価値」だけでなく、その間の「アウトプット」に焦点を当てるべきだと論じています。Octopus社では、AIによる変化に対応するため、デリバリーパイプラインの効率性、品質、そして全体的な変化のトレンドを測定する「エンジニアリングの重要指標」を再定義しました。特に、顧客への影響を直接的に把握するために、変更失敗率ではなく、深刻な欠陥の発生件数を重視するアプローチを提案しています。

全文翻訳

AI時代のエンジニアリングの重要指標

[画像: Andrew Best]

現在、すべてのエンジニアリング組織が同じ問いに直面しています。AIは本当にソフトウェア構築の能力を向上させているのか?

それはもっともな問いです。私たちはトークンやツールに real money を費やしており、チームの働き方を変革しています。それによって何を得ているのかを説明できるべきです。

私が目にする答えは、大きく分けて2つの陣営に分かれる傾向があります。第一の陣営は活動量を数えます。生成されたコード行数、消費されたトークン数、エージェントによって書かれたコードの割合などです。第二の陣営は直接的な目的地に飛びつき、測定する価値があるのは「価値」だけだと宣言します。

LaunchDarkly の最近の Release Autopilot の発表 は、第二の陣営の良い例です。それは、彼らが AI ソフトウェアファクトリーに設定した目標を説明しています。それは、そこに至るまでに人間が費やす attention の1時間あたりに、顧客に届く価値あるソフトウェアを最大化することです。

それは目標ではありません。それは願望です。

どうやって 価値あるソフトウェア を数えるのでしょう?価値は変更が出荷されてから数週間または数ヶ月後に現れ、プロダクト、デザイン、エンジニアリング、セールス全体で下された多くの決定の産物です。価値はチームスポーツです。どうやって 人間の attention の1時間 を数えるのでしょう?私は attention のタイムシートを導入する人物にはなりたくありません。

同じ投稿が提供する証拠を見る価値はあります。ほぼ同じ人数のエンジニアで、月間のマージされたプルリクエストは倍以上に増加し、主要および重大なインシデントに費やされた時間は約70%減少しました。これらはスループットと安定性の指標です。それらは良い証拠であり、プルリクエストの数よりも価値に近いところに位置します。

この記事は、Octopus で私たちが何を測定することを選んだのか、そしてその理由についてです。どれも革命的ではありません。しかし、現在のプロダクト開発の zeitgeist に反するものもいくつかあります。

アウトカムはアウトプットから生まれる

アウトカムよりアウトプット は、プロダクト開発で最も繰り返されるフレーズの一つです。最終的に重要なのはアウトカムであることは真実です。しかし、そのフレーズは、私たちがそこに至る方法を曖昧にします。

アウトカムは、アウトプットの継続的な配信を通じて実現されます。私たちは決定を下し、何かを出荷し、何が起こるかを見て、再び決定します。それが OODA ループです。私たちが最初に出荷するものは、ほとんど価値のあるものではありません。それは私たちが学び、ピボットし、あるいは perseverate し、最終的に多くの価値を実現した地点に到達するのを助けます。

一度だけ出荷して勝つことはできません。無限に出荷しても勝てないこともあります。アウトプットを生成し、ループを通過する必要があります。

これが 価値発見ループ です。それを完了する速度が速いほど、時間の経過とともに蓄積される価値は大きくなります。

ベロシティ:価値発見ループを完了する速度。

アウトプットは価値の proxy です。

価値発見ループの主な推進者は誰でしょうか?エンジニアリングです。

「しかし、Besty、私たちのプロダクトマネージャーやデザイナーは、Claude のおかげで今日、製品に変更を shipping しています!」と言うかもしれません。おめでとうございます。彼らも今やエンジニアであり、彼らの努力はエンジニアリングの重要指標に反映されるでしょう。

エンジニアリングリーダーの仕事の一つは、組織のチームが可能な限り効果的かつ効率的に shipping できるように、アンブロックし、可能にすることです。エンジニアが数人を超えると、それを裏付ける何らかのデータなしに、この責任を果たしていると心から言うことはできません。

Octopus では、デリバリーパイプラインの何かを測定するために一時停止し、健康的な 最適化を発見したことが 複数 回ありました。

あなたの重要指標は、エンジニアリング組織がどれだけ効果的にアウトプットを生成し、サービスレベル目標を維持しているかについての洞察を与えるべきです。それらは、 vibes を超えて、組織のアウトカムにどれだけうまく貢献しているかの、より具体的なビューに移行するのに役立つでしょう。

なぜ重要指標を再起動したのか

AI は破壊的な力であり、Octopus ではこの破壊に乗じることは重要です。AI はレバーであり、コストを大幅に増やさずに、より多くのことを達成し、ますます優れた顧客体験を提供することができます。しかし、さらに重要なのは、私たちの顧客も同じ破壊を経験しているということです。私たちの顧客はエンジニアです。彼らは日々ソフトウェアを shipping しており、ほとんどが Octopus で私たちがいるのと同じ AI 導入ジャーニーのどこかにいます。このジャーニーにおける顧客の痛みに真に共感するためには、私たち自身がそれを経験する必要があります。

ソフトウェアエンジニアリングの将来についての私たちの仮説は単純です。変化の圧倒的な量 です。私たちはすでに、AI がもたらすレバレッジのおかげで、2人のエンジニアのチームが普通になり、構築と shipping にかかる時間が圧縮されているのを見ています。

AI による変革が私たちの仕事の形を変えているため、私たちは エンジニアリングの重要指標 を再起動しています。ここでは「変革」という言葉を誇張して使っていません。変化は実際に 変革的 です。AI 主導の開発ライフサイクルで行っているシフトが、SLO を維持しながら、価値発見ループをより速く通過するのに役立っているかどうかを知る必要があります。

仮説が成り立つ場合、これらの質問に答えられる必要があります。

  • どのくらいの頻度で変更を shipping し、顧客に段階的にリリースしていますか?
  • エンジニアリングのフィードバックループは、速度と信頼性に関する私たちの基準を満たしていますか?
  • ヘッドカウントが安定したままで、エージェントワークフローに傾倒するにつれて、変化の量は増加していますか?
  • 以前は定期的に、あるいはまったく行われなかった作業が開始されていますか?
  • 運用上の負担は軽減されていますか?より少ない人員、より少ない時間、より少ない労力。
  • 同時に品質は向上していますか?
  • 仕事の性質が変わるにつれて、人々はまだ仕事に喜びと満足感を見出していますか?

これらの質問は、エンジニアリング組織の効果を理解するのに役立ち、何か遅延を引き起こしているものを見つけた場合に、どのレバーを引くことができるかを特定するのに役立ちます。

AI 導入には、重要指標と並行して独自の測定項目があります。これらについては別のブログ記事で説明します。

測定項目

重要指標を3つの領域に分けました。

デリバリー目標 は、デリバリーパイプラインとフィードバックループの効果を測定します。これらはシステムごとに測定され、システムのオーナーであるチームがサービスレベル目標(SLO)を設定します。

品質目標 は、shipping するものの品質と、開発者のエクスペリエンスの品質を測定します。これらは組織全体で測定され、CTO である私が SLO を所有します。

トレンド は組織全体で測定され、意図的に SLO はありません。それらは洞察を与えてくれるため、特に目標と併せて読む場合にキャプチャします。

| エリア |
| --- | --- |
| デリバリー |
| デリバリー |
| デリバリー |
| デリバリー |
| デリバリー |
| 品質 |
| 品質 |
| トレンド |

DORA メトリクス を知っている人なら、これらのほとんどに見覚えがあるでしょう。しかし、DORA のメトリクスに対して私が特に異議を唱える点があります。それは、変更失敗率が顧客への影響を理解するのに役立たないということです。

失敗の顧客への影響を曖昧にしない

変更失敗率を測定しません。

長らく、私たちの変更失敗率は2%を下回っており、どんなベンチマークでも健全でした。しかし、発生した失敗の中には、顧客に重大な影響を与えるものもありました。シグナルはすべて順調だと言っていました。しかし、顧客の実際の体験はそうではありませんでした。

AI はこの問題を悪化させます。率には分母があり、分母は爆発すると予想されるものです。もし私たちがマージする変更を倍増させ、失敗率を一定に保った場合、顧客に届く欠陥は倍増しましたが、ダッシュボードは動きませんでした。

顧客はパーセンテージを体験しません。彼らは欠陥を体験します。

そこで私たちは数えます。毎月、顧客に届いた Sev 0-2 の欠陥の数を調べ、リーダーとして、その数 behind の具体的な問題に深く掘り下げます。必要であれば、率を導き出すこともできます。

これは、すべての作業が追跡されている場合にのみ機能します。欠陥が main にマージされ、デプロイされた場合、顧客が見つけたか、私たちが発見したかに関わらず、重大度とともに記録されます。私たちは自分たち自身の customer zero なので、私たちに影響を与える問題はすべて顧客に影響を与えます。

目標のないトレンド

私たちはベロシティを重視しており、時間とともに全体としてそれについて推論する必要があります。この点において、トレンドに対する Goodhart の法則に留意しています。測定項目が目標になると、それは良い測定項目ではなくなります。そのため、私たちはそれに対する目標を設定しません。

プルリクエストの量は、ベロシティの proxy であり、価値発見ループへの窓です。

私たちは、価値発見ループをどれだけ速く通過しているかを気にしています。エージェント開発にさらに傾倒するにつれて、右肩上がりのトレンドを見たいと思っています。

ベロシティに影響を与える他の測定可能な目標を設定します。例としては、人間の介入なしに shipping される PR の割合が挙げられます。

トレンドは、サービスレベル目標と組み合わせて特に役立ちます。プルリクエストの量が増加し、Sev 0-2 のカウントがフラットに保たれ、リードタイムが一定に保たれることは、ベロシティが向上していることを理解するだけよりも豊かな物語を伝えます。

私たちは良い会社に囲まれている

一部の人気のプロダクト開発イデオロギーに反するかもしれませんが、これらは特に難解なものではありません。

Gergely Orosz の Pragmatic Engineer ニュースレターは、私が非常にファンで定期的に読んでいるものです。ある出版物で、Laura Tacho と Gergely は、Google、GitHub、Microsoft、Dropbox、Monzo を含む 18 のテクノロジー企業が AI の影響をどのように測定しているか を調査しました。私にとって際立った2つの発見がありました。

  • 測定項目のほとんどの種類は、AI が登場する前と変わりません。明確な答えを得ている企業は、エンジニアリングパフォーマンスの理解にすでに投資していた企業です。
  • ほぼすべての企業が、速度の測定項目と品質の測定項目をペアにしており、それぞれがお互いを抑制しています。

より最近のデータは、より大きな数字で同じ話をしています。Atlassian のレポート は、500社以上の企業からの DX データによると、中央値のプルリクエストスループットが倍増したと報告しています。また、プルリクエストのサイズが4四半期で122%増加し、エンジニアの変更に対する自信が低下し、新しい顧客価値に費やされるキャパシティの割合が1パーセントポイントしか変動しなかったとも報告しています。

それは、価値が伴わない 変化の圧倒的な量 の到来です。これも、プルリクエストの量が私たちにとってトレンドであり、目標ではない理由です。

同じレポートは、Dropbox がロック解除されたキャパシティを、言語移行や依存関係のアップグレードのような長らく延期されていたメンテナンスに向けたことを説明しています。これは、私たちの質問の一つに答えられています。以前は行われなかった作業が開始されています。

私たちは一歩遅れている場所が一つあります。これらの企業のほぼすべてが、品質測定項目として変更失敗率を追跡していますが、私たちは件数を採用しました。その理由は上に説明しました。

LaunchDarkly に公平を期すために言うと、彼らの数字もこのパターンに当てはまります。マージされたプルリクエストは増加し、インシデント時間は減少し、ヘッドカウントはフラットでした。速度と品質が並んで測定されています。彼らのマシンが機能している良い証拠です。ソフトウェアが 価値ある ものだったかどうかは別の質問であり、それは別の場所で答えられます。

LaunchDarkly と言えば、Octopus に Feature Flags ができたことをご存知ですか?Octopus のフィーチャーフラグは、すべてのライセンスティアで追加費用なしで利用でき、OpenFeature 上に構築されており、頻繁にデプロイし、顧客やユーザーへの変更のリリースをより細かく制御したい組織に最適です。

結論

AI は、エンジニアリング組織を効果的にするものを変えたわけではありません。それは、その組織を通過する量と、弱点がどれだけ速く露呈するかを変えました。

人間が attention を費やす時間あたりの価値を測定することは、望むべき素晴らしいことです。しかし、価値は多くのオーナーを持つ遅行指標であり、週ごとに組織をそれによって操縦することはできません。

したがって、操縦できるものから測定を始めてください。変更が顧客の手元に届くまでどれくらいの時間がかかるか、変更が間違っていたときにどれだけ速く回復するか、今月顧客に届いた深刻な欠陥の数、そしてそれらの数字がフラットなままで変化の量が成長しているかどうかを知ってください。

これらの質問にオンデマンドで答えられるようになったら、視線を上げることができます。測定項目が健全で、針がまだ動いていない場合は、次にどこを見るべきかを知っています。

エンジニアリングマシンの効率を測定してください。それから価値に照準を合わせてください。

ソース

[画像: Andrew Best]