HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

コードのコストが崩壊した後のエンジニアリングマネジメント

Engineering management after the cost of code collapsed (karimjedda.com)

85 pointsby kiyanwang130 コメント

要約

LLM(大規模言語モデル)の登場により、コード生成のコストが劇的に低下したことを受けて、従来のエンジニアリングマネジメントの「古いルール」の多くがその前提を失ったと著者は指摘します。コードを書くコストが下がったことで、コードレビューやドキュメンテーションなどのプロセスは依然として重要ですが、マネジメントは、AIによる効率化の恩恵を最大限に受けるために、機械が検証可能な正確性への投資や、ビジネス成果に焦点を当てる必要があると論じています。また、AI時代におけるジュニアエンジニアの育成という未解決の問題についても言及しています。

全文翻訳

コード作成コスト崩壊後のエンジニアリングマネジメント

[画像: コード作成コスト崩壊後のエンジニアリングマネジメント]

私は3年以上エンジニアリングディレクターを務めていますが、今でも「ディレクターはコーディングに時間を費やすべきではない」「良い仕事には時間がかかる」「チームをビジネスから守る」「コミットする前にコンセンサスを得る」といった、いわゆる「古いルール」を繰り返し耳にし、目にします。

しばらくの間、これらの言葉を繰り返す人々は時代遅れだと思っていました。しかし、私の組織にLLMが導入され、コード作成コストが低下したことで、私はそれぞれのルールの根底にある仮定を検証し始めました。驚くべきことに、古いルールの約半数は崩壊した仮定の上に成り立っており、残りの半分は崩壊していない仮定の上に成り立っていましたが、そのうちのいくつかは以前よりも現在の方が重要になっています。

以下は、過去1年間に蓄積したメモを整理したものです。Gemma 4が編集を手伝ってくれました。

我々が実際に知っていること

もっともらしいコードを作成するコストは崩壊し、それは元には戻りません。それ以外のほとんどの主張は、証明されていないか、間違っています。

  • AIツールがエンジニアリング組織を劇的に速くした:証明されていない。
  • コードレビュー、ドキュメント作成、オンボーディングは時代遅れになった:間違っている。
  • 半分の人数で同じロードマップを実行できる:事実ではなく、賭けである。

もしあなたがこれらの広範な主張に基づいてマネジメントプラクティスを再構築するなら、それはギャンブルであり、他人のキャリアを危険に晒すことになります。狭い主張に基づいて再構築するなら、あなたは正しいでしょう。

仮定の監査に焦点を当てる

あらゆるマネジメントプラクティスは、特定の仮定の上に成り立っています。ベロシティトラッキングは、アウトプットが出力に対する有用な代理であるという仮定に基づいています。6ヶ月のオンボーディングは、シンタックスを学ぶのが遅いという仮定に基づいています。コンセンサス駆動のアーキテクチャは、変更が高コストであるという仮定に基づいています。人員計画は、アウトプットが人と共にスケールするという仮定に基づいています。

各プラクティスに関する問いは、それがどれほど古いかではなく、そのプラクティスが実際に何に基づいているかです。

もしプラクティスがコードを書くコストに基づいているなら、見直しが必要です。なぜなら、そのコストは移動したからです。もしそれが人間の協調、信頼構築、注意の配分、あるいは正しさの検証方法に基づいているなら、そのプラクティスがどれほど時代遅れに見えても、何も変わっていません。

これは明白に聞こえますが、多くの人が感覚でソートしているのだと思います。現代的に見えるものは残り、古く見えるものはなくなります。それは、プラクティスの古さと有効性が無関係な変数であるため、有用な摩擦を捨て、無用なプロセスを残したチームを生み出します。

証拠はノイズより小さい

大規模なスピードアップを報告する人(あなた自身のチームも含め)には、疑いの目を持ってください。私が知っている範囲での改善は、グリーンフィールドの作業、定型的なコード、未知の領域で明確に現れます。それらは、エンジニアが既に理解しているシステムに対する深い作業では、薄れるか逆転します。私は、古いレポートや研究が基づいていたモデルの能力を完全に凌駕する新しいモデルが発売された2025年第4四半期以降に行われるデータや研究を非常に楽しみにしています。

しかし、感覚的なスピードと測定されたスピードのギャップ自体がマネジメントの問題です。もしあなたのエンジニアがより速く感じて、より多くの欠陥を伴って同じ量の成果を出荷するなら、あなたは人員配置を誤り、計画を誤り、ビジネスとの期待値を満たせないものに設定することになります。AIを採用する組織における最初の仕事は、実際に加速したかどうかを正直に教えてくれる計測器です。

安価なものに対する弱い代理指標

ベロシティ、プルリクエスト数、クローズされたチケットは、常に不完全でした。それらが生き残ったのは、それらが近似していたもの、つまりコードを書く労力が本当に希少であったため、ノイズは許容範囲内に留まりました。

今や、代理されているものは安価になりました。それは、指標が単に不完全であるだけでなく、実際には積極的に誤解を招くものになります。なぜなら、それらを増加させる最も簡単な方法はボリュームを生成することであり、ボリュームはあなたの組織がもはや不足していない唯一のものであるからです。

AI固有の指標は間違った問題を解決します。受容率やプロンプト数も、新しい形式での同じ間違いだと思います。永続的な動きは、より古く、より困難なものです。ビジネスのための成果とシステムの健全性を測定し、コードボリュームを称賛されるアウトプットではなく、正当化されるべきコストとして扱います。優秀なエンジニアはLLM以前からこれを言っていました。その時は真実でした。現在では、コードをより多く書くことが難しい部分であったと誰も主張できないため、当時よりも強制可能になっています。

「正しい」ことには(今のところ)時間がかかる

良い仕事には時間がかかるというルールは、きれいに二つに分かれます。

配管時間(Plumbing time)は崩壊しました。サービスの足場を組む、テストを生成する、フレームワーク間で翻訳する、移行の最初のドラフトを書く:これらすべてが今や高速であり、これらのコストに基づいたあらゆるタイムラインは圧縮されるべきです。

正確性の時間は二つに分かれる

AIシステムは、今や人間によるレビューよりも速くコードをチェックし、修正します。それを否定することは信頼性を失うだけです。一方では、機械的な検証は崩壊しています。タイプ、テスト、契約、リンティングルール、不変条件、カナリアメトリクスのように、正しいことが機械がチェックできる成果物として表現できるものすべてです。エージェントはテストループを実行し、失敗を読み取り、差分を修正し、それを再度実行します。これは、どのレビュアーよりも速いです。あなたの正確性がこのレイヤーに存在する場合、チェック時間は実際に減少しており、それは減り続けるでしょう。

しかし、このレイヤーを速くしているものは何かに注意してください。それは、誰かが既に「正しい」とは何かを機械が評価できる形式で書き記したからです。 仕様が作業を行い、チェッカーがそれを読みます。

意味論的な検証は別の問題です。コードは、ビジネスが実際に必要としているポリシーを実装していますか?このトレードオフは、あなたの規制上のエクスポージャーに合っていますか?ここでは、正しいことは人間の頭の中と組織の歴史の中に存在します。AIがAIをチェックすることには構造的な問題があります。チェッカーは、ジェネレーターと同じトレーニングデータ、バイアス、盲点を持っています。両方のレイヤーは同じ理由で同じ場所で失敗します。自己レビューはタイプミスを見つけます。共有された誤解は見つけません。

私は3つの結果が続くと信じており、それがこの投稿の核心です:

  • 単価は下がり、総作業量は増加します。安価なチェックはより多くの生成を招き、より多くの生成はより多くのチェックを要求します。個々のチェックは安価になる一方で、検証作業量はボリュームと共に増加します。正味の暦時間は曖昧であり、インシデントプロファイルはシフトします:単純な間違いは減るが、システム的な間違いは増える。なぜなら、高ボリュームのもっともらしい出力が、高ボリュームのもっともらしいレビューを通過するようになるからです。
  • 境界線は戦略的な変数です。あなたの正確性のどれだけが機械でチェック可能かは固定されていません。それはあなたの仕様、契約、不変条件の関数です。強力な仕様を持つチームは、安価なチェックの恩恵を最大限に受けます。 仕様が弱いチームは、生成したマシン自身によってレビューされるコードを得ます。機械でチェック可能な正確性への投資は、組織が資金提供できる最も高レバレッジなインフラストラクチャ作業の1つです。 なぜなら、それはこの波のどれだけを実際に利用できるかを決定するからです。
  • 検証の最も遅い部分は、チェックではなく、説明責任でした。誰かが署名し、誰かが間違った結果の責任を負います:インシデントレビュー、規制当局、顧客。署名時間は圧縮されません。なぜなら、それは情報処理ではないからです。それはリスクの受容であり、法的および信頼システムはそれを人間に割り当てます。

したがって、スループットは依然として検証によって設定されます。移動したのは制約の場所です:チェック速度から仕様の品質、そして特定の人間の結果を所有する意思へと。

ジュニアのパイプラインは未解決の問題

この環境でエンジニアを育成する方法を誰も知りません。

シニアエンジニアに求められる判断力は、歴史的にはAIが吸収するようになった作業を行うことで培われてきました。小さなバグの修正、定型的なコードの記述、行き詰まってから抜け出すこと:これらは単なるタスクではなく、判断力を生み出す実践でした。もしマシンがその実践を奪うなら、シニアを生み出すパイプラインは壊れ、それは遅れて壊れるため、3年から5年は気づかないでしょう。

もっともらしい対応策はあります。生成されたコードの構造化されたレビュー、意図的な無支援演習、テストおよび検証作業を通じたローテーション、厳格なシニアの監督下での実際のシステムへの早期の露出。私はこれらのいくつかを実行しています。それが機能するかどうかは言えません。なぜなら、結果変数は5年後のシニアエンジニアの質だからです。

私が言えることは、ベンダー、エッセイスト、またはカンファレンスのスピーカーであっても、これを解決したと主張する人は何かを売っているということです。パイプラインを、あなたが個人的に所有する未解決の問題として扱ってください。それは、行動と証拠の間の遅延が最も長く、軌道修正の機会が最も少ないものです。

古いルールについての私の見解

「ディレクターはコーディングすべきではない。」 少しだけかじり、役に立つためにプルリクエストをレビューし、ボトルネックになるディレクターは現実です。同様に、仕事に対するメンタルモデルが5年古く、チームが本当に速いのか、それとも自信を持って間違った出力を大量に生成しているのか(スロップキャノン)の区別がつかないディレクターも現実です。解決策はキャリブレーションです。あなたは出荷する必要はありません。あなたは、誇大広告や軽視のどちらにも騙されないように、ツールと出力に十分な直接的な接触を持つ必要があります。

「チームをビジネスから守る。」 このルールの根底にある仮定は、注意は有限であり、コンテキストスイッチは高コストであるということです。その仮定はそのままです。変わったのは、チームにコンテキストを与えないコストです。ビジネスコンテキストなしでAIツールをプロンプトするエンジニアは、大規模に、流暢で、もっともらしく、間違った仕事を生み出すだけです。修正は、すべての人にすべてを氾濫させることではなく、デフォルトでフィルタリングすることをやめ、意図的に選択することです。どのコンテキストを、誰に、どの程度の詳細で提供するかです。

「コミットする前にコンセンサスが必要だ。」 コンセンサスは常に、コミットメントと調整、そして安価なピボットを生き残るためのコストに関するものでした。安価なピボットが変えるのは、どの決定にコンセンサスが必要かということです。元に戻せる決定、または「ツーウェイ・ドア」は、可能な限り小さいグループによって迅速に行われるべきです。なぜなら、間違った元に戻せる決定は、今や取り消すのが安価だからです。元に戻せない決定は、依然として遅いプロセスに値します。実際のスキルは分類であり、ほとんどの組織は絶えず誤分類しており、元に戻せない技術的な選択を永続的なものとして、永続的な組織的な選択をカジュアルなものとして扱っています。

「もっと人員が必要だ。」 アウトプットの単価経済が変わったため、3年前よりもさらに厳しい質問がすべての要求に値します。この仕事のどの部分が判断であり、どの部分が私たちが人間を雇い続けている生産作業なのか?しかし、過剰に修正しないでください。遅れているプロジェクトに人を追加すると、さらに遅れます。調整コスト、オンボーディングの遅延、コミュニケーションのオーバーヘッドは、シンタックスの価格と共に変化していません。人員の要求を精査するのは、アウトプットが人あたりで移動したからであり、人が高価な部分でなくなったからではありません。

トロペ(決まり文句)が persist する理由

3年経った今、私はその持続性についてこう信じています。プラクティスには理由があって存続し、その理由は常に混在しています。一部は時代遅れ、一部は依然として有効、一部は政治的です。古いルールが繰り返されているのを聞くとき、あなたは通常、有効な部分を間違った議論で擁護しているか、時代遅れの部分をかつて機能した議論で擁護している人を聞いています。

持続性を愚かさとして扱うことは、あらゆるマネジメントファッションの失敗モードであり、AIファッションも例外ではありません。5年後に最も悪く見えるリーダーは、慎重なリーダーではなく、思考を新しいスローガンのセット(正確に聞こえるスローガンでさえ)に置き換え、まだ測定されていない主張に基づいて組織を運営したリーダーです。

仕事は仕分けである

これほど大きなテクノロジーが登場したとき、誘惑されるのは、古いプレイブックを燃やすか、それを擁護するか、という姿勢を選ぶことです。どちらの姿勢も怠惰です。プレイブックは単一のオブジェクトではありませんでした。それは100ページのもので、一部はタイピングのコストについて、一部は人の性質についてのもので、あまりにもきつく束ねられていたため、それらが分離可能であることを忘れていました。

自信のあるエッセイでさえ、これを含め、それらがかつて同じページであったとあなたを納得させることを許さないでください。

機械は仕分けをするのか?

最近、AIがすぐにマネジメント、仕分けさえも行うようになると言われました。週末に考えましたが、それは部分的に正しいと信じています。

マネジメントには情報ルーティング機能があります。ステータスの集約、進捗の追跡、アップデートのダッシュボードへの変換、スケジュールの予測、パフォーマンスデータの収集。マネジメントレイヤーが日常的に行うことの大部分は、情報 formats と people の間で情報を移動することです。LLMはこの点で優れており、その価値はゼロに向かっています。もしあなたのマネジメントレイヤーがJiraを要約することでその価値を得ているなら、それは終わりました。

次に、判断機能があります。採用、解雇、昇進、この状況でこれらの人々に対してどのルールが適用されるかの決定、悪い判断の責任を負うこと。これは検証と同じ構造を持っています。誰かが現実に対して出力をチェックし、誰かが結果の責任を負います。

私たちは前述の生成議論に戻りますが、マネジメント作業に適用されます。マネジメントの出力は豊富になり、したがって安価になります。しかし、上記のすべては、生成が豊富になると、検証が制約になるという考えに基づいています。機械生成されたマネジメントも、組織の実際の行動に対して人間が検証し、結果に署名する必要があります。したがって、これはマネージャーの終わりではなく、むしろマネージャーが編集者とオーナーに降格することです。それは、個人貢献者が経験しているのと同じシフトです。

マネジメントの仕分けを委任することには、もう一つ問題があります。仕分けには、あなたの組織が実際にどのように振る舞うかについてのモデルが必要です。信頼関係、廊下での知識、過去の決定の結果。これらのほとんどは書き留められていません。組織の書面記録は、組織の小さく、磨かれた断片であり、モデルは記録に基づいて仕分けします。さらに悪いことに、モデルがトレーニングからエンコードするのは、業界の平均的な判断です。LLMは、あなたのプレイブックを、中央値の組織がするように、大まかに仕分けするでしょう。もしあなたの戦略が中央値の組織になることなら、それは結構です。差別化は、あなたが委任しないことを決定したまさにその場所にあります。

私の正直な譲歩は、知的演習としての仕分けは自動化可能であるということです。私はこのエッセイの一部をテストするためにAIを使用しましたが、その最初の監査はまともでした。自動化できないのは、政治的および道徳的な作業です。

これがどこに向かうか:管理範囲が広がり、レイヤーが圧縮され、マネジメントの情報ルーティング層は真にリスクにさらされ、役職は機能よりも長く存続します。存続するマネジメント作業は、書き留めることができず、平均化できず、他の誰にも署名できない作業です。

何が残るか

エンジニアリング作業の残余は、仕様と所有権です。マネジメント作業の残余は、判断と所有権です。同じ形状で、2つのレベルです。

組織のあらゆるレベルで、残る作業は誰かが署名しなければならない作業です。

極限まで外挿して、それを本当に理解させましょう。エージェントがコードを書き、チェックを実行し、ステータスをルーティングし、作業をスケジュールし、計画をドラフトする組織を想像してください。人間は方向を設定し、正しいとは何かを定義し、署名します。署名と出荷された結果の間のすべては機械です。次に、時間を逆に実行しましょう。この組織が最初にあり、あなたが実際に実行している組織を提案したと想像してください。私たちは、何百人もの高価な人々を雇い、タイピング速度で手作業でテキストを生成させます。私たちはそれらをレイヤーに配置し、各レイヤーの仕事は下のレイヤーを上のレイヤーのために要約することです。私たちは、何が既に起こったかを互いに伝えられるように、それらのカレンダーを部屋で同期させます。私たちは、それらがどれだけ排出するかによって、それらの価値を測定します。誰もこの提案に資金を提供しないでしょう。それは遅く、すべてのハンドオフで情報を失い、機械が既に実行している作業に、建物内で最も希少なリソースを費やします。

あなたが運営している組織は設計されたのではなく、蓄積されたものです。すべての役割、儀式、レイヤーは、かつて高価だったものがあったからです。タイピング、ルーティング、チェック、記憶。価格は移動しました。組織図は移動しませんでした。エージェントの極限では、チャートは誰が生産するかを記録するのをやめ、誰が署名するかを記録し始めます。人員数は容量を測定するのをやめ、どれだけの説明責任を負えるかを測定し始めます。そこに至る組織は、小さく、静かで、ほとんど空っぽに見えるでしょう。決定の長いリストに付随する短い名前のリスト、そして管理するものは何も残っていません。

HNでの議論に感謝します:https://news.ycombinator.com/item?id=49048212!