80%問題:エンジニアがかつて住んでいた最後の20%
The 80% Problem: The Last 20% Is Where the Engineer Used to Live (jonathanbeard.io)
要約
AIは作業の下書きを高速に(約80%まで)生成できるが、残りの20%が持つ複雑さ、特にエッジケースや運用上の課題への対応が、かつてエンジニアの重要な役割だった。この記事では、AIが生成する80%の部分は容易だが、残りの20%である「見えない部分」が実際のシステムを動かし、エンジニアの経験を形成していたことを指摘している。AIがこの20%をスキップすることで、エンジニアのスキルや判断力の価値がさらに高まると筆者は主張している。
全文翻訳
80%問題:エンジニアがかつて生きていたのは最後の20%の部分だった
AIは、作業ドラフトを(例えば5分の4のところまで)急速に作成し、そのスピードは本物です。問題は残りの5分の1に何が含まれているか、そしてそれを処理する筋肉をかつて誰が構築していたかです。
前回の投稿の最後に、別の痛みを伴う問題を後回しにしたことを告白しました。それは、ツールが急いで80%まで到達させ、残りの20%は常にエンジニアが実際に生きていた場所だったということです。これがその投稿です。
ベル研究所のトム・カーギルに帰属し、ジョン・ベントレーの『プログラミング・パール』で有名になった古いジョークから始めましょう。コードの最初の90%は最初の90%の時間を要し、残りの10%のコードは残りの90%の時間を要するというものです。これは、算術が不条理で、経験が正確であるため、面白いのです。システムの目に見える部分、デモで示すことができる部分は、すぐにまとまります。その後、プロジェクトは誰も予算を組まなかった部分に遭遇します。エッジケース、障害モード、負荷の下でのみ現れる条件、そのものが世界との接触に耐えられるかどうかを決定する半ページの運用上の現実です。1 そのテールはスケジュールの丸め誤差ではありません。それがスケジュールなのです。
生成AIはこのルールを廃止していません。それは場所を移し、それを移動させることで、注意深く名前を付ける価値のある問題を作り出しました。コーディングモデルに機能を構築するように依頼すると、驚くべきスピードと流暢さで最初の80%を生成します。ハッピーパスのロジック、基本的なテストをパスする構造、デモで実行される足場です。ただし、その80%は、モデルがあなたの問題に似たものでトレーニングされ、それに一般化できる場合にのみ現実的です。トレーニングデータがほとんど触れていない場所にそれを指示すると、流暢さはどこにも行かず、正確さだけが残ります。あなたは同じ自信に満ちた足場を得ますが、それはすでに幻覚です。2 流暢な出力と使用可能な作業は異なるものであり、モデルは最初のものをうまくこなすほど良くなりましたが、後者を逃しています。それが静かにスキップするのは、80%が本物の種類である場合、残りの20%であり、スキップはランダムではありません。それらは、持続的な運用経験を必要とするエンジニアリングのまさにその部分に集中しています。2つの競合するリクエストが状態を破損するのを防ぐ冪等性キー、リトライが殺到に変わるのを防ぐバックオフとジッター、長いテーブルロックを回避するために書かれたマイグレーション、レートリミッター、サーキットブレーカー、午前3時に最終的な障害を診断可能にする構造化ログ。それらのそれぞれは開発中は目に見えません。なぜなら、開発環境はそれらを露呈する条件を決して実行しないからです。コードはコンパイルされます。テストはパスします。デモは機能します。成果物は完了したように見えます。次に、それは同時実行性、トラフィックの急増、または部分的なネットワーク障害、あるいは本番環境の通常の残酷さのいずれかに遭遇し、まったく完了していません。
その最後の20%は、エンジニアがかつて生きていた場所でした。それは決して楽しい部分ではありませんでしたが、それは形成的な部分でした。なぜなら、それは基盤との接触を強制し、その接触が生成する判断を構築した部分だったからです。あなたは、説明できないセグメンテーション違反を追いかけることでメモリについて学びました。並列プログラムにおける腐敗の病的なランダム性、時折のスタックスマッシュ。3 火曜日にしか現れないレース条件をデバッグすることで、同時実行性について学びました。1000万行で失敗するクエリを見て、データ形状について学びました。どれも親切にも効率的にも教えませんでしたが、システムが理解しないと機能しないため、教えました。モデルが現在生成している80%は、大部分において、最も抵抗しなかった部分です。それがスキップする20%は、教えてくれた部分です。
そこには、大声で言う価値のある教訓があります。それは、この物語の不安なバージョンとは逆のものです。経験は今、より価値があり、少なくはありません。タイピングが部分的に処理される場合、決定的なスキルはタイピングを取り巻くすべてになります。実際に適合するアルゴリズムを知ること、コンポーネントがどこで出会い、ストレス下でどのように振る舞うかを見ること、システムが実際に何をすべきかを頭の中で保持することです。それは、最後の20%がかつて構築した判断であり、モデルがあなたに手渡すことができないまさにその部分です。(私が認めるバイアスですが、私はまだLLMよりも自分のコードを最適化することが多いです。ただし、私がそれよりも気難しいだけである可能性は十分にあります。4)
良い計画、激しく実行する
ここには、反対方向に切断する相関関係があります。私はそれを異なる制服で最初に学びました。アメリカ陸軍は、通常パットンに帰属する言葉で包まれた、この同じ比率の計画バージョンを教えています。
良い計画を今すぐ激しく実行することは、いつか不明確な時期に実行される完璧な計画よりも優れています。
ジョージ・パットン将軍
それは、計画なし、または悪い計画で突撃するライセンスではありません。それは、計画による麻痺という反対の失敗への警告です。完璧な計画を待っていると、あなたは anyway 負けます。あなたの部隊は静止し、展開されずに、よりラフな計画を持つ競争相手が動き、あなたを包囲し、勝利します。それはパレートの80/205を行動に向けたもので、成果の大部分を購入する重要な20%の努力である「良い」計画であり、それを今すぐ実行することは、とらえどころのない最後の数パーセントのために時間を貯めることよりも優れています。
では、どちらでしょうか?欠けている20%はスキップして先に進むべきものですか、それとも静かにあなたを殺すものですか?それはまさにその質問であり、正直な答えは、それがあなたの特定の20%に何が含まれているかに完全に依存するということです。戦闘計画は敵に遭遇すると常に適応します。ギャップは接触時に、状況を理解している人々によって埋められます。それが、今すぐ実行することが待つことよりも優れている理由です。AIとの違いは、それがスキップする20%は接触時に自己完結しないことです。ループ内に状況を適応させる司令官はおらず、完了したように見えた成果物があるだけで、放置されると、負荷、レース、または部分的な障害が見つけるまで静かにそこに座っています。それは、接触時にそれを埋めることができないという意味ではありません。計画する必要があるということです。それを新しいアジャイルの取引と呼びましょう。AIの80%を出荷してください。多くの場合、それは本当に問題ありません。その後、それが現実に遭遇する前に、20%を見つけて調整するために体系的に計画してください。計画は「これは完了した」ではなく、「これは開始するのに十分であり、それを実際に完了させるための、炎天下での適応をスタッフ配置し、計装しました」です。パットンの解釈と私が説明している危険は、反対の顔をした同じ算術です。違いは、あなたの最後の5分の1が後で獲得できる洗練であるか、それとも他のすべてが静かに依存していた部分であり、スキップできると思っていた部分であるかです。
合成された能力
ここに中心的な危険に名前を付ける場所があります。それは無能ではなく、幻覚でもなく、それらの古い言葉は実際に行われていることを隠しています。それを合成された能力と呼びましょう。理解の表面的な質感はありますが、その下の理解はまったくない出力です。AIを持つ開発者は、流暢な設計ドキュメント、もっともらしいコード、自信のあるアーキテクチャの推奨事項、整然としたマイグレーション計画、クリーンなインシデントサマリーを生成できます。表面的な能力の全領域が膨張する一方で、その下の深さはまったく動かないかもしれません。6 成果物は理解されているように見えます。人、そして成果物が適用されるシステムは、そうではないかもしれません。そして、その2つの間のギャップは、もはや自己主張しないまさにそのものです。なぜなら、モデルは、古い兆候である、生成できないということがなくなったほど良くなったからです。古い世界では、何かを理解していないことは、それを構築できないこととして現れました。今では構築は安価であり、理解は別の方法でチェックする必要があります。それは、その人がそれがどのように失敗するかを予測できるか、それが行っている仮定を名前で言えるか、そして間違っていることが判明したもっともらしい答えを投げ出すことができるかによってです。7
合成された能力は、それが説得力があるほど危険であり、外部の真実がない場合に最も説得力があります。出力がコンパイラとテストスイートに裏打ちされたコードである場合、現実はまだ間違った答えを罰することができ、床はしっかりと保たれます。出力が推奨事項、分析、要約、判断である場合、外部のものは何も抵抗せず、出力の洗練がまさに精査を無力化するものになります。ユーザーは自信のある出力を生成するのが上手になり、それが正しいかどうかを判断するのが下手になり、その広がる比率でダメージが静かに積み重なっていきます。1つの受け入れられた答えごとに。
スーパーバイザーの皮肉
これらはすべて新しいことではありません。フィクションは、エンジニアがそれを書き留める前にそれに到達しました。あなたは、アジモフが彼のロボット物語全体で同じ問題を周回していたと主張できます。そこでは、唯一不可欠な人間はロボット心理学者のスーザン・カルビンであり、彼女の周りの誰もがどのように機能するかを理解しなくなった後でも、機械を診断するのに十分な専門家であり続けました。8 正式なバージョンは40年前に、ソフトウェアとはまったく関係のない設定で登場しました。1983年に、認知心理学者のリサンヌ・ベインブリッジは、複雑な産業プロセスを自動化し、人間をスーパーバイザーに縮小したときに何が起こるかについて、Automaticaに短い論文「自動化の皮肉」を発表しました。彼女の中心的な皮肉は、AIツーリングに関するすべての会話で大声で読まれるべきほど耐久性があります。自動化が信頼性が高くなるほど、それが失敗するまれな瞬間に人間がより重要になります。そして、スーパーバイザーの役割は、人間が介入する準備をほとんどしない役割です。ルーチンワークはルーチンであるため、それを自動化します。しかし、ルーチンワークは、オペレーターのスキルを生き生きとさせていた練習でした。それを取り除くと、緊急時に人間の判断に依存するシステムが構築されますが、その判断は静かに成長を止めています。
ベインブリッジの皮肉は、ほとんど翻訳なしでAI支援エンジニアリングにマッピングされます。コードの記述から生成されたプルリクエストのレビューに移行した開発者は、レース条件やセキュリティホールを一目で発見する直感を構築した毎日の繰り返しを失い、直感が衰えるにつれてレビューは悪化します。使用されないスキルは衰退するため、本当に間違った出力をキャッチするのに最適な立場にある人々は、基礎となる作業での練習をゆっくりと失っています。そしてここに最も深いものがあります。それは世代的なものです。今日のシニアエンジニア、機械を監督する資格のある人々は、かつてそれが単なる仕事だったときに、ボイラープレートとエッジケースを自分で grinding することでその判断を獲得しました。次のコホートは、ボイラープレートが経済的に無駄であるとしてすでに自動化されている職場に入ります。今日のツールを監督する判断は、ベインブリッジの言葉によれば、かつての肉体労働者のスキルに基づいて構築されました。彼らが引退すると、監督の基盤も一緒に引退します。
スキルの萎縮に関する研究はまだ始まったばかりであり、数字がすべて揃っていると主張するつもりはありません。確かなのはメカニズムと初期の証拠であり、確立された効果量ではありません。しかし、メカニズムは神秘的ではなく、ベインブリッジは私たちの誰もこれらのツールに触れる前にそれを概説しました。簡単な80%を自動化し、人間には難しい20%を残し、その後、そもそも能力を構築した練習を削除します。これが今後の闘争であり、社会としてそれをどのように卓越させるかを解決することが、今後20年間のリーダーシップを定義する質問になるでしょう。修正はツールを拒否することではありません(あなたはそうしないでしょうし、そうすべきではありません)。それは、失われた繰り返しを意図的に再構築することです。徒弟制度を維持し、それを自動化したい効率からオンコールローテーションを守り、生産的な闘争の瞬間を最適化されるべき無駄ではなく、最初の80%が漏れたときに最後の20%を保持できる人をこれまで生み出した唯一のカリキュラムとして扱うことです。
エンジニアをトレーニングしている場合、または現在トレーニングを受けている場合、簡単な繰り返しが自動化されている間に、難しい繰り返しをどのように維持しているか聞いてみたいです。この質問が、この工芸の次の10年を定義すると私は考えており、まだ誰もそれを理解していないと思います。
情報源と参考資料
- Lisanne Bainbridge, “Ironies of Automation” (Automatica, vol. 19 no. 6, 1983): 定型業務の自動化が、オペレーターからまれな危機に必要な練習を奪うという基礎的な声明 (PDFを開く)。
- 「90/90ルール」、ベル研究所のトム・カーギルに帰属し、1985年9月のジョン・ベントレーの『Communications of the ACM』誌の『プログラミング・パール』コラムで広まったもの:プロジェクトの最後の数パーセントがほとんどの時間を食うというジョークの起源。
- パレートの法則、「80/20ルール」: 1896年のイタリアの経済学者ヴィルフレド・パレートによる、偏った分布に関する観察。1940年代に品質管理のパイオニアであるジョセフ・ジュランによって「重要な少数と有用な多数」として名前が付けられ、一般化されたもの。計画セクションが依拠するフレームワーク。
- 自動化への過信とループ外パフォーマンス 人間工学研究における、ベインブリッジの診断を拡張したもの。AI支援作業におけるスキル萎縮の発見は最近のものであり、確立されたものというよりは示唆的なものとして読むのが最善です。
注釈
-
これは古い軍事格言「計画は敵との接触に生き残らない」への意図的な言及です。この言葉は、ヘルムート・フォン・モルトケ(大モルトケ)の言葉を大幅に簡略化したもので、1871年のエッセイ『戦略について』の中で、「作戦計画は、敵の主力の最初の遭遇を超えて、確実性を持って延長されることはない」と書いています。(帰属と数十年でどのように短縮されたかについては、Quote Investigatorとモルトケの伝記を参照してください。)これは、下のパットンセクションが依拠しているのと同じ考えです。計画は出発点であり、保証ではありません。↩
-
この障害モードは、それ自体で急速に成長している文献を持っており、それがどれほど具体的になっているかを知る価値があります。コードモデルは存在しないものを発明し、それを完全な自信を持って伝えます。ある大規模な研究では、コード生成LLMは、PyPIまたはnpmに存在しないパッケージ名を商用モデル出力の5.2%、オープンソース出力の最大21.7%で幻覚し、偽の名前の43%は同じプロンプトの繰り返しごとに再発しました。これは攻撃者がすでにその名前をマルウェアで事前登録するほど安定したターゲットです(「スロップスロッティング」サプライチェーン攻撃)。Spracklenら、「We Have a Package for You!」(USENIX Security 2025)より。発明されたパッケージを超えて、研究者は問題に対する完全な分類法とベンチマークを構築しました。CodeHaluにおけるマッピング、命名、リソース、ロジックの幻覚https://arxiv.org/abs/2405.00253(AAAI 2025)、「LLM駆動コード生成における幻覚の探求と評価」のHALLUCODEベンチマーク、およびHuangらによるより広範な調査「大規模言語モデルにおける幻覚の調査」。繰り返し見られる発見は危険なものです。出力は間違っていても、構文的にクリーンでもっともらしく見えるため、流暢さが使用可能な信号でなくなった理由がまさにこれです。↩
-
しばらくこの作業をしているなら、これらの高速なものを追い詰めるためのgdbまたはlldbの正確な手順を知っているでしょう。それはあなたの指、筋肉の記憶にあります。そして、あなたはそれをひねるような奇妙な事実を知っています。これらのバグの多くは、プログラムをデバッガーの下で実行した瞬間に消えます。これは教科書的な「ハイゼンバグ」です。その理由はしばしば平凡であり、ほとんど誰ももはや学ばない種類のものです。デバッガーがターゲットを
execveで起動すると、プロセスに新しいargvとより大きな環境ブロック(argcとargvの隣にある3番目の引数、envp、ほとんど誰もが今話題にしないもの)が渡されます。argvと環境はスタックの基底にあるため、それらの下のすべてのアドレスがシフトします。かつて負荷をかけるものを上書きしていたバッファーオーバーフローは、今では無害なパディングに着地し、クラッシュは丁寧に消えます。並列プログラムのスレッド(cloneを介して内部で起動される)では、デバッガーはタイミングを乱し、通常はアドレス空間ランダム化を無効にします。これは、同じ理由のファミリーでレースを隠します。痛みを伴う治療法は、デバッガーの助けなしでそれを再現することです。コアダンプ、アドレスサニタイザー、そしてもっと早く追加しておけばよかったと思うログです。↩ -
余談ですが、これは希望に満ちた道も切り開きます。私たちは効率の新しい時代に歩み入れているかもしれません。データセンターは、シリコンを忙しく保つのに苦労することで悪名高いです。フリートは、異種ハードウェアがワークロードのパックを困難にするために、低い利用率で実行されます(Metaはインフラストラクチャ概要で問題に名前を付けており、AWSは長年サーバー利用率の低さについて書いています)。コンピューティングの歴史のほとんどにおいて、ドナルド・クヌースの警告が有効でした。「premature optimization is the root of all evil」(1974年の『Structured Programming with go to Statements』誌の論文より、しばしば誤って記憶されている『The Art of Computer Programming』からではない)なぜなら、すべてのパスを手動で調整することは、節約した時間よりも多くの人間の時間を要したからです。モデルはこの算術を変えます。それは、35万行のコードベースのすべてのミリメートルを喜んで最適化できます。ただし、1つの実際の前提条件、つまりそれが壊すものをキャッチするための豊富なテストが必要です。クヌースの完全な言葉はドアを開いたままにしていました。「小さな効率、つまり約97%の時間は忘れるべきです。しかし、その重要な3%の機会を逃すべきではありません。」ツールは、ついに残りの97%を支払うことを可能にするかもしれません。↩
-
「パレートの法則」は、1896年にイタリアの経済学者ヴィルフレド・パレートにちなんで名付けられました。彼は、イタリアの土地の約80%がその国民の約20%によって所有されており、所得と富も同様の偏った形状をたどる傾向があることに気づきました。一般的な経験則としての80/20は、品質管理のパイオニアであるジョセフ・ジュランによって、パレートを読んで「重要な少数と有用な多数」と呼んだものに一般化した後に登場しました。多くのシステム全体で、原因の小さなシェアが効果の大部分を駆動します。パレートの法則https://en.wikipedia.org/wiki/Pareto_principleの概要とJuran Instituteのガイドを参照してください。正確な数字は法則ではなく、しばしば役立つ近似です。実際の主張は、努力と成果は通常非常に不均一に分布しているということです。↩
-
理解の出現は数十年前からAIよりも先行しています。私たちは常にそれを製造することができました。そして、それは理解の外見だけでなく、実際の作業の外見でもあります。それは、その下の深さが薄いため、正確に生成されます。厚い設計ドキュメントや権威あるスライドのデッキは、薄っぺらなアイデアを飾り立て、箇条書きの下に実際のリスクを隠し、何も実質的なものを進めずに1週間の進捗として読むことができます。最も鋭いケースはコロンビア号のシャトル災害です。そこでは、実際の工学的な警告が、安心させるスライドウェアに平坦化されました。コロンビア事故調査委員会は、NASAの壊れた技術コミュニケーションの症状として、「技術論文の代わりにPowerPointブリーフィングスライドの蔓延した使用」を特定しました。これは、エドワード・タフテのThe Cognitive Style of PowerPointの中心にあるケースです。ソフトウェアにも一般的な失敗の名称があります。カーゴカルトプログラミング、それは機能した理解なしに機能する実践の動きをすること、ファインマンの「カーゴカルト科学」の後です。スティーブ・マコーネルは同じ考えを「カーゴカルトソフトウェアエンジニアリング」に向けました。それは、実質なしに健全なチームを模倣するプロセスと事務処理です。そして、エンジニアリング文化全体が糸口を失うと、エドガー・シェインによるデジタル・イクイップメント・コーポレーションの検死DEC Is Dead, Long Live DECのように、会社を道連れにすることができます。↩
-
孫子は、この形状を25世紀前に発見しました。「敵を知り、己を知れば、百戦危うからず。己を知って敵を知らなければ、得る勝利ごとに必ず敗北も受ける。敵も己も知らなければ、すべての戦いで敗北する。」(『孫子』第3編「謀攻篇」;ライオネル・ジャイルズ訳, 1910年。)ここでの「敵」は通常の意味での敵ではありません。それは目の前のタスクであり、倒されるべきものであり、破壊される必要はありません。AIの世界では、それは文字通り読めます。ツールの能力と限界を知り、自分自身の限界といつ立ち止まって内省するかを知る必要があります。両方で勝てば仕事はうまくいきます。自分の側だけを知っていれば、勝ち負けを交換することになります。どちらも知らなければ、暗闇に自信のある出力を出荷するだけです。↩
-
スーザン・カルビンは、USロボッツの主任ロボット心理学者としてアシモフのロボット物語に登場します。『われはロボット』(1950年)のほとんどは、ロボットが奇妙な行動をとり、誰もがそれを理解できなくなった後に、なぜそう行動したのかを推論できた彼女が振り返る形で構成されています。物語は、スキル低下そのものについてではありませんが、誰もが理解できなくなったときに機械をデバッグできるほど十分に理解している孤独な人間の姿は、まさにベインブリッジの皮肉が焦点を当てているものです。↩