AIはSREを置き換えるのではなく、スキルを低下させている

AIはSREを置き換えるのではなく、スキルを低下させている

💌 SigNozのエリザベスです！

このニュースレターは、オブザーバビリティ、OpenTelemetry、オープンソース、そしてその間のエンジニアリングについて、率直に語る試みです！
&
この記事は6日と5時間かけて作成されました。お楽しみいただければ幸いです。 🌚

最近、テクノロジー界隈では2つの流行りの予言が飛び交っています。

一つは「SREは全てのソフトウェアエンジニアリングの未来だ」というもので、AIがますます多くのコードを書くようになるにつれて、残る人間はシステムを稼働させ続ける役割を担うだろうというものです。もう一つは、AIがあらゆるテクノロジー職を食い尽くし、SREも例外ではないというものです。どちらも、2027年の自分の火曜日がどうなるかを知りたいSREにとっては、あまり役に立ちません。

より現実的な問いを、すでに起こっていることから考えてみましょう。AIがインシデント対応の95%を処理する場合、本当に重要な残りの5%に対処する能力は低下するのでしょうか？

[画像]

私たちのほとんどは、すでに日常業務でAIを使用しており（私たちの脳は少し疲れています！）、SREも同様です。今日の議論のテーマは、AIがSREを置き換えるかどうかではなく、AIが静かにSREの能力を低下させているのか、そして次の前例のない障害が発生する前に誰かがそれに気づくのかどうかです。この議論の基礎となるフレームワークは、不気味なほど先見の明がある1983年の研究論文に由来しています。

オートメーションの皮肉：パートI

著者からの注：以下は「オートメーションの歴史」の短い前置きです。歴史や文化に興味がある方（私のように😉）は楽しめるかもしれません。

1983年、リスン・ベインブリッジという認知心理学者が『オートメーションの皮肉』という論文を発表しました。これは人間工学研究で最も引用される論文の一つとなり、その中心的な主張は今日、ほとんど不快なほど関連性があります。

ベインブリッジは、工場や産業システムがブルーカラーオペレーターの仕事を自動化した際に何が起こるかを研究しました。その結果は逆説的で、プロセスを自動化すればするほど、自動化が失敗する稀な瞬間に人間のオペレーターの役割がより重要になり、彼らの実践機会は減り、まさにその介入能力が悪化することを発見しました。本質的に人間をループから外すために設計された自動化は、彼らに最悪の仕事、つまり稀で高リスクな危機にますます準備不足になる、長時間の受動的な監視を残しました。

何か思い当たることはありますか？ 🙂

基本的に、私はAI革命と産業オートメーションの間に並行関係を描いています。産業オートメーションは、ルーチン的な物理タスクを引き受けることでブルーカラーの仕事を再構築し、残った労働者は、その筋肉の記憶を失った例外に対処しなければなりませんでした。AIは、ルーチン的な認知タスク、パターンマッチング、トリアージ、既知の問題の解決を引き受けることで、知識労働者に対して同じことを行い、人間には稀で複雑で曖昧な問題を残しています。

深い専門知識を必要とするまさにその問題、そして練習をやめたときに衰退するまさにその専門知識です。

今、私たちはAIエージェントでこのパターンを繰り返しており、ソフトウェアシステムにおけるリスクは増すばかりです。

SREにおけるAIの現状

サイト信頼性エンジニアリングの世界の現状を把握しましょう。

すでに自動化されている、またはAIの支援が強力なものは？

アラートノイズの削減とインテリジェントなグループ化、既知の問題に対するランブック実行、ログパターンの検出と異常フラグ付け、過去のインシデントデータからの基本的な根本原因の提案、そしてクラッシュしたポッドの再起動やホットなサービスのスケーリングアップといった、よく理解された障害モードに対する自動修復は、今日ではかなり自動化されています。

地平線にあるものは？

いくつかの直接的なターゲットには、メトリクス、ログ、トレースを横断するマルチシグナル相関、部分的に理解された障害に対する自律的な根本原因分析、ユーザーに影響が出る前のインシデントの予測検出、AI駆動の変更リスク評価と自動ロールバックが含まれます。

PagerDutyはこれを階層モデルとして提示しています。

• レベル1インシデント：既知の問題と既知の修正は完全に自動化されます。
• レベル2インシデント：部分的に理解された問題に対して、人間による検証を伴うAIの推奨事項が提供されます。
• レベル3インシデント：新規で複雑な、連鎖的な障害は人間主導のままですが、AIがサポート情報を提供します。

しかし、ここに落とし穴があります。

もし人間のSRE（ええ、今や人間のような形容詞を使わなければなりません🥹）が、レベル3インシデント、つまり新規で前例のない障害のみに関わる場合、それに対処するための直感をどこで培うのでしょうか？直感は通常、長年の実践的なインシデント対応、反復によるパターン認識、そして奇妙な時間にシステムをダウンさせたバグを解決するために痛みを伴って起きることから得られる、システムに対する感覚的な理解から発達します。

スキル低下の危機

ここで、状況がぼやけ始めます。複数の分野にわたるAI誘発性のスキル低下に関するいくつかの新しい研究を見てみましょう。これは一貫性があり、懸念される状況を描いています。

医学では、最近の研究によると、ポリープ検出にAI支援を使用した内視鏡医は、AI使用期間後に自身の支援なしでの検出率が28%から22%に低下したことがわかりました。彼らは、理論を忘れたからではなく、スキルを行使しなくなったから、専門家であるはずの分野で悪化しました。

航空学では、研究により、オートパイロットシステムに大きく依存する長距離パイロットは、状況認識と手動操縦能力の測定可能な低下を経験することが示されています。この問題は深刻化し、FAAは現在、その影響を相殺するために、より多くの手動操縦時間を義務付けています。

過去1年ほどの間に、AIは私が時々頼るツールから、常に最初に頼るものになりました。私の本能は、可能な限り多くのことをオフロードし、絶対に避けられない場合にのみ自分の思考を適用することです。問題は、これらの瞬間が私の脳が得る唯一の運動になりつつあり、錆びつきを感じることです。

ここにパターンを描くことができます。システムに処理させるほど、自分で処理する能力は低下し、そして最も危険な部分ですが、それに気づきません。これは過剰な生産性として隠蔽されます。認知研究によると、AIツールはタスクを容易にし、目に見えるパフォーマンスを向上させるため、ユーザーは自身のスキルの真の状態を正確に判断できないことがよくあります。自分は有能だと感じ、ダッシュボードは緑色に見えます。そして水曜日、AIが見たことのないパターンに一致しない新規インシデントが発生し、筋肉が萎縮したことに気づきます。

SREの場合、これは具体的な形で現れます。AIがログストリームを要約するため、生のログストリームを読むのをやめます。AIが根本原因を示唆するため、インシデント中に仮説を立てるのをやめます。AIが依存関係をマッピングするため、システムアーキテクチャのメンタルモデルを構築するのをやめます。これら一つ一つは生産性の向上に見えます。しかし、これらが集まると、誰も予期しない方法で物事が悪化した場合に効果的なSREにするための専門知識そのものを空洞化させます。

しかし、スキル低下よりもさらに懸念されるものがあり、研究者はそれを未経験化（never-skilling）と呼び始めています。スキル低下とは、かつて能力があったが、その後失われたことを意味します。未経験化とは、そもそもそれを開発したことがないことを意味します。今日、AIがインシデント対応ワークフローのほとんどを処理する環境で分野に入ってくるジュニアSREにとって、実践的な練習を通じて基本的な直感と筋肉を構築する機会は失われつつあります。

トレーニングパイプライン自体が壊れており、自己修復しません。

SREは自分のスキルが低下していることに気づき、AIにさらに頼って補おうとしますが、それがさらにスキルを低下させ、抜け出すのが難しい悪循環を生み出します。

私たちに何ができるか？

私たちは間違いなくAIツールを拒否していません。私たちはそれを採用し、これまで以上に強く統合しています。なぜなら、それが唯一前進する方法だからです。

検討に値するアプローチがいくつかあります。

意図的な非効率性。 FAAがオートパイロットが完全に能力がある場合でも手動操縦時間を義務付けているのと同様に、SREチームは、AIが処理できるインシデントであっても、人間が練習する機会として特定のインシデントを指定することができます。これは、スキルを新鮮に保つための長期的な投資と見なすことができますが、超高速な解決策のコストがかかる可能性があります。

人間をサイドに置くのではなく、人間をループに入れるように構築する。 人間がAIの推奨事項を承認するシステムと、人間がAIと並んで問題に積極的に関与するシステムの間には、意味のある違いがあります。前者は、ベインブリッジ（約40年前にあの研究論文を書いた女性）が注意力の低下につながると示した監視者の役割で人間を維持し、後者は彼らを認知的に関与させ続けます。

ズームアウトして、全体像を見てみましょう。

全体像

ここで議論したすべて、オートメーションの皮肉、スキル低下のリスク、未経験化の問題は、SREをはるかに超えて集団的に適用されます。ソフトウェアエンジニアリング全体が同じ緊張を乗り越えています。AIがより多くのコードを書き、より多くのPRをレビューし、より多くのデバッグを処理するにつれて、同じ質問が当てはまります。

私たちは、私たちがSigNozで生きている世界だからこそ、特にSREについて話しています。私たちは、SREがシステムを深く理解するために必要なメトリクス、トレース、ログを提供するオブザーバビリティプラットフォームのオープンソースを構築しています。私たちにとって、このスキル低下の問題は修辞的な流行ではありません。それは、私たちがどのようにAIを製品に組み込んでいるかを直接形作っています。

私たちの方法は、人間がLLMのパワーを活用できるように支援するAIアシスタントから始めることです。その間、人間はしっかりと制御下に置かれます。最終的には、より多くの自律性を可能にしますが、明確なガードレール内でのみ、そして信頼が獲得された場合に限ります。

この分野で私たちが持つ一つの利点は、オブザーバビリティプラットフォームとして、SREが依存するデータ、つまりメトリクス、トレース、ログそのものの上に位置していることです。今日のほとんどのAI SRE製品はAPIを介してオブザーバビリティツールと統合していますが、それはシステムに関する限定的で二次的なビューで作業していることを意味します。データレイヤーを所有しているため、経験豊富なSREのようにシステムを理解する、はるかに深く、よりコンテキストを意識したAI機能を構築できます。

そして、あなたの頭の中にある燃えるような質問に答えるために、私たちの目標はSREを置き換えるAIではありません。それはSREを強化するAIです。進行中の伝説とは異なり、私たちは人間が最も重要な決定、特に本番インフラに影響を与える決定において不可欠であり続けると信じています。

SREの未来は、人間がシャープで、関与し、本当に重要な5%のために準備ができているように意図的に設計されたAIと共に、人間なのです。

これは、私がこの記事を書くきっかけとなった、数日前に私たちの創設者が投稿したLinkedInの投稿です。

投稿なし

---