説明不能な失敗の常態化
The Normalization of Inexplicable Failures (ihatethefuture.com)
要約
この記事は、AI開発における「説明不能な失敗」が常態化している現状を論じています。JevのようなAIモデルは、確率推定値を提供しますが、その信頼性や、ユーザーがそれをどう活用すべきかについての理解が不足しているため、開発者は「AIの間違い」として処理し、問題の根本的な解決を避ける傾向があります。結果として、ユーザーも開発者も、システムの不具合の原因究明に関心を持たなくなり、説明不能な失敗が受け入れられるようになるという懸念が示されています。
全文翻訳
i hate the future
最近のエピソードで、カーティス大統領は二度にわたりドアを開けるのに苦労します。
これらのドアは、障害物が邪魔をしているために機能しません。最初は人、次に約10億ドル相当の金塊です。
どちらの場合も、フラストレーションに対して、登場人物は「くだらないものがダメだ」とつぶやきます。これはドアの合理的なモデルではありません!ドアは説明不能に「ダメ」になるべきではありません!私はこれらの瞬間を法外に面白く感じましたが¹ 、もしかしたら私のくだらない脳みそがダメなのかもしれません。
Jev: ダメなドアをもっと作る
TypeSafe AIが開発したAIモデルJevがインターネットで話題になっています。このモデルは、確率推定付きで型付き値を返します。私の理解する限り、Jevの重要な点は以下の通りです。
- 高速で安価である
- 素早く構築できる
- 高速である
- 安価である
私はどのテクノロジーが採用されるかを理解するのが得意ではありません。
私はまだSlackを理解していません²。
待ってください。
まだ大変な作業をする必要があるのですか?
おそらく私の問題は、製品が機能することを期待していることです。
これを購入している誰も評価を実行していません。彼らは単に不透明な質問をJevに投げかけ、不透明な応答を得ています。好意的に解釈すれば、これにより「AI搭載」というチェックボックスにチェックを入れ、金曜日までにリリースできます。そして、これが下流のロジックを壊した場合、彼らは常に「まあ、AIは間違いを犯すものだ」と肩をすくめることができます。
エラーバジェット?障害モード?テストセット?それらはすべて後で処理できます。ユーザーは障害率を発見できます!あなたはすでにリリースしています!
偽りの自信
「ああ」と、私の投稿に応答するストローマンは言います。「Jevが信頼度スコアをくれるという事実を考慮していませんね!」
それらをどうするつもりですか?
信頼度スコアを合理的に扱うためには、信頼度スコアのキャリブレーションの理解と、不確実性のコストのモデルの両方が必要です。
キャリブレーションの側面について:Jevのトップライン広告コピーは、主にさまざまなベンチマークでのスコアについてですが、信頼度スコアのキャリブレーションの良さについては触れていません。信頼度スコアを使って分類ツリーを登る方法についてのクックブックはありますが、それは根本的に信頼度スコアの良さについてではありません。
最良の場合、人々はカーゴカルトのように信頼度スコアを使用します。最悪の場合、人々はAPI呼び出しが失敗した理由としてそれを使用します。モデルは73%しか自信がなかったのです!つまり、私のエラーバジェットは27%ということです!
説明責任
ウェブサイトのボタンが壊れたとき、私は何が起こるべきだったかについてのモデルを持っています。どこかで契約が破られました。私のDNSが壊れています。誰かがJavaScript構文エラーを含むスロップを特定のパスに沿ってリリースしました。ハンドラーが予期せずスローしました。HTTPステータス500のエラーをデバッグするアクセスがないかもしれませんが、エンドポイントが500エラーになる理由を理解する責任を持つ誰かがいることを期待しています。所有権は(たとえ不透明であっても)明確に定義されています³。
しかし、多くのユーザーにとって、実際の体験はほぼ「くだらないものがダメだ」というものです。ソフトウェアはすでに気まぐれに感じられます。さらに多くの障害は、フラストレーションの頻度を変えるだけです。具体的な原因をたどる可能性を排除することは、それほど大きな損失ではないように思えます。時には物事は単にダメになるものです。
これが説明不能さの常態化につながります。
私の恐れは、LLM主導の開発によって物事が加速されたときに、より多くのものが失敗することではありません。それは起こるでしょう。それは起こりました。新しい方法で物事を構築する代償の一部です。
私の恐れは、「時々うまくいかないだけ」が調査の受け入れられる終着点になることです。これは悲しいことです。なぜなら、LLMで加速された開発は、これらの問題のいくつかを解決するのを助けてくれるからです。エンジニアリング時間の不足のために書かれていない自動QAワークフローはたくさんあります。Jevの使用を正当化するのに役立つ評価のほとんどは、数回のプロンプトで実現できます。
今日のソフトウェアエンジニアリングの悲劇は、ユーザーも構築者も、ドアの後ろに人がいるかどうかを確認することに興味がないシステムを、私たちが積極的にエンジニアリングしていることです。
私たちはただ肩をすくめ、結論付けます:くだらないものがダメだ。
¹これは、私が同様に面白いと思うことわざを思い出させます:「時にはエレベーターに乗るが、時にはシャフトに落ちる。」これもエレベーターの合理的なモデルではありません!
²ロックインネットワーク効果は私には理解できますが、メッセージを確実に配信しない製品がどのように標準化されたのか、まだ当惑しています。無料版、有料版、エンタープライズ版でメッセージが数週間後にしか表示されないのを見たことがあります。
³まあ、「明確に定義されている」というのは楽観的かもしれません。ビル・ゲイツがMovie Makerのダウンロードに失敗した有名な出来事の後、誰もがそれはおそらく誰かの問題だろうと合意しましたが、必ずしも彼らの問題ではありませんでした。理想的には、顧客がビル・ゲイツでなくても、このレベルの説明責任を得られるようにしたいものです。