運用コストはデモの後から始まる
The operating cost starts after the demo (twoheads.net)
要約
AIエージェンシーは「AIによる自動化で仕事が不要になる」という約束を掲げますが、現実にはAIシステムは運用後に監視、修正、改善といった新たな管理を必要とします。デモはきれいな状態で行われるため、実際の運用で発生する多様な問題に対応できず、結果として「偽りの生産性」を生み出すことがあります。AIは有用ですが、ソフトウェアと同様に設計、監視、保守が必要であり、その運用コストについて正直な理解が不可欠です。
全文翻訳
プロミスは自動化された作業。現実は、新たに対応すべきもの。
AIエージェンシーは、エージェントを設定し、ツールを接続し、作業を自動化してシステムを実行させるというシンプルな約束を販売しています。どの企業にもなくしたい作業があるため、これは魅力的に聞こえます。サポートチケット、リードフォローアップ、レポート、社内アップデート、リサーチ、データ入力、タスク割り当て、ステータスチェック。一日中ツール間で情報をコピーする作業を望む人はいないため、この提案は容易に受け入れられます。
エージェンシーはデモを見せます。エージェントが何かを読み取り、応答を書き、レコードを更新し、メッセージを送信し、タスクを作成します。それは有用に感じられ、魔法に近いように感じられます。しかし、デモはシステムではありません。デモは管理されています。入力はクリーンで、エッジケースは削除され、ハッピーパスは事前に選択されています。実際の作業には、欠落したデータ、不明瞭なリクエスト、古いレコード、壊れた連携、プライベートなコンテキスト、悪いフォーマット、曖昧な指示、そして誰も書き留めなかった例外が存在します。
その時、システムは助けを必要とし始めます。誰かが出力をチェックし、プロンプトを修正し、連携を再接続し、データをクリーンアップし、決定をレビューし、システムが自信を持っているが間違っている場合に何が起こるかを決定する必要があります。これは多くのAIエージェンシーのピッチが見落としている部分です。彼らはセットアップを販売します。セットアップ後のことについては十分には語りません。
セットアップ後が、本当のコストが始まる場所です。AIシステムは、誰かがそれをエージェントと呼んだからといって、それ自体で実行されるわけではありません。それらは依然として所有権を必要とします。監視、ログ、フォールバック、権限、アップデート、そしてビジネスとソフトウェアの両方を理解する誰かが必要です。誰もシステムを所有しない場合、チームはそれをベビーシッターすることになります。
今、会社は2つの問題を抱えています。人々は自動化を完全に信頼していないため、古い手動プロセスは依然として存在します。会社はすでに支払ったため、新しいAIシステムも存在します。そのため、チームは両方のシステムを回避して作業します。これが偽の生産性が生まれる仕組みです。人々はプロンプトの調整、ワークフローの調整、ツールの追加、自動化に関する通話への参加、出力のレビュー、奇妙な間違いの修正に忙しくしています。活動があるため進歩のように感じられますが、活動は価値ではありません。
価値とは、作業がより良く、より速く、より安く、またはより確実に完了することを意味します。システムがそれをしないなら、それは助けになっていません。それは単なる別のレイヤーです。隠れたコストは注意です。注意を節約するはずだったものが、注意を消費し始めます。
会社はすでに時間とお金を投資しているため、それを継続的に利用します。「私たちはもうすぐです。」「より良いプロンプトが必要です。」「もう一つ連携が必要です。」「まずデータをクリーンアップする必要があります。」「別のフェーズが必要です。」時にはそれは真実です。時にはシステムはもうすぐです。しかし、時には正直な答えは、間違ったことが自動化された、プロセスが理解されていなかった、ビジネスはまだ人間の判断を必要としている、あるいはエージェンシーが実際の作業との接触に耐えられない見栄えの良い機械を構築したということです。
AIは問題ではありません。悪い所有権が問題です。AIは有用になり得ます。私たちは毎日それを使用しています。それはライティング、コーディング、リサーチ、サポート、オペレーション、社内ツールのスピードアップに役立ちます。仕事が十分に理解されていれば、退屈な作業をなくすことができます。しかし、AIはソフトウェアの判断の必要性をなくすわけではありません。それはソフトウェアの判断をより重要にします。
AIワークフローは依然としてソフトウェアです。それは失敗し、ドリフトし、壊れ、誤った仮定をし、自信を持って悪い出力を生成する可能性があります。それは変化するツール、失敗するAPI、そして乱雑になるデータに依存する可能性があります。そのため、それは本物のもののように構築される必要があります。
小さく始めましょう。一つのワークフローを選びましょう。それが現在どのように機能するかを理解しましょう。それほど多くの判断を必要としない部分を見つけましょう。まずその部分を自動化しましょう。間違いが高価な場所では、人をループに含めましょう。結果を測定しましょう。時間は節約されましたか?エラーは減りましたか?作業は容易になりましたか?人々はそれを信頼しましたか?一週間後も機能しましたか?一ヶ月後も機能しましたか?
それがテストです。デモ、図、エージェントのリストではありません。テストは、エージェンシーの誰も部屋にいないときにシステムが機能し続けるかどうかです。
私たちはAIを好みます。私たちはAIを使用します。私たちはAIをループに入れて構築します。
しかし、私たちはAIに関する魔法の物語を信じていません。AIワークフローは依然としてソフトウェアです。それはビジネスが変わったときに設計され、出荷され、監視され、修正され、改善される必要があります。
それがほとんどのピッチがスキップする部分です。彼らはローンチを販売します。彼らは運用コストのために留まりません。
私たちはローンチ後の部分を気にかけます。システムが実際のユーザー、実際のデータ、実際の例外、実際の障害、そして実際の月曜日に遭遇する部分です。
ですから、AIを使用するつもりなら、ソフトウェアのように使用してください。小さく始めてください。明確な部分を自動化してください。判断が重要な場所では人間を維持してください。何が変わったかを測定してください。出荷後にシステムを所有してください。
デモを減らし、偽のエージェントを減らし、図を減らしましょう。より多くの動作するソフトウェア、より多くの所有権、ローンチ後のことについてのより多くの正直さを。
構築し、出荷し、稼働させ続けましょう。