運用コストはデモの後から始まる

AIを導入する際、「自動化によって仕事が不要になる」という約束が掲げられますが、実際には新たな管理が必要になります。AIエージェンシーは、「エージェントをセットアップし、ツールを接続し、仕事を自動化すれば、システムが実行される」というシンプルな約束を売りにしています。これは、どの企業も排除したいと考えている業務があるため、魅力的に聞こえます。サポートチケット、リードのフォローアップ、レポート、内部更新、リサーチ、データ入力、タスク割り当て、ステータスチェックなどです。誰も一日中ツール間で情報をコピーするような作業を望んでいないため、この提案は簡単に受け入れられます。 エージェンシーはデモを披露します。エージェントが何かを読み込み、応答を書き込み、記録を更新し、メッセージを送信し、タスクを作成します。それは有用に感じられ、まるで魔法のように感じられます。しかし、デモはシステムではありません。デモは管理された状態で行われます。入力はクリーンで、エッジケースは排除され、ハッピーパスは事前に選択されています。実際の作業には、欠落データ、不明瞭な要求、古い記録、壊れた統合、プライベートなコンテキスト、不適切なフォーマット、曖昧な指示、そして誰も書き留めていない例外が存在します。 そのときに、システムは助けを必要とし始めます。誰かがアウトプットをチェックし、プロンプトを修正し、統合を再接続し、データをクリーンにし、決定をレビューし、システムが自信を持っていても間違っている場合にどうするかを決定しなければなりません。これは多くのAIエージェンシーの売り込みがスキップする部分です。彼らはセットアップを売りにします。セットアップ後に何が起こるかについては十分に語りません。 セットアップの後からが本当のコストが始まります。AIシステムは、誰かがそれをエージェントと呼んだからといって、勝手に実行されるわけではありません。それらは依然としてオーナーシップを必要とします。監視、ログ、フォールバック、権限、更新、そしてビジネスとソフトウェアの両方を理解している人が必要です。誰もシステムを所有しない場合、チームはシステムの世話をすることになります。 これで会社には2つの問題が生じます。古い手動プロセスは、人々が自動化を完全に信頼していないため、依然として存在します。新しいAIシステムも、会社がすでに費用を支払っているため、存在します。そのため、チームはその両方に対応して作業することになります。これが偽りの生産性が発生する仕組みです。人々はプロンプトの調整、ワークフローの変更、ツールの追加、自動化に関する会議への参加、出力のレビュー、奇妙な間違いの修正に忙しくなります。活動があるため進歩しているように感じますが、活動は価値ではありません。 価値とは、仕事がより良く、より速く、より安く、またはより確実に完了することを意味します。システムがそれを行わないのであれば、それは役に立っていません。それは単なる別のレイヤーです。隠れたコストは「注意」です。注意を節約するはずだったものが、注意を消費し始めるのです。 会社は、すでに時間と費用を投資しているため、それに投資し続けます。「もう少しです。」「もっと良いプロンプトが必要です。」「もう一つ統合が必要です。」「まずデータをクリーンにする必要があります。」「もう一つフェーズが必要です。」時々それは真実です。時々システムはうまくいきそうです。しかし、正直な答えは、間違ったものが自動化された、プロセスが理解されていなかった、ビジネスには依然として人間の判断が必要である、またはエージェンシーが実際の作業に耐えられない見栄えの良い機械を作った、という場合もあります。 AIが問題なのではありません。悪いオーナーシップが問題なのです。AIは有用です。私たちは毎日それを使用しています。それは執筆、コーディング、リサーチ、サポート、運用、そして内部ツールを高速化できます。仕事がよく理解されていれば、退屈な作業を排除できます。しかし、AIはソフトウェアの判断の必要性を排除しません。むしろソフトウェアの判断をより重要にします。 AIワークフローは依然としてソフトウェアです。それは失敗し、逸脱し、壊れ、悪い仮定をし、自信を持って悪い出力を生成することがあります。それは変更されるツール、失敗するAPI、そして混乱するデータに依存することがあります。したがって、それは本物のように構築されなければなりません。 小さく始めましょう。1つのワークフローを選びましょう。現在それがどのように機能しているかを理解しましょう。あまり判断を必要としない部分を見つけましょう。まずその部分を自動化しましょう。間違いが高価な場合は、人間を介在させましょう。結果を測定しましょう。時間が節約できましたか？エラーは減りましたか？作業は簡単になりましたか？人々はそれを信頼しましたか？1週間後も機能していましたか？1ヶ月後も機能していましたか？ それがテストです。デモではなく、図ではなく、エージェントのリストでもありません。テストは、エージェンシーの誰もいない部屋でシステムが機能し続けるかどうかです。 私たちはAIを気に入っています。私たちはAIを使っています。私たちはAIを導入して構築しています。 しかし、私たちはAIに関する魔法のような話を信じていません。AIワークフローは依然としてソフトウェアです。ビジネスが変化するにつれて、設計され、出荷され、監視され、修正され、改善されなければなりません。 それがほとんどの売り込みがスキップする部分です。彼らはローンチを売りにします。彼らは運用コストについては触れません。 私たちはローンチ後の部分を重視しています。システムが実際のユーザー、実際のデータ、実際のエッジケース、実際の障害、そして実際の月曜日に遭遇する部分です。 ですから、AIを使用するのであれば、ソフトウェアのように使用してください。小さく始めましょう。明確な部分を自動化しましょう。判断が重要な部分には人間を介在させましょう。何が変わったかを測定しましょう。出荷後はシステムを所有しましょう。 デモは減らし、偽のエージェントは減らし、図は減らしましょう。そして、動くソフトウェア、オーナーシップ、ローンチ後に何が起こるかについての正直さを増やしましょう。構築し、出荷し、稼働させ続けましょう。