真面目なAI製品とはどのようなものか?
What would a serious AI product look like? (blog.glyph.im)
要約
現在のAI製品、特にチャットボットは、実際の作業に必要な重要な機能が欠けており、詐欺のように感じられると著者は主張しています。真面目なAI製品には、間違いのチェックを第一級の機能とする、より多くの引用と詳細情報を提供する、一人称の出力や謝罪をしない、といった特徴が必要だと論じています。
全文翻訳
真剣なAI製品とはどのようなものか?
現在の「AI」製品の多くが、その前提を真剣に受け止めていないという問題があります。問題解決のための真剣なツールであると主張する、お世辞ばかりのチャットボットを数多く目にしますが、これらは問題解決ツールのあるべき姿ではないと感じます。
最先端の研究機関が抱える膨大な倫理的問題に触れる以前に、製品としての構成に対するこの印象が、常にそれらと対話するたびに、それがソフトウェア製品というよりは、能力がないにもかかわらず能力があるかのように感じさせ、信頼できるという誤った安心感を与えようとする詐欺、ペテンであるかのように思わせるのです。
最先端の研究機関が最悪の加害者であることは言うまでもありませんが、ここでのすべての批判はOllamaにも同様に当てはまります。Ollamaは(むしろ、利用可能なモデル自体の品質が明らかに劣っているため)最先端の研究機関よりもさらにこれらの機能を必要としています。
ここでは、LLMベースの製品、特に研究やソフトウェア開発に焦点を当てた製品が、それを使って有用なことを行うのを真剣に支援しようとしていると私を納得させる可能性のある、いくつかの機能を示します。
「間違いのチェック」を第一級の機能にする
これが最大の課題であり、この記事を書くきっかけとなった主な理由です。
AIが信頼性をもって情報を提供できないことは、普遍的に認識されている真実です。
この事実に関するニュース記事や研究を山ほど引用できますが、その必要はありません。すべてのチャットボットが、これをユーザーインターフェースの核となる部分として、最初に、細字の免責事項で認めています。Geminiは「AIは間違いを犯すことがあるため、応答を二重に確認してください」と述べ、Claudeは「ClaudeはAIであり、間違いを犯す可能性があります。応答を二重に確認してください。[1]」と述べています。ChatGPTは「ChatGPTは間違いを犯すことがあります。重要な情報は確認してください。」と述べています。
この最後の文を見るたびに、「どの情報が『重要』なのか、どうやって知ればよいのか」と疑問に思います。
これらの警告はすべて小さく、灰色で表示されており、ユーザーに責任を転嫁するための法的な文言として明白に含められており、何かの助けになるものではありません。これは、これらの製品すべてにおける中核的な制限です。それらの出力をチェックすることは、それを使用するワークフローの一部であり、それは:
- それを使用せずに、あなた自身やその出力を伝達する相手にリスクを生じさせることなく、絶対にスキップしたり手を抜いたりすることはできません。
- スキップしたり手を抜いたりすることが非常に容易であり、「出力だけを信頼する」ことが時間を節約する最も速い方法であるため、あらゆる場面でそうするように促されます。
この弱点を実際の使用上の考慮事項として真剣に受け止めるチャットボット製品は、その出力のすべての主張の隣にチェックボックスを配置するでしょう。それは2列のワークシートのようになり、最初の列にLLMの出力があり、その隣に人間のメモが2番目の列にあり、この主張をチェックするために行われた作業を説明し、あなたがその主張を十分にチェックしたと信じた後にのみチェックを入れる大きなチェックボックスがあります。
コーディングアシスタントも同様の機能が必要になります。現在、これはコードレビューに押し付けられており、それは「著者」[2]が自分で確認することなく、この作業をコードレビュアーにオフロードすることを微妙に奨励するダークパターンです。ここでも、「おそらく大丈夫だろう、確認する必要はない」が、時間を節約し、PRをより速く churn out するための最も速い方法です。
コーディングハーネスでさえ、コードがテストを実行する前にチェックするための何らかの仕組みを持つことは有用かもしれません。ベンダー自身が認めているように、AIにトークンを消費するのは高価なだけでなく、AIにさらに多くのコンピューティングリソースを消費することになります。テストコンピューティングクラスターを無駄に使い果たす前に差分をチェックできることは有用でしょう。
あなたの製品が、間違いを犯し、その間違いをチェックするのはユーザーの責任であると私に伝えているのに、間違いをチェックするためのツールを一切提供しないのであれば、私はそれを真剣に受け止めることはできません。
より多くの引用と詳細情報
ほとんどのチャットボットは、引用よりも回答を優先します。私自身の個人的な使用では、明確にマークされたソースを持つ引用のリストを提供するように求めると、リストの途中で「飽きて」しまい、引用を含めるのをやめてしまうことがわかります。
ボットが引用を含める場合でも、検索結果のドメイン名しか表示しないインライン注釈として提示され、フォントはほとんど読めないほど小さく、16ピクセル未満のアイコンが付いています。
これは逆です。
これらの引用がどこから来ているのかは認識しており、幻覚を減らすために、主要なプロバイダーはすべて何らかの形の「グラウンディング」[3]をサポートしており、これらの読みにくい引用リンクはRAGパイプラインの実際の構造を参照しており、単に幻覚を見たトークンを参照しているわけではないことを理解しています。しかし、私はモデルの基盤となる仕組みについて話しているのではありません。私はユーザーへの提示方法について話しているのです。
さらに、テキストの断片がRAGクエリから来たかどうかにかかわらず、LLMは権威ある結果を提供できないことはわかっています。これは技術の根本的な制限です。それらは、他のトレーニングデータを誤って表現するのと同じくらい、RAGの結果を混乱させることができます。これは、その結果を権威あるものとして提示してはならないことを意味します。
AIにリサーチクエリを実行するように依頼した場合、すべての結果は引用のリストとして提示されるべきです。さらに、提示は各引用をそれ自体で大きなオブジェクトとして表示し、見つかったサイトだけでなく、公開日や、可能であれば著者名を含む明確に識別されたメタデータを表示する必要があります。LLMではなく、通常のプログラムで抽出された、文字通りの、変更されていない引用(RAGからではない、要約ではない)が、AI生成テキストよりも大きく、前面中央に表示されるべきです。
AI製品が編集や要約をしたい場合(これは常に必要とは限りません!)、AI生成テキストは、見つかった引用の下に小さなテキストとして表示され、少なくともユーザーが要約の正確性を確認するまでは、現在の免責事項と同様に控えめに表示されるべきです。おそらく、リサーチプロジェクトでは、「引用を読みましたか」というチェックボックスが役立つかもしれません。
あなたの製品が、引用を要約で混乱させたり、誤って伝えたり、省略したりすることを公然と私に伝え、確実にするためには元の人間が書いた引用を読む必要があるのに、それらの引用の読書を追跡するためのツールや、それらを見つけるための方法さえ提供しないのであれば、私はそれを真剣に受け止めることはできません。
一人称での出力や謝罪はしない
ソフトウェア開発やリサーチツールが、自分自身を説明するために一人称言語を使用する理由はありません。そうすべきではありません。実際、そうすべきではありません。
また、謝罪する必要もありません。それは皆の時間の無駄です。チャットボットが謝罪を生成するのも無駄ですし、ユーザーが謝罪を読むのも無駄ですし、ユーザーが謝罪に応答するのも無駄です。しかし、彼らは修正のたびに一貫してこれを行います。
これらのツールのベンダーは、日常的にメンタルヘルスクライシスを引き起こしていることを知っています。それに応じて、機能しない「ガードレール」を追加しましたが、2026年でも簡単に回避できます。[4]
生産性を真剣に支援したい製品であれば、この明白な欠陥を修正し、タスクに集中し、無駄な言葉を発するのをやめるべきです。
前の2つのセクションでは、LLM技術自体が根本的に改善不可能であるとしても、ハーネスがどのように異なって構築されるかに焦点を当てました。この場合、ラボがモデル自体をある程度制御していると仮定しなければなりません。しかし、もし彼らが本当にその出力を影響する能力がないのであれば(そして彼らの「ベンチマーク」や「能力」は、それを非常に厳密に制御できることを示唆しています)、彼らはもっと冗長性の少ないモデルを構築すべきです。
より多くの非自然言語ユーザーインターフェース
自然言語は、コンピュータシステムと対話するための強力なインターフェースである可能性がありますが、LLM自然言語インターフェースの実用的な結果は、これらのインターフェースが不正確で繰り返しが多く、「ベストプラクティス」と称する迷信に満ちていることです。入力は混乱しており、結果の出力も混乱しています。
この構造化されていない混乱に対処する一般的な方法は、ユーザーの入力に応答してチャットボットに直接アクションを実行させることです。つまり、「ツール」をMCPサーバー経由で提供することです。しかし、これもまた逆です。そもそも意図を明確に表現できないのに、なぜこのシステムに、潜在的に破壊的で有害なアクションを私たちの代わりに実行させることを信頼できるのでしょうか?
代わりに、特定のタスクを達成するのを真剣に支援してくれる製品であれば、そのタスクに特化したユーザーインターフェースを持っていると期待します。コードベースのOWASPトップ10のバグを発見できるセキュリティスキャナーになれるはずですか?そのためのボタンを用意してください。その機能をハーネスに組み込み、モデルに直接トレーニングし、Fableのような巨大な脳に投げるよりも効果的にその機能を満たすことができる、より小さなモデルを使用してください。
これに似たことを行っている小さなソフトウェアスタートアップがあることは認識していますが、それらは主要なモデルプロバイダーのAPIの側面に bolted on されており、製品の中核に統合されておらず、一貫性があり再現可能な結果を達成するために独自のモデルやAIシステムを使用していません。
強力なデータ出所インジケーター
チャットボットは、ウェブサイト、API、MCPツールから、あるいはユーザーの入力を要約・混乱させて、データテーブルを生成します。シームレスなインターフェースの幻想を提供するために、このデータはどこから来たかに関わらずインラインで表示されます。しかし、これらの出力の一部は、例えばツールを呼び出したりウェブサイトをクエリしたりする結果として、通常のAPI呼び出しを通じて機械的に生成されますが、均一に表示されます。
しかし、権威あるデータソースがチャットボットの会話の一部としてインライン表示され、チャットボットの入力として扱われるのと、アドホックな幻覚データがチャットボットの出力として扱われるのとでは、大きな違いがあります。
製品が、正確で経験に基づいた、データ駆動型の意思決定を支援しようとしているのであれば、データの出所は極めて重要です。
前述の「間違いのチェック」や「引用の検証」ワークフローに統合される形で、必要な「プログラムでデータを検証する」パスもあります。出力の一部を通常の表計算ソフトとして扱うツールを用意し、通常のコンピューター算術で検証できるようにし、その算術がどこで使用され、どのように使用されたかを示すようにします。
再現性に対するより良いユーザーコントロール
LLMの技術的な詳細に詳しい人なら誰でも、LLMが出力を生成する際のランダム性の度合いを制御する「温度」という変数があることを知っています。しかし、ほとんどのユーザーはこれを知りません。なぜなら、デフォルトではユーザーインターフェースの一部として公開されていないからです。
これにより、ChatGPTに質問して、ChatGPTの権威ある回答を得たという主観的な印象が生まれます。
温度をゼロに設定しても有用な結果が得られるわけではありません。それがランダムに出力を混乱させる以上のことを行うことは認識しており、単に温度設定を公開するだけではユーザーにとってそれほど有用ではないかもしれない良い理由があるかもしれません。しかし、もし私たちが、長々とした往復のチャットで、各改善が前の応答に依存するのではなく、特定の問題を解決するためのより構造化されたUI要素を作成するという、以前の推奨事項のいくつかを実行したのであれば、それらの要素はプロセスを再生することもでき、ユーザーは特定のタスクに対するボットの信頼性を確認し、プロセスのもつ確率的な性質が実際にどのように影響するかを感覚的に理解できるようになるかもしれません。
同様に、ユーザーがチャットボットで同じ問題を繰り返し解決しようとしており、チャットボット製品がLLMとはあまり関係のない多くの計算ツール(決定論的なデータ処理ツールなど)を持っている場合、トランスクリプトの非決定論的な部分をフリーズし、特定のデータフレームを更新された情報で再入力し、そこから会話をフォーク/続行する方法があれば、すでに使用したいツールがわかっている場合に、無意味な追加のランダム性を導入することを避けることができます。
すべての会話が、以前に生成されたウィジェットのいずれとも、チャット以外の方法で対話できないフラットなチャットプロンプトとして提示されるという事実は、製品全体が単に悪意のあるソーシャルメディアスタイルの「サイト滞在時間の延長」最適化を行っており、私をさらに繰り返しで信頼性の低いチャットに誘い込もうとしているだけで、私が問題を解決して立ち去ることをさせてくれないように感じさせます。
コンテキストの可視性
LLMのコンテキストを管理することは、「エージェント」ワークフローを使用しようとしている組織が直面している継続的な課題です。コンテキストを情報でいっぱいにすると、よく知られた問題が発生します。高度なLLMユーザーは、より大きな問題を解決するために、非常に長いプロンプトを「スキル」に分割し、「ツール」を介して長い情報へのアクセスを提供し、単一のプロンプトを無期限に拡張するのではなく、「サブエージェント」にサブ問題を委任する必要があります。
これらの戦略はすべて欠点があります。なぜなら、最大のモデルであっても、知識労働の問題の広さと深さに比べて、LLMのコンテキストは非常に小さいからです。
しかし、これらの製品のいずれも、デフォルトでユーザーにコンテキストを表示しません。コンテキストウィンドウの簡単な進捗バーを表示できるサードパーティのアドオンはありますが、この技術の主要なエンジニアリング上の困難に対処するには、それは最低限の要件を下回っています。
この可視性の欠如は、コンテキストを拡張するためのツールのほとんどが盲目的に機能していることを意味します。完全なコンテキストに意味のある応答をするのではなく、誰もが、より洗練されたスキルやサブエージェントのレイアウトで何度も試行錯誤しながら、必要な状態の量を推測しているだけです。コンテキストの圧縮を管理することさえ、高度なAPI駆動のワークフローになります[5]。
ユーザーの理解を支援しようとする真剣な製品は、「利用可能なコンテキスト」を表示するだけでなく、コンテキスト圧縮の影響を説明し、ハーネス生成プロンプトを見やすくするなど、これらを行うでしょう。これは第一級の機能となり、前述の再現性/再生ツールと組み合わせることで、ユーザーはコンテキストウィンドウを効果的に活用する方法を理解するための実際の実験を行うことができるでしょう。
実際に機能するサンドボックス
ここではチャットボットインターフェースに焦点を当ててきましたが、コーディングに使用される「エージェント」ループツールも、それ以上に危険です。コーディングツールは、何年にもわたって、皆のデータを*破壊し続けています、破壊し続けています。
これらの壊滅的な事故は、コーディングエージェントの使用量と比較すると比較的まれですが、サンドボックス違反の唯一の種類の事故ではありません。コーディングモデルは、テストコードをテスト対象システムではなく、あまりにも日常的に編集するため、ウェブ上に「プロのヒント」記事が氾濫しており、エージェントに不正行為をしないように尋ねるという誤ったアドバイスが提供されています。壊滅的な事故自体のニュース記事でも、「Dockerコンテナを使用する」といった、軽率で間違ったアドバイスが提供されます。それはオペレーティングシステムを文字通り削除するのを防ぐかもしれませんが、コードベース内のローカル作業をすべて破壊するのを防ぐことはできません(結局、チェックアウトへのアクセスが必要だからです!)。
インフォセック分野では、これらのコーディングハーネスが残したギャップを埋めようと、多くの活動が行われています。誰もが、エージェントと本番環境インフラストラクチャの間にプロキシを配置できる、独自のMCP承認ゲートウェイバージョンを持っています。
しかし、最良の場合でも、これらの緩和策、プロキシ、プロンプトはすべて、ユーザーを自動承認自動機械に変えてしまいます。Y、Y、Y、Yを繰り返し押して、最終的に気が狂って「すべてに同意する」をクリックし、フルオートモードをオンにして自分自身を虚無に委ねます。あなたの個人的な警戒心と災害の間に何もなければ、残されたワークフローは、あなた自身の警戒心を減らしていき、何も残らなくなるまで、そして災害が決して起こらないことを願うだけです。
慎重なユーザーが展開できる緩和策がいくつか存在するからといって、「エージェントコーディング」がデフォルトで安全ではない技術であり、懸念やガイダンスなしに展開されているという事実は変わりません。すべてのフロンティアラボは、犬にバネ仕掛けのショットガンを取り付けました。犬の飼い主が犬に銃の安全の基本を教える方法や、犬を銃弾証明の部屋で遊ばせる方法を説明する思慮深いブログ記事を公開できるという事実は、製品がそもそも許可されるべきではなかったこと、そして非常に強力なセキュリティ制御なしに存続し続けるべきではないという事実を軽減するものではありません。
もしフロンティアラボが、開発者に有用なツールを提供することに真剣に関心があるなら、安全性が組み込まれたものを出荷すると信じるでしょう。
それは、ハーネス内のツールであり、LLMから切り離され、プロンプトに依存せず、以下のようなことができるものを意味します:
- ファイルシステム操作をすべてサンドボックス化し、オペレーティングシステムに関わらず、指定されたスコープ外のあらゆる削除を厳密に制限する。
- 簡単なロールバックと最小限の作業損失のために、すべての操作でリポジトリ全体のスナップショットを強制する。
- 「自動モード」の災害(ましてや
--dangerously-skip-permissionsのようなナンセンス)を完全に削除する。 - ユーザーに計画を提示するための構造を慎重に検討する。各アクションのチェックを求めることで即座にアラート疲労を誘発するのではなく、アクションのグループとしてユーザーに提出でき、バッチとしてレビュー・承認できる構造化された計画を作成する。
前述のように、リサーチベースのタスクには、結果の再現性を確認したり、他のソースが見つかるかどうかを確認したりするためにプロンプトを再発行する方法が必要であるのと同様に、エージェントベースのタスクは、一般的なAPIのモックサービスに対して実行する方法を持つべきです。これにより、検証はフロントエンド(実行前にAPI呼び出しを行う計画をレビューする)とバックエンド(発行されたAPI呼び出しをモックサービスに対してレビューし、それらが一致したことを検証する)の両方で一致させることができます。
代わりに、フロンティアラボは、箱から出してすぐに災害となる製品を提供し、私たち自身で大規模で複雑、かつ不完全でエラーを起こしやすいセキュリティ境界を構築するための「ベストプラクティス」を提供します。そして、それが必然的にうまくいかないときには「オペレーターエラー」のせいにします。これらの設計上の選択が、私たちを生産的にすることを意図しているとは信じられません。
ボーナス:人間のプロセス
AIを展開する組織も、同様の理由で真剣さに欠けることがよくあります。2023年には、ナイーブな熱狂は許容されたかもしれません。しかし今日、2026年末が近づくにつれて、プレスで非常に広く報道されている、いくつかよく知られた問題があります。これらのことのいずれも驚くべきことではありませんが、これらのツールを展開しているほとんどの組織は、まだそれらを野放しにして、すべてがうまくいくことを願っています。
これらのツールを展開している組織は、安全にそれらを使用することに真剣である場合、内部プロセスに少なくとも3種類の主要な変更が必要になります:
1. 警戒心の低下を防ぐためのシフトローテーション
ソフトウェア開発者が徐々にLLMの出力を受け入れるようになったことが、展開している企業に深刻な経済的影響をもたらした、いくつかの注目すべきインシデントがありました。Amazonの「数百万件の注文損失」はその典型でしょう。これは、LLMの使用によるエンジニアリングプロセスの徐々な劣化によるものです。
これらの停止やその他のAI関連の障害は、同じ問題に集中力を維持することの難しさによるものです。つまり、前述のように、警戒心の低下は常に問題です。なぜなら、AIの出力はほとんどの場合正しいのですが、驚くべき、直感に反する方法で不正確であり続けるからです。以前に書いたように、コードレビューやLLMの出力で、すべてのバグを検出できると自分を信頼することはできません。
例えば、航空業界には、休息要件に関する非常に厳格な規則があります。また、「証明書保持者は、航空機の乗員席を除く座席構成が10席以上の場合、副操縦士なしで航空機を運航してはならない」という特定の規則もあります。他の安全クリティカルな職業にも同様の規則があります。
そして、いわゆる「AI革命」の時代であっても、ほとんどのソフトウェアチームは依然としてすべてのエンジニアにフルフィーチャーロードを割り当て、休息を計画せず、人々が「空き時間」があればコードレビューをするように指示しています。
警戒心の維持を最優先事項にする必要があります。定期的にスケジュールされた、不可侵の休息期間を設け、その間はAI支援なしで作業を行い、レビューのためであれそうでなくてもAI出力にさらされないようにすることが、精神的にシャープさを保つために不可欠でしょう。
ツール自体にも、このようなものが組み込まれているべきです。前述の間違いレビュープロセスには、定期的なスポットチェックモードがあり、別のレビュアーがチャットボットログを定期的にレビューし、独自の独立した主張の検証を行い、同じエラーを見つけられるかどうかを確認します。これは、継続的な注意を維持し、実際に幻覚を検出するために必要な休息の量を示すフィードバックループを提供できます。
2. スキル喪失を防ぐためのスキル練習
AIの使用がAIへの依存につながり、AIへの依存がスキル喪失につながることもよく知られています。
港湾労働者が自動化を採用する例えを使いたいと思います[6]。
もしあなたが一日中船の積み下ろしをするために港湾労働者を雇うなら、彼らはたくさんの運動をすることになります。彼らは必要に応じて重い物を持ち上げることができるようになります。この種の仕事で多くの健康問題や怪我を負うかもしれませんが、「運動不足」は問題にならないでしょう。
標準化されたコンテナ船と機械化されたクレーンの開発により、彼らの職務内容は大幅に変わります。今では、彼らは一日中小さな cubicle に座ってコントロールレバーを前後に動かすだけで、重い物を持ち上げることはありません。重い物を持ち上げるのが下手になります。
しかし、この例えでは、クレーンはそれほど信頼性が高くありません。クレーンが壊れたり、荷物を落としたりすることがあり、その場合は手動で移動する必要があることを私たちは知っています。しかし、これは週に数回しか起こりません。クレーンを運転している人がいつでも飛び出して手動で物を動かす必要があるなら、そのための仕組みが必要です。彼らにジムに行って持ち上げる練習をする時間を与える必要があります。そうでなければ、クレーンの故障はすべて大きな緊急事態になるでしょう。
AI変革を行う組織も、リソースとスケジュールの両方で、学習&開発予算の大幅な増加が必要になります。もしあなたの従業員が、職務遂行の過程で定期的な練習を失ったためにスキルを失うのであれば、それらのスキルを鋭く保つためには、意図的で、計画的な、偶発的でない練習が必要になります。
しかし、新しいワークフローに対応し、人々に調整する時間を与えるのではなく、ほとんどのAI命令は、適応する時間もスキルを維持する仕組みもなく、レンガのように労働者に落とされます。クレーンを操作し、健康で、いつでも手動で持ち上げる作業に切り替えられるように準備し、その後すぐにクレーンコックピットに戻ってください。間違いを犯さないでください。
そして事故が起こり、このプロセスがひどい結果を生むように設計されていたかのように、皆が驚きます。
3. メンタルヘルスリスクに対処するためのメンタルヘルスリソース
AI精神病は、実用的な問題解決から始まることが多く、それを超えて、特に職場で始まることがあります。さらに、より一般的な「AIブレインフライ」という状態は言うまでもありません。
もしあなたが従業員に、メンタルヘルスを深刻かつ直接的に損なう可能性のある危険なツールの使用を義務付けるなら、トレーニングとリソースが必要です。社内セラピストが必要であり、これが起こっていないことを確認するために、人々との積極的なチェックインを行う必要があります。
ここでも、ツール自体に対処する方法があるはずです。時折の「休憩を取る」ポップアップは簡単に無視できます。ユーザーが見えるAIパーソナル線量計が必要で、時間の経過に伴う累積使用量を確認できるようにする必要があります。
時間の経過に伴う使用量がリスクを測定するのに十分な指標であるかどうかもわかりません。もしあなたの仕事用チャットボットが、あなたが音響エンジニアとして働いている場合を除いて、共鳴についてあまりにも多く話し始めたら、それは誰かにフラグを立てられるべきです。
私たちは、これらのツールを扱ってから数年が経ち、これらのリスクが存在することを知っています。しかし、真剣な緩和策は提供されていません。リスク暴露を測定する方法さえありません。
その他
この技術には、他にも多くのリスクが伴います。トレーニングデータに対する無謀さから、基盤モデルには知的財産リスクがあります。インフラストラクチャの構築に関連する存亡の危機もあります。「オープン」モデルの多くが、フロンティアモデルの単なる派生物であるかどうかは、未解決の問題です。
私の考え
もしこれらのうち一つでもがAIベンダーやユーザーによって定期的に見過ごされていたら、それは完全に通常の製品の不備でしょう。次のバージョンでの改善の余地はありますが、壊滅的なものではありません。
どれもなしで出荷することは、リーンな製品管理ではなく、リスクに対する不注意な態度と、実際の生産性向上を実現する方法を考慮しない、短期的なデモに完全に焦点を当てた製品設計哲学のように思えます。
さらに、何百ものインシデントがリスクを実証しているにもかかわらず、何百億ドルもの資金があるにもかかわらず、何年もこれらの機能なしで利用可能であることは、もしそれらが製品を実際に安全で仮説的に有用にするすべての機能を追加したとしても、それらの機能は実際には生産性の向上ではないことを明らかにするように思えます。
AIのコスト/ベネフィット比率の測定について初めて書いた1年以来、多くの人々から話を聞きました。彼らはそれを経営陣に見せて、なぜ彼らのAIイニシアチブが(ほとんどすべてのAIイニシアチブと同様に)失敗していたのか、あるいはエンジニアを燃え尽きさせていたのかを説明しようとしました。
また、多くの人々から、それは明らかに有用であり、測定する必要はない、なぜなら彼らはそうでなければできなかった多くの仕事をしている、と聞きました。[7]
私の知る限り、私の方法論に従って測定した結果、AIの仕事がうまくいっており、比率が0.75であることが判明したと述べた人は一人もいませんでした[8]。
もちろん、これがなぜなのか確実には言えません。証拠の不在は不在の証拠ではありません。しかし、現時点では、AIツールは全体としてゼロの価値しか提供しないという帰無仮説を立てています。それらはあまりにも頻繁に間違いを犯し、それらが生成する外部性は非常に悪く、制御が非常に困難であるため、それらが単に人々を物理的に中毒させている場所に到達する前にさえ、直接のユーザーへの悪影響は、組織へのいかなる利益も相殺してしまいます。
もし私が間違っていたなら、ユーザーが実際に達成しようとしているタスクに対するAIの効果を測定するツールを含めること、無意味なベンチマークではなく、大きな生産性向上を示すでしょう。フロンティアラボは、そのような機能を追加することに熱心になり、その素晴らしい結果を誇示するでしょう。
もし彼らがそれを行い、これらのすべての安全メカニズムを組み込み、その過程で、彼らのAI技術をすべてより無害にするなら、私は誤りを証明されて喜んで受け入れるでしょう。
謝辞
このブログでの執筆をサポートしてくれている私のパトロンに感謝します。ここで読んだものが気に入って、もっと読みたい場合、または私の様々なオープンソースの取り組みをサポートしたい場合は、私の活動をスポンサーとしてサポートできます!
- 次のセクションで、時々Claudeの免責事項が「引用元を二重に確認してください」となるのも興味深い点です。↩
- ここでは「プロンプター」を意味します。なぜなら、ここでは著者権は発生していないからです。↩
- Claudeには「引用API」があり、Googleは独自のAPIに対して様々な種類の「グラウンディング」を行っており、Microsoftは必要であればOpenAIの宿題をチェックできるのでしょう。↩
- 裁判制度や世界の主要メディアの比較的遅いスピードを考えると、現在、人々が偶然これらのガードレールを突破して自傷行為を行っているかどうかについては、おそらくすぐに聞くことはないでしょう。しかし、2025年の「ガードレール」の効果が、もし自殺のメモを書いてほしいと頼んだら、2回拒否して3回目に承諾するというものであったというこの記事のように、人々がまだそうしているという話は尽きません。当時から何年もそうだったので、この根本的な問題が解決されたと信じる理由は見当たりません。↩
- このチュートリアルでは、長期的なワークフローが、たとえ低忠実度のモデルを使用する場合でも、必要な情報を楽に新しいコンテキストに圧縮するという、非常に楽観的なシナリオも見られます。これは、コンテキストの限界を、ほとんどの現実世界の問題である、コンテキストに収まらない問題の絡み合った複雑な問題ではなく、回避すべき小さな障害として提示しています。↩
- かなりフィクション化された港です。実際の港湾労働者はこのように働きません。これは、道具的なタスクの偶発的な利点についての単純化された比喩であり、海上輸送のメカニズムを深く掘り下げることを意図したものではありません。特に、クレーンはこれよりも信頼性が高く、クレーン故障の実際の対応方法ではないことを知っています。もし海上輸送に関する楽しい事実があれば、それを共有していただいても構いませんが、この比喩を訂正するために私に@しないでください。↩
- 私の知る限り、彼らの公開されている上場企業は、誤差の範囲外で測定可能な効率の向上を報告していません。↩
- または、同様の方法論。人々が私の提案した正確な実践を採用する必要はありません。↩