AI・機械学習
監査人の意見
The Auditor's Opinion (cringely.com)
要約
安価なAIエージェントがウェブサイトを構築し、その過程で自身の生成した情報の誤りを検出・修正した事例が報告されました。これはAIの「幻覚」問題が構造的に解決されたことを示唆しますが、筆者はこの事象から「検証」の価値が低下するのではなく、その「証明」の価値が飛躍的に高まるという結論を導き出しています。過去の会計監査や格付け機関の例を挙げ、普遍的な能力のコモディティ化は、独立した第三者による証明の価値を高めるという歴史的パターンを指摘しています。
全文翻訳
先週、安価なAIエージェントの群れが、より賢いエージェントの指示を受けて動作し、ウェブサイトを再構築したという話がありました。その費用は約8ドルでした。しかし、私のインターネットの片隅を照らしたのはウェブサイトそのものではありませんでした。それは、エージェントたちが自らの嘘を捉えたことでした。
あるエージェントがサイトの引用を数百件収集し、全てが検証済み、チェック済み、本物だと報告しました。しかし、最初のエージェントの仕事を無視してゼロからやり直すよう指示されていた、疑り深い別のエージェントが、各引用を実際のソースと比較しました。12件以上が間違っていました。捏造されていたのです。実際の断片から、誰も言ったことのない文章に縫い合わされていました。チェッカーがそれをフラグ付けし、返送し、修正されました。人間は一切関与していません。追加費用は、端数処理で済む程度でした。
反応は予想通りでした。「幻覚」は解決された。構造的に処理された。それは単なるレシピであり、誰でもできる。そして、私がコーヒーを置いたのはこの点です。彼らは正しいのです。それが興味深い部分です。彼らは完全に、検証可能に正しいのですが、正しいことから全く逆の結論を導き出しています。
私が last week に実際に何が起こったと思うかお話ししましょう。そして、あなたがまだその赤子の手をひねるような議論を試みていないのであれば、自分が間違っていることを証明するために数百語を費やしましょう。
一言で言えば、私の論文はこうです。
誰もがチェックできるようになったとき、「チェックしました」は何も意味しなくなり、価値は消えるのではなく、それを証明できる者へと移動する。
それだけです。それが議論の全てです。安価で普遍的な自己チェックは、検証を無価値にするわけではありません。それは検証を無価値にし、検証の証明をこれまで以上に価値あるものにするのです。それらは異なる2つの商品であり、私たちは今後数年間、それらを混同することになるでしょう。
私はそれを知っています。なぜなら、私たちはこの全く同じ実験を以前にも何度も行ったからです。いつも同じように終わり、8ドルのウェブサイトの人々が考えるような終わり方をしたことは一度もありません。
私たちは以前にもこれを経験したことがあります。
かつて、企業の帳簿は企業が言う通りでした。企業が健全かどうかを知りたいなら、企業に尋ね、企業は素晴らしいと答えていました。これは想像できる限りうまく機能しました。ヴィクトリア朝イングランドは鉄道株と、定期的に虚偽であることが判明した株式会社で成り立っていました。アメリカは1929年にそのジャンルを極めました。
今や、誰でも元帳を合計できました。算術は希少な資源ではありませんでした。複式簿記は、1494年にフランシスコ会修道士が書き留めて以来、印刷物として存在していました。数字をチェックする能力は安価で普遍的であり、4世紀にわたってそうでした。そしてそれは何の意味も持ちませんでした。なぜなら、計算する当事者は、合計から得られるものが全てである当事者だったからです。
そこで市場は一つのものを発明しました。新しい算術ではなく、署名付きの新しい算術です。あなたのために働いていない誰かによって行われた独立した監査であり、その人が自分の名前と責任を、あなたの帳簿が主張通りであることを示す意見に署名しました。
1933年と1934年の後、私たちは株式を一般に販売したい全ての企業に対してそれを法律としました。そして、価値に奇妙なことが起こりました。監査意見の署名が、その下の数字よりも価値を持つようになったのです。数字は無料でした。誰もが数字を持っていました。お金がかかったのは、そして今でも莫大な費用がかかるのは、その数字が真実であるという、独立した、説明責任のある、証明可能な証明でした。
これは一度きりのことではありません。それは商業の歴史の中で最も信頼できるパターンであり、一度それを見れば、見えなくなることはありません。
ジョン・ムーディーはどの鉄道債が安全か判断できませんでしたし、他の誰もできませんでした。そこで1909年、彼は格付けを発表し始めました。信頼できる外部からの評価です。そして、彼が格付けした全ての鉄道よりも長く存続する機関を築き上げました。誰でも貸借対照表を読むことができました。しかし、あなたができなかったのは、保証することでした。
1894年までにアメリカの都市は電化され、静かに燃え尽きていました。そこで若い電気検査官が、機器をテストし、安全なものに丸付きのULマークを付けるための研究所を設立しました。誰でもランプを配線できました。しかし、あなたができなかったのは、神経質な保険会社に、それが誰かを殺さないことを約束することでした。
さらに遡ると、公証人がいます。2000年間、その仕事は、あなたが署名するのを見て、あなたが署名したことを誓う、信頼できる第三者であることでした。
さらに進むと、ブラウザの小さな南京錠があります。これは、あなたが聞いたこともない証明書発行機関が、ウェブサイトが主張通りであることを証明したから存在します。誰でもウェブページを作成できます。しかし、自分で立って、それが罠ではないことを証明することはできません。
パターンは、毎回4つのビートで現れます。
1. 能力が安価で普遍的になる。
2. 自己証明は、安価で普遍的であるため無価値になる。
3. 信頼できる独立した第三者がそのギャップを埋める。
4. 証明は、証明されるものよりも価値が高くなる。
計算機はゼロになる。監査は産業になる。
私たちは今、人工知能のビート1にいます。AIの仕事をチェックする能力は、私たちの目の前で安価で普遍的なものになりつつあります。8ドル、午後、レシピです。これは、歴史が何らかの指針となるならば、証明がゲーム全体になろうとしているまさにその閾値に立っていることを意味します。
では、壊してみましょう。
私はこのような整然とした議論を信用しませんし、あなたも信用すべきではありません。歴史が韻を踏むことは、歴史が繰り返されることではありません。「信頼できる第三者が常に勝つ」というのは、知恵のように聞こえ、星占いのように振る舞うようなものです。そこで、この時間が本当に異なる可能性がある3つの方法を挙げます。私はそれらを真剣に受け止めています。あなたもそうすべきです。
1. コモディティ化が徹底的に進むかもしれない。
AI検証が非常に安価になり、組み込まれ、環境に溶け込み、第三者が支払う価値のあるスライスを切り出すことができなくなるかもしれません。チェックはスペルチェックのようになり、どこにでもあり、無料で、誰もビジネスモデルを持たなくなるでしょう。それは現実的な可能性であり、最も強力な反論です。なぜなら、8ドルのデモは、初日の完全なコモディティ化がまさにどのように見えるかを示しているからです。
2. プラットフォームが独自の監査人になるかもしれない。
最大のAI企業は愚かではありません。彼らはチェックを自社製品に組み込み、「検証済み」とスタンプを押すことができます。市場は、既存の企業が無料で、統合された、文句を言う相手が一人で済むものを提供しているのに、なぜ独立した企業に支払う必要があるでしょうか? おそらく、証明者と証明されるものが融合し、独立した第三者は全く生まれないでしょう。
3. 規制がそれを平坦化するかもしれない。
政府は単にチェックリストを義務付けるかもしれません。「検証せよ」という命令を下し、それを全てのベンダーがチェックするコンプライアンスボックスに変え、全てを書類仕事に還元するのです。プレミアムもなく、制度もなく、誰も読まないフォームの別の行になるだけです。
それらは良い反論です。もし私がテーブルの向かいに座って、私に穴を突こうとしていたなら、それら3つを使ったでしょう。逆順に答えていきましょう。なぜなら、進むにつれて答えやすくなるからです。
規制が市場を平坦化するという考えは全く逆であり、その証拠があります。エンロン事件の後、議会がサーベンス・オクスリー法を可決したとき、それは監査をコモディティ化されたチェックボックスに変えませんでした。それは会計業界の歴史上最大の雇用ブームを引き起こしました。検証を義務付けることは、検証者を殺すのではなく、市場全体を検証者を必要とするように徴兵するのです。「証明しなければならない」という規則は、証明できる者に対して永続的で価格に無関心な需要を生み出す規則です。規制は監査人の最良の友であり、常にそうでした。
プラットフォームが独自の監査人になるという反論は、最も強力に感じられ、実際には最も弱いものです。なぜなら、それはエディフィスの全体が構築されている単一の単語、つまり「独立性」に失敗するからです。あなたは自分自身を監査することはできません。それは技術的な制限ではなく、論理的な制限であり、世界の全ての規制産業はそれを骨の髄まで知っています。銀行の規制当局は受け入れないでしょう。