HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

監査人の意見

The Auditor's Opinion (cringely.com)

18 pointsby colinprince13 コメント

要約

安価なAIエージェントがウェブサイトを構築し、その過程で自身の生成した情報の誤りを検出・修正した事例が報告されました。これはAIの「幻覚」問題が構造的に解決されたことを示唆しますが、筆者はこの事象から「検証」の価値が低下するのではなく、その「証明」の価値が飛躍的に高まるという結論を導き出しています。過去の会計監査や格付け機関の例を挙げ、普遍的な能力のコモディティ化は、独立した第三者による証明の価値を高めるという歴史的パターンを指摘しています。

全文翻訳

監査人の意見

先週、安価なAIエージェントの群れと、それを指揮するより賢いエージェントを使って動作するウェブサイトが再構築された。その費用は約8ドル――サンドイッチとコーヒー代程度だった。しかし、私のインターネットの片隅を照らしたのはウェブサイトそのものではなかった。それは、エージェントたちが自らの嘘を自ら見破ったことだ。

エージェントの一つが、ウェブサイトのために数百の引用文を収集し、そのすべてが検証済みで、チェック済みで、完璧だと報告した。別のエージェント――最初のものの宿題を無視してゼロからやり直すよう指示されていた、疑り深い小さなもの――が、各引用文を実際のソースと比較した。1ダース以上が間違っていた。捏造されていた。実際の断片を、誰も言ったことのない文章に縫い合わせていた。チェッカーがそれをフラグ付けし、送り返し、修正された。人間は一切関わっていない。追加費用は、端数処理レベルの微々たるものだった。

反応は予想通りだった。「幻覚は解決された」「構造的に対処された」「これは単なるレシピだ――誰でもできる」

そして、私がコーヒーを置いたのは、彼らが正しいからだ。それが面白い部分だ。彼らは完全に、検証可能に正しい。そして、正しいことから、まったく間違った結論を導き出している。

先週実際に何が起こったのか、私自身の考えを話そう。そして、まだ生まれたての論文を自分で絞め殺そうとしない限り、印刷する価値はないので、数百語を費やして私が間違っていることを証明しよう。

論文、一文で言うと

誰もがチェックできるようになったとき、「チェックしました」は何の意味も持たなくなる――そして価値は消えるのではなく、それを証明できる者へと移っていく。

これだけだ。これが全議論だ。安価で普遍的な自己チェックは、検証を無価値にするのではない。それは検証を無価値にすると同時に、検証の証明をこれまで以上に価値あるものにする。これらは二つの異なる商品であり、私たちは今後数年間、それらを混同して過ごすことになる。

私はこれを、以前に全く同じ実験を何度も行ってきたから知っている。いつも同じように終わり、8ドルウェブサイトの人々が考えているような終わり方をしたことは一度もない。

私たちはこれを以前にもやったことがある

かつて、会社の帳簿は会社が言う通りだった。ある企業が健全かどうか知りたければ、その企業に尋ね、企業は素晴らしいと答えた。これは想像通りの効果しか持たなかった。ヴィクトリア朝イングランドは鉄道株と、定期的に虚偽であることが判明する株式会社で成り立っていた。アメリカは1929年にそのジャンルを極めた。

今や――誰もが元帳を足し算できる。算術は希少な資源ではなかった。複式簿記は、1494年にフランシスコ会修道士が書き留めて以来、印刷物として存在していた。数字をチェックする能力は安価で普遍的であり、4世紀にわたってそうだった。そしてそれは何の意味も持たなかった。なぜなら、足し算をする当事者こそが、合計から最も得をする当事者だったからだ。

そこで市場は一つのものを発明した。新しい算術ではなく――「署名付き」新しい算術だ。あなたのために働いていない独立した監査人が、あなたの帳簿が主張通りのものであるという意見に、自分の名前と責任を記した。1933年と1934年の後、私たちはそれを公に株式を販売したいすべての企業にとって法律にした。そして奇妙なことが起こった。監査人の意見の署名の価値が、その下の数字よりも高くなったのだ。数字は無料だった。誰もが数字を持っていた。お金がかかった――そして今でも莫大なお金がかかる――のは、数字が真実であるという独立した、説明責任のある、証明可能な証明だった。

これは一度きりのことではない。それは商業史における最も信頼できるパターンであり、一度見たら見ずにはいられなくなる。

ジョン・ムーディはどの鉄道債が安全か判断できなかったし、他の誰もできなかった。そこで1909年、彼は格付けを発表し始めた――信頼できる部外者からの成績表――そして彼が格付けしたすべての鉄道よりも長く存続する機関を築いた。誰でも貸借対照表を読むことができた。しかし、あなたができなかったのは、証明することだった。

1894年までにアメリカの都市は電化され、静かに燃え尽きていた。そこで若い電気検査官が、機器をテストし、安全なものに丸付きのULマークを付けるための研究所を設立した。誰でもランプを配線できた。しかし、神経質な保険会社に、それが誰かを殺さないと約束することはできなかった。

さらに遡ると、公証人がいる。2000年間、その唯一の仕事は、あなたが署名するのを見て、あなたが署名したことを誓う、信頼できる第三者であることだった。さらに進むと、ブラウザの小さな南京錠がある。これは、あなたが聞いたこともない証明機関が、ウェブサイトが主張通りのものであることを証明したから存在する。誰でもウェブページを作成できる。しかし、自分でそこに立って、それが罠ではないことを証明することはできない。

パターンは、毎回4つのビートで現れる:能力が安価で普遍的になる;自己証明は、安価で普遍的であるため無価値になる;信頼できる独立した第三者がそのギャップを埋める;そして、証明されるものよりも証明そのものの価値が高くなる。電卓の価値はゼロになる。監査は産業になる。

私たちは今、人工知能においてビート1にいる。AIの仕事をチェックする能力は、私たちの目の前で安価で普遍的になりつつある――8ドル、午後、レシピ。これは、歴史が何らかの指針となるならば、証明がすべてを決定するゲームになろうとしているまさにその閾値に立っていることを意味する。

さあ、壊してみよう

私はこのような整然とした議論を信用しないし、あなたも信用すべきではない。歴史が韻を踏むことは、歴史が繰り返されることではない。「信頼できる第三者が常に勝つ」というのは、賢明に聞こえるが、星占いのようになるものだ。だから、この時間が本当に違うかもしれない3つの方法を考えてみよう。私はそれらを真剣に受け止めている。あなたもそうすべきだ。

一つ目:すべてがコモディティ化するかもしれない。 AI検証が非常に安価になり、組み込まれ、あまりにも「アンビエント(遍在)」になり、配管に溶け込んでしまい、第三者が支払う価値のあるスライスを切り出すことができなくなるかもしれない。チェックはスペルチェックのようになる――どこにでもあり、無料、そして誰もビジネスモデルにならない。それは現実的な可能性であり、最も強力な反論だ。なぜなら、8ドルのデモは、初日に完全なコモディティ化がどのように見えるかそのものだからだ。

二つ目:プラットフォームが自らを監査するようになるかもしれない。 最大のAI企業は愚かではない。彼らはチェック機能を自社製品に組み込み、「検証済み」と自社製品にスタンプを押すことができる。市場は、インテンカント(既存企業)がそれを無料で、統合された形で、一つの責任の所在で提供するのに、なぜ独立した監査人に支払うだろうか?おそらく、証明者と証明されるものが融合し、独立した第三者は全く誕生しないのかもしれない。

三つ目:規制がそれを平坦化するかもしれない。 政府は単にチェックリストを義務付けるかもしれない――「汝、検証せよ」――それをすべてのベンダーがチェックするコンプライアンスボックスに変え、すべてを書類仕事に還元する。プレミアムもなく、制度もなく、誰も読まないフォームの別の行になるだけだ。

これらは良い反論だ。もし私がテーブルの向かいに座って、私に穴を開けようとしていたら、これら3つを使うだろう。逆順に答えていこう。なぜなら、進むにつれて答えやすくなるからだ。

市場を平坦化する規制は、まさに逆であり、その証拠がある。エンロン事件の後、議会がサーベンス・オクスリー法を可決したとき、それは監査をコモディティ化されたチェックボックスに変えなかった。それは会計専門職の歴史における最大の雇用ブームを引き起こした。検証を義務付けることは、検証者を殺すのではなく、市場全体を検証者を必要とするように徴兵するのだ。「証明しなければならない」という規則は、証明できる者に対して永続的で価格に無関心な需要を生み出す規則だ。規制は監査人の最良の友であり、常にそうだった。

プラットフォームが自らを監査するという反論は、最も強力に感じられるが、実際には最も弱い。なぜなら、それはエディフィス(構造物)全体が構築されている単一の単語――独立性――に失敗するからだ。あなたは自分自身を監査することはできない。それは技術的な限界ではなく、論理的な限界であり、世界のすべての規制産業はそれを骨の髄まで知っている。銀行の規制当局は「我々のベンダーは自社の仕事をチェックした」とは受け入れない。裁判所は「声明を出した会社がそれを証明した」とは受け入れない。そして、証明者が独立していなかった場合に何が起こるかを正確に知っている。なぜなら、私たちはそれを見たからだ。アーサー・アンダーセンは、算術ができなかったから2002年に崩壊したのではない。エンロンを監査し、かつエンロンのコンサルタントも務めたから崩壊したのだ。チェッカーとチェックされるものが同じ給料を共有した瞬間、署名は無価値になり――89年の歴史を持つ会社とその顧客を道連れにした。プラットフォームは素晴らしいチェック機能を構築できる。しかし、彼らが構造的に構築できないのは、自分自身からの独立性だ。そのギャップは、より良いモデルでは埋まらない。それはモデルの問題ではない。

残るは最初の反論、本当の反論――完全なコモディティ化――であり、ここで私はついにフェンスから降りる。 「すべてがコモディティ化する」という考えの誤りは、電卓と監査を、同時に到着する同じ製品として扱っていることだ。それらは同じではない。能力のコモディティ化は、証明の敵ではない――それは証明の前提条件なのだ。安価な算術は監査産業を阻止しなかった――それは、自己申告された数字を市場が署名してくれる独立した誰かを探すほど無価値にしたことで、それを創造したのだ。スペルチェックが無料になったからといって、出版社、法律事務所、処方箋のFDAラベルのような、間違った場合に壊滅的な結果をもたらす場所での校正が終わったわけではない。チェックが安価で普遍的になればなるほど、「チェックしました」というのは誰でも言えることになり、したがって誰も信頼できないものになることがより明白になり、規制当局、裁判所、あるいは神経質なCEOに、約束以上のもの――領収書、意見、責任を伴う署名――を渡せる唯一の当事者になることの価値がより高まるのだ。

安価なチェックはプールを干上がらせない。それはプールを満たし、そして誰も自分で注ぐことを許されない一杯の水に対する渇きをすべての人に与えるのだ。

それが私たちをどこに置くか

だから、私は誠実に別の場所にたどり着こうと試みた結果、ここにたどり着いた。

AIに自己検証させるために競い合っている人々は、電卓を構築している。それは本当に印象的で、毎週安くなっている。そして、それは約ゼロの価値になるだろう――それが機能しないからではなく、それが誰にでも機能するからだ。信頼ビジネスにおいては、それは機能しないのと同じだ。8ドルのウェブサイトは、フィニッシュラインの垣間見ではなかった。それはスタートの合図だった。

賞――持続可能で、防御可能で、お金を稼ぐという点で退屈な賞――は、監査だ。規制産業が依存でき、そしてさらに重要なことに、防御できる、独立した、証明可能な、説明責任のある記録の検証だ。「私を信頼してください、チェックしました」と言うモデルではない。あなたが間違っていた場合に責任を負う人々の前に置くことができる署名付き意見をあなたに渡すレイヤーだ。

私たちは今後数年間、非常に賢い人々がそれら二つのものを混同するのを見るだろう。彼らは幻覚が解決されたと発表し続け、技術的には正しく、戦略的には迷っているだろう。そして、そのノイズの真ん中で、静かに、元帳、債券、電線、南京錠で起こったように、実際に重要なものを構築する誰かが現れるだろう。

私はこの業界を十分に長く見てきたので、他の4つの世紀と少なくとも3つの他の技術でこのパターンが展開されるのを見てきた。コーヒーとサンドイッチを賭けて、それが再び展開されるだろう。

数字は無料だ。それは常に無料だった。コストがかかるのは署名だ。