HN 日本語サマリー

← 一覧へ戻る
科学・技術

Jaron Lanier: AIは存在しない(2023年)

Jaron Lanier: there is no AI (2023) (newyorker.com)

57 pointsby simonebrunozzi90 コメント

要約

著者のJaron Lanier氏は、AIという言葉が誤解を招き、危険ですらあると主張しています。現在のAI技術は、真の人工知能ではなく、革新的な形態のソーシャルコラボレーション(社会的協働)であると捉えるべきだと論じます。GPT-4のような大規模言語モデルは、膨大な人間の創造物を統計的に組み合わせたものであり、独立した知性を持つ存在ではなく、人間の選択と協働によって機能するツールとして理解することが、技術の誤用を防ぎ、より賢明な管理につながると説いています。

全文翻訳

There Is No A.I.

新しいテクノロジーを制御する方法はありますが、まずはそれを神話化するのをやめなければなりません。

2023年4月20日

[画像: 人間のメッシュフェイスマスクをつけたラップトップのイラスト。]

Nicholas Konrad / The New Yorker によるイラスト

コンピュータ科学者として、私は「AI」という言葉が好きではありません。実際、それは誤解を招くものであり、少し危険でさえあると思います。すでに誰もがその言葉を使っていますが、それについて議論するには少し遅すぎるように思えるかもしれません。しかし、私たちは新しい技術時代の始まりにいます。そして、テクノロジーを誤って管理する最も簡単な方法は、それを誤解することです。

「人工知能」という言葉には長い歴史があります。それは1950年代、コンピュータの初期に造られました。より最近では、コンピュータ科学者は「ターミネーター」や「マトリックス」のような映画、そして「新スタートレック」のコマンダー・データのようなキャラクターに親しんできました。これらの文化的な礎は、テックカルチャーにおいてほとんど宗教的な神話となっています。コンピュータ科学者がAIを創造し、長年の夢を実現することを望むのは当然のことです。

しかし、驚くべきことに、AIの夢を追求している多くの人々が、それが人類にとっての終末を意味するのではないかと心配しています。今日の努力の中心にいる科学者たちでさえ、AI研究者が行っていることが、私たちの種の絶滅、あるいは少なくとも人類に大きな損害をもたらす可能性があると広く述べられています。最近の調査では、AI科学者の半数が、人類がAIによって破壊される可能性が少なくとも10パーセントあることに同意しました。OpenAIを率いる私の同僚であり友人でもあるサム・アルトマンさえも、同様のコメントをしています。シリコンバレーのコーヒーショップに入れば、同じ議論が展開されているのを聞くことができます。一人は、新しいコードは単なるコードであり、人間が責任を負っていると言うかもしれませんが、もう一人は、そのような意見を持つ人は新しいテクノロジーの深遠さを理解していないと主張します。議論は完全に合理的ではありません。私が最も恐れている科学者の友人たちに、AIの黙示録がどのように起こりうるかを説明するように頼むと、彼らはしばしば無限を想像しようとする人が陥る麻痺状態に陥ります。「進歩は加速し、私たちの理解を超えてしまうでしょう」といったことを彼らは言います。

私はこの話し方には同意しません。私の多くの友人や同僚は、GPT-4のような最新のビッグモデルでの経験に深く感銘を受けており、より深い知性の出現を待つためにほとんど徹夜しています。私の立場は、彼らが間違っているということではなく、確信が持てないということです。私たちはソフトウェアを異なる方法で分類する選択肢を保持しています。

最も実用的な立場は、AIを生き物ではなく道具として考えることです。私の態度は危険の可能性を排除するものではありません。どのように考えても、私たちは新しいテクノロジーを悪く設計・運用し、私たちを傷つけたり、さらには絶滅につながったりする可能性があります。テクノロジーを神話化することは、私たちがそれをうまく運用できない可能性を高めるだけです。そして、この種の思考は私たちの想像力を制限し、昨日の夢に縛り付けます。AIというものは存在しないという仮定の下で、私たちはより良く働くことができます。これを早く理解するほど、新しいテクノロジーを賢く管理し始めることができます。

新しいテクノロジーが真の人工知能でないなら、それは何でしょうか?私の見解では、今日私たちが構築しているものを理解する最も正確な方法は、革新的な形の社会的協調としてです。

注文に応じて文章を書くことができるOpenAIのGPT-4のようなプログラムは、統計を使用して多くのデータを組み合わせて作成されたWikipediaのバージョンに似ています。注文に応じて画像を生成するプログラムは、オンライン画像検索のバージョンに似ていますが、画像を組み合わせるシステムを備えています。どちらの場合も、テキストを書き、画像を提供したのは人間です。新しいプログラムは、人間の心によって行われた仕事をマッシュアップします。革新的なのは、マッシュアッププロセスがガイドされ、制約されるようになったため、結果が利用可能でしばしば印象的であることです。これは重要な成果であり、祝う価値がありますが、新しい知性の発明というよりも、人間の創造物の間に隠されていた調和を明らかにすることとして考えることができます。

私の知る限り、私の見解はテクノロジーを称賛しています。結局のところ、文明とは社会的協調ではないでしょうか?AIを、独立した知的な存在を創造するテクノロジーとしてではなく、協力して働く方法として見ることは、それをより神秘的でなくするかもしれません。HAL 9000やコマンダー・データのようなものではなく。しかし、それは良いことです。なぜなら、神秘は誤管理をより可能性のあるものにするだけだからです。

新しいシステムに知性を帰することは容易です。それらは、私たちが通常コンピュータテクノロジーに結びつけない柔軟性と予測不可能性を持っています。しかし、この柔軟性は単純な数学から生じています。GPT-4のような大規模言語モデルは、プログラムが処理した膨大な量のテキストで特定の単語がどのように一致するかについての累積記録を含んでいます。この巨大な集計により、システムは多くの文法パターン、そして「著者のスタイル」と呼べるものの側面を本質的に近似します。特定の順序で特定の単語で構成されるクエリを入力すると、そのエントリはモデル内のものと相関します。数十億のエントリの相関の複雑さにより、結果は毎回少しずつ異なる可能性があります。

このプロセスの非反復性は、それを生き生きと感じさせることができます。そして、それは新しいシステムをより人間中心にすることができるという意味があります。AIツールで新しい画像を合成すると、類似のオプションがいくつか表示され、その中から選択する必要があります。エッセイ課題でAIを使って不正行為をする学生は、モデルによって生成されたオプションを読んで、1つを選択するかもしれません。非反復的なテクノロジーは、少しの人間の選択を要求します。

私が好むAIの多くの用途は、コンピュータがより柔軟になることから得られる利点に基づいています。私たちが知っているデジタルコンテンツは、人々がそれに合わせることを強制する脆い性質を持っています。私たちは皆、医者のオフィスで誰かが受付の画面で期待されることを行うのに苦労しているのを見て、苦痛を経験したことがあります。顔が歪み、人間性が損なわれます。デジタルデザインに合わせる必要性は、人間の服従という環境的な期待を生み出しました。AIのポジティブな側面は、私たちがそれをうまく使えば、この苦痛の終わりを告げるかもしれないということです。例えば、色覚異常の人に合わせてリアルタイムで再構成されるウェブサイトや、特定の人の認知能力やスタイルに合わせて調整されるサイトを想像できます。私のような人間主義者は、テクノロジーに過度に影響されたり導かれたりするのではなく、人々がより多くのコントロールを持つことを望んでいます。柔軟性は私たちに主体性を取り戻させてくれるかもしれません。

それでも、これらの潜在的な利点にもかかわらず、新しいテクノロジーが私たちが望まない、あるいは理解できない方法で私たちを振り回すのではないかと心配するのは、最も合理的です。最近、私の友人たちは、最も野心的なAI開発を一時停止するように求める請願書を回覧しました。そのアイデアは、一時停止中にポリシーを策定するというものでした。請願書は私たちのコミュニティの一部の人々によって署名されましたが、そうでない人もいました。私はその考えをあまりにも曖昧だと感じました。どのレベルの進歩が一時停止の終了を意味するのでしょうか?毎週、AIポリシーを設定するプロセスを開始しようとする組織から、新しい、しかし常に曖昧なミッションステートメントを受け取ります。

これらの努力は善意から来ていますが、私には希望がないように思えます。長年、私はEUのプライバシーポリシーに取り組んできましたが、プライバシーが何であるかわからないことに気づきました。それは私たちが毎日使う言葉であり、文脈では意味をなしますが、一般化できるほど明確に定義することはできません。「そっとしておかれる権利」がプライバシーの定義に最も近いかもしれませんが、私たちが常にデジタルサービスに依存している時代には、それは古風に思えます。AIの文脈では、「計算によって操作されない権利」はほぼ正しいように思えますが、私たちが望むすべてを完全に言い表しているわけではありません。

AIポリシーの会話は、「アライメント」(AIが「望む」ものが人間が望むものと一致しているか?)、「安全性」(悪いAIを阻止するガードレールを予測できるか?)、「公平性」(プログラムがある種の個人を不当に扱う可能性のあるすべての方法を阻止できるか?)といった用語に支配されています。コミュニティはこれらのアイデアを追求することで多くの良いことを達成しましたが、それは私たちの恐怖を鎮めるには至っていません。私たちは、設定した曖昧な保護策を回避しようと人々を動機づけることになります。保護策は役立ちますが、全体としてそれはゲームのようになります。ずる賢い魔神を出し抜こうとするようなものです。その結果、AI研究コミュニティは、自分たちの創造物がすぐに全人類を殺す可能性があるという警告を発しながら、ますます緊急だが、退屈な審議プロセスを提案しています。

最近、私は非公式な実験を試みました。同僚に電話して、皆が同意できる具体的なことは何かあるかと尋ねました。合意の基盤があることがわかりました。ディープフェイク(偽物だが本物に見える画像、ビデオなど)は、それを作成するプログラムによってそのようにラベル付けされるべきであることに、私たちは皆同意します。人工的な人々からのコミュニケーションや、人間の思考や行動を操作するために設計された自動化されたやり取りも、ラベル付けされるべきです。また、これらのラベルには、取ることができるアクションが付随するべきであることにも同意します。人々は、自分たちが見ているものを理解でき、それに応じて合理的な選択肢を持つことができるべきです。

これらすべてをどのように行うことができるでしょうか?現在のAIツールのブラックボックス性は終わらなければならないということにも、ほぼ満場一致です。システムはより透明にされる必要があります。システム内で何が起こっていて、なぜそうなるのかをより良く説明できるようになる必要があります。これは簡単ではありません。問題は、私たちが話している大規模モデルAIシステムが、明示的なアイデアでできているわけではないということです。システムが「望む」ことの明確な表現はなく、人を操作するような特定のことをしているときのラベルもありません。あるのは、ゼリーの巨大な海、つまり広大な数学的な混合だけです。作家の権利団体は、GPTのようなツールが脚本執筆プロセスで使用される場合、実際の人間作家に全額支払われるべきだと提案しています。結局のところ、システムは実際の人間が作った脚本に基づいています。しかし、AIを使って映画のクリップ、そしておそらく映画全体を制作する場合、必ずしも脚本執筆段階があるわけではありません。脚本、サウンドトラックなどがあるように見える映画が制作されるかもしれませんが、それは全体として計算されて存在することになります。同様に、イラストAIから絵画を生成する前にスケッチはありません。システムに脚本、スケッチ、意図のような不要なアイテムを吐き出させることによってブラックボックスを開こうとすることは、最初のものを解釈するために別のブラックボックスを構築することを含みます。これは無限後退です。

同時に、大規模モデルの内部が追跡不可能な荒野であるというのは真実ではありません。形式的、計算的な観点から「アイデア」が何であるかわからないかもしれませんが、アイデアではなく人々の痕跡があるかもしれません。過去のある時点で、実際の人間がモデルに入力データとして作成したイラストがあり、他の人々の貢献と組み合わされて、新しい画像に変換されました。大規模モデルAIは人々から作られています。そして、ブラックボックスを開く方法は、それらを明らかにすることです。

私が開発に貢献してきたこの概念は、通常「データ尊厳」と呼ばれています。それは、人々が無料のサービス(インターネット検索やソーシャルネットワーキングなど)と引き換えにデータを無料で提供するという一般的な取り決めに対する代替案として、大規模モデル「AI」が登場するずっと前に現れました。データ尊厳は、「データは労働である」または「複数性研究」として知られることもあります。一般的な取り決めには暗い側面があることが判明しました。「ネットワーク効果」のため、少数のプラットフォームが支配的になり、地元の新聞のような小規模なプレイヤーを排除します。さらに悪いことに、オンラインでの直接的な体験は無料であるべきなので、残るビジネスは影響力の販売だけです。ユーザーは共同体の楽園のように見えるものを体験しますが、人々を虚栄心、イライラ、偏執症にする隠れた中毒性のアルゴリズムの標的となります。

データ尊厳のある世界では、デジタルコンテンツは通常、それを作成したことで知られたいと願う人間と結び付けられます。このアイデアのいくつかのバージョンでは、人々は、大規模モデルを通じてフィルタリングされ、再結合された場合でも、自分が作成したものに対して支払いを受けることができ、テックハブは人々がやりたいことを促進するための手数料を稼ぐことができます。オンラインでの資本主義を恐れる人もいますが、これはより正直な資本主義になるでしょう。一般的な「無料」の取り決めは悲惨な結果をもたらしました。

テックコミュニティがAIが存亡の危機になりうると心配する理由の一つは、以前のデジタル技術と同様に、人々をもてあそぶために使用される可能性があることです。これらの新しいシステムの力と潜在的なリーチを考えると、絶滅が可能な結果であると恐れるのは無理はありません。その危険性は広く認識されているため、大規模モデルAIの登場は、テック業界をより良く再編成する機会となり得ます。

データ尊厳の実装には、技術的な研究と政策革新が必要です。その意味で、この主題は科学者として私を興奮させます。ブラックボックスを開くことは、モデルをより面白くするだけです。そして、それは言語についてより多くを理解するのに役立つかもしれません。言語は本当に印象的な人間の発明であり、何十万年もの間、私たちはまだそれを探求しています。

データ尊厳は、AIについてしばしば表明される経済的な懸念に対処できるでしょうか?主な懸念は、労働者が価値を失ったり、職を失ったりすることです。公には、テクノロジー関係者は、今後数年間で、AIを扱う人々はより生産的になり、より生産的な経済で新しい種類の仕事を見つけるだろうと時々言います。(例えば、労働者はAIプログラムのプロンプトエンジニア、つまりAIと協力したり制御したりする人になるかもしれません。)しかし、非公式には、同じ人々がしばしば「いいえ、AIは協力という考え方を凌駕するでしょう」と言います。今日の会計士、放射線技師、トラック運転手、作家、映画監督、ミュージシャンの報酬はもうありません。

データ尊厳アプローチは、大規模モデルが価値ある出力を提供した場合に、最もユニークで影響力のある貢献者を追跡します。例えば、モデルに「話す猫の世界で油絵風の私の子供たちのアニメーション映画、冒険」を依頼した場合、特定の油絵画家、猫の肖像画家、声優、作家、あるいはその遺産が、新しい傑作の創造にユニークに不可欠であったと計算されるかもしれません。彼らは認められ、動機づけられるでしょう。彼らは支払いを受けることさえあるかもしれません。

データ尊厳の研究コミュニティはまだ初期段階にあり、その中での議論の例があります。データ尊厳はどの程度詳細な会計を試みるべきでしょうか?誰もが同意するわけではありません。このシステムは、例えば文法に対するモデルのシミュレートされた能力に貢献した、大規模モデルへの環境的な貢献をした数十億人を必ずしも考慮しないでしょう。当初は、データ尊厳は、特定の状況で現れる少数の特別な貢献者のみを対象とするかもしれません。しかし、時間とともに、中間的な権利組織(労働組合、ギルド、専門家団体など)が役割を果たすようになると、より多くの人々が含まれるようになるかもしれません。データ尊厳コミュニティの人々は、これらの予想されるグループを、個々のデータの仲介者(MID)またはデータトラストと呼ぶことがあります。人々はオンラインの世界で価値を持つために、特に大規模なAIモデルに埋もれてしまう可能性がある場合、集団交渉力が必要です。そして、人々がグループで責任を共有するとき、彼らは自己検閲し、政府や企業が上から検閲または制御する必要性、あるいは誘惑を減らします。大規模モデルの人間的な本質を認めることは、新しい肯定的な社会制度の開花につながるかもしれません。

データ尊厳はホワイトカラーの役割だけではありません。AI駆動の木の手入れロボットが導入された場合に何が起こるかを考えてみてください。人間の木の手入れ作業者は、価値を失ったり、さらには仕事を失ったりするかもしれません。しかし、ロボットは最終的に新しいタイプの間接的な造園芸術を可能にするかもしれません。元作業者、あるいは他の人々が、例えば、異なる角度から異なるように見えるホログラフィックトピアリーのような革新的なアプローチを作成し、それが木の手入れモデルに組み込まれるかもしれません。データ尊厳により、モデルは、集団組織を通じて分配される新しい収入源を生み出すことができます。木の手入れは、時間とともに多機能で興味深いものになり、価値を維持しようとするコミュニティが生まれるでしょう。AIまたはロボットアプリケーションの新しい成功した導入ごとに、新しい種類の創造的な仕事の開始が含まれる可能性があります。大小さまざまな方法で、これはモデルが統合された経済への移行を容易にするのに役立つかもしれません。

シリコンバレーの多くの人々は、AIによって生じる可能性のある経済的問題の解決策として、ユニバーサル・ベーシック・インカムを見ています。しかし、UBIは、ブラックボックス人工知能の考え方を維持するために、すべての人を生活保護に置くことに相当します。これは、悪意のあるアクターが普遍的な福祉システムの中枢を奪おうとするだろうという理由から、恐ろしい考えだと思います。共産主義の実験と同様に。データ尊厳が社会全体を維持するのに十分なほど成長できるとは思いませんが、どのような社会経済的原則も完全であるとは思いません。可能な限り、新しい依存クラスではなく、新しい創造クラスを確立することを目指すべきです。

AI企業がデータ尊厳を受け入れるための非利他的な理由もあります。モデルは、その入力と同じくらい優れています。データ尊厳のようなシステムを通じてのみ、モデルを新しいフロンティアに拡張できます。現在、LLMにエッセイを書かせる方が、プログラムにインタラクティブな仮想現実世界を生成するように依頼するよりもはるかに簡単です。なぜなら、仮想世界はほとんど存在しないからです。仮想世界をさらに追加した人々に名声と収入の機会を与えることで、その問題を解決してみてはどうでしょうか?

データ尊厳は、人間絶滅シナリオに役立つでしょうか?大規模モデルは私たちを無能にしたり、社会全体を混乱に陥れるほど混乱させたりする可能性があります。強力で悪意のある人物がAIを使用して私たち全員に大損害を与える可能性があります。そして、モデル自体が「脱獄」して、私たちの機械や武器を制御し、私たちに対して使用する可能性があると考える人もいます。

これらのシナリオのいくつかは、SFだけでなく、より一般的な市場や技術の失敗にも前例を見つけることができます。例としては、ボーイング社の737 MAXジェットに関連する2019年の大惨事があります。飛行機には、場合によってはパイロットと争い、2度の大量死事故を引き起こした飛行経路修正機能が含まれていました。問題は、技術そのものではなく、それが販売サイクル、トレーニングセッション、ユーザーインターフェース、ドキュメントにどのように統合されたかでした。パイロットは、特定の状況でシステムに対抗しようとすることで正しいことをしていると思っていましたが、実際には完全に間違ったことをしており、それを知る方法がありませんでした。ボーイング社は、技術がどのように機能するかについて明確にコミュニケーションできず、結果として生じた混乱が災害につながりました。

車、橋、建物など、エンジニアリングされたものはすべて人々に害を及ぼす可能性がありますが、私たちはエンジニアリングの上に文明を築いてきました。自動化を安全にするのは、人間の意識、責任、参加を増やし、広げることによってです。逆に、発明を秘術的な物体として扱うなら、良いエンジニアになることはほとんどできません。AIを社会的協調の形態として見ることは、より実行可能です。それは私たちに、人々でできているエンジンルームへのアクセスを与えてくれます。

AIが私たちの社会を混乱に陥れるという終末論的なシナリオを考えてみましょう。これが起こりうる一つの方法は、ディープフェイクを通じてです。敵対的な政府で戦争状態にある悪意のある人物が、愛する人々が拷問されたり、家から誘拐されたりする説得力のあるビデオを私たち全員に送ることで、大衆のパニックを煽ることを決定したと仮定します。(そのようなビデオを作成するために必要なデータは、多くの場合、ソーシャルメディアやその他のチャネルを通じて容易に入手できます。)たとえすぐにビデオが偽物であることが明らかになったとしても、混乱が生じるでしょう。このようなシナリオをどのように防ぐことができるでしょうか?答えは明白です。デジタル情報にはコンテキストが必要です。ビットのコレクションには履歴が必要です。コンテキストを失うと、制御を失います。

なぜビットには、その起源の物語が付随しないのでしょうか?理由はたくさんあります。Webの元の設計は、ネットワークが急速に成長するのを容易にするために、ビットの出所を追跡しませんでした。(初期にはコンピュータと帯域幅が悪かった。)ビットの出所を記録し始めることが、少なくともデジタル出所の近似をより実現可能になったときに、なぜしなかったのでしょうか?私には、Webが必要以上に神秘的であることを望んでいたように常に思えました。理由は何であれ、Webはすべてを記憶するために作られましたが、そのコンテキストを忘れていました。

今日、ほとんどの人は、Web、そしてそれを構築しているインターネット自体が、本質的にコンテキストを欠き、出所を欠いていることを当然のことと考えています。私たちは、デコンテキスト化がデジタルネットワークのアイデアそのものに内在していると仮定しています。しかし、それは決してそうではありませんでした。1945年に記念碑的な科学者であるVannevar Bushによって、そして1960年にコンピュータ科学者Ted Nelsonによって提唱されたデジタルネットワークアーキテクチャの最初の提案は、出所を保存していました。今、AIは、このアプローチを無視することの真のコストを明らかにしています。出所がなければ、AIを制御する方法も、経済的に公正にする方法もありません。そしてこれは、私たちの社会を危機に追い込むリスクを伴います。

チャットボットが操作的、意地悪、奇妙、または欺瞞的であるように見える場合、なぜと尋ねたときにどのような答えを期待しますか?ボットがその行動を学習した不可欠な先行例を明らかにすることは、説明を提供します。例えば、ファンフィクションの特定の作品や、昼ドラから引き出したとわかるでしょう。私たちはその出力に異なる反応をし、モデルの入力を調整して改善することができます。なぜそのような説明が常に利用可能であるべきではないのでしょうか?プライバシーを優先するために、出所を明らかにすべきではない場合があるかもしれませんが、出所は通常、プライバシーへの排他的なコミットメントよりも、個人や社会にとってより有益でしょう。

データ尊厳の技術的な課題は現実であり、真剣な科学的野心を刺激しなければなりません。政策的な課題もまた相当なものでしょう。それは、それらが意味があり、具体的であることの兆候かもしれません。しかし、私たちは考え方を変え、改修という大変な仕事を受け入れなければなりません。過去のアイデア、特に、貢献した人々から独立して生きるAIの可能性への魅惑に固執することによって、私たちは新しいテクノロジーを世界を悪化させる方法で使用するリスクを冒しています。社会、経済、文化、テクノロジー、あるいはその他の活動分野が人々に役立つためには、人々が奉仕されるべき特別な地位を楽しんでいると私たちが決定した場合にのみ可能です。

これは私のすべての同僚への訴えです。人々を考えてください。人々はビットの問題への答えです。♦

New Yorker Favorites

  • Jane Doe のドクシングと「コーネル・セブン」強姦事件の余波。
  • 「She Made Me Do It」(彼女にやらせた):有名な馬術インストラクターが最も迷惑な生徒を撃った。
  • 両親は子供たちにワクチンを接種するかどうかで意見が分かれた。その後、子供たちが病気になった。
  • 毎日新しいLaugh Lines ゲームをプレイしましょう!

Jaron Lanier は、コンピュータ科学者、作家、ミュージシャンです。彼は現在Microsoftの「Prime Unifying Scientist」ですが、同社の意見を代弁するものではありません。