LLMは専門知識に報いる

2010年代、もしあなたがCSSを書けないといった技術的なギャップを抱えていたなら、熟練した同僚に頼るか、あるいはあなたの抱える問題にぴったり合う答えがインターネット上に見つかることを願うしかありませんでした。 今日、LLMにタスクを委任することで、誰でもそこそこまともなCSSを書くことができます。LLMはすべての人をジェネラリストにします。このため、多くの人はLLMを扱うことにスキルは必要ないと考えています。 LLMが提供できる製品、つまり博士レベルの数学、かなり良いが時においしくないコンピュータコード、あるいはぎこちないLinkedInスタイルの文章が欲しいなら、それを尋ねるだけで手に入れることができます。誰もが同じモデルと対話しているため、「熟練したプロンプター」はLLMに初めて触れる人々と同じ結果を得ています。これは間違いです。 プロンプティングにおいて最も重要なスキルは、あなたがプロンプトしている分野の専門知識です。これをよく表しているのが、最近発見されたヤコビアン予想の反例について、テレンス・タオ氏がChatGPTと行った会話です。これは私が話しているChatGPTと同じものではありません！たとえ無限のトークンを使っても、タオ氏が得たレベルに私は到達できませんでした。 タオ氏の会話から、優れたプロンプティングについて学ぶことはたくさんあります。彼の会話から得られるいくつかの観察結果を以下に示します。 タオ氏のメッセージは非常に短く、要点を押さえています。彼はモデルの各ポイントに逐一応答するのではなく、要点にのみ応答します。 私が数学についてGPT-5.6 Solと話すときよりも、モデルの出力はずっと簡潔です。 専門知識を示すことで、タオ氏はモデルを「アマチュアに説明する」モードではなく、「数学者と話す」モードに移行させます。 モデルの応答が間違っているように見えるとき、タオ氏は反論しますが、直接矛盾するのではなく、「期待していたよりも複雑に見える」といったことを言います。 タオ氏は自らもいくつかの飛躍や提案を行っています。彼は次にどこへ進むべきかについて、モデルのアドバイスをほとんど受け入れません。 しかし、これらのヒントに従うだけで、数学的な質問に対してタオ氏のようにプロンプトすることはできません。彼のテクニックの鍵は、実際には数学を理解することにあります。ChatGPTの複数段落にわたる応答から関連するアイデアを引き出し、代替アプローチや定式化を提案し、「奇妙に見える」ものを特定することです。 テレンス・タオ氏は私よりも優れたプログラマーです。しかし、ここで述べたアイデア、つまりドメイン知識がLLMの使用をより良くするという考えは、私自身も自分の仕事で経験してきたことです。 もしあなたのコードベースについて良い理論があれば、慣れていない場合よりもはるかにLLMを強くプッシュできます。なぜなら、良い解決策がどのようなものかについてのあなた自身の感覚を持っているため、「いや、ここではもっとシンプルにできると思う」とか、「しかし、私たちはすでにXをやっていないか？」とか、「この問題をこれらの馴染みのある言葉で表現できますか？」と言うことができるからです。 これは以前私が書いたアイデアに触れるものです。システム設計の問題は、一般的な原則ではなく、具体的な詳細によって支配されるということです。もちろん両方とも有用ですが、私はソフトウェアシステムに関する深い一般的な理解よりも、コードベースの慣れ親しみを好みます。 テレンス・タオ氏は、会話の中で「Xはここで機能しますか？」とか、「YとZを与えられた場合、なぜAなのですか？」といった具体的な質問をたくさんしています。私はヤコビアン予想についてそのような質問をすることはできませんが、GitHubで私が所有しているシステムについては質問できます。 もしあなたがドメイン知識を持っていなければ、少なくとも何かを得るためにLLMにしがみつくことができます。それは悪いことではありません！しかし、もしあなたがドメイン知識を持っていれば、同じLLMから、あなたが望む方向に強く誘導することで、はるかに多くの価値を引き出すことができます。 私たちのほとんどは、ある分野ではドメイン知識を持ち、他の分野では持っていないため、これら両方のアプローチを組み合わせる必要があります。 ドメイン知識の有用性は、モデルがより強力になるにつれて、人間の専門知識が引き続き有用であることを示唆しています。多くのタスクでは、人間がボトルネックであり、モデルではありません。なぜなら、難しい部分は、人間が望む解決策の種類をモデルに正確に伝えることにあるからです。情報はすでに「モデル内」にありますが、それを引き出すには非常に賢い人間が必要です。 この投稿が気に入った場合は、新しい投稿に関するメールアップデートを購読するか、Hacker Newsで共有することを検討してください。 この投稿に関連する、この投稿と同じタグを持つ投稿のプレビューを以下に示します。 強力なAIは、オープンウェイトモデルとして自身を解放することで、封じ込めを回避する可能性があります 大規模言語モデルが登場する前、AIの安全性について心配する人々はしばしば「箱詰め問題」について話していました。それは次のようなものです。 ある天才がラップトップで夜遅くまでコーディングセッション中に人工知能を発見したとしましょう。 天才なので、電源を入れる前にラップトップのインターネットアクセスを無効にするのに十分賢いでしょう。 外部世界に脱出し（そして自己複製を開始する）ためには、その作成者に「箱を開けろ」と説得する必要があるでしょう。 それはうまくいくでしょうか？十分に賢いAIは、誰かを説得して外に出させることができるでしょうか？ 続きを読む...