HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

LLMは専門知識に報いる

LLMs reward expertise (seangoedecke.com)

1170 pointsby MaxMussio486 コメント

要約

大規模言語モデル(LLM)は、専門知識がない人でも一般的なタスクを実行できるようにする一方で、その真価を発揮するのは、特定の分野における深い専門知識を持つユーザーであると論じています。専門知識を持つユーザーは、LLMをより効果的に誘導し、より高度な結果を引き出すことができます。

全文翻訳

LLMは専門知識に報いる

2010年代、もしあなたが技術的なギャップ(例えば、CSSが書けない)を抱えていたなら、熟練した同僚に頼るか、あるいはあなたの抱える問題にぴったり合う答えがインターネット上に存在するよう願うしかありませんでした。今日では、誰でもLLMにタスクを委任することで、そこそこ使えるCSSを書くことができます。LLMは、あらゆる人をジェネラリストに変えます。

このため、多くの人々はLLMを扱うことにスキルが必要だとは考えていません。LLMが提供できる成果物――博士レベルの数学、そこそこ良いが時にはセンスのないコンピュータコード、あるいはぎこちないLinkedInスタイルの文章――が欲しいなら、単にそれを要求すればよいのです。誰もが同じモデルに話しかけているため、「熟練したプロンプター」は、LLMに初めて触れる人々と同じ結果を得ています。

これは間違いです。プロンプトにおける最も重要なスキルは、あなたがプロンプトしているドメインにおける専門知識です。

これをよく表しているのが、最近発見されたヤコビ予想の反例について、テレンス・タオ が ChatGPTと行った会話 です。これは私が話しているChatGPTとは違います!タオ氏が得ているレベルに、私はトークンをいくら使っても到達できませんでした。

タオ氏の会話からは、優れたプロンプトについて学ぶべきことがたくさんあります。いくつか観察した点を挙げます。

  • タオ氏のメッセージは非常に短く、要点を突いています。モデルの応答に一つ一つ反論するのではなく、要旨にのみ応答しています。
  • モデルの出力は、私が数学についてGPT-5.6 Solと話そうとする時よりも簡潔です。専門知識を示すことで、タオ氏はモデルを「アマチュアに説明する」モードではなく、「数学者と話す」モードに切り替えています。
  • モデルの応答が間違っているように見えるとき、タオ氏は直接的に反論せず、「思ったより複雑に見える」といった言い方をします。
  • タオ氏は自らもいくつかの飛躍や提案を行っています。モデルからの次の指示をほとんど受け入れていません。

しかし、これらのヒントに従うだけで、数学的な質問に対してタオ氏のようにプロンプトすることはできません。彼のテクニックの鍵は、実際には数学を理解していることです。ChatGPTの複数段落にわたる応答から関連するアイデアを引き出し、代替アプローチや定式化を提案し、何が「奇妙に見える」かを特定することです。

テレンス・タオ氏は、私よりも優れた数学者です。しかし、ここでの考え方――ドメイン知識がLLMの利用を向上させる――は、私自身の仕事でも経験してきました。もしあなたのコードベースに関する良い理論を持っていれば、あまり馴染みがない場合よりも、LLMをはるかに強くプッシュできます。「いや、ここではもっとシンプルにできると思う」とか、「でも、私たちはすでにXをやっているのではないか?」とか、「この問題をこれらの馴染みのある言葉で表現できるか?」と言うことができます。

これは、私が以前書いたアイデアに触れています。システム設計の問題は、一般的な原則ではなく、具体的な詳細に支配されるということです。もちろん両方とも有用ですが、私はソフトウェアシステムに関する深い一般的な理解よりも、コードベースに関する馴染みの方を好みます。テレンス・タオ氏は、会話の中で「Xはここで機能するか?」とか、「YとZが与えられた場合、なぜAなのか?」といった具体的な質問を多くしています。私はヤコビ予想についてそのような質問をすることはできませんが、GitHubで私が所有しているシステムについては質問できます。

もしドメイン知識がなければ、少なくとも何かを得るためにLLMにしがみつくことができます。それは悪くないことです!しかし、ドメイン知識があれば、同じLLMから、望む方向へ強く誘導することで、はるかに多くの価値を引き出すことができます。私たちのほとんどは、これらのアプローチの混合を行うことになるでしょう。なぜなら、私たちはある分野ではドメイン知識を持っていますが、他の分野では持っていないからです。

ドメイン知識の有用性は、モデルがより強力になるにつれて、人間の専門知識が引き続き有用であることを示唆しています。多くのタスクにおいて、ボトルネックはモデルではなく人間です。なぜなら、困難な部分は、人間が望むソリューションの種類をモデルに正確に伝えることにあるからです。情報はすでに「モデル内」にありますが、それを引き出すには非常に賢い人間が必要です。

編集: この投稿はHacker Newsで多くのコメントを得ました。いくつかのコメンターは、専門知識がどのように役立ち、専門知識の欠如がどのように損害を与えたかについての逸話を共有しています。他のコメンターは、もっともらしいが、自分たちがまだ価値があることを安心させる見方には、もっともな疑念を持っていると述べています。私もそれに同意しますが、これを研究する頃には、状況は再び変わっているだろうと推測します。いくつかのコメンターは、OpenAIの数学プロンプトは専門知識がなかったため、専門知識は不要だと指摘しています。ここで私は、OpenAIにはモデルが提案した発見をチェックしフィルタリングした専門の数学者チームがおり、現時点ではそのステップをスキップすることはできないと応答するでしょう。

編集: この投稿はRedditでもいくつかのコメントを得ました。

この記事と同じタグを持つ関連投稿のプレビューはこちらです。