HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

LLMの出力を人間らしくするのは愚かだ

Humanising LLM Outputs Is Dumb (kuber.studio)

207 pointsby kuberwastaken132 コメント

要約

この記事では、LLMの出力を人間らしく、例えば「ADHDのように話す」といった指示で調整することの誤りを指摘しています。これは問題の根本的な解決ではなく、出力を低帯域幅形式に圧縮する際に情報が失われるため、むしろ逆効果だと主張しています。LLMの出力は、最終的な人間への提示段階で初めて人間向けに変換されるべきであり、それまでは可能な限り高忠実度の表現を保つべきだと論じています。これは、データベースやコンパイラなど他のシステムとは逆のアプローチです。

全文翻訳

Humanising LLM Outputs is Dumb

AIツールの文化やセンチメントの変化を最もよく示す指標は、通常X(旧Twitter)、バイラルなGitHubリポジトリ、そしてHacker Newsです。

最近よく見かける指標の一つに、I have ADHDのようなスキルや、ASD-STE100(ASD-STE100)の簡易技術英語のみで出力を生成するといったAgents.mdの指示があります。

その魅力は理解できます。私たち誰もLLMの出力の冗長性や特有の癖を好まないからです。しかし、モデルを人間らしくすることでそれを修正するのは、間違った抽象化だと強く思います。

問題は、これらの指示がモデルが作業を終えた後に適用されるのではなく、同じ作業の一部になってしまうことです。エージェントに短い文章を使い、専門用語を避け、決して圧倒せず、最も重要な詳細のみを含めるように指示すると、その出力は継続的に低帯域幅の形式に圧縮されることになります。

その圧縮は可逆ではありません。

出力はまだうまく読めるため、何が失われたかに気づかないかもしれません。

ASD-STEは、非常に理にかなっているように聞こえるため、良い例です。それは人間のためにドキュメントを曖昧さなくすることを目的としていました。しかし、エージェントは人間のテクニカルライターではなく、生の(raw)状態がしばしば最も情報密度の高い表現です。一方、スタイルルールは、「タスクを解決する」「ツールを正しく使う」「抽象化を維持する」「何も壊さない」といった指示と同じリストに並びます。

エージェントが他のエージェントと対話し始めると、これはさらに奇妙になります。

サブエージェントがバグを調査し、その発見を人間が読みやすい要約に変換し、親エージェントがその要約を読み、それをあなたのために別の人間が読みやすい要約に変換します。

サブエージェントが6つのテストを実行した場合、私は以下のようなものを望みません:

ほとんどのテストはパスしましたが、調査に値する問題が1つありました。

私が望むのはこれです:

5/6 PASS
FAIL: test_cache_invalidation
CAUSE: stale key survives restart
REPRO: tests/cache_test.py:184

さらに重要なのは、人間化は失敗を隠すということです。

エージェントは、有用で、しかし醜い方法で失敗します:矛盾する証拠、未解決の分岐、スタックトレース、不確かな仮定。人間らしい文章は、これらを次のような文に滑らかに変換するのに非常に長けています:

ここにはいくつかの考慮事項があります。

それはより良く聞こえます。

しかし、私はエージェントが幻覚を見ているか、トークンウィンドウの限界に近いことを知りたいのであって、それに満足するよりも良いです。

私たちが構築する他のすべてのシステムは逆の方法で機能します。データベースはダッシュボードが表示する形式でデータを保存せず、コンパイラはIRを読みやすくせず、APIはフレンドリーな要約を交換しません。

私たちは、人間が消費する境界で変換するまで、最も忠実度の高い表現を可能な限り長く保持しますが、LLMツールはますますこれを逆に実行しています。

[画像: We're evolving, just backwards]

明確にしておきますが、これらはアクセシビリティやパーソナライゼーションに対する反対意見ではありません。

3行の回答やASD-STEが必要なら、素晴らしいことです!私はそれを最後に行う方が良いと思います。

エージェントには詳細な状態を保持させ、サブエージェントにはスキーマ、差分、正確なエラー、信頼度、出所を交換させましょう。そして、それを私向けに圧縮してください。

これらのバイラルなスキルは、実際には正しい未来を示している可能性があると思います。

ユーザーはこれをプロンプトレイヤーでパッチしていますが、それはスタックのさらに下にあるべきものです。

「ADHDの人みたいに話して」はレンダラーとしては完全に理にかなっていますが、オペレーション指示としてはあまり意味がありません。永続的なバージョンは、正確でマシン指向の状態をネイティブ言語とするエージェントであり、暖かく、簡潔で、人間的なバージョンは境界でのみ生成されます。

したがって、バイラルなリポジトリは最終状態ではなく、バグ報告なのです。