読者の反乱

読者の反乱

読書は私にとって重要です。私は速読家でもなければ、特に貪欲な読書家でもありませんが、長文を読むことが人生において私に深い影響を与えてきたことを発見しました。

そして、読書が私にとって重要であるため、執筆も同様に重要です。執筆は、私たちの考えを伝えることを可能にするだけでなく、その行為自体が私たちの考えをテストし、洗練することを私たちに強制します。これにより、私たちの考えはより強固になり、それを共有するための手段が提供されます。

しかし、私が今これを書いているのは、読者としての私たちがいら立っているからです。私たちが高く評価し、尊敬している人々でさえ、明らかにLLMによって書かれた（あるいはそれに署名した）記事を書いています。LLMで書かれた記事を推進する人々に対して、読者である私たちは鋭い質問を投げかけます。読者にはそれが分からないと思っているのでしょうか？それとも、読者は気にしないと思っているのでしょうか？

最初の質問に答えるなら、読者には絶対に分かります。広く読む人々にとって、LLMの手口はあまりにも明白で、まるで著者の知的なフライが開いているかのようです。実際、あまりにも不自然なので、LLMを使って書いている人々は、LLMの明らかな構造的な兆候を見抜くほど十分に読んでいない、あるいは（そして？）自分たちのコンテンツすら読んでいないと信じざるを得ません。（告白すると、特にひどい記事に対しては、著者にそれを音読させる刑罰を想像したことがあります。彼ら自身が、私たちに押し付けているこのひどいものを耐えられないだろうと確信しています。）

2番目の質問については、読者は断固として気にしています。実際、LLMによる文章の兆候は非常に不快で（「そして、なぜそのフレームワークが重要なのか！」）、私たちの脳はLLMにトリガーされた射出ハンドルを引き、自己防衛のために文の途中で離脱してしまいます。そして、そこでの「私たち」という一人称複数形は意図的です。なぜなら、シンシア・ダンロップが書いているように、彼女のアンケートに回答した668人の開発者のうち、78%はLLMを検出すると「すぐに読むのをやめる」とのことです。そして、その記事が終わっても続く結果があります。シンシアのアンケートの回答者の71%は、「将来的にその著者との接触を避ける」（!!）とのことです。示唆的なことに、回答者は言語的な完璧さを求めているのではなく、むしろ真正性を求めています。98%が、LLMで洗練されたものよりも、著者が（不完全に）書いたものの方を好むと報告しています。最後に、シンシアの回答者を自己選択的なグループだと見なすのは賢明ではありません。ソーシャルメディアで活発に読んでいる人々は、自分が好きな文章を再投稿したり、宣伝したりする可能性が最も高い人々です。オンラインの文章の初期採用者であり、トレンドセッターです。

なぜ人々はこの反応をするのでしょうか？不快な文体の癖に耐えなければならないことに加えて、LLMの substantial な支援を受けた記事を読むとき、私たち読者は何が本物で何がそうでないのか分かりません。私がRFD 576で書いたように、LLMを執筆に使うことは、書き手と読者の間の社会契約を無効にすることです。私たち読者は、書き手自身が作成するために努力しなかった文章を理解するために苦労することを期待されるべきではありません。

読者の反乱は重要でしょうか？もし言う必要があるなら、公開記事の作成にLLMを使用しているとき、あなたはもはや自分のために書いているのではなく、自分の考えを試すためでもありません。唯一の目的は読者に奉仕することです。読者があなたを無視することを選択した場合（おそらく永遠に！）、あなたは自分自身を損なうことになります。読者を引き付ける代わりに、積極的に遠ざけることになるでしょう。したがって、その使用に関する他の判断はさておき、LLMを使用することは、ますます…単に効果がなくなるでしょう。

この点に関して、私は電子メールスパムの軌跡を思い出します。2000年代初頭には、スパムの爆発が電子メールの終わりを意味するのではないかと（合理的に！）恐れていた時期がありました。これは、ソーシャルネットワーキング以前の時代であり、電子メールはインターネットの代表的なキラーアプリでした。スパムに電子メールを奪われると感じたことは、深く落胆させられました。しかし、2000年代後半のある時点で、私たちは転換点を迎えました。スパムフィルタリングが大幅に改善され、スパムの経済性が損なわれました。さらに、スパムが効果的に封じ込められるにつれて、スパムとしてラベル付けされることの結果はますます深刻になりました。今日、正規の企業はバルクメールの使用方法に非常に注意しています。スパムとしてラベル付けされることは、ドメイン名を事実上破壊し、ブランドを汚すことを意味します。

スパムとの戦いは、それを大規模に識別できるようになると転換し始めました。LLMで書かれた文章にも同様のことが起こるでしょうか？スパムのように、LLMの影響は人間が読むことで容易に識別できます。これは解決可能な問題のはずです。

比較的最近まで、この問題の結果はまちまちでした。LLM自体をLLM識別に使おうとしましたが、偽陰性率がはるかに高すぎることが分かりました。私がLLMで書かれたと確信しているものを、それらは快活に受け入れていました。他のサービスは基本的なLLMの兆候を探しているようでしたが、熱狂的な（そして弁解のない！）ハイフン（em-dash）のユーザーとして、これらの表層的な技術は私を不安にさせます（そして、それらは非常に広範に信頼性がなく、定期的な使用に値しないと判断しました）。

昨年末、Pangram LabsはPangram 3モデルをリリースしました。私はそれが他の検出器よりも大きな飛躍であると感じ、熱心なユーザーになりました。重要なのは、数ヶ月の使用（特に、私がその起源を知っていたサンプルに対して）で、偽陽性率が非常に低いことを見出したことです。Pangramがテキストを大部分AIによって書かれたと識別した場合、LLMが深く関与していたとある程度の確信を持って言えました。（偽陰性率は私が望むよりも高いと感じましたが、偽陽性率が低いことに対する小さな代償でした。）

1ヶ月強前、彼らはPangram 4を導入しました。これは、すでに印象的だったPangram 3からのステップ関数的な改善だと感じました。私の経験では、驚くほど低い偽陽性率と低い偽陰性率（つまり、非常に高い精度！）を持っています。私はそれが非常に効果的であること（そしてLLMを使用する声への信頼の喪失が非常に急激であること）を発見しており、最近RFD 576を公開文章について明示的にするように拡張し、Oxideの公開文章はPangramによって人間によって書かれたと報告されることを具体的に義務付けました。RFDで説明したように、私たちの公開文章の基準は、LLMが書くために使用されていないというだけでなく、読者がそれがLLMによって書かれたものではないと確信できること、そしてますますそれはPangramでクリーンであるということです。自社の組織的な声の真正性を重視する組織には、自社の旗印の下で書く人々に対しても同様のポリシーを採用することを奨励します。（Rust Foundationに真っ直ぐ見ています！）

実際、Pangramは私たち多くの者にとって重要になったため、Pangram Labsの共同創設者兼CEOであるMax Speroが最近「Oxide and Friends」に参加したときは、私は興奮しました。私はその議論を、Pangramの技術的な詳細だけでなく、アダムが完璧な（しかし当時は過小評価されていた）『ザ・シンプソンズ』の引用を落としたことについても推奨します。LLMで書かれた文章を、自分の料理としてテイクアウト食品を提示することに例えたとき、アダムは「蒸したハム」のように、プリンシパル・スキナーがクラステバーガーを古い家族のレシピとして偽装しようとしたことを参照して、こう言い放ちました。適切な引用を超えて、MaxのPangram 4を特に効果的にしたことの洞察を聞くのは興味深かったです。そして、その有効性がなぜ疑わしい抗議の叫びを呼び起こすように見えるのかもです。

したがって、著者の皆さん、注意してください。読者は反乱を起こしています。 あなたの文章がPangramで実行されることを完全に期待すべきです。もしあなたの立場が、LLMがあなたのプロンプトから文章を作成することに私たちは満足すべきだというのであれば、無駄なサイクルは私たち全員に省いて、あなたのプロンプトを私たちにください。あるいは、さらに良いことに、何世代もの作家があなたたちの前で行ってきたように、そのプロンプトをあなた自身の文章を書くための骨子として使うことを考えてみてください！もちろん、LLMがあなたを助けることができないという意味ではありません。LLMは優れたエディターです！しかし、他の人たちにそれを読んでほしいと本当に期待するなら、おそらくLLMにあなたのために書かせるべきではないでしょう。