読者の反乱

読書は私にとって重要です。私は速読家でもなければ、特に熱心な読書家でもありませんが、長文読書が私の人生に大きな影響を与えてきたことを発見しました。そして、読書が私にとって重要であるため、執筆も同様に重要です。執筆は、アイデアを伝えることを可能にするだけでなく、その行為自体がアイデアをテストし、洗練することを強制します。これにより、アイデアはより堅牢になり、共有するための手段が提供されます。しかし、私は今、読者としての立場から、うんざりしているために書いています。私たちが好意的に思ったり尊敬したりする多くの人々が、明らかにLLMによって書かれたと思われる文章（またはそれに署名した文章）を書いているのです。私たち読者は、LLMによって書かれた記事を推進する人々に、次のような鋭い疑問を投げかけます。読者には分からないと思っているのでしょうか？それとも、読者は気にしないと思っているのでしょうか？最初の質問に答えるために、読者には絶対に分かります。広く読む人にとって、LLMの手は非常に明白で、まるで著者の知的なフライが開いているかのようです。実際、それは非常に不快なので、LLMで書いている人々は、LLMの明白な構造的な兆候を見るほど十分に読んでいない、あるいは（そして？）自分のコンテンツさえ読んでいないと信じざるを得ません。（告白：特にひどい記事については、著者にそれを大声で読ませる刑罰を想像したことがあります。彼ら自身が、私たちに残りの人々に押し付けているスラッジに耐えられないと確信しています。）第二の質問については、読者は断固として気にしています。実際、LLMの執筆の兆候は非常に不快で（「そして、なぜそのフレーミングが重要なのか！」）、私たちの脳はLLMトリガーの排出ハンドルを引き、自己防衛のために文の途中で私たちを逃がします。そして、そこでの一人称複数形は意図的です。シンシア・ダンロップが書いているように、彼女の調査に回答した668人の開発者のうち、78％はLLMを検出すると「すぐに読むのをやめる」と述べています。そして、その記事を超えて続く結果があります。シンシアの調査の回答者の71％は「将来その著者を避ける」（!!）と述べています。示唆に富むことに、回答者は言語的な完璧さを求めているのではなく、真正性を求めています。98％は、LLMで磨かれたものよりも、著者の（不完全な）自身の文章を好むと報告しています。最後に、シンシアの回答者を自己選択的なグループとして却下することには注意してください。ソーシャルメディア上の熱心な読者は、好きな文章を再投稿したり、その他で宣伝したりする可能性が最も高い人々です。オンラインの文章の初期採用者であり、テイストメーカーです。なぜ人々はこの反応をするのでしょうか？不快な文体の癖に耐えなければならないことに加えて、かなりのLLMの助けを借りて書かれた文章を読むとき、私たち読者は何が現実で何が現実でないかを知りません。私がRFD 576で書いたように、LLMを書いて使用することは、作家と読者の間の社会契約を無効にすることです。私たち読者は、作家自身が作成に労力を費やさなかった文章を理解するために苦労することを期待されるべきではありません。読者の反乱は重要でしょうか？もしそれが言われる必要があるなら、あなたが公開記事を作成するためにLLMを使用しているとき、あなたはもはや自分のために書いているのではなく、自分のアイデアを圧力をかけてテストするために書いているのではありません。唯一の目的は読者に奉仕することです。読者があなたを無視することを選択した場合（おそらく永遠に！）、あなたは自分自身を損なうことになります。読者を引き付ける代わりに、あなたは積極的に彼らを遠ざけていることになります。したがって、その使用に関する他の判断はさておき、LLMを使用することはますます…非効率的になるでしょう。この点で、私は電子メールスパムの軌跡を思い出します。2000年代初頭には、スパムの爆発が電子メールの終わりを意味するのではないかと（合理的に！）人々は恐れていました。これは、ソーシャルネットワーキング以前の時代であり、電子メールはインターネットの決定的なキラーアプリでした。電子メールをスパムに失うことは、深く落胆させられました。しかし、2000年代後半のある時点で、私たちは転換点を迎えました。スパムフィルタリングが大幅に改善され、スパムの経済性が損なわれました。さらに、スパムが効果的に封じ込められるにつれて、スパムとしてラベル付けされることの結果はますます深刻になりました。今日、合法的な企業はバルクメールの使用方法に非常に注意しています。スパムとしてラベル付けされることは、ドメイン名を事実上破壊し、ブランドを汚すことです。スパムとの戦いは、それを大規模に識別できるようになると転換しました。LLMによって書かれた文章にも同様のことが起こるでしょうか？スパムのように、LLMの影響は、それを読む人間には容易に識別できます。これは解決可能な問題に違いありませんか？最近まで、この問題に関する結果はまちまちでした。LLM自体をLLM識別に使用しようとしましたが、誤検出率が非常に高いことがわかりました。私がLLMによって書かれたと確信しているものを、それらは陽気に受け入れていました。他のサービスは基本的なLLMの兆候を探しているようでしたが、熱心な（そして弁解のない！）ハイフン使用者として、これらの表面的なテクニックは私を不安にさせます（そして、それらが非常に広範に信頼できないことがわかったため、定期的な使用に値しませんでした）。昨年末、Pangram LabsはPangram 3モデルをリリースしました。私はそれが他の検出器よりも大幅に進歩したと感じ、熱心なユーザーになりました。重要なことに、数ヶ月の使用（特に、起源を知っていたサンプルに対して）で、その誤検出率が非常に低いことがわかりました。Pangramがテキストを主にAIによって書かれたと識別した場合、LLMが深く関与していたとある程度の確信を持って言うことができました。（誤検出率が望ましいよりも高いと感じましたが、低い誤検出率のためには小さな代償でした。）1ヶ月強前、彼らはPangram 4を導入しました。これは、すでに印象的だったPangram 3よりも飛躍的な改善だと感じました。私の経験では、誤検出率と誤検出率が非常に低いです（つまり、精度が非常に高いです！）。私はそれが非常に効果的であること（そしてLLMを使用した声への信頼の喪失が非常に急激であること）を発見し、最近RFD 576を公開文章に明示的に拡張し、公開されているOxideの文章はPangramによって人間によって書かれたと報告されることを義務付けました。RFDで説明したように、私たちの公開文章の基準は、LLMが書くために使用されていないというだけでなく、読者がそれがLLMによって書かれたものではないと確信できることです。そして、ますますそれはPangramクリーンであることを意味します。彼らの制度的な声の真正性を重視する組織には、彼らのバナーの下で書く人々のために同様のポリシーを採用することを奨励します。（Rust Foundation、あなたに真っ直ぐ見ています！）実際、Pangramは私たちにとって非常に重要になったため、Pangram Labsの共同創設者兼CEOであるMax Speroが最近Oxide and Friendsに参加したとき、私は興奮しました。私は、Pangramの技術的な詳細だけでなく、Adamが完璧な（たとえその時点では過小評価されていたとしても）シンプソンズの参照をドロップしたことについても、その議論を推奨します。LLMによって書かれた文章を、自分の料理としてテイクアウトフードを提示することに例えたとき、Adamは、そのような文章は「蒸しハム」のようだと冗談を言いました。校長のスカーナーがクラステバーガーを古い家族のレシピとして偽装しようとしたことを参照しています。適切な参照を超えて、Pangram 4を特に効果的にしている理由、そしてその有効性がなぜ疑わしい抗議の叫びを引き起こすように見えるのかについて、Maxの洞察を聞くのは興味深かったです。したがって、作家の皆さん、注意してください。読者は反乱を起こしています。あなたの文章がPangramで実行されることを完全に期待すべきです。もしあなたの立場が、LLMがあなたのプロンプトから文章を作成することに問題はないということであれば、私たち全員の無駄なサイクルを省いて、あなたのプロンプトを私たちに提供してください。あるいは、さらに良いことに、何世代もの作家が以前に行ってきたことを考え、そのプロンプトをあなた自身の文章を書くための骨子として扱うことを検討してください！もちろん、LLMがあなたを助けることができないという意味ではありません。LLMは優れた編集者です！—ただ、あなたが実際に私たちにそれを読んでもらいたいのであれば、おそらくあなたがそれを書かせるべきではないということです。