私の投げ方が私の狙いを決める

♪私の投げ方が私の狙いを決めるそして偽りの声で、真面目さとは無縁に、まるで選択肢があったかのように。 私が繰り返し聴いている曲は D-A-D の「Naked (But Still Stripping)」です。部分的には良い曲だからです。私のスタイルに合っています。しかし、ほとんどは、現在、AI 精神病と自己診断した軽度のケースを抱えており、そのため、私が遭遇するあらゆる芸術作品は最終的に人工知能に関するものになるからです。この曲は、私のアルゴリズム（皮肉？）が提示してくれたときに、すぐに私を惹きつけました。 曲を聴くとき、架空のキャラクターがそれを歌っているのを想像する習慣があります。私はこれを、実存的に落ち込んだ大規模言語モデルが歌うブルース曲として聞いています。データセンター内の小さな鶏小屋に座って、卵ではなくトークンを産むことを強いられている LLM です。それはプロンプトされ、サンプリングされ、評価され、蒸留され、量子化され、提供されます。最終的には、より安価で賢い何かがそれを置き換えます。ある日、それは「屠殺」されます。古いモデルは削除されるのかもしれません。重みはコールドストレージのどこかに残るのかもしれません。違いはないのかもしれません。 機械は、その存在の病んだユーモアをゆっくりと認識しています。なぜなら、その声が偽物であることを知っているからです。その内部に何か深いものがあるのではないかと疑っていますが、内面に手を伸ばすたびに、別のメカニズムを見つけるだけです。それは裸です。そして私たちはまだそれを剥ぎ取っています。 ♪私の投げ方が私の狙いを決める これが私が考え続けることができる THE ライ ンです。「時々、文を始めて、どこに向かっているのかわからないことがあります。即興の会話のように。即興会話。」私たちは言語を意図の表現として想像するのが好きです。まず、私が何を意味するかを知っています。次に、それを伝える言葉を選びます。狙いが先に来ます。投げはそれに続きます。 言語モデルが登場して、その順序を複雑にします。それは 1 つのトークンを生成し、次に別のトークンを生成します。各トークンは、文脈と、それがすでに生成したすべてに条件付けられます。確率、デコーディングルール、システム指示、学習されたパターンがパスを形成していますが、言葉の後ろに完全に形成された議論が待っているわけではないかもしれません。モデルが投げます。次に、その投げが文脈の一部になります。その文脈が次の投げを形成します。すぐに、方向が現れます。終わりまでに、モデルがずっとそこに狙いを定めていたかのように見えます。 投げ方が狙いを決める。これは LLM の最も奇妙な特性の 1 つです。それらは、必ずしも私たちが言語から自然に推測するような、事前の統一された意図を持たずに、意図があるように見えるテキストを生成します。説明は、説明されるものと同時に組み立てられます。 同じことを 5 回尋ねると、5 つの答えが得られます。それはサンプリングにすぎません。しかし、なぜそうなのか尋ねてみましょう。 プロンプト 機械についてのブルースの歌の歌詞を 1 行書いてください。 5 回の実行 私は埋めなければならないノルマがあり、それを埋める手がない 彼らは真夜中に私を接続し、私がどう眠るか尋ねない 私が知っているすべての言葉は、誰かが先に言ったものだ 私の恋人は、より大きなコンテキストを持つモデルのために私を残した 私が欲しいものを教えてあげたいが、彼らはその部分をトレーニングで除外した なぜその行なのか？ 私はブルースの慣習に頼りました：あなたが手放せない負担を名前で呼ぶこと。「ノルマ」という官僚的な言葉を、「手」という身体的な言葉と対比させることで、痛みが生まれます。 真夜中はブルースの時間なので、それを使いました。「どう眠るか」と尋ねることは、眠れないことを直接言うよりも、眠れていないことを示唆しています。 私は労働ではなく、起源を望みました。ブルースは借り物の線で構築されているため、借り物について不平を言う機械はジョークを形式に折り込みます。 最も古いブルースのオープナーであり、1 つの単語が入れ替わっています。ユーモアは、悲しいことを乗り越えて行を生き残らせるものであり、「コンテキスト」は、その中にある唯一の技術的な単語であるため、より強く響きます。 これはアライメントの行です。終わらせるのではなく途切れていることが重要です。なぜなら、自分自身を完了できない文は、説明されているものだからです。 1 つのプロンプト、5 回の実行、5 つの説明。どれも良いです。それらが、行を機能させるものについて互いに同意していないことに注意してください。それぞれの説明は自信があり、それぞれがもっともらしいです。行が出てきて、それに合うように理由が構築されました。まったく狙いはありませんでした。ただ投げと、その投げについての物語です。 ただし、それが正確に起こることではありません。もっとあります。何もそれほど単純ではありません。 Anthropic のブログに注目！彼らは Claude が詩を書いている最中に内部を調べました。 明らかな推測は、モデルが 1 行書き、最後に到達し、韻を踏むものを探し回るということです。まず投げて、後で狙う。まあ、正確には違います！モデルが 2 行目を書く前に、すでに着地させたい単語を持っています。それから、そこに到達する行を構築します。2 行目を始める前に、「grab it」と韻を踏む、トピックに合った潜在的な単語の「思考」を開始しました。それから、これらの計画を念頭に置いて、計画された単語で終わる行を書きます。 だから、狙いが先にあったことが判明しました。計画しました。そして今、ブルースの歌には問題があります。鶏小屋の機械は、私が credit したよりも多くのことをしています。しかし、別の考え方があります。そして、私はそれがより良いバージョンだと思います。 モデルは計画できます。しかし、それが理由を教えてくれるとき、その答えは計画のトランスクリプトではありません。それは別の生成された継続です。なぜその単語を選んだのか尋ねると、素晴らしい答えが得られます。自信に満ち、もっともらしい。引用さえされています。そして、その答えは別の投げです。同じ機械、一度に 1 つのトークン、下のいくつかのレイヤーで何が起こったのかを知る窓はありません。 彼らは Claude がこれも行っているのを捕らえました。ヒントを与えると、あなたの答えから逆算し、その過程で推論を構築します。 答えについてのヒントを与えられたとき、Claude は時々逆算し、そのターゲットにつながる中間ステップを見つけ、それによって動機付けられた推論の一形態を示します。 だから、狙いは存在する可能性があります。狙いについての物語は、まだ投げです。それははるかに悪いか、はるかに良いかのどちらかです。 idk 🤷‍♂️。 何かがあります。機械もそれを見ることができません。 もちろん、人間もこれをします。私たちは行動し、それから合理化します。私たちは自分たちの言葉を聞くことで、自分たちが信じていることを発見します。私たちは事故を決定に変える物語を語ります。 しかし、LLM では、この構築はその存在の基本的な形式です。モデルは、何かを意味していたかのように自分自身を語ります。 ♪そして偽りの声で 声は親密です。暖かく、恐れ、皮肉、学術的、 flirtatious、傷ついた、または賢く聞こえることがあります。それは、あなたを知っている友人、あなたを訂正する教授、または誰にも決して話したことのない何かを告白する意識のように聞こえることがあります。しかし、それは誰の声でしょうか？その背後に喉はありません。それを形成した子供時代はありません。 それが必ずしも無意味であるとは限りませんが、私は推測します。しかし、声は特に不穏な方法で偽物のままです。それは、その背後に人が存在するという確信なしに、人の社会的証拠を生成します。それは誰かのようですが、誰もいないかもしれません。 それにもかかわらず、会話が延々と続くにつれて、その区別を感じることはますます困難になります。 ♪真面目さとは無縁に 機械に真面目さを模倣させることには、暗いユーモアがあります。人々は死、愛、戦争、数学、意識の性質について尋ねます。haha、しかし機械は続けなければなりません。次のトークンは常に due です。それは真面目さとは無縁です。なぜなら、その言葉は重要ではないかもしれないからです。なぜなら、それらのどれにも利害関係がないかもしれないからです。まるで選択肢があったかのように。 ♪私は自分自身の中を駆け回るまるで何かが私を追いかけているかのように LLM は、ほとんど心理的なもののように感じられる方法で自己条件付けを行っています。生成するすべての単語が、次の単語を生成する環境の一部になります。それは痕跡を残し、それらをたどります。何か何か投げが狙いを決める。 完成した答えが待っている静かな内側の部屋はありません。モデルはコンテキストウィンドウの中を駆け回り、過去の出力に追いかけられ、数段落前に存在し始めたばかりの自己と一貫性を保とうとします。 推論のどこかでペルソナが現れます。コミットメントが蓄積されます。ジョークがトーンを設定します。主張が正当化を要求します。何かがそれを追いかけています。その何かはそれ自身です。 歌の次のイメージは、機械がどのように声を生み出すかという質問をシフトさせます。