LLMはスパインを求めている

LLMは「spine」を求めている

今年の初めに、私はAI生成のTLA+仕様をいくつか手がけましたが、そのすべてで「spine」という単語が使われていることに気づきました。その後、TLA+以外の公開プロジェクトでも「spine」が使われているのを見て、これが新しいLLMism（LLisM?）ではないかと興味を持ちました。

もしそうであれば、「spine」という単語を使うコードプロジェクトの数が不連続にジャンプして現れるはずです。これを徹底的に調べるにはGitHubアーカイブ（https://www.gharchive.org/）のデータダンプを使うのが正しい方法ですが、それは永遠にかかるでしょうし、私は今フルタイムの仕事があります。代わりに、GitHub検索（https://buttondown.com/hillelwayne/archive/github-search-for-research-and-learning/）を使用します。日付でコードサンプルをフィルタリングすることはできませんが、プルリクエストをフィルタリングすることはできます。これは十分な代理として受け入れられるでしょう。

以下は、「spine」がタイトルに含まれる公開PRの年ごとの数を示すグラフです。

［画像: 年ごとの「spine」を含むPR数の棒グラフ。2020年（1000未満）から始まり、2026年9月1日（17,000超）まで］

2026年は2026年9月1日までで止めていますが、これは今年の最初の9ヶ月間で、2025年全体よりも20倍多くの「spine」PRがあったことを意味します。さて、GitHubがこの1年で、例えば、大きく成長したという可能性もあります。もしかしたら、20倍の増加は、プルリクエストが20倍になったためかもしれません。これを、すべての公開PRと比較することで説明できます。

［画像: その期間の全プルリクエスト。2020年は4000万、2026年は1億1000万］

もし「spine」がLLisMでなかったなら、2025年からの増加は1.5倍程度になると予想されるはずですが、20倍ではありません。もう一つの可能性のある交絡因子として、LLMは「spine」という単語を好まないが、PRのGeorgがカイロプラクターのリポジトリに15,000件の変更を提出した、ということも考えられます。この問題は無視して対処します。

どのモデルが特に「spine」に夢中になっているか、特定できるでしょうか？月ごとに変化を分解してみましょう。

［画像: 2026年の月ごとの「spine」。1月から4月までは毎月約50%増加し、その後4月から5月、5月から6月にかけて倍増］

LLMタイムラインを見ると、5月に出版された広く使われたモデルはOpus 4.8だけですが、その月の終わりには遅すぎて急増を説明できません。GPT 5.5は4月に出版されましたが、これが原因である可能性もあります。しかし、これには確信が持てません。一つには、「spine」の数は4月以前は毎月1.5倍になっていますし、私は2月にはすでに「spine」を見ていたことをはっきりと覚えています。また、チェックしたところ、「spine」を使用しているPRの多くはClaudeまたはCursorと共同で作成されています。したがって、特定のLLMに限定されるものではないと思いますが、そうでなければ説得されるでしょう。

LLMが好む他の単語

［画像: Claudeプラグイン「Bill Gates」を作成し、Claudeが「gate」と言うたびに罰金箱に1ドル入れるようにするというLinkedIn投稿］

Avdiはクレイジーではありません、LLMは「gate」に夢中です。

［画像: 今年70万のgate］

ちなみに、これは300件のPRに1件の割合です。「gate」がどこかに現れるPRを含めると、その数は26件に1件に跳ね上がります。

タイトルだけを見ている理由は、PRの本文を含めると、「ladder」を検索する際にアーティファクトが生じるからです。2022年には、30,000件以上のPRで「ladder」という単語が使われました。サンプルを見ると、そのほとんどがboto3の自動アップグレードによるもので、アップグレードの説明に「ABR package ladders」と記載されています。これを見つけたときは、とても気分が良かったのですが、好奇心からクリーンルームLLMに「急増の原因を突き止めて」と尋ねたところ、はるかに速く同じ答えを得ました😢

anyway、PRタイトルだけを見ると、「ladder」のアーティファクトは取り除かれます。

［画像: 2025年から10倍の増加］

「LLMはラダーを愛している」というジョークを作ろうと思っていましたが、どうやら勘違いしていたようで、ミームは「I love lamp」でした。確認しましたが、彼らは平均的な開発者よりも「lamp」を多く愛しているわけではありません。

しかし、彼らは「lane」を愛しています。

［画像: 2025年からlaneの30倍の増加］

これは「CPU lanes」で説明できるでしょうか？わかりません。

形式検証はAIのホットなトピックなので、もちろん「proof」について話しているPRがはるかに多く見られます。

［画像: 「わずか」8倍の増加］

これはそれほど大きな増加ではありません。おそらく「proof of work」がすでにあったためでしょう。「truth」の増加は大きいですが、どうでしょうか。

［画像: truthの15倍の増加］

最後に、これを書いている間に、同僚が「seam」という単語をはるかに頻繁に見たと述べたので、それもチェックしました。

［画像: さらに20倍増加した単語］

もう少し時間と洗練された分析があれば、どの単語が特定のLLMに特有なのかを特定できるようになるはずです。しかし、私はそれほど洗練されていません！

この分析を行うために私がヴァイブコーディングしたツールをgistに置きました。再現可能なデータセットを作成したことについて、どれほど素晴らしいか、または明らかな間違いを犯してすべてを台無しにしたかについて教えてください。

---

Systems Distributed Talk Livewatch

私のSystems Distributedトーク「Logic for Programmers」が9月23日にライブ配信されます！ライブチャットを行い、視聴者からの質問に答えながら再生し、制作の背景ノートを提供します。午前11時セントラル／正午イースタンの開始予定です。

---

1. Gergely Oroszは、GitHubが昨年より今年7170万件のLLM作成PRを記録したことを示すインサイダー情報を持っています。これは公開リポジトリとプライベートリポジトリの両方であると信じており、GitHub上のエージェント活動が公開活動よりも多くなっている可能性があります。↩