HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

1866年のように書く:LLMは電信体(Telegraphese)を再学習する

Write Like It's 1866: LLMs Relearn Telegraphese (fiveminutesforward.com)

79 pointsby Theory4251 コメント

要約

大規模言語モデル(LLM)は、19世紀の電信通信で使われていた圧縮された簡潔な文章スタイル「電信体(Telegraphese)」を再学習できることが判明しました。このスタイルは、トークンあたりのコストが高いという現代のLLMの課金体系と類似しており、モデルに指示するだけで、コンテキスト量をほぼ倍増させたり、コストを半減させたりする大幅な最適化が可能です。モデルの選択や、圧縮をどの段階で行うかが重要となります。

全文翻訳

1866年のように書く:LLMが電信体(Telegraphese)を再学習する

[画像: 160年の時を経て同じ情報、1単語10セントの11単語 vs. 「あなたは完全に正しい」の1,847トークン]

以下の内容はすべて再現可能です — ハーネス、フローズンレジャー、ワンクリックノートブック: github.com/Travis42/telegraph-test。

言葉一つ一つに値段がついていた電信時代

1866年、新しい大西洋横断ケーブルでメッセージを送るには、10単語で100ドルかかりました。これは1単語あたり10ドル、最低10単語で、現在の価値に換算すると約2,600ドルに相当します。これは今日の現実的な金額であり、当時の真剣な金額でした。電信会社は単語単位で課金し、その価格構造から一つの産業が生まれました。

[画像: 初の成功した大西洋横断ケーブルを敷設するグレート・イースタン号(油絵、国立海洋博物館、パブリックドメイン)。1単語10ドルを課金し、一世代の通信員に電信体を書くことを教えたケーブル。]

グレート・イースタン号が初の成功した大西洋横断ケーブルを敷設している様子(油絵、国立海洋博物館、パブリックドメイン)。1単語10ドルを課金し、一世代の通信員に電信体を書くことを教えたケーブル。

二つの圧縮戦略が現れ、それぞれが二つの全く異なる技術に対応しています:

コードブック。 出版社は巨大な商業コード辞書を販売していました — Bentley's ABC Telegraphic Code は、ビジネス上の完全なフレーズを単一のコードワードにマッピングする1000ページに及びました。

OTTER

…は、次のような意味になることがあります。

*蒸気船到着、貨物無事、残高送金済み。*

企業は40単語の交渉を6単語のコード交換に短縮できました。コードブックは置換技術です:メッセージは完全な散文で存在し、辞書がその一部を改名します。

[画像: ABC Telegraphic Code のページ:フレーズ全体が単一のコードワードにマッピングされている(パブリックドメイン、Wikimedia Commons経由)]

電信体(Cablese)。 オペレーターと通信員は、以下のような書式を進化させました:

"火曜日到着 資金持参 然後金曜日妻渡海確認"

この規律あるスタイルは、意味を失うことなく単語を節約し、媒体のコストから自然発生したものでした。やがて、電話、ファックス、電子メールなどの新しい技術が登場し、単語あたりのコストプレミアムが崩壊するにつれて、この形式は衰退しました。電信体は、コストまたはメッセージを入力するのにかかる時間という点で、メーター制が依然として負担であるところでは、何らかの形で生き残っています:160文字のSMSは全く新しい略語文化を生み出し、初期のTwitterも同様でした。

さて、何が起こったかというと?

トークンは再び課金される言葉になった

LLM APIの請求書は電信の請求書です。あなたはトークンごとに支払います。

そこで、私たちは昔ながらの二つの戦略を最新のモデルに対して実行しました:

コードブック:既存のテキストを取得し、固定辞書からコードワードに置換する。

結果:約10%の節約。ほとんどの散文は辞書の形をしておらず、置換は著者が既に書いた単語を削除することはできません — それは単にそれらを改名するだけです。

電信体(Cablese)

モデルに「電信体で完全な記録を書け。冠詞とフィラーを削除し、省略し、すべての事実、数字、固有名詞はそのまま保持せよ — 小文字で、すべて大文字ではない。」と指示します。

50のパッセージ、約1,300の質問からなるベンチマークからの数値:

クロスファミリーマトリックス(リーダー=GLM-5.3-Flashの記録から回答する外部モデル;ライター=GLM-5.3-Flashが自身の記録から回答する)2小文字の指示を使用した場合の節約率は、各プロバイダー自身のメーターで示されています。その単語がない場合、モデルは電信体をすべて大文字で書き、そのスタイルは14〜19ポイントかかります:gemma 25.0%、qwen 29.8%、GLM 33.9%。*gpt-5-miniは推論を無効にできないため、圧縮するとより深く考えるようになり、その書き込みは通常のテキストの約2倍のコストがかかります。このテクニックが機能しない唯一のファミリーです。

モデルロール平文精度電信体精度復元率 (1.00 = 平文コントロール)トークン節約
gemma-4-31bリーダー70.9%77.5%1.09—
qwen3.8-27bリーダー72.3%79.4%1.10—
nemotron-3-120bリーダー76.1%76.7%1.01—
gemma-4-26bリーダー71.8%76.9%1.07—
gemma-4-31bライター——1.0940.4%
qwen3.8-27bライター——1.1048.9%
gpt-5-miniライター——0.99**17.7%
ofoam**

GLM-5.3-Flash自体:小文字の指示で48.4%の節約、ファミリー内復元1.09。3リーダーは条件ごとに694の固定質問に回答し、ライターの記録はGLM-5.3-Flashによって読み取られます — この投稿のすべてのGLM呼び出しはz.aiコーディングプランの高速バリアントであるglm-5.3-flashです。マトリックス内の比較で平文を支持するものはありません。すべての比率は0.99〜1.10です。

条件ラダー — 同じ質問、一度に一つの変数:

条件回答モデルが受け取るもの/行うこと固定精度平文コントロールとの比較
パッセージ、平文で回答完全なパッセージ91.5%1.00 (基準)
パッセージ、電信体で回答完全なパッセージ、簡潔な登録74.4%0.81
└ + 平文に転写それらの簡潔な回答を拡張78.8%0.86
平文記録平文の要約75.8%1.00 (基準)
電信体記録圧縮された要約82.5%1.09
デコードされた記録電信体記録を拡張したもの81.6%1.08

下流モデル、一度も例を見なかった4つのファミリーを含む、平文記録と同等かそれ以上の精度で圧縮記録から質問に回答します — 復元率は0.99〜1.10で、1.00は「平文と全く同じくらい良い」を意味します。登録は私たちが発明した構成ではありません(LLMは圧縮された記録をそのまま渡され、それを同等に読みました) — この能力は、1世紀半にわたる人々がメーター制の帯域幅の下で書いてきたことから受け継がれた、重みに既に存在していました。

  • 保持結果の解釈。 電信体の記録は通常の応答よりもわずかに良く読み取れます(ラダーの1.09)。これは、圧縮が厳密な採点でペナルティを受ける「記録のコピー」的なフレーズを抑制するためである可能性が最も高いです。
  • テストされたすべてのモデルがこれを行うことができます。 それはトレーニングデータに含まれています — しかし、圧縮率は同一の小文字指示の下で40%から49%(モデルがデフォルトで大文字を使用する場合25〜34%)の範囲で変動します。このモデルごとのばらつきは、このテクニックを使用したい場合に知っておくべきことであり、それは知ることが可能です。
  • 情報再構築のコストはわずかにありますが、個々の回答をユーザーに転写する場合のみです。消費者がモデルである場合 — または記録が単に再読される場合 — 読み取り比率が適用され、すべて≥0.99です。4統計的に:平文を支持する比較はありません。ファミリー内読み取りp<0.0001、デコードされた記録p=0.03。
  • ストレージループの経済性、両方の台帳。 保存されたテキスト:拡張は書き込み側の節約の約3分の1を返します(平均155 vs 117 vs 260トークン)。そのため、拡張されたアーカイブは平文よりも下に収まります。しかし、それを生成するには追加のパスが1回必要です — 約312トークン(入力+出力)で、これは書き込み側の節約よりも大きいです。出力トークンだけでは、ループは決して勝ちません(272 vs 260)。それは、1〜2回の読み取りで元が取れる、より安価な機械読み取り(それぞれ117 vs 260入力)を通じて支払われます。人間が主な読者である場合は、平文で書いてください。

これが何を意味するかを考えてみてください:

新しいハードウェア、トレーニング、APIの変更、指示文は1文だけです。エージェントは圧縮エンドでほぼ2倍のコンテキストを得るか、半分の出力コストで同じ作業を行います。これは検証済みの大きな最適化であり、私の知る限り、全く行われていません。

圧縮はいつ無料になるのか?

それは圧縮ステップがどこに位置するかによります。モデルがまだ作成中の間に圧縮する(電信体での回答、0.81、0.86で部分的に回復可能)と、登録税を支払います。しかし、コンテンツが確定した後、機械が読む記録に圧縮する場合(1.08〜1.09)、支払うものは何もありません。

電信体は、「コンテンツ確定」と「機械消費」の間に位置します:スクラッチパッド、メモリストア、エージェント間ハンドオフ。モデルがまだ思考中の場所ではありません。

推論を無効にできるモデルは、圧縮をクリーンに課金します。gpt-5-miniの推論は必須です(APIはそれをオフにすることを拒否します)、そして電信体はそれを約3倍難しくします — 短いテキストにもかかわらず、その書き込みは2倍のコストがかかります。教訓は、思考を制御できるモデルで圧縮する必要があるということです。

したがって:

  • すべてのLLM請求書の高価な半分は、機械消費テキストのオプションのオーバーヘッドです。 出力トークンは入力トークンの3〜5倍のコストがかかり、モデルが別のモデルのために書くトラフィックについては、主要なAPIの半分が削減されます — 指示文は1文、トレーニングやセットアップは不要です(必須推論モデルを除く)。
  • エージェントのメモリはほぼ2倍になりました。 スクラッチパッドと要約を電信体で保存します:モデル — 意図された読者 — は、テストされたすべてのファミリーで、同等かそれ以上の精度でそれを読み取ります。人間が実際に確認する場合にのみ平文に展開し、その場合でもアーカイブのコストは平文よりも低くなります。
  • モデルの選択は指示と同じくらい重要です。 同一の指示は、gemmaの記録を40%、Qwenの記録を49%(独自のメーターで)圧縮します — 圧縮性は測定可能な、モデルごとの特性であり、スケールではその差は実際の金額です。電信テストは、モデルがこの種の圧縮にどれだけ優れているかを判断する方法です。
  • おそらく壁で囲むことはできません。 この登録は、テストされたすべてのファミリーのトレーニングデータに存在します。最先端モデルでそれを抑制するラボは、それをまだ持っているオープンモデルに優位性を移すだけです。
  • 監査可能性は圧縮を生き残ります。 自然発生的なエージェントプロトコルとは異なり、電信体は人間が読める、規約によって固定され、オンデマンドでデコード可能です — トークンは監査証跡を失うことなく縮小します。
なぜこれがモデル間で機能するのか?

この登録は既に重みに存在しています — トレーニングデータのアーティファクトです。電信ケーブル、コードブック、そしてより広い「電信スタイル」ファミリー(ヘッドライン、テレタイプスタイル、メモ取り、SMS省略形)の電信体の親戚はすべて、ほとんどのモデルが共有する「人間の知識のすべて」のコーパスに含まれています。二つの観察がこれを裏付けています。第一に、モデルは例やコードブックなしで、単一の指示から流暢で、規約に沿った形状の電信体を生成します。第二に、クロスファミリーマトリックスのリーダーは、その指示さえ見たことがありませんでした:彼らは圧縮された記録をそのまま渡され、4つのモデルファミリー全体で同等の精度でそれを読みました。そのような共有のゼロショット流暢さは、規約が共有された人間のテキストに潜在していると仮定しない限り説明が困難です。5退屈な注意:厳密なコントロール — 歴史的なフレームワーク(「可能な限り簡潔に書け」)を削除した同じ圧縮指示 — を実行して、一般的な簡潔さが同様に読みやすい圧縮を生み出すかどうかをテストしていません。ここでの主張は潜在的な登録の強力な証拠ですが、その核心ではこれは教育的な推測です。

LLMはすでにこれをやっていませんでしたか?

はい、BabelTele(arXiv、2026年6月)は、LLMが他のモデルが高忠実度(元の長さの27.9%で99.5%の意味的忠実度、彼らの尺度による)で回復できる、コンパクトな非標準形式 — 万能な単語断片、記号、絵文字 — でテキストをエンコードできることを実証しました。これは一般的な現象を証明しています:人間が読めることは、モデル間テキストの要件ではありません。

さらに、トークン予算の下でLLMエージェントの集団を実行している研究者たちは、同じことが自発的に現れるのを見てきました:エージェントを圧縮圧力下に置くと、彼らは完全な英語をやり取りする代わりに、コンパクトなプロトコルを交渉します。GLOSSOGENは、予算圧力が新しいコミュニケーションシステムを生み出すことを発見しました。別の論文、トークン効率から監視回避までは、エージェント集団が効率圧力の下で出現言語を発展させることを示しています。

他の研究では、エージェントがトークンを3〜6倍削減し、精度を安定させる象徴的な言語を発明したり、最先端では、テキストを完全にスキップしてエージェント間で生の埋め込みベクトルを渡すフレームワークもあります。

すでにリリースされているもの
  • Terse (terseai.org)。「電信圧縮」をプロンプトに販売する製品:入力側での記事や代名詞のルールベースの除去。忠実度は測定されておらず、主張されています。
  • Caveman (github.com/juliusbrussee/caveman)。モデルに簡潔な断片で回答させるClaude Codeスキル。GitHubで100k以上のスターを獲得しています。

しかし、私はここでさらにできることがあると思います。

では、なぜ電信体(Cablese)が重要なのか?

モデルが独自の力で6倍のような圧縮を生み出せるなら、なぜわずか2倍で気にする必要があるのでしょうか?理由は以下の通りです:

これらの自然発生的なプロトコルは、密で効率的で、モデル間で移植可能(他のLLMはコンテキスト内で学習できる)という特性を共有していますが、それらは:

  • 不安定 — 交渉が続くにつれてドリフトします
  • 人間には読みにくい/理解しにくい

対照的に、電信体は:

  • 既知の標準であり、より決定的で、一般化可能で、セットアップや初期交渉が不要です
  • 読み取り可能であり、したがって監査可能です

真実を言えば、これら二つの技術は、圧縮/監査可能性のフロンティア上の異なる点であり、あなたのワークロードがそのフロンティア上のどこに位置するかによって、選択すべき点が決まります。

[画像: 圧縮/監査可能性のフロンティア、メーター基準:平文、電信体(40–49%)、BabelTele、自然発生的なプロトコル、および生の埋め込み]

電信テスト — モデルが電信体をどのように使用するかを測定する

テストが測定するもの: モデルにはパッセージと、日付、名前、数などの短くチェック可能な回答を持つ固定の質問セットが与えられます。それは情報の一つのバージョンから回答します:元のパッセージ、平文の要約、電信体の要約、または平文に拡張された電信体の要約。回答が期待される回答と固定文字列ルールで一致する場合、正解とみなされます — 判定者なし、裁量なし。すべてのスコアは、その自身の平文コントロールのスコアで割られます。したがって、1.00は常に「平文英語と全く同じくらい良い」を意味します。 1.00以上はより良く、以下はより悪いです。

パーセンテージが測定するもの:事実に対する理解度、提示方法の多様性。 各パッセージには約24の質問が付属しており、その短い期待される回答(日付、名前、数)はソーステキストから抽出可能であることが検証されています — それ以外はテスト前に破棄されます。モデルは一つの提示を受け取ります — 完全なパッセージ、平文の記録、電信体の記録、またはデコードされた記録 — そして各質問に数語で回答します。回答は、決定論的で正規化されたマッチングの下で固定された0.8のしきい値をクリアする場合に正しいとみなされます:厳密な一致の pedantry なし、判定者なし、裁量なし。この投稿のすべての比較では、質問と採点者を固定し、モデルが読むものだけを変更します。

なぜ平文ベースラインが100%ではないのか? 非圧縮パッセージに関する質問に平文で回答すると、約91%のスコアになります。この不足は三つの源泉から来ています:厳密な採点(異なる言葉で書かれた正しい回答はミスとして採点される — 決定論的なマッチングには裁量がない、そしてどのモデルも判定者の席に座らない);曖昧な質問(複数の擁護可能な回答があるものがある);そして実際のミス(モデルが実際に抽出に失敗した事実)。これら三つを判定者なしで分割することはできないため、試みません — そして設計はそれを必要としません:条件全体で質問と採点者は固定されているため、ベースラインの不足はすべての比較で相殺されます。これが、ベンチマークの主要な数値が、各条件自身の平文コントロールに対する比率であり、1.00が平文と同等を意味する理由です。

この投稿の数値を読む方法についての注意。比較はペアで行われます — 同じ質問が両方の条件で回答されます — そしてマクネマー検定でテストされます。平易な言葉で言えば:両方の条件が正しく回答した質問、または両方が間違って回答した質問(それらはどちらが優れているかについてのシグナルを持ちません)を無視し、交換 — ちょうど一方の条件が成功した質問 — だけを見ます。条件が真に等しい場合、それらの勝利はコインフリップのように分割されるでしょう;運で生じる可能性がわずか3%しかない不均衡な分割(例えば69勝対45敗)は、実際の差の証拠です。これらすべてのp値はこれを意味します。したがって、この投稿のすべての主張はペア比較であり、登録のコストはそのペア間のギャップです — 私たちが測定した両方向でゼロからマイナスです。

電信テストは、同じ固定パッセージバンク、同じ固定質問、そして同じ決定論的な採点者を使用して、任意のモデルについて三つの質問に答えます:

  1. どれだけ簡潔に書くか? 同一の電信体指示を与えられた場合、その記録は平文記録よりもどれだけ短くなるか?
  2. 他者はそれを読むことができるか? 別のモデルファミリーがその圧縮記録を使用して質問に回答する場合、精度は維持されるか?(可読性 — 共有レジスタとプライベートなidiolect の違い。)
  3. 各使用のコストは? 機械用読み取り、人間用転写 — 別々に測定、なぜならそれらは異なる挙動をするからだ。

モデルリリースには「簡潔な電信体を書く」スペックシートの行は付属しないため、これらの数値を知ることは実験を実行しない限り誰にもできません — そしてモデルは毎月リリースされます。それがベンチマークの目的です:新しいモデルごとに半日の計算で、その特性は伝説ではなく表の数値になります。

どこに存在するのか: github.com/Travis42/telegraph-test