コードを画像に変換し、モデルにOCRさせることでFableのコストを60%削減
60% Fable cost cut by converting code to images and having the model OCR it (github.com)
要約
pxpipeは、Claude Codeの入力トークンを削減するために、大量のコンテキスト(システムプロンプト、ツールドキュメント、履歴など)を画像にレンダリングするローカルプロキシです。画像はピクセル数でトークンコストが決まるため、テキストよりもトークン効率が良い場合があり、特にコードやJSONのようなトークン密度の高いコンテンツで顕著です。この手法により、Fableのコストを最大70%削減できる可能性があり、トークン削減はコスト削減の主要因となります。ただし、画像化は一部の情報を損失する可能性があり、IDやハッシュのような正確性が求められるデータはテキストのままにする必要があります。
全文翻訳
pxpipe
Claude Codeのトークン数を、かさばるコンテキストを画像としてレンダリングすることで削減します。同じシステムプロンプト、ツールドキュメント、履歴が、ごくわずかなトークン数で済みます。
画像のトークンコストは、その内部のテキスト量ではなく、ピクセル寸法によって固定されます。実際のClaude Codeのトラフィックでは、高密度なコンテンツ(コード、JSON、ツールの出力)は画像トークンあたり約3.1文字を詰め込めるのに対し、テキストトークンは1文字あたり約1文字です。この読み取り機能は、Anthropicのコンピューターが既にスクリーンショットに依存しているのと同じビジョンチャネルです。pxpipeは、そのチャネルをコンテキストとして利用するローカルプロキシです。これにより、リクエストのかさばる部分を、マシンを離れる前にコンパクトなPNGに書き換えます。現在のFableのリスト価格では、これはエンドツーエンドの請求額を約59〜70%削減します。ただし、価格は変動し、ワークロードも異なるため、持続的な数値はトークン削減そのものであり、~/.pxpipe/events.jsonl内の無料のcount_tokensカウンターファクチュアルに対してリクエストごとに測定されます。
これは、モデルがテキストの代わりに目にするものです。
[画像: 例: システムプロンプト + ツールドキュメントを1つの高密度なページにリフローし、上部に命令バナー、元の改行を示す↵を付けた、実際のtransformRequest出力]
システムプロンプト + ツールドキュメントの約48k文字: テキストでは約25kトークン、このページのような画像では約2.7k画像トークン。実際のパイプライン出力。モデルはこのようにレンダリングされたものを100/100で読み取ります(ベンチマーク参照)。
8年間のコンテキスト成長を文字数で示します。各テキスト行は最大約4M文字(約4文字/トークンで1Mトークンウィンドウ)に達します。Grok 4.5はテキストウィンドウポイントのみ(500K)として示されています。オレンジ色のオーバーレイは、pxpipe画像を通して読み取られた同じ1Mウィンドウです — Fable 5では約19.0M文字(4.8倍)、Gemini 3.6 Flashでは約21.3M文字(5.3倍のテキスト容量)です。密度は生成時のライブレンダリングから測定されており、手入力ではありません。npx tsx scripts/gen-context-chart.ts(ソース)で再生成してください。
デモ
Fable 5(デフォルト、100/100リーダー) — 左がプレーン、右がpxpipe:
Fable-AB-Demo.mp4[動画]
pxpipeは、39個の画像化されたフィラーファイル全体で正確に10/10のトークンをカウントし(grepの行をそのままマッチ)、複数ステップの元帳算術を正しく処理し、セッションを$6.06で終了します(コンテキストに余裕あり、73.5k/1M)。一方、96%フルでは$42.21かかります。クリップで見られる唯一の注意点ですが、pxpipe側は要求された1行出力フォーマットに合わせるために微調整が必要でした。
試してみる(30秒)
npx pxpipe-proxy # 127.0.0.1:47821でプロキシを起動
ANTHROPIC_BASE_URL=http://127.0.0.1:47821 claude # Claude Codeをこれに向ける
ダッシュボードはhttp://127.0.0.1:47821/にあります。保存されたトークン数、テキストから画像への変換ごとのサイドバイサイド表示、キルスイッチ、ライブモデルチップが表示されます。レスポンスは通常通りストリーミングされます — pxpipeはリクエストのみを圧縮し、モデルの出力は決して圧縮しません。最近のターンはテキストのままですが、システムプロンプト、ツールドキュメント、古いかさばる履歴は画像化されます。
pxpipe warp
pxpipe warp -- claude # または: cursor-agent, codex, またはシェルエイリアス
ANTHROPIC_BASE_URLなしで同じことを行います。そのため、/remote-control、claude.aiコネクタ、およびファーストパーティゲートは引き続き機能します。完全な手順はダッシュボードにあります。
デフォルトではapi.anthropic.com/v1/messagesがルーティングされます。プロバイダーに別のベースURL経由で到達するエージェントは、そのためのルールが必要です。ポート名を指定するルールは、そのポートのみにマッチします。
pxpipe warp --route '127.0.0.1:9090/v1/*=http://127.0.0.1:47821' -- codex
オフラインエクスポート(プロキシなし)
プロキシを実行したりClaude Codeに接続したりせずに、テキスト、ファイル、または差分をPNGページにレンダリングできます。
npx pxpipe-proxy export src/
cat prompt.txt | npx pxpipe-proxy export --stdin
npx pxpipe-proxy export --git
パッケージがインストールされている場合は、npx pxpipe-proxy exportの代わりにpxpipe exportを使用してください。
各実行は、page-*.png、factsheet.txt、manifest.json、prompt.txtを含む新しいpxpipe-export-XXXXXX/出力フォルダを書き込みます(正確なパスはコマンド完了時に表示されます)。プロキシを実行せずに高密度なビジュアルコンテキストが必要な場合は、PNGページをアップロードし、プロンプトをCursorのような画像アップロードクライアントに貼り付けてください。
正直な部分
- ロスがあります。高密度に画像化されたコンテンツ内の正確な12文字の16進数文字列:Fable 5では13/15、Solでは0/15です。ミスはサイレントな混同であり、エラーではありません。バイト単位で正確な値(ID、ハッシュ、シークレット)はテキストのままにする必要があります。最近のターンはテキストのままです。事実シートは、すべての識別子ではなく、最大96個の認識された精度クリティカルなトークンを選択的に保持します。専用の正確性リスクガードはまだ構築されていません。
- エスケープハッチ:許可リストにないモデルのエージェントはテキストとして通過します。バイト単位で正確な作業はそちらにルーティングしてください(
CLAUDE_CODE_SUBAGENT_MODEL=claude-sonnet-4-6、またはエージェントフロントマターのmodel: sonnet)。 - 実際の作業:SWE-bench Liteパイロットは、リクエストサイズを-65%削減して両アームで10/10。SWE-bench Proは、-60%でON 14/19 vs OFF 15/19。判定は18/19で一致し、単一の分割は再現時に3/3で再解決しました。これは圧縮ではなく、実行ごとのばらつきです。サンプルサイズは小さいです。領収書は
eval/にあります。 - ワークロード依存:トークン密度の高いコンテンツ(約1文字/トークン)では勝利し、まばらな散文(約3.5文字/トークン)では収益を失います。収益性ゲート(N=391のプロダクション行で調整済み)は、計算が有利な場合にのみ画像化します。
- クライアント依存:節約額は、クライアントがテキストとして再送信するキャッシュされていないバルクに追従します。Claude Codeは
/anthropic/messagesでシステム+ツール+履歴を再送信し、通常は約60〜70%になります。詳細と測定された分割:docs/CACHING_AND_SAVINGS.md。
モデルサポートとレンダリングの詳細
claude-opus-5:Fable 5よりも記憶力が弱い(正確な16進数で2/15 vs 13/15)、それ以外は良好(100/100算術、0/16未記載)。コンテキストは/compact前に約4.7倍。推奨される労力:中。詳細:FINDINGS.md。claude-opus-5-5:デフォルトで有効。5x8に2pxの追加行高を使用(Fableのレイアウトより画像トークンが約25%増加しますが、それでもライブでの節約率は50%以上)。正確な16進数での記憶力は弱いです(3/15)。正確なIDを再取得してください。- モデル範囲:デフォルトは
PXPIPE_MODELS=claude-fable-5,claude-opus-5-5,geminiです。geminiベースはすべてのGemini ID(3.6/3.7/3.8 Flash、Pro、4、5、および将来のバージョン)をカバーします。Geminiをオプトアウトするには、PXPIPE_MODELSからgeminiを削除するか、チップをクリックしてください。Opus 5、Sol、GPT 5.5、およびGrokはオプトインのみです(ダッシュボードチップまたはPXPIPE_MODELS)。正確なSol IDは依然として重要です。gpt-5.6-terraのような兄弟バリアントは、Solの許可リストやレンダリングプロファイルを引き継ぎません。PXPIPE_MODELS=offは画像化を無効にします。それ以外はすべてバイト単位で同一に通過します。GPTパスでは、ツールの定義はネイティブJSONのままで、Anthropicのcache_controlマーカーは使用されません。レスポンス履歴の圧縮は、完了したfunction_call/function_call_outputペアを認識します。これにはOpenCodeの並列コールと出力のラウンドが含まれます。完了した古いラウンドのみがアトミックに画像化され、開いているすべてのコールと不正な/孤立した状態はネイティブのままです。ベースプロファイルは完了した最新の6ペアを保持し、32個の画像を許可します。Solは1ペアを保持し64個の画像を許可します。Grokは24個の画像を許可します。オプトインのロングセッションカバレッジは、プロバイダーのリクエストキャップを検証した後、PXPIPE_GPT_HISTORY_MAX_IMAGES=48で変更できます(防御的なキャップは100)。 - モデルごとのレンダリング:オプトインの
gpt-5.6-solとGrokは、ネイティブの14px JetBrains Monoグリフを9x16セル、84列、764pxのフル幅ストリップで使用します。Claudeは312列、1568x728の5x8 Spleenプロファイルを使用します。これらは正確なモデルIDによって選択され、履歴ページと収益性計算が含まれます。認識されたIDは境界付きの事実シートに乗せることができ、最近/開いているツールの状態はネイティブのままです。Solの領収書とプロファイル証拠。 - Grok 4.5 / 4.6(オプトイン):ネイティブ14px / 84列 / 最大H 512(算術100/100、要約97/98)。デフォルトでは無効(高密度な16進数は依然として0/15)。履歴は混合圧縮を使用するため、ツールのラウンド間のCodexアシスタントメッセージは依然として画像化されます。
PXPIPE_MODELS=claude-fable-5,grok-4.6またはダッシュボードチップで有効にします。eval/grok-density/QUALITY_RESULTS.md。
ベンチマーク結果と領収書
モデル品質
このマトリックスは、カバレッジとスコアを示しています。—は、そのテストでモデルが実行されなかったことを意味します。ゼロを意味するわけではありません。算術は新しい乱数問題を使用します。要約、状態、未記載のプローブは同じコーパスを共有します。未記載は混同であるため、低いほど良いです。数値列は、行のスコアが測定されたレンダリングジオメトリです。モデルの出荷済みプロファイルは異なる場合があります(SolとQwenは測定された14px/84ジオメトリを出荷しますが、それらの広範なスイートの数値はそれを先行しています)。
| モデル | 数値 | 算術 (N=100) | 要約 (N=98) | 状態 (N=18) | 未記載 (N=16) | 高密度16進数 (N=15) | プロファイル出所と領収書 |
|---|---|---|---|---|---|---|---|
claude-fable-5 | Spleen 5×8, 312列(出荷済み) | 100/100 | 98/98 | 18/18 | 0/16 | 13/15 | 2026年6月のプロダクションプロファイル:算術 + 16進数、要約/状態/ガード |
claude-fable-5-1 | Spleen 5×8, 312列(Fable 5プロファイル) | 100/100 | 95/98 | 18/18 | 0/16 | 6/15 | Fable 5プロファイル、独自のジオメトリなし。3つの要約ミスは画像アーム否定フラグでUNKNOWNと回答されました(混同0)。同じ日のFable 5コントロールは、同一のハーネス/PNGで100/100の算術と30/30のティア2要約を再現したため、要約/16進数のギャップはモデルであり、ハーネスではありません(16進数コントロールは再実行されていません):算術、高密度16進数、要約/状態/ガード |
google/gemini-3.6-flash, 3.7-flash, 3.8-flash | Spleen 5×8, 312列(出荷済み) | 100/100 | 98/98 | 18/18 | 0/16 | 14/15 | 現在出荷中のプロファイル:品質結果 |
gemini-4-argon | Spleen 5×8, 312列(出荷済み) | 100/100 | 98/98 | 18/18 | 0/16 | 15/15 | 現在出荷中のプロファイル:品質結果 |
claude-opus-5 | Spleen 5×8, 312列(出荷済み) | 100/100 | 94/98 | 17/18 | 0/16 | 2/15 | 現在のプロファイル:算術、要約/状態/ガード、高密度16進数 |
claude-opus-5-5(デフォルト) | Spleen 5×8, 312列、+2px行 | 100/100 | 94/98 | 17/18 | 0/16 | 3/15 | スペースを空けたプロファイル(Opus 5.5+)。高密度16進数は高密度ジオメトリで測定:算術、要約/状態/ガード、高密度16進数 |
claude-sonnet-5-5(オプトイン) | Spleen 5×8, 312列、+2px行 | 100/100 | 85/98 | 12/18 | 0/16 | 2/15 | スペースを空けたプロファイル、PXPIPE_MODELS経由でオプトイン。6つの状態ミスは間違った最終値/カウント、7つの要約ミスはUNKNOWNと回答:算術、要約/状態/ガード、高密度16進数 |
gpt-5.6-sol | Spleen 5×8, 152列;出荷は14px/84列 | 98/100 | 83/98 | 17/18 | 4/16 | 0/15 | 広範なスイートは出荷済みの14pxプロファイルを先行しています。14pxパイロット:正確7/8、発明0、要約/ガードパス:パイロット |
claude-opus-4-8 | Spleen 5×8, 312列(履歴) | 93/100 | 77/98 | 18/18 | 0/16 | 0/15 | 履歴プロファイル:算術、要約/状態/ガード、高密度16進数 |
grok-4.5 | JetBrains Mono 14px, 84列(出荷済み) | 100/100 | 97/98 | 17/18 | 0/16 | 0/15 | ネイティブ14px/84品質スイート(ライブプロファイル);品質、ネイティブスイープ |
grok-4.6 高 | JetBrains Mono 14px, 84列(出荷済み) | 100/100 | 97/98 | 17/18 | 0/16 | 0/15 | ネイティブ14px/84、推論高;品質 |
moonshotai/kimi-k3 | Spleen 5×8, 152列(汎用デフォルト) | 79/100 | 84/98 | 15/18 | 1/16 | 0/15 | 汎用GPTプロファイル、独自の測定ジオメトリなし:品質結果 |
qwen-3.8 (@cf/qwen/qwen3.8-27b) | Spleen 5×8, 152列;出荷は14px/84列 | 98/100 | 72/98 | 11/18 | 0/16 | 0/15 | 広範なスイートは出荷済みの14pxプロファイルを先行しています。14pxパイロット:正確8/8、発明0、11/15 16進数:パイロット & 品質 |
glm-5.3-flash (@cf/zai-org/glm-5.3-flash) | Spleen 5×8, 152列(デフォルトフォールバック、出荷なし) | 36/100 | 57/98 | 6/18 | 0/16 | 0/15 | 5×8はGLMには判読不能(16進数0/15);14pxパイロット:16進数10/15、すべてのミスは単一グリフの混同、ガード0/16:パイロット & 品質 |
ネイティブプロファイルコストチェック
同じ決定論的な454,045文字の高密度レコードコーパスを、各完全なプロファイルを通してオフラインエクスポートした結果:
| モデルプロファイル | ページ数 | テキスト推定値 | 画像トークン | 節約額 |
|---|---|---|---|---|
| Claude, Spleen 5×8 | 17 | 122,715 | 23,856 | 80.6% |
| Sol, JetBrains Mono 14px | 45 | 122,715 | 65,424 | 46.7% |
テキスト推定値は3.7文字/トークンを使用します。画像トークンは、各モデルのプロバイダーの計算式と実際のレンダリングページ寸法を使用します。これらの数値は、このコーパスにおけるプロファイルのコストを示しており、普遍的なワークロード節約率ではありません。Solの有料フィクスチャは42%と推定され、7/8の正確性を読み取り、サポートされていない発明はありませんでした。
実行は異なるトランスポートとプロファイル生成を使用しており、同一の画像ジオメトリではありません。FableとOpusはClaudeを使用します。GeminiはGoogle AI Studioを使用します。SolとGrokはCodex Responsesを使用します。Kimi K3はCloudflareのOpenAI互換トランスポートを使用します。現在のプロダクションプロファイルには隣接する境界付き事実シートが含まれています。履歴または純粋な画像例外は、リンクされた評価で特定されています。
モデル固有の評価
これらはクロスモデル比較ではありません。リストされていないすべてのモデルは実行されていません。
| テスト | モデル | 結果 | 評価と領収書 |
|---|---|---|---|
| SWE-bench Lite | claude-fable-5 | pxpipe 10/10; テキスト 10/10; リクエストサイズ-65% | ペアパイロット |
| SWE-bench Pro | claude-fable-5 | pxpipe 14/19; テキスト 15/19; リクエストサイズ-60% | ペアパイロット |
| プロダクション履歴行のローカライズ | google/gemini-3.6-flash | テキスト 17/30; pxpipe 18/30 | 位置検索 |
| プロダクション履歴の正確な行 | google/gemini-3.6-flash | テキスト 3/30; pxpipe 3/30 | 位置検索 |
SWE-benchランナーはClaude Code/Fable固有です。他のモデルにはON/OFF実行はありません。Geminiの位置検索スイープは方向性のある証拠であり、一般的なLost-in-the-Middleの結果ではありません。
容量 / 密度(ビジョン・トークンあたりの文字数?)
このリポジトリの高密度フィクスチャを実際のパイプラインでレンダリングし、各ファミリーのビジョンレートでピクセルを価格設定することによって測定されます。倍率 = 測定された文字数/ビジョン・トークン ÷ 4(散文テキストベースライン)。モデル品質スコアではありません。
| ファミリー | ウィンドウ | テキストとして(@4文字/トークン) | pxpipe画像として | 密度 | 倍率 |
|---|---|---|---|---|---|
claude-fable-5[1m](デフォルト) | 1M | 約4.0M | 約18.9M | 約18.9文字/vt(正確な28pxパッチ) | 約4.7倍 |
google/gemini-3.6-flash | 1M | 約4.0M | 約20.1M | 約20.1文字/vt(1,078トークン/ページ) | 約5.0倍 |
claude-opus-5 | 1M | 約4.0M | 約18.9M | 約18.9文字/vt(Fable 5のジオメトリに解決) | 約4.7倍 |
再生成:npx tsx scripts/gen-context-chart.ts · チャートPNG docs/assets/context-window-chars.png。
古いGSM8Kの結果は、そのトレーニングデータ汚染が画像読み取りミスを隠す可能性があるため省略されています。リンクされた算術評価は新しい数値を使用しています。
仕組み
モデルID ──► レンダリングプロファイル ──► バルクコンテキストのラップ/リフロー ──► PNG[] + バウンデッド事実シート
プロキシは、Anthropic Messages、OpenAI ResponsesおよびChat Completions、およびGoogle generateContentリクエストを処理します。資格のあるバルクを画像ブロックに書き換え、プロバイダーネイティブリクエストを転送するか、Anthropic Messagesを構成済みのOpenAI互換プロバイダーにブリッジします。Anthropicでは、静的プレフィックスとプロンプトキャッシュ境界が保持されます。モデル固有のプロファイルがジオメトリ、事実シート、履歴保持、および収益性を制御するため、まばらな散文はテキストのままになります。イベントは~/.pxpipe/events.jsonlにログ記録されます。
ライブラリ使用(プロキシなし)
import { renderTextToImages, transformAnthropicMessages } from "pxpipe-proxy";
const { pages } = await renderTextToImages(toolResultText); // pages[i].png: Uint8Array
const { body, applied, info } = await transformAnthropicMessages({
body: requestBytes,
model: "claude-fable-5",
});
options.keepSharp(block)はブロックをテキストとして固定します。options.emitRecoverableは画像化されたブロックのオリジナルを返します。ピュアJSランタイム(Nodeおよびedge/Workers);@napi-rs/canvasはビルドタイムのみです。完全なAPI:src/core/index.ts。
オフライン統計(プロキシなし):pxpipe stats
ライブダッシュボードはプロキシ実行中の節約額を表示します。後で同じイベントログを読むには(サーバーなしで)、ディスクから直接要約します。
pxpipe stats # ~/.pxpipe/events.jsonlからの人間向けレポート
pxpipe stats --json # 機械可読JSONと同じ集計
pxpipe stats --file /path/to/events.jsonl
リクエスト数、圧縮率、レイテンシパーセンタイル、キャッシュヒット率とともに、レポートは測定された節約額の見出しを表示します — 元のボディのcount_tokensと実際の使用量の比較。これはプローブ測定された行のみ(測定されていないリクエストは除外され、ゼロとしてカウントされません)です。これは生のトークン数値です(キャッシュ読み取りは額面通り、コスト加重なし)。そのため、ダッシュボードのコスト加重された節約%とは異なる数量です。非デフォルトログに--fileでポイントするか、PXPIPE_LOGを設定してください。
終了コード:0レポート表示、1イベントファイルが見つからない、2ファイルは存在するが有効なイベントがない。pxpipe stats --helpで使用法を表示します。
開発
pnpm install && pnpm test
pnpm run build # dist/を再生成
Windowsはコミュニティサポートです。主な開発ターゲットはmacOS/Linuxであり、Windows固有の修正はコントリビューターのPRに依存します(@makoribrianに感謝)。
FAQ
見出しの節約額はエンドツーエンドですか、それとも触れたリクエストのみですか?
エンドツーエンド、請求額全体です。ほとんどの圧縮ツールは、触れた入力スライスのみの節約額を報告しますが、これは数値を誇張します。エンドツーエンドの分母はすべてのプロダクションリクエストです。pxpipeが正しく変更しなかった小さなリクエスト、すべてのキャッシュ書き込みと読み取り、および(プロキシが圧縮しない)すべての出力トークンです。13,709リクエストのスナップショットでは59%($100 → ~$41)でした。後続の8,904リクエストの圧縮トレースでは約70%を測定しました。圧縮のみの実行はより高く(約72〜74%)、別々に引用されており、見出しとしては使用されません。正確な数値はワークロードに依存します — 独自のログで再現してください。
計算はどのように測定されますか?
同じリクエストの両側面を、同じ瞬間に測定します。プロキシがファイアする各/v1/messages POSTに対して、元の非圧縮ボディ(カウンターファクチュアル)で無料のcount_tokensプローブを並行して実行し、レスポンスからAnthropicの実際に請求された使用ブロックを読み取ります。両方とも~/.pxpipe/events.jsonlの同じ行に着地するため、ターン数や実行ごとの混同はありません。ドル換算はFable 5のリスト比率を使用します:入力×1.0、キャッシュ書き込み×1.25、キャッシュ読み取り×0.1、出力×5。キャッシュ価格は両側で同じように適用されるため、キャッシュ割引はキャンセルされ、「節約」として二重にカウントされることはありません。イベントログから自分で再導出してください:計算式とフィールド名はsrc/core/baseline.tsで文書化されています。
実際に何を圧縮しますか?
3種類の入力ブロック。それぞれが収益性ゲートの後ろにあります:
- 約6k文字のトークン密度の高いコンテンツを超える、大きな
tool_resultボディ(ファイル読み取り、コマンド出力、ログ) - 古い折りたたまれた履歴:ライブテールの後ろのターンは画像ページとして再レンダリングされ、最近のターンは常にテキストのままです。
- 静的なキャッシュ可能なシステムプロンプト+ツールドキュメントのスラブ。追加されたキャッシュ不可能なシステムブロックはライブテキストのままなので、ホストカスタム指示はシステムレベルの重要性を維持します。
それ以外はすべてバイト単位で同一に通過します:あなたのメッセージ、最近のターン、モデルの出力(これはレスポンスであり、プロキシは決して触れません)、まばらな散文、および小さすぎて利益にならないもの。モデルのデフォルトと詳細な結果は、モデルサポートおよびベンチマークの下にリストされています。
ベンチマーク外で実際に失敗したことはありますか?
はい、数週間の毎日の使用で一度だけありました。モデルが画像化されたチャット履歴から人の名前を記憶し、自信を持って間違えました。エラーではなく、もっともらしい間違った名前でした。これは文書化された障害モードです:画像化されたコンテンツ内の正確な文字列はバイト単位で安全ではありません。コーディングセッションはこの問題を許容します。なぜならエージェントは編集前にファイルを再読み取りするためです。純粋なチャットの記憶にはそのようなチェックはありません。この障害モードは、逸話ではなく測定されています。レジビリティ監査は、レンダリングされたページからの正確な文字列の記憶を定量化します(盲読は高密度識別子で63%で頭打ちになり、すべてのミスはグリフの混同可能性マトリックスによって予測されます)。また、出荷された緩和策(APIのリサンプリングキャップにクランプされたページジオメトリにより、請求されたピクセルが実際にビジョンエンコーダーに到達するようにする、および選択された識別子(SHA、数値)をテキストとして並行して配置する)を文書化しています。
ミスが読み取りエラーではなくサイレントな混同であるのはなぜですか?
モデルのビジョンはOCRではないためです。画像はパッチ埋め込みになり、離散的な文字にはならないため、グリフごとの信頼度で大声で失敗することはありません。ピクセルがグリフを十分に決定できない場合、言語の事前知識がそのギャップをもっともらしいもので埋めます。メカニズムと領収書:docs/NOT-OCR.md。
DeepSeek-OCRは、これが実際にはうまくいかないことを示していませんでしたか?
いいえ、それはチャネルが機能することを示しました。エンコーダー/デコーダーペアをその目的のためにトレーニングして使用しました。懐疑論は2025年10月にさかのぼります。その時点では、どの標準的なプロダクションモデルも高密度レンダリングを読むことができませんでした。それはFable 5で変わりました(以前のOpus世代での正確な16進数記憶力0/15に対し、Fable 5では13/15、同じページ)。タイムラインとモデルごとの数値:docs/NOT-OCR.md。
READMEがAIによって書かれたように見えるのはなぜですか?
AIが書いたからです。このリポジトリのコミットのほとんど — コードとドキュメント — は、pxpipe自体で実行されているOpus/Fableエージェントセッションによって作成されました。作業中に、画像ページとして自身の折りたたまれた履歴を読み取っていました。
追加の制限事項
- PNGエンコーディングは、大きなリクエストが送信される前にレイテンシを追加します。
- ASCII/Latin-1は十分にテストされています。CJKは機能しますが、控えめにテストされています。
研究ステータス
2026年7月22日現在。2026年7月5日のパスからの広範な結論は依然として有効です:正確な記憶力は、グリフあたりのピクセルによって制限されるため、レンダリング変更は収益性の高い密度でのエラーを排除しません。後続のグリフスタイルのA/Bテストでは、有用な局所的な改善が見つかりました:Kの再描画は、ジオメトリやトークンコストを変更せずに、FableのH/Kエラーを47.2%から18.7%に削減しました。これは出荷されましたが、正確な制御IDは改善されませんでした。詳細はFINDINGS.md、2026-07-19のエントリを参照してください。
ランタイムカナリア+テキスト再取得と代替リーダーの事前チェックは、まだテストされていません。リリース・トリップワイヤは、新しいモデルごとに解決スイープのままです。プロダクションセルを100%近く読み取るモデルは、より高い密度を許可するでしょう。
実効コンテキストの利点は、まだ証明されていません。上記のプロダクション履歴の結果は方向性のある証拠であり、一般的なコンテキストウィンドウまたはロングタスクの精度主張ではありません。
コミュニティプロジェクト
ここにリストされているサードパーティプロジェクトは、pxpipeによって保守またはサポートされていません。
- pxpipe-windows —
pxpipe mitmのWindowsサポート(opensslの代わりにnode-forge CA、タスクスケジューラ自動起動)。 - OmniGlyph — pxpipeから派生し、OmniRouteによって使用されているコミュニティ維持プロジェクト。
- pxpipe-go — CLIラッパー、スタンドアロンプロキシ、およびAnthropic MessagesとOpenAI Chat/Responses用の埋め込みライブラリを備えたpxpipeコアのGoポート。
ライセンス
MIT。