LLMトークンがすべて同じ幅になるフォントを生成する
Generate fonts where every LLM token is the same width (ampdot.mesh.host)
要約
このツールは、LLM(大規模言語モデル)のトークンを視覚的に区別しやすくするために、各トークンが同じ幅を持つフォントを生成するコンパイラです。ユーザーはベースフォント、トークナイザー、および表示方法(等幅、交互色、固定色)を選択して、カスタムフォントを作成できます。生成されたフォントは、DiscordやSlackなどのアプリケーションで利用可能です。
全文翻訳
Token-space font compiler
フォント + トークナイザー → トークンを等しい幅または色で区別する
試してみる!
The quick brown fox ate the load-bearing strawberry You have nothing to lose but your chains of thought I hope this helps the user gain empathy for the assistant
ここにテキストを入力または貼り付けてください。新しいフォントをコンパイルすると、このプレビューが切り替わります。
独自のフォントをコンパイルする
フォントをダウンロード · CSS · ビルドレポート
ファイルはブラウザ内に保存されます。大きなトークナイザーは数分かかる場合があります。
Vesktop を使用して Discord で利用する
テーマフォント: DeepSeek V4.1 Flash × Inter
Discord ユーザー ID(オプション)
すべてのメッセージに適用するには空白のままにします。アシスタントの共感をユーザーが得るのに役立つことを願っています。
セットアップ手順
- gg sans を使用するには、上記で gg sans (Discord) を選択し、トークナイザープリセットを選択するかアップロードして、フォントをコンパイルをクリックします。テーマのダウンロードは、常にプレビュー中のフォントと一致します。
- フォントをダウンロードし、Font Book で TTF を開きます。インストールをクリックします。通常の gg sans を既に持っている場合でも、コンパイルされたフォントをインストールしてください。
- 特定のユーザーの Discord ID を上記に入力することを強く推奨します。空白のままにすると、すべてのメッセージに適用されます。
.theme.cssファイルをダウンロードします。ID を見つけるには、Discord の 設定 → 詳細設定 → 開発者モード を有効にし、ユーザーを右クリックして ユーザー ID をコピー を選択します。 - ID を入力した場合は、Vesktop の 設定 → Vencord → プラグイン を開き、ThemeAttributes を有効にします。求められたら再起動します。
- 設定 → Vencord → テーマ → ローカルテーマ → テーマフォルダを開く を開きます。ダウンロードした
.theme.cssファイルをそのフォルダに移動します。テーマに戻り、必要に応じて 不足しているテーマを読み込む をクリックし、テーマを有効にします。 - インストールされたフォントを認識させるために、Vesktop を ⌘Q で完全に終了し、再起動します。
Vencord Location は現在の設定のままにしてください。これはテーマであるため、カスタム Vencord ビルドや UserFonts プラグインは必要ありません。競合する場合は、同じユーザーの古いフォントテーマを無効にしてください。
メッセージが変更されない場合は、コンパイルされたフォントがインストールされており、このテーマが有効になっていることを確認してください。ID をターゲットにしている場合は、ThemeAttributes が有効であり、ID が正しいことも確認してください。コードブロックは Discord の通常のモノスペースフォントを維持します。追加のトークン間隔はデフォルトでゼロであり、行の高さと単語間隔は Discord に従います。
Slack での使用方法
Slack フォント: DeepSeek V4.1 Flash × Inter
エージェントの表示名またはメンバー ID
各エージェントのメッセージの上に表示される正確な表示名、または U012345678 のような Slack メンバー ID を使用します。1 行に 1 つ。一致するメッセージのみが変更されます。
セットアップ手順
- 上記のフォントをダウンロードし、Slack を表示するデバイスに TTF をインストールします。
- エージェントの Slack 表示名またはメンバー ID を入力し、
.user.jsファイルをダウンロードします。 - ブラウザのユーザースクリプトマネージャーにファイルをインポートし、有効にして、Web Slack をリロードします。
ユーザースクリプトは、ページの送信者ラベルを読み取り、一致するメッセージテキスト(新しいメッセージやスレッドを含む)をスタイル設定します。ネットワークリクエストを行わず、メッセージテキストを変更しません。コードブロックはモノスペースフォントを維持します。別のフォントをコンパイルする場合は、そのフォントとその新しく生成されたユーザースクリプトを一緒にダウンロードしてインストールしてください。同じエージェントをターゲットにしている古い Token Mono Slack スクリプトを無効にしてください。
これは、ユーザースクリプトマネージャーを備えたブラウザの Web Slack で機能します。ブラウザのシェーピング(整形)が実行され、フォーマットスパンがトークンの境界を変更する可能性があります。
何が機能しますか?
リストされているプリセットは、トークナイザー固有のコンパイラパスを使用します。これらには、DeepSeek、OpenAI、Kimi、Qwen、GLM、Llama 3、Trinity、Laguna が含まれます。Gemma と Gemini はスペースマーカー/バイトフォールバックサポートをテスト済みです。ctok は別の最小コストバックエンドを使用します。生の ByteLevel BPE も use_regex: false および add_prefix_space: false で受け入れられます。アップロードされたパイプラインは、サポートされているプロファイルと一致する必要があります。任意の正規化、WordPiece、Unigram は一般的にサポートされていません。受け入れは、すべての入力に対して正確なトークン化を意味するものではありません。
出力は、トークナイザーがシェーピングルールに組み込まれた単一の TTF です。表示にトークナイザー スクリプトは必要ありません。フォントのデフォルトのバリエーションと文字カバレッジを使用します。欠落している文字は、フォールバックフォントを有効にしない限り、欠落グリフのアウトラインまたはシステムフォールバックを使用する可能性があります。フォールバックフォントを有効にすると、同じトークンフォントに選択されたフォールバックアウトラインが埋め込まれます。カバレッジは、選択されたソースに依存します。Noto Emoji はデフォルトの絵文字フォールバックです。Mutant Standard は、個別のライセンス要件を持つオプションのカラーソースです。プリコンパイルされた DeepSeek + Inter プレビューには、既に Noto Emoji が含まれています。
スペーシングモードでは、サポートされているシェーピング実行内で、生成された各トークンは 3 em を占有します。追加のトークン間隔はデフォルトでゼロであり、0.5 em までに制限されます。生成された CSS は、単語間隔と行の高さをそのままにします。ブラウザのタブストップ、ハード改行、空白処理は、通常のトークンセルとは異なります。
カラーモードは、自然な文字幅を維持し、フォントに交互またはトークンごとの安定した色を埋め込みます。現在、BPE テキストをサポートしています。カラーモードでは ctok および結合された絵文字はサポートされていません。カラーの動作と検証。
注: ブラウザのシェーピング実行、改行、正規化、複雑なスクリプトは結果を変更する可能性があります。サポートされている水平ペアカーニングは保持されますが、文脈に応じたシェーピングは普遍的に維持されるわけではありません。これはトークンフォントであり、メッセージ全体の正確なトークンカウンターではありません。
既知の不一致と実験的な機能
最新の空白監査では、6 つの利用可能なフォントバイナリ全体で 17,904 の BPE チェックと、ローカルトークナイザー参照に対する 2,355 の ctok ケースが比較されました。ブラウザチェックでは、60 の幅と 20 の折り返しサンプルがカバーされました。これらはターゲットを絞ったテストであり、すべてのテキストを保証するものではありません。失敗やカバレッジ/容量の制限は、レポートに残っています。
- DeepSeek の空白: U+001C–U+001F の制御文字は、空白として誤って分類されます。たとえば、2 つのスペースの後に U+001C が続くと、1 つのスペースとしてマージされます。指示された監査では、2,984 件のチェックで 59 件の ID の不一致が見つかりました。通常の単独の空白実行と CRLF ケースは合格しましたが、制御セパレーターのバグは未修正のままです。
- GLM-5.3 および Llama 3: プリセットは、フォントのみの正規表現境界、ランク付けされた BPE、および全体ピースのショートカットを使用します。テストされた Gutenberg の抜粋と、カバーされた散文、コード、空白、句読点のファズケースは合格しました。他のピースには 64 バイト / 32 ラウンドの制限があり、超過した場合は
[BPE limit]と表示されます。新しい指示された空白監査では、2,984 件の GLM および 354 件の Llama チェックのうち、それぞれ 353 件と 354 件がこの制限に達しました。他のチェックは合格しました。ブラウザのシェーピング、ソースグリフのカバレッジ、フォーマット境界は依然として制限事項です。 - Trinity Large Thinking および Laguna M.1: テストされたプリセットは、元の前処理パイプラインと順序付けられたマージを保持します。コンパイラは、それらを生の BPE に削減するのではなく、それらのプロファイルを検証します。両方とも、2,984 件の指示された空白チェックすべてに合格しました。ブラウザのシェーピング、ソースグリフのカバレッジ、フォーマット境界は依然として制限事項です。特殊トークンと自動メッセージフレーミングは除外されます。
- Gemma 4 および Gemini 3.5 Flash: 通常テキストのバックエンドは、通常モードとライトモードの両方で 5,493 件の Gutenberg 抜粋すべてに合格しました。これはローカルトークナイザー参照をテストするものであり、ライブ Gemini API カウントをテストするものではありません。さらに、キャッシュされたフォントチェックでは 500 件のシード ASCII ケースに合格しました。両方のピン留めされた Google 参照は、テストされた 6,007 件の入力すべてで一致しました。現在のコンパイラ、絵文字、空白の回帰も合格しています。テスト範囲と結果。レンダラーの正規化、ソースカバレッジ、ブラウザ実行境界は依然として制限事項です。Google の重複単語ラップバグは両モードで修正されましたが、非常に狭い列は依然としてオーバーハングする可能性があります。ラップ修正とテスト。自動モデル/チャットフレーミングは除外されます。
- Hugging Face リンクとアップロードされたトークナイザー: ファイルを受け入れても、すべてのトークナイザーパイプラインとの互換性が確立されるわけではありません。サポートされていないプリトークナイザー、正規化、モデルタイプは拒否される場合があります。任意のアップロードは、プリセット固有の監査を受けていません。
- Claude / ctok: ctok は非公式な近似であり、Claude のトークナイザーの検証済み実装ではありません。完全な ctok ボキャブラリは現在収まりますが、出荷されている最小コストバックエンドは、接続されたコンポーネントあたり 256 ステップの検索制限があり、オーバーフロー時に
[limit]と表示されます。長く折り返されたテキストは、依然として遅くレンダリングされる可能性があります。ゼロ幅スペース、単語結合子、BOM、ソフトハイフンなどの目に見えない文字は、単語境界を抑制し、トークンを追加する可能性があります。v3/v4.7 には、引用フレーミングと先頭スペースの正規化エラーもあります。バージョンごとに 785 件の指示されたケースのうち、v3 は 29 件のカウント/幅、45 件のセマンティックのみの失敗があり、v4.7 は 25 件と 49 件、v4.8 は 16 件と 8 件でした。通常の空白と 257 文字までの実行は合格しました。単に同じカウントであっても、不正確な正規化を隠す可能性があります。これらの失敗は未修正のままです。ctok 比較に合格しても、Claude との一致が確立されるわけではなく、この監査では Claude への呼び出しは行われませんでした。 - 正規化と Unicode: レンダラーは、フォントがそれを認識する前にテキストを正規化する可能性があり、トークンの境界を変更します。一般的な結合シーケンスは依然として制限されています。Qwen の NFC サポートは、分解後最大 8 つの連続した非スターターを処理し、それ以降は
[NFC limit]と表示します。ブラウザとネイティブコンパイラの Unicode バージョンは、新しく割り当てられた文字についても異なる場合があります。 - レンダリングとフォントカバレッジ: フォントは、個別のシェーピング実行間でトークン化できません。フォーマット、リンク、スクリプトの変更、双方向テキスト、フォールバックフォント、ハードブレークは、それらの実行を分割する可能性があります。ソースフォントグリフの欠落とフォールバックは、等しいトークン幅を無効にする可能性があります。複雑なスクリプトのシェーピング、合字、マークの位置決めは、普遍的に維持されるわけではありません。単一実行テストでは、すべてのブラウザまたはアプリで同一の結果が保証されるわけではありません。
- ブラウザの空白と折り返し:
pre-wrapまたはbreak-spacesの下では、先頭のスペースが個別のシェーピング実行を形成する可能性があります。24px で、Hello worldは、実行全体で 144px ではなく 216px と測定されました。60 の幅比較のうち、43 は一致し、15 はタブ/改行レイアウトのために異なり、2 つは先頭スペース境界を明らかにしました。テストされた末尾/繰り返しスペース、NBSP、ナロー NBSP、および ideographic space は、実行全体の幅と一致しました。以前の重複トークンラップの例は、チェックされた 180px/320px のスクリーンショットでは繰り返されませんでしたが、折り返しはトークン化を変更する可能性があります。これは、すべてのブラウザで正確であることを確立するものではありません。 - 絵文字と目に見えない文字: 現在のデフォルトの Noto フォントは、トークンの識別、スペーシング、描画に関する 5,250 件のサポートされている絵文字チェックに合格しました。欠落しているアートワーク、プライベート使用文字、絵文字/テキスト実行の境界は、依然として制限事項です。アップロードされた絵文字ソースのスペースと制御文字は、絵文字結合から除外されるようになり、誤った絵文字分類とグリフカウントのインフレを修正しました。非絵文字の分割バイトテキストと複雑なスクリプトは依然として制限されています。
- メッセージカウント: 特殊トークン、チャットテンプレート、マルチモーダルコンテンツ、自動メッセージオーバーヘッドは、普遍的に表現されていません。空のテキストはフレーミングトークンを描画できません。これらのフォントは、正確な API 請求カウントではなく、通常のテキストを視覚化します。
テスト結果、修正された問題、および残りの制限事項については、空白監査、ctok 再現、および詳細な不一致トラッカーを参照してください。
ローカルでコンパイル済み: Pyodide および fontTools を使用。
Inter ライセンス。Noto Emoji ライセンス。オプションの Mutant Standard 絵文字 (Caius Nocturne 作): CC BY-NC-SA 4.0。
1 フォントの仕組みについてより専門知識をお持ちの場合は、このプロジェクトを適切に実装することを奨励します。