各トークンが等幅のフォント

@amplifiedampはAstraと協力して、各トークンが等幅になるフォント（初期プロトタイプ）を作成しています。これにより、モデルが持つ特有の挙動を理解しやすくなるかもしれません。AIによって作成されました。 5:20 PM · 2026年9月25日·62.7K Views 27591.9K304 @amplifiedampはAstraと協力して、各トークンが等幅になるフォント（初期プロトタイプ）を作成しています。これにより、モデルが持つ特有の挙動を理解しやすくなるかもしれません。AIによって作成されました。 5:20 PM · 2026年9月25日·62.7K Views 27591.9K304 @amplifiedamp 9月25日 この投稿がこれほど注目されるとは思っていませんでした…とにかく！このウェブページを使えば、ベースフォントと好きなトークナイザーを組み合わせて、独自のトークンスペースフォントを作成できます。 ampdot.mesh.host/token-space-fo… 439610K @amplifiedamp 9月25日 免責事項：GLM-5とLLaMa 3はまだ非常に信頼性が低いです。その他にリストされているものは99%以上の精度ですが、マージルール、テキストラッピング、Unicodeサポート、カーニングに関するまれなエッジケースがまだ存在します。それらが気になる場合は、明日また来てください。 1284.7K @amplifiedamp 9月25日 コンパイラページには、フォントをDiscordやSlackにインストールする方法が記載されているため、AIが出力したものをAIが書いた通りに読むことができます（@poolside Lagunaと@Arceeai Trinityは、テストに使用されたProject Gutenbergの書籍のサブセットに対して97%の精度にすぎないため、修正が必要です。さらに表示してください）。 1114.1K @amplifiedamp 9月25日 *Lagunaは92% 173.5K @amplifiedamp 9月26日 1273K @amplifiedamp 9月26日 OpenTypeには65,536の合字制限があり、トークナイザーは壊れているため、GSUBとcmapを使用して実装する必要がありました。Claudeのものは、トークナイザー内で可能な限りコンパクトな表現を検索するために、フォント内で動的計画法と最短経路探索を使用しています。さらに表示してください。 1292.2K @amplifiedamp 9月26日 SF Compact + GPT o200kの結果は、実際にはかなり読みやすく、コンパクトなフォントはより圧縮される、誰が予測できただろうか。 1101K @amplifiedamp 9月27日 Project Gutenbergとランダムに生成されたテキストでテストして見つけられたすべてのトークン化バグは、すべてのトークナイザーで修正されました！そして、トークンの色を理解するために、トークンを着色するための新しいオプションがあります。 19578 @amplifiedamp 9月28日 @rsnous これを見ましたか？ 11170 Ilya Lichtenstein @cipherstein 9月25日 strawberryは本当に1つのトークンですか？ 1392.9K