GigaToken: 言語モデルのトークン化を約1000倍高速化
GigaToken: ~1000x faster Language model tokenization (github.com)
要約
GigaTokenは、HuggingFaceのトークナイザーと比較して約1000倍高速な、言語モデル向けの新しいトークナイザーライブラリです。既存のHuggingFace TokenizersやTiktokenとの互換性モードも提供しつつ、Rustによるネイティブ実装でGB/sのスループットを実現します。これにより、大規模なテキストデータの処理速度が劇的に向上します。
全文翻訳
Gigatoken
HuggingFaceのトークナイザーより約1000倍高速、ドロップインリプレイスメント。
テキストデータをGB/sでトークン化!
HFトークナイザーとtiktokenは既にマルチスレッド化されたRustで動作していることに注意してください!
Gigatokenとは?
Gigatokenは、言語モデリングのための最速のトークナイザーです。幅広いCPUハードウェアと、ほぼ全ての一般的に使用されているトークナイザーをサポートしています。詳細なスループット数値については、ベンチマークセクションを参照してください。
インストール
pip install gigatoken
使用方法
Gigatokenは、独自のAPIを使用するか、HuggingFace TokenizersまたはTiktokenとの互換モードで使用できます。
互換モード(最も簡単)
import gigatoken as gt
# 既存のHuggingFaceトークナイザーの使用法からの最小限の変更(互換モード)
hf_tokenizer = ...
tokenizer = gt.Tokenizer(hf_tokenizer).as_hf()
# tokenizerはhf_tokenizerと同じコンテキストで使用できます
tokens = tokenizer.encode_batch(["This is a test string", "And here is another"])
# またはtiktokenで
tiktokenizer = ...
tokenizer = gt.Tokenizer(tiktokenizer).as_tiktoken()
# 既存のtiktokenトークナイザーのように動作します
tokens = tokenizer.encode_batch(["This is a test string", "And here is another"])
この設定では、HuggingFace Tokenizersで得られる結果と完全に一致するようにかなりの努力が払われていますが、パフォーマンスには無視できないコストがかかります。それでも全体的に大幅に高速なパフォーマンスが期待できますが、Gigatoken APIで得られる1000倍には及びません。
Gigatoken API(最速)
import gigatoken as gt
tokenizer = gt.Tokenizer("Qwen/Qwen3-8B") # HFモデル名を受け入れます
file_source = gt.TextFileSource(["owt_train.txt"], separator=b"<|endoftext|>")
tokens = tokenizer.encode_files(file_source)
Gigatoken APIを使用すると、Rust実装がデータを直接読み取ることができ、最大の並列処理を可能にしながら可能な限りオーバーヘッドをスキップします。このAPIを介してPythonのデータ構造を渡すと、依然としてPythonからの読み込みのオーバーヘッドが発生することに注意してください。
ベンチマーク
owt_train.txt (11.9 GB) におけるエンコードスループット — AMD EPYC 9565 72コアプロセッサ x 2ソケット (144コア)
| トークナイザー | gigatoken | HF tokenizers | tiktoken | HF比 | tiktoken比 |
|---|---|---|---|---|---|
| GPT-2 | 24.53 GB/s | 24.8 MB/s | 36.0 MB/s | 989倍 | 681倍 |
| Phi-4 | 24.00 GB/s | 29.9 MB/s | — | 801倍 | — |
| GPT-OSS | 23.96 GB/s | 49.7 MB/s | 42.8 MB/s | 482倍 | 560倍 |
| OLMo 2 / 3 | 23.06 GB/s | 27.7 MB/s | — | 833倍 | — |
| Nemotron 3 | 22.79 GB/s | 49.4 MB/s | — | 462倍 | — |
| Qwen 3 | 22.16 GB/s | 34.2 MB/s | — | 648倍 | — |
| Llama 3 / 3.1 / 3.2 | 22.15 GB/s | 48.5 MB/s | — | 457倍 | — |
| GLM 5 | 20.97 GB/s | 74.8 MB/s | — | 280倍 | — |
| Llama 3.3 | 20.82 GB/s | 48.3 MB/s | — | 431倍 | — |
| Llama 4 | 20.77 GB/s | 72.7 MB/s | — | 286倍 | — |
| GLM 4 | 20.61 GB/s | 72.3 MB/s | — | 285倍 | — |
| Phi-4-mini | 20.05 GB/s | 27.6 MB/s | — | 726倍 | — |
| DeepSeek V3 / R1 / V4 | 19.69 GB/s | 26.2 MB/s | — | 750倍 | — |
| Qwen 2 / 2.5 | 19.12 GB/s | 27.7 MB/s | — | 691倍 | — |
| Kimi K2 | 18.85 GB/s | — | — | — | — |
| Qwen 3.5 / 3.6 | 15.49 GB/s | 27.7 MB/s | — | 558倍 | — |
| Gemma 4 | 4.82 GB/s | 334.1 MB/s | — | 14倍 | — |
| ModernBERT | 4.18 GB/s | 26.9 MB/s | — | 155倍 | — |
| Mistral 7B v0.3 | 3.57 GB/s | 354.7 MB/s | — | 10倍 | — |
| TinyLlama / Phi-3 (Llama 2) | 3.48 GB/s | 323.6 MB/s | — | 11倍 | — |
| CodeLlama | 3.47 GB/s | 347.4 MB/s | — | 10.0倍 | — |
| Gemma 3 | 3.43 GB/s | 357.2 MB/s | — | 9.6倍 | — |
| Gemma 1 | 2.51 GB/s | 342.2 MB/s | — | 7.3倍 | — |
owt_train.txt (11.9 GB) におけるエンコードスループット — Apple M4 Max (16コア)
| トークナイザー | gigatoken | HF tokenizers | tiktoken | HF比 | tiktoken比 |
|---|---|---|---|---|---|
| GPT-2 | 8.79 GB/s | 6.9 MB/s | 62.8 MB/s | 1,268倍 | 140倍 |
| Nemotron 3 | 7.82 GB/s | 10.9 MB/s | — | 715倍 | — |
| Phi-4 | 7.76 GB/s | 7.7 MB/s | — | 1,012倍 | — |
| Llama 3 / 3.1 / 3.2 | 7.60 GB/s | 11.2 MB/s | — | 676倍 | — |
| OLMo 2 / 3 | 7.56 GB/s | 5.8 MB/s | — | 1,299倍 | — |
| Llama 3.3 | 7.50 GB/s | 15.7 MB/s | — | 479倍 | — |
| Phi-4-mini | 6.97 GB/s | 7.2 MB/s | — | 964倍 | — |
| Kimi K2 | 6.88 GB/s | — | — | — | — |
| Llama 4 | 6.81 GB/s | 11.6 MB/s | — | 590倍 | — |
| Qwen 2 / 2.5 | 6.37 GB/s | 5.8 MB/s | — | 1,105倍 | — |
| Qwen 3 | 6.36 GB/s | 6.9 MB/s | — | 918倍 | — |
| Qwen 3.5 / 3.6 | 6.31 GB/s | 6.3 MB/s | — | 994倍 | — |
| GPT-OSS | 6.20 GB/s | 20.2 MB/s | 87.2 MB/s | 306倍 | 71倍 |
| GLM 4 | 6.17 GB/s | 15.8 MB/s | — | 392倍 | — |
| DeepSeek V3 / R1 / V4 | 5.68 GB/s | 7.2 MB/s | — | 788倍 | — |
| GLM 5 | 5.55 GB/s | 12.2 MB/s | — | 456倍 | — |
| ModernBERT | 2.64 GB/s | 5.8 MB/s | — | 452倍 | — |
| Mistral 7B v0.3 | 1.99 GB/s | 95.1 MB/s | — | 21倍 | — |
| Gemma 4 | 1.82 GB/s | 85.2 MB/s | — | 21倍 | — |
| CodeLlama | 1.73 GB/s | 80.2 MB/s | — | 22倍 | — |
| TinyLlama / Phi-3 (Llama 2) | 1.69 GB/s | 80.1 MB/s | — | 21倍 | — |
| Gemma 1 | 1.42 GB/s | 85.7 MB/s | — | 17倍 | — |
| Gemma 3 | 1.38 GB/s | 82.2 MB/s | — | 17倍 | — |
owt_train.txt (11.9 GB) におけるエンコードスループット — AMD Ryzen 7 9800X3D 8コアプロセッサ (16コア)
| トークナイザー | gigatoken | HF tokenizers | tiktoken | HF比 | tiktoken比 |
|---|---|---|---|---|---|
| GPT-2 | 6.27 GB/s | 59.0 MB/s | 92.1 MB/s | 106倍 | 68倍 |
| Phi-4 | 6.09 GB/s | 55.4 MB/s | — | 110倍 | — |
| OLMo 2 / 3 | 6.06 GB/s | 55.4 MB/s | — | 109倍 | — |
| Phi-4-mini | 5.80 GB/s | 54.6 MB/s | — | 106倍 | — |
| GPT-OSS | 5.68 GB/s | 79.6 MB/s | 112.7 MB/s | 71倍 | 50倍 |
| Qwen 3 | 5.34 GB/s | 54.4 MB/s | — | 98倍 | — |
| Qwen 2 / 2.5 | 5.30 GB/s | 51.7 MB/s | — | 103倍 | — |
| Llama 3.3 | 5.26 GB/s | 79.9 MB/s | — | 66倍 | — |
| Llama 3 / 3.1 / 3.2 | 5.24 GB/s | 79.5 MB/s | — | 66倍 | — |
| Kimi K2 | 5.23 GB/s | — | — | — | — |
| Qwen 3.5 / 3.6 | 5.22 GB/s | 51.6 MB/s | — | 101倍 | — |
| Nemotron 3 | 5.20 GB/s | 79.0 MB/s | — | 66倍 | — |
| GLM 5 | 5.05 GB/s | 79.5 MB/s | — | 63倍 | — |
| GLM 4 | 5.04 GB/s | 79.5 MB/s | — | 63倍 | — |
| Llama 4 | 5.03 GB/s | 78.2 MB/s | — | 64倍 | — |
| DeepSeek V3 / R1 / V4 | 4.21 GB/s | 51.6 MB/s | — | 82倍 | — |
| ModernBERT | 2.84 GB/s | 52.1 MB/s | — | 54倍 | — |
| Mistral 7B v0.3 | 1.47 GB/s | 91.6 MB/s | — | 16倍 | — |
| Gemma 4 | 1.45 GB/s | 78.8 MB/s | — | 18倍 | — |
| CodeLlama | 1.38 GB/s | 85.2 MB/s | — | 16倍 | — |
| TinyLlama / Phi-3 (Llama 2) | 1.37 GB/s | 84.9 MB/s | — | 16倍 | — |
| Gemma 1 | 1.14 GB/s | 84.9 MB/s | — | 13倍 | — |
| Gemma 3 | 1.12 GB/s | 83.0 MB/s | — | 13倍 | — |
ベンチマーク詳細
OWT (openwebtext) は、CommonCrawlドキュメントから抽出されたテキストの代表的なものとして選択されました。Gigatokenはファイル全体を分割せずにエンコードするため、分割境界を見つけたり自動的に並列化したりする点で、他のトークナイザーよりも多くの作業を行っています。HuggingFaceトークナイザー (encode_batch_fast) は最初の100MBを取得し、tiktoken (encode_ordinary_batch) は最初の1GBを取得しますが、どちらも<|endoftext|>で事前に分割されています。これは、比較対象のトークナイザーはいずれもキャッシュを行わないため、処理中の速度はほぼ均一であるため公平です。tiktokenの行は、現在公式サポートされているトークナイザーに対してのみ埋められています。
最も遅い行はSentencePieceベースのトークナイザーであり、Gigatokenではあまり最適化されていません。
各行は、代表的なリポジトリで測定された、1つの異なるトークナイザー(同一の語彙/マージ/プリトイケナイザー)です。お使いのトークナイザーが見つからない場合は、既存のものに基づいている可能性が高いです。例えば:
- Llama 3 / 3.1 / 3.2 — Llama 3 / 3.1 / 3.2, DeepSeek-R1-Distill-Llama, Hermes 3, Saiga, およびその他のLlama-3ファインチューン
- Llama 3.3 — Llama 3.3, Llama-3.1-Nemotron-Nano-VL, SmolLM3, Kanana 1.5, jina-embeddings-v5, Ultravox
- Qwen 2 / 2.5 — Qwen 2 および 2.5 (Coder および VL を含む), Qwen3-Coder, Qwen3-VL, DeepSeek-R1 Qwen ディスティル, MiMo V2.5, MiniCPM-o 2.6, InternVL3
- Qwen 3 — Qwen 3 (Embedding および Reranker を含む), Qwen2.5-Omni, Qwen3-VL-Embedding, MiMo V2.5 Pro, jina-reranker-m0, pplx-embed, MOSS-TTS, Zeta
- DeepSeek V3 / R1 / V4 — DeepSeek V3 / V3.1 / V3.2, R1, V4 Flash および Pro, DeepSeek-VL2
- GLM 4 — GLM 4.1V, 4.5, および 4.7
- GLM 5 — GLM 5 / 5.2 および GLM-4.7-Flash
- Nemotron 3 — Nemotron 3 Nano, Super, および Ultra
- Kimi K2 — Kimi K2 / K2.5 / K2.6 / K2.7, Kimi-Linear, Kimi-VL, Moonlight
- Phi-4-mini — Phi-4-mini および Phi-4-multimodal
- TinyLlama / Phi-3 (Llama 2) — TinyLlama, Phi-3-mini, Phi-3.5-mini および Phi-3.5-vision (Llama 2 語彙)
- Gemma 3 — Gemma 3 (270M–27B) および EmbeddingGemma
- Gemma 4 — Gemma 4 (dense, MoE, および E-series) および DiffusionGemma
FAQ
Q: 特定のCPUとトークナイザーに過剰に最適化していませんか?なぜそんなに速いのですか?
いいえ、これらのあらゆる組み合わせに対して過剰に最適化しました!結果はCPU(最新のx86およびARM)や特定のトークナイザー全体で非常に一貫しています。
主な改善点は、通常は正規表現エンジンに委託される実装(プリトイケナイゼーション)をSIMDを使用して大幅に最適化し、分岐を最小限に抑え、その他のトリックを使用すること、およびプリトイケンのマッピングのキャッシュを大幅に最適化すること(単語が以前に見たものであれば、そのエンコードされたトークンを効率的にルックアップする)です。キャッシュはこのドメインでは非常に難しい問題です。なぜならキャッシュは非常に速く成長し、プリトイケンの分布は非常にロングテールだからです。
Pythonとのやり取りを最小限に抑え、スレッド間の通信を避けることによっても一部のゲインが得られます。
Q: 自分のトークナイザーがサポートされているか素早く確認するにはどうすればよいですか?
何もインストールせずに試すことができます!以下のコマンドは、指定されたHuggingFaceモデルリポジトリのトークン化を検証し、時間を計測します:
# データをダウンロード
wget https://huggingface.co/datasets/stanford-cs336/owt-sample/resolve/main/owt_train.txt.gz # 例です!
gunzip owt_train.txt.gz
uvx --with tokenizers gigatoken bench 'openai-community/gpt2' owt_train.txt \
--validate --doc-separator "<|endoftext|>"
cpu: Apple M4 Max, 16 cores
gigatoken: 1.432 s | 11920.51 MB at 8327.05 MB/s | 2701.65 Mtok at 1887.23 Mtok/s
hf: 16.250 s | 100.00 MB at 6.15 MB/s | 22.76 Mtok at 1.40 Mtok/s
gigatoken is 1353.13x faster than hf
validation OK: 20401 documents match
cpu: AMD EPYC 9565 72-Core Processor, 144 cores, 2 sockets
gigatoken: 0.486 s | 11920.51 MB at 24532.45 MB/s | 2701.65 Mtok at 5564.94 Mtok/s
hf: 4.033 s | 100.00 MB at 24.80 MB/s | 22.76 Mtok at 5.63 Mtok/s
gigatoken is 989.21x faster than hf
validation OK: 20401 documents match
EPYC CPUで見られるレートでは、Common Crawl全体(しばしばインターネット全体と見なされる、130兆トークン)を6.5時間弱でトークン化できます!
この例では、このデータセットのトレーニングサンプルを使用しており、CLIはデフォルトで検証およびHFとの比較のためにファイルの最初の100MBにサブセット化します。これらのフラグのヘルプは uvx gigatoken bench --help で確認できます。macOSでは、最初の実行では常にセキュリティスキャンが実行され、Rustコードの速度が低下するため、良い測定値を得るにはコマンドを2回実行する必要がある場合があります。
Q: ミスマッチや低速なユースケースを見つけました。これは予期されたことですか?
おそらくそうではありません!かなり広範なテストを行いましたが、すべてのユースケースを把握しているわけではないため、何か見つけた場合はGitHub Issueで報告していただければ、できるだけ早く対応します。
引用
研究でGigatokenを使用する場合は、以下のように引用してください:
@software{roed2026gigatoken,
author = {Marcel R{\o}d},
title = {{G}igatoken: SIMD and Cache Hierarchies for 1000x Faster Byte-Pair Encoding Tokenization on Modern CPUs},
url = {https://github.com/marcelroed/gigatoken},
year = {2026},
}
既知の問題
- PythonのイテレーションはRustで処理されますが、ABI3を使用しており、内部のバージョン固有のCPython APIを使用するよりも遅いです。将来的には、このオーバーヘッドを削減するために、Pythonのバージョンごとに特化する予定です。初期の実験では、オーバーヘッドバウンドなケースで2倍の速度向上が示されています。
- Gigatoken APIでは、ファイルシンクはまだ実装されていません。
- WordPieceはまだサポートされていません。
- SentencePieceベースのトークン化は、より一般的なBPEトークナイザーほど最適化されていません。これは、主にGoogleモデル/BERTスタイルのモデルがSentencePieceを使用するため、現時点では優先度が低いです。
- Windowsはあまりテストされていないため、現時点ではWSLの使用を推奨します。
- CJK(中国語、日本語、韓国語)を多用するデータはトークン化が大幅に遅くなります。ほとんどのプリトイケナイザーは、この設定でキャッシュを課題とします。これを改善するための継続的な取り組みがあります。
AI利用開示: このコードベースの大部分は、AIを使用せずに手作業で作成されました(プロジェクトのGit履歴から確認できます)。プロジェクトの最終段階で、AIが支援に使用されました:
- ユーザーインターフェースAPIの実装
- 互換性の拡大、例えばプリトイケナイザーの実装を一般化および移植して、より多くのトークナイザー、パディング/切り捨て/Unicode正規化のようなあまり興味のない機能をサポートする
- AVX512/AVX2/NEON間のSIMD戦略の移植
- 最終的なプロファイリング段階と、分岐の排除およびプリトイケキャッシュ階層の改善による最後の約4倍のパフォーマンス向上
- リファクタリングとコードの再利用