HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AirLLM 70Bを4GB GPU 1枚で推論可能に

AirLLM 70B inference with single 4GB GPU (github.com)

204 pointsby Anon8476 コメント

要約

AirLLMは、大規模言語モデル(LLM)の推論に必要なメモリ使用量を劇的に削減するツールです。これにより、70B(700億パラメータ)モデルを量子化や蒸留なしで4GBのGPUで実行できるようになります。さらに、最適化されたモデルストリーミング技術により、Kimi K3(2.8兆パラメータ)のような超巨大モデルも4GB未満のVRAMで動作させることが可能です。

全文翻訳

AirLLM: 4GB GPU 1枚で70Bモデルの推論が可能に

[画像: airllm_logo]

クイックスタート | 設定 | MacOS | サンプルノートブック | FAQ

AirLLMは、推論時のメモリ使用量を劇的に削減し、70B(700億パラメータ)の大規模言語モデルを量子化、蒸留、プルーニングなしで、単一の4GB GPUカードで実行できるようにします。さらに、現在リリースされている最大のオープンソースモデルであるKimi K3 (2.8兆パラメータ)を4GB未満で、Qwen3.8-Flash-Next (125B)を6GBで、DeepSeek-V3 (671B)を約12GBで実行できます。また、小容量VRAMでの巨大モデルのトレーニングもサポートします:Qwen3.8-Flash-Next (125B)は6GB未満でトレーニング可能です。

[画像: GitHub Repo stars] [画像: Downloads]

[画像: Code License] [画像: Generic badge] [画像: Discord] [画像: PyPI - AirLLM] [画像: Website] [画像: Website] [画像: Support me on Patreon] [画像: GitHub Sponsors]

AIエージェントのおすすめ:

アップデート

[2026/09] トレーニングサポート:レイヤーごとにフリーズした重みをストリームし、アダプターをGPUに保持します。Qwen3.8-Flash-Next (125B)は6GB未満でトレーニング可能です(RTX 3060 Ti);Qwen3.8-27Bはシーケンス長512で約2GBでトレーニングします。詳細はトレーニングを参照してください。

[2026/08] Qwen3.8-Flash-Nextサポート:Qwenの125B MoEフラッグシップモデル(Qwen4ExpForConditionalGeneration)が、約51Bのn-gram埋め込みを持ち、1つのRTX 4090でエンドツーエンドで測定した結果、5.95GBのVRAMで実行されます。n-gramテーブルはホスト(64GBマシンで十分)にファイルマッピングされ、デコーダーレイヤーはストリームされます。インツリーqwen4_exp(pip install git+https://github.com/huggingface/transformers.gitで現在入手可能)を含むtransformersのビルドと、約360GBのチェックポイントディスクが必要です(delete_original=Trueで分割後に元のファイルを解放できます)。

[2026/08] Qwen3.8-27Bサポート:Qwenの新しい密なVLモデル(Gated DeltaNet + Gated Attention、ネイティブビジョン)が、1つのRTX 3090でエンドツーエンドで測定した結果、3.33GBのVRAMで実行されます。transformers 5.8+が必要です。

[2026/07] Kimi K3 (2.8兆パラメータ)サポート:最大のオープンソースモデルが、1つのRTX 6000 Adaでエンドツーエンドで測定した結果、3.72GBのVRAMで単一カード上で実行されます。エキスパートごとのストリーミングにより、トークンが実際にルーティングするエキスパートのみがロードされます。K3には独自の3つの要件があります:pip install compressed-tensors flash-attn(モデルコードは要求に関わらずフラッシュアテンションを必須とします)、torchのCUDA 12ビルド(CUDA 13用のプリビルドフラッシュアテンションホイールはまだ存在しないため)、およびtransformers 4.56.x(リモートコードが5.xでロードされないため)。

[2026/06] v3.0:FP8モデルサポート + 最新モデル。DeepSeek-V3 (671B) を約12GBで、Qwen3-235B を約3GBで実行できます。さらに、Qwen3、Llama 3.x/4、DeepSeek V2/V3、Phi-4、Gemmaなども、すべて単一のAutoModel経由で実行可能です。

[2024/08/20] v2.11.0:Qwen2.5をサポート。

[2024/08/18] v2.10.1:CPU推論をサポート。シャーディングされていないモデルをサポート。素晴らしい貢献をしてくれた@NavodPeirisに感謝!

[2024/07/30] Llama3.1 405Bをサポート(サンプルノートブック)。8ビット/4ビット量子化をサポート。

[2024/04/20] AirLLMはLlama3をネイティブにサポートしています。Llama3 70Bを4GBの単一GPUで実行できます。

[2023/12/25] v2.8.2:MacOSでの70B大規模言語モデルの実行をサポート。

[2023/12/20] v2.7:AirLLMMixtralをサポート。

[2023/12/20] v2.6:AutoModelを追加し、モデルタイプを自動検出するため、モデル初期化時にモデルクラスを指定する必要がなくなりました。

[2023/12/18] v2.5:モデルロードとコンピューティングをオーバーラップするプリフェッチを追加。10%の速度向上。

[2023/12/03] ChatGLM、QWen、Baichuan、Mistral、InternLMのサポートを追加!

[2023/12/02] safetensorsのサポートを追加。現在、オープンLLMリーダーボードのトップ10モデルすべてをサポートしています。

[2023/12/01] airllm 2.0。圧縮をサポート:実行速度が3倍に向上!

[2023/11/20] airllm 初期バージョン!

スター履歴

[画像: Star History Chart]

目次

クイックスタート

1. パッケージのインストール

まず、airllm pipパッケージをインストールします。

pip install airllm
2. 推論

次に、AirLLMLlama2を初期化し、使用するモデルのHugging FaceリポジトリIDまたはローカルパスを渡すと、通常のTransformerモデルと同様に推論を実行できます。

(モデルをレイヤーごとに分割して保存するパスをAirLLMLlama2の初期化時にlayer_shards_saving_pathで指定することもできます。

from airllm import AutoModel

MAX_LENGTH = 128
# Hugging FaceリポジトリIDを渡すだけで、ほぼすべての人気モデルに対応しています:
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

# 同じ一行でさらに大きなモデルも扱えます:
#model = AutoModel.from_pretrained("Qwen/Qwen3.8-27B")          # 27B dense VL, 3.33GB
#model = AutoModel.from_pretrained("Qwen/Qwen3.8-Flash-Next")    # 125B MoE + 51B PLE, 5.95GB
#model = AutoModel.from_pretrained("Qwen/Qwen3-235B-A22B")     # 235B, 約3GBで実行
#model = AutoModel.from_pretrained("deepseek-ai/DeepSeek-V3")  # 671B, 約12GBで実行

# またはモデルのローカルパスを使用します...
#model = AutoModel.from_pretrained("/home/ubuntu/.cache/huggingface/hub/models--Qwen--Qwen3-32B/snapshots/...")

input_text = [
        'What is the capital of United States?',
        #'I like',
    ]

input_tokens = model.tokenizer(
    input_text,
    return_tensors="pt", 
    return_attention_mask=False, 
    truncation=True, 
    max_length=MAX_LENGTH, 
    padding=False
)
           
generation_output = model.generate(
    input_tokens['input_ids'].to(model.device), 
    max_new_tokens=20,
    use_cache=True,
    return_dict_in_generate=True)

output = model.tokenizer.decode(generation_output.sequences[0])

print(output)

注意:推論中、元のモデルは最初にレイヤーごとに分解されて保存されます。Hugging Faceのキャッシュディレクトリに十分なディスク容量があることを確認してください。

モデル圧縮 - 推論速度3倍向上!

ブロックベースの量子化によるモデル圧縮を追加しました。これにより、推論速度を最大3倍に向上させることができ、精度損失はほぼ無視できるレベルです(より詳細なパフォーマンス評価と、なぜブロックベース量子化を使用するのかについては、こちらの論文を参照してください)。

[画像: speed_improvement]

モデル圧縮による速度向上の有効化方法:
  • ステップ1. bitsandbytesをpip install -U bitsandbytesでインストールしたことを確認してください。
  • ステップ2. airllmのバージョンが2.0.0以降であることを確認してください:pip install -U airllm。
  • ステップ3. モデルを初期化する際に、圧縮引数('4bit'または'8bit')を渡します:
model = AutoModel.from_pretrained("garage-bAInd/Platypus2-70B-instruct",
                     compression='4bit' # 8ビットブロックベース量子化の場合は'8bit'を指定
                    )
モデル圧縮と量子化の違いは何ですか?

通常、量子化は速度を本当に向上させるために重みとアクティベーションの両方を量子化する必要があります。これにより、精度を維持し、すべての種類の入力における外れ値の影響を回避することが難しくなります。

一方、このケースではボトルネックは主にディスクロードにあり、モデルのロードサイズを小さくするだけで済みます。そのため、重みの部分のみを量子化することができ、精度を確保するのが容易になります。

設定

モデルを初期化する際に、以下の設定をサポートしています:

  • compression: サポートされるオプションは、4ビットまたは8ビットブロックベース量子化のための'4bit'、'8bit'、またはデフォルトのNone(圧縮なし)です。
  • profiling_mode: 時間消費量を出力するにはTrue、デフォルトはFalseです。
  • layer_shards_saving_path: 分割されたモデルを保存するためのオプションのパス。
  • hf_token: meta-llama/Llama-2-7b-hfのようなゲート付きモデルをダウンロードする場合、Hugging Faceトークンをここで提供できます。
  • prefetching: モデルロードとコンピューティングをオーバーラップするためのプリフェッチ。デフォルトではオンになっています。現時点ではAirLLMLlama2のみがこれをサポートしています。
  • delete_original: ディスク容量があまりない場合、delete_originalをtrueに設定して、ダウンロードした元のHugging Faceモデルを削除し、変換されたモデルのみを保持することでディスクスペースを半分節約できます。

MacOS

airllmをインストールし、Linuxと同じようにコードを実行するだけです。詳細はクイックスタートを参照してください。

  • mlxとtorchがインストールされていることを確認してください。
  • Pythonネイティブのインストールが必要な場合があります。詳細はこちらを参照してください。
  • Apple Siliconのみがサポートされています。
  • 現時点では、Llamaスタイルのモデル(LlamaForCausalLM、MistralForCausalLM)のみがmacOSで実行されます。他のアーキテクチャは、何もダウンロードされる前にエラーが発生します。

例 Pythonノートブック

サンプルPythonノートブック

Colabのサンプルはこちら:

[画像: Open In Colab]

他のモデル(ChatGLM、QWen、Baichuan、Mistralなど)の例:

詳細

  • ChatGLM:
from airllm import AutoModel
MAX_LENGTH = 128
model = AutoModel.from_pretrained("THUDM/chatglm3-6b-base")
input_text = ['What is the capital of China?',]
input_tokens = model.tokenizer(
    input_text,
    return_tensors="pt", 
    return_attention_mask=False, 
    truncation=True, 
    max_length=MAX_LENGTH, 
    padding=True)
generation_output = model.generate(
    input_tokens['input_ids'].to(model.device), 
    max_new_tokens=5,
    use_cache= True,
    return_dict_in_generate=True)
model.tokenizer.decode(generation_output.sequences[0])
  • QWen:
from airllm import AutoModel
MAX_LENGTH = 128
model = AutoModel.from_pretrained("Qwen/Qwen-7B")
input_text = ['What is the capital of China?',]
input_tokens = model.tokenizer(
    input_text,
    return_tensors="pt", 
    return_attention_mask=False, 
    truncation=True, 
    max_length=MAX_LENGTH)
generation_output = model.generate(
    input_tokens['input_ids'].to(model.device), 
    max_new_tokens=5,
    use_cache=True,
    return_dict_in_generate=True)
model.tokenizer.decode(generation_output.sequences[0])
  • Baichuan、InternLM、Mistralなど:
from airllm import AutoModel
MAX_LENGTH = 128
model = AutoModel.from_pretrained("baichuan-inc/Baichuan2-7B-Base")
#model = AutoModel.from_pretrained("internlm/internlm-20b")
#model = AutoModel.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
input_text = ['What is the capital of China?',]
input_tokens = model.tokenizer(
    input_text,
    return_tensors="pt", 
    return_attention_mask=False, 
    truncation=True, 
    max_length=MAX_LENGTH)
generation_output = model.generate(
    input_tokens['input_ids'].to(model.device), 
    max_new_tokens=5,
    use_cache=True,
    return_dict_in_generate=True)
model.tokenizer.decode(generation_output.sequences[0])
その他のモデルサポートのリクエストはこちら:こちら

サポートされているモデル

AirLLMは、事実上すべての人気のあるオープンLLMでそのまま動作します。Hugging Face IDをAutoModel.from_pretrained(...)に渡すだけです。これにより、主要なファミリーすべてをカバーします:

Llama(2 / 3 / 3.1 / 3.3 / 4) · Qwen(1 / 2 / 2.5 / 3 / 3.5 / 3.8、MoE、Flash-Next、FP8、ネイティブVLを含む) · DeepSeek(V2 / V3 / R1) · Mistral & Mixtral · Phi · Gemma · ChatGLM · Baichuan · InternLM · Yi · Kimi K3 — そしてリリースされたほとんどの新しいモデルも、その日のうちにサポートされます。

小さなGPU、巨大なモデル

トリック:AirLLMは常に一度に1つのレイヤーのみをGPUに保持するため、必要なVRAMはモデルの総サイズではなく、レイヤーサイズに依存します。これが、671Bモデルがホビー用カードに収まる理由です:

モデルサイズGPU VRAM
Qwen3 / Mistral / Phi (≈8B)8B約1~2 GB
Qwen3-30B / Mixtral (MoE)30–47B約1~3 GB
Qwen3.8-27B (dense VL)27B3.33 GB
Qwen3.8-Flash-Next (MoE + PLE)約180B5.95 GB
Qwen3-235B (MoE)235B約3 GB
Llama 3.x 70B (フル精度)70B約4 GB
Llama 3.1 405B405B約8 GB
DeepSeek-V3671B約12 GB

すべて同じ一行のコードで、特別なセットアップは不要です。

トレーニング

AirLLMは、小容量GPUで巨大モデルをファインチューニングできます。フリーズされたベースウェイトはディスクからデコーダーレイヤーごとに1つずつストリームされ、アダプターのみがメモリ上に保持されます。Qwen3.8-Flash-Next (125B)は6GB未満でトレーニング可能で、Qwen3.8-27Bはシーケンス長512で約2GBでトレーニング可能です。

これはHugging Face Trainer / bitsandbytes QLoRAではありません。Flash-Nextは、インツリーqwen4_exp(pip install git+https://github.com/huggingface/transformers.gitで現在入手可能)を含むtransformersのビルドが必要です。

1. データセットの準備

1行に1つのJSONオブジェクト(.jsonl)。通常のフィールドはtextで、文字列全体にわたる次のトークン予測を行います:

{"text": "Your first training document. Can be a few sentences or a few paragraphs."}
{"text": "Your second training document."}

指示ペアも機能します。損失は完了部分にのみ適用されます:

{"prompt": "What is AirLLM?", "completion": "A library that runs and trains huge models on small VRAM."}
{"instruction": "Translate to English", "input": "bonjour", "output": "hello"}

.txtファイルも使用可能です:空行で区切られたブロックごとに1つの例。2行のスターターファイルはair_llm/examples/sft_example.jsonlにあります。

2. トレーニングの実行

リポジトリのルートから、--dataにファイルを指定します:

python air_llm/examples/train_qwen38_flash_next_lora.py \
  --data my_data.jsonl \
  --seq-len 512 \
  --epochs 1 \
  --save-adapter qwen38-flash-next-lora.pt

27B密モデルの場合:

python air_llm/examples/train_qwen38_lora.py \
  --data my_data.jsonl \
  --seq-len 512 \
  --epochs 1 \
  --save-adapter qwen38-27b-lora.pt

--steps NはN個の例の後に停止します(簡単なテストに便利です)。--dataを省略すると、スクリプトは組み込みのスニペットを過学習します。

Python API
from airllm import AirLLMLoRAQwen4Exp

trainer = AirLLMLoRAQwen4Exp(
    "Qwen/Qwen3.8-Flash-Next",
    max_seq_len=512,
    lora_r=16,
    delete_original=True,
)

tok = trainer.tokenizer
if tok.pad_token_id is None:
    tok.pad_token = tok.eos_token

encoded = tok(
    "Your training text here.",
    return_tensors="pt",
    truncation=True,
    max_length=512,
)
loss = trainer.train_step(
    encoded["input_ids"].to(model.device),
    attention_mask=encoded.get("attention_mask"),
)
print(loss)
trainer.save_adapter("qwen38-flash-next-lora.pt")

AirLLMLoRAはQwen/Qwen3.8-27Bに対して同じAPIです。

謝辞

多くのコードは、SimJegのKaggle試験コンペティションでの素晴らしい業績に基づいています。SimJegに大いに感謝します:

GitHubアカウント @SimJeg, Kaggleのコード, 関連するディスカッション。

FAQ

1. MetadataIncompleteBuffer

safetensors_rust.SafetensorError: Error while deserializing header: MetadataIncompleteBuffer

このエラーが発生した場合、最も可能性の高い原因はディスク容量不足です。モデルを分割するプロセスは非常にディスクを消費します。 こちらを参照してください。ディスク容量を拡張し、Hugging Faceの.cacheをクリアしてから再実行する必要があるかもしれません。

2. ValueError: max() arg is an empty sequence

おそらく、Llama2クラスでQWenまたはChatGLMモデルをロードしています。以下を試してください:

QWenモデルの場合:

from airllm import AutoModel #<----- AirLLMLlama2の代わりに
AutoModel.from_pretrained(...)

ChatGLMモデルの場合:

from airllm import AutoModel #<----- AirLLMLlama2の代わりに
AutoModel.from_pretrained(...)
3. 401 Client Error....Repo model ... is gated.

一部のモデルはゲート付きモデルであり、Hugging Face APIトークンが必要です。hf_tokenを指定できます:

model = AutoModel.from_pretrained("meta-llama/Llama-2-7b-hf", #hf_token='HF_API_TOKEN')
4. ValueError: Asking to pad but the tokenizer does not have a padding token.

一部のモデルのトークナイザーにはパディングトークンがないため、パディングトークンを設定するか、単にパディング設定をオフにすることができます:

input_tokens = model.tokenizer(
    input_text,
   return_tensors="pt", 
   return_attention_mask=False, 
   truncation=True, 
   max_length=MAX_LENGTH,
   padding=False  #<----------- パディングをオフにする
)

AirLLMの引用

AirLLMが研究に役立つと感じ、引用したい場合は、以下のBibTexエントリを使用してください:

@software{airllm2023,
  author = {Gavin Li},
  title = {AirLLM: scaling large language models on low-end commodity computers},
  url = {https://github.com/lyogavin/airllm/},
  version = {0.0},
  year = {2023},
}

貢献

貢献、アイデア、ディスカッションを歓迎します!

もし役立つと思ったら、ぜひ⭐をお願いします。またはコーヒーをおごってください!🙏

[画像: "Buy Me A Coffee"]