HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Homebench – ローカルLLMを速度、メモリ、品質でベンチマーク

Homebench – Benchmark local LLMs for speed, memory, and quality (github.com)

24 pointsby davai-g1 コメント

要約

Homebenchは、ローカルで実行されている大規模言語モデル(LLM)のパフォーマンスをベンチマークするためのコマンドラインツールです。Ollama, LM Studio, llama.cppなどの一般的なローカルLLMランナーと連携し、モデルの発見、品質評価、トークン/秒、初回トークンまでの時間(TTFT)、メモリ使用量の測定を行います。結果はライブのターミナルリーダーボードとして表示され、設定不要で手軽にローカルモデルの性能を比較できます。

全文翻訳

homebench

ローカルLLMの速度、メモリ、そして品質をベンチマーク — ライブのターミナルリーダーボードとして。

[画像: CI] [画像: PyPI] [画像: Python] [画像: License]

[画像: homebench demo]

homebenchは、ローカルランナー(Ollama, LM Studio, llama.cpp, vLLM、またはOpenAI互換サーバー)にインストールされているモデルを自動検出する、単一コマンドのTUI(テキストベースユーザーインターフェース)です。厳選された品質テストスイートを実行し、実際のマシンでトークン/秒、初回トークン生成時間、メモリ使用量を測定し、ライブ比較リーダーボードを表示します。

pip install homebench
homebench

これだけです。設定ファイルもAPIキーもクラウドも不要です。


なぜこれが必要か

この問題の片方を解決する素晴らしいツールはいくつかありますが、両方をローカルファーストで実行できるものはこれまでありませんでした。

  • llama-bench(llama.cpp内)は速度のみを測定します。
  • lm-evaluation-harnessは品質を測定しますが、洗練されたラップトップUXがなく、ほとんどの人がローカルで実際に使用しているモデルランナーを中心に構築されていません。

homebenchは、このギャップを埋めます:ローカルファースト、ゼロコンフィグ、UX重視。 クローンして実行し、すでにプルしたモデルを指定するだけで、「私のローカルモデルの中で実際に良いものはどれで、このラップトップでどれくらいの速さなのか?」という疑問に一目で答えが得られます。

測定項目

メトリック測定方法
tok/s出力トークン ÷ 生成時間。Ollamaはサーバーサイドの評価タイミングを報告します。OpenAI互換バックエンドは、トークンストリームからクライアントサイドでタイミングを測定します。プロンプト処理とモデルロードは除外されます。
TTFT初回ストリーミングトークンまでの経過時間(ランナーが報告するモデルロード時間は除く)。
メモリ2つの数値が表示されます。メモリ = ランナーが報告する常駐モデルサイズ(Ollama /api/ps、LM Studio /api/v0)。ピーク = バックエンドのピークプロセスRSS(Resident Set Size)増加量。これは、ロード、速度、およびすべての品質タスク全体でサンプリングされます。単一の呼び出しではありません。ベストエフォートです。ユニファイドメモリを持つMacでは、ウェイトはMetalに格納されるため、ピーク値が低く表示されることがあります。(生成はシングルターンなので、ピークはマルチターンのセッションウォーターマークとして増加しません。)
品質数学、推論、事実検索、指示追従/構造化出力、抽出、コード理解にわたる31の決定論的に採点されるタスク。オプションのLLM-アズ・ジャッジ機能は、オープンエンドなタスク(要約、メール、俳句、説明)を追加します。
バリュー品質、tok/s、メモリをブレンドした複合スコア(0〜100)。これは実行内で正規化されるため、homebenchは単にランク付けするだけでなく、「あなたのラップトップに最適なモデル🏆」を呼び出すことができます。

インストール

pip install homebench        # その後実行:  homebench

分離されたインストールを好む場合:pipx

pipx install homebench

ソースからインストールする場合:

git clone https://github.com/david-g-3654/homebench
cd homebench
pip install .

Python 3.9+ が必要です。

使用方法

homebench                        # 高速デフォルト: 3つの最小モデル、クイックテストスイート(TUI)
homebench --all                  # 発見されたすべてのモデルをベンチマーク
homebench --full                 # 完全な品質テストスイートを実行(高速サブセットのみではない)
homebench --no-tui               # 通常のライブレンダラー(パイピング/CIに最適)
homebench -m llama3.2,qwen3:8b   # これらのモデルのみ
homebench --limit 3              # モデル数を制限
homebench --provider lmstudio    # LM Studioを使用(自動検出の代わりに)
homebench --provider llamacpp    # llama.cppサーバー(llama-server)
homebench --provider vllm        # vLLM
homebench --provider openai --host http://localhost:5000   # 任意のOpenAI互換サーバー
homebench --refresh-cache        # キャッシュされた応答を再利用せず再計算
homebench --no-quality           # 速度+メモリのみ(高速)
homebench --no-speed             # 品質のみ
homebench --judge qwen3:8b       # LLM-アズ・ジャッジを有効にする(オープンエンドタスクを追加)
homebench --tasks mypack.yaml    # 内蔵スイートの代わりにカスタムタスクパックを使用
homebench --add-tasks mypack.yaml  # 内蔵スイートの上にパックを追加
homebench --label "before tuning"  # 後で比較するためにこの実行にタグを付ける
homebench --md results.md        # Markdownレポートもエクスポート
homebench --json results.json    # 生JSONもエクスポート
homebench --html report.html     # 自己完結型の共有可能なHTMLレポート

homebench doctor                 # セットアップ診断: プロバイダー、モデル、ハードウェア、キャッシュ
homebench list                   # 発見されたモデルを一覧表示
homebench tasks                  # 品質テストスイートを表示(--tasksでパックをプレビュー)
homebench history                # 過去の実行を一覧表示(自動保存)
homebench diff                   # 直近2回の実行を比較
homebench diff 3 1               # 実行#3(ベース)と実行#1(新しい方)を比較
homebench report latest --html run.html   # 保存された任意の実行をレポートとしてレンダリング
homebench throughput             # バッチスループットスイープ(同時実行数 1,2,4,8)
homebench throughput --concurrency 1,8,16 --provider vllm
homebench fit                    # あなたのハードウェアに合う一般的なモデルは?

完全なフラグリストについては homebench --help を実行してください。

例:出力

Apple M1(16 GB)でOllama経由のクイックテストスイートの実際の実行結果:

                               最終リーダーボード
┏━━━┳━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━┳━━━━━━┳━━━━━━━┳━━━━━━━━┳━━━━━━━━┓
┃ # ┃ モデル                ┃ パラメータ ┃ 品質    ┃ 合格 ┃ tok/s ┃   TTFT ┃ メモリ ┃
┡━━━╇━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━╇━━━━━━╇━━━━━━━╇━━━━━━━━╇━━━━━━━━┩
│ 1 │ llama3.2:latest      │   3.2B │     75% │  6/8 │  16.8 │ 545 ms │ 2.4 GB │
│ 2 │ alibayram/smollm3    │   3.1B │     38% │  3/8 │  16.9 │ 829 ms │ 2.1 GB │
└───┴──────────────────────┴────────┴─────────┴──────┴───────┴────────┴────────┘

(数値はそのラップトップ、その瞬間のものです — 制限事項を参照してください。)

プロバイダー

少なくとも1つのローカルモデルランナーが到達可能である必要があります:

プロバイダー--providerデフォルトホストホスト環境変数注記
Ollamaollamahttp://localhost:11434OLLAMA_HOSTネイティブAPI。/api/ps経由でモデルメモリを報告します。
LM Studiolmstudiohttp://localhost:1234LMSTUDIO_HOSTネイティブ/api/v0経由でメタデータとメモリを拡張します。
llama.cppllamacpphttp://localhost:8080LLAMACPP_HOSTllama-server、OpenAI互換。
vLLMvllmhttp://localhost:8000VLLM_HOST--api-keyで起動した場合、VLLM_API_KEYを設定してください。
MLXmlxhttp://localhost:8080MLX_HOSTApple Siliconネイティブ(mlx_lm.server)。明示的な指定のみ(llama.cppのポートを共有)。
OpenAI互換openai—OPENAI_BASE_URL任意の/v1サーバー(Jan, LocalAI, TGIなど)。--hostを指定してください。

自動検出は Ollama → LM Studio → llama.cpp → vLLM の順に試行します(mlxおよび汎用openaiプロバイダーは明示的な指定のみ)。--providerで強制できます。ホストは--hostまたは上記の環境変数で上書きできます。

品質評価の仕組み

スイートは意図的に小さくされています — カテゴリを横断してモデルを分離するのに十分なタスク数であり、ラップトップで数分で実行できる数です。各タスクは決定論的に採点されます(正確な数値一致、多肢選択肢、部分文字列、有効なJSON、正規表現)。温度は0、再現性のために固定シードが使用されます。リストについては homebench tasks を参照してください。

オプションの--judge MODELフラグは、LLM-アズ・ジャッジ(任意のローカルモデル)をオンにし、オープンエンドなタスクをリファレンス回答に対して1〜5のスコアで評価します。これはシグナルであり、オラクルではありません。

デフォルトで高速

すべてのモデルをフルスイートでベンチマークするのはラップトップでは時間がかかるため、デフォルトは迅速な第一印象のために調整されています:

  • デフォルトで3つの最小モデル(最も小さいものから順に、結果が速く表示されるように) — すべての場合は--all、選択する場合は-m。
  • 高速品質サブセット(約8タスク、全カテゴリを網羅) — 全31タスクの場合は--full。
  • 応答キャッシュ: 品質テストは温度0と固定シードを使用するため、応答は決定論的であり、~/.homebenchの下にキャッシュされます。再実行では、新しいモデル/タスクのみが再生成されます(変更されていないものはミリ秒単位でキャッシュから再評価されます)。--refresh-cacheは再計算を強制し、--no-cacheは無効にします。

実際には、最初の実行が約15〜25分(全モデル、フルスイート)から約1〜2分に、再実行が数秒になります。徹底的な評価(CI、最終的な数値)には homebench --all --full を使用してください。

カスタムタスクパック

JSONまたはYAMLパックで独自の評価を持ち込む — Pythonは不要です。--tasksは組み込みスイートを置き換え、--add-tasksはそれに追記します。YAMLにはオプションの追加機能が必要です(`pip install