HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: Reame – 実行するほど速くなるCPU推論サーバー

Show HN: Reame – a CPU inference server that gets faster as it runs (github.com)

43 pointsby targetbridge13 コメント

要約

Reameは、llama.cppをベースにした軽量でテスト済みのLLM推論サーバーで、既存のCPUハードウェア(共有vCPU、無料ティア、2コアARMボックスなど)での利用を想定しています。特に、コンテキスト内の情報に基づいて回答を生成するような、狭く反復的なAIワークロードに最適化されており、実行するほどキャッシュや過去の生成結果を活用して高速化します。

全文翻訳

記事一覧

[1] タイトル: Show HN: Reame – 実行するほど速くなるCPU推論サーバー
URL: https://github.com/swellweb/reame
本文:
[画像: Reame]

▶ ライブデモを試す — ブラウザから直接、無料のOracle ARMボックスでLLMをサーブする実際のReameインスタンス。

Reameは、一般的なCPU向けに設計されたLLMサーバーであり、特に重みが厳密に−1、0、または+1である三値モデルを中心に構築されています。カスタムエンジンを使用すると、モデルベンダー自身のランタイムを実際に上回るパフォーマンスを発揮し、わずか2.2 GBのメモリで80億パラメータのモデルを無料ティアのクラウドインスタンスで実行できます。

これらは単なるマーケティング上の主張ではなく、測定された事実です。同じハードウェア、同じプロンプト、クリーンな環境で、Bonsai-8B(PrismMLの三値フラッグシップ)をPrismML自身のllama.cppフォークと比較して実行した結果は以下の通りです。

デコードプロンプト処理
2 ARMコア (Oracle Always Free)3.0 vs 2.46 トーク/秒 (+22%)4.3 vs 2.77 トーク/秒 (+55%)
4 ARMコア5.7 vs 4.84 トーク/秒 (+18%)7.9 vs 5.5 トーク/秒 (+44%)

太字の数値は3回の連続実行の中央値です。行ごとの完全なプロトコルは、ベンチマークページに記載されています。精度は、デプロイされたサーバーに対して実行された20の質問による事実試験で19/20でした(間違った質問は、推論を許可された場合に同じ重みで正しく回答される境界線上の知識に関するものです)。完全な方法論、生データ、さらには私たちが負けたベンチマークまで、docs/BENCHMARKS.md に文書化されています。勝利のみを示すベンチマークは、単なる広告です。

GPUは不要です。トークンごとの課金もありません。既存のクライアントが接続できる、単一のOpenAI互換APIがあるだけです。内部的には、2つのエンジンに依存しています:三値数(上記)を処理するカスタムエンジンであるnucleoと、それ以外のすべてを処理するllama.cppです。

[画像: 1つのAPIの下にある2つのエンジン]


なぜ三値モデルなのか、そしてなぜこのエンジンなのか

三値モデルは、各重みを3つの値のいずれかとして格納します。これにより、Bonsai-8Bはわずか2.2 GBに収まります — 無料クラウドインスタンスのRAM制限内に十分に収まります。CPU上では、行列積は非常に効率的な整数演算になり、ベクトル命令で高速に処理できます。

nucleoは、モデルを一度だけ独自のインターリーブされた2.125ビット形式(.nuc)に変換します。これにはヘッドと埋め込みも含まれます — つまり、テンソルが6ビットでサイレントに保持されることはありません。ホットループは、単一の浮動小数点演算が行われる前に、完全な128ウェイトブロックを正確なint32で累積します。アテンションは、KVキャッシュに対してベクトル化されたfp16を実行し、コンテキストが成長するにつれてコア間でスケーリングします。このエンジンはテストファーストで構築されました:149のテストケース、254,000のアサーション、そしてすべてのカーネルは独立したオラクルによって検証されています。その単一トークンパスとバッチパスは、構築によりビット同一の出力を生成します。

このコードのいずれもllama.cppから派生したものではありません — llama.cppは単に私たちがベンチマークの対象としているものです。

三値モデルで始める

git clone https://github.com/swellweb/reame
cd reame && ./build.sh
# 1. PrismMLの公式リポジトリからBonsai-8B三値モデル (2.1 GB) をダウンロード
curl -LO https://huggingface.co/prism-ml/Ternary-Bonsai-8B-gguf/resolve/main/Ternary-Bonsai-8B-Q2_0.gguf

# 2. 一度だけ変換 (約1分、2.2 GBの.nucを生成)
./build/src/reame-converti Ternary-Bonsai-8B-Q2_0.gguf bonsai-8b.nuc

# 3. サーブする
./build/src/reame run bonsai-8b.nuc --serve
curl http://127.0.0.1:8080/v1/chat/completions -d '{
  "model": "reame",
  "messages": [{"role": "user", "content": "Ciao!"}]
}'

1.7Bバリアントも同様に動作します(Ternary-Bonsai-1.7B-gguf、460 MB)が、同じ無料ボックスで約22トークン/秒を提供します。従来のGGUFモデルは引き続きllama.cppレーンを通じて実行されます — reame run qwen2.5-1.5b は単一コマンドでダウンロードしてサーブします。より細かい制御のための設定ファイルも利用可能です(Configurationを参照)。

ビルド依存関係

CMake ≥ 3.16、C++20、Boostヘッダー、nlohmann-json、zstd。

# Debian/Ubuntu
sudo apt install build-essential cmake libboost-dev nlohmann-json3-dev libzstd-dev pkg-config
# macOS
brew install cmake boost nlohmann-json zstd pkg-config

何ができるか?

ウェブサイトにコンシェルジュを配置する

訪問者が「私のリビングルームのあの滑らかな床材はいくらくらいかかりますか?」と尋ねるのを想像してみてください。あなたの価格表では、それは「住宅用インテリア用セルフレベリングエポキシ樹脂」と呼ばれていますが、訪問者はその用語を知りませんし、気にもしません。Reameはその意図を理解し、無料ティアインスタンスで動作する数秒で「1平方メートルあたり€35.00」と応答します。

これは、生のLLMにはない保証を提供します:価格、電話番号、営業時間など、特定のデータが回答である場合、Reameはそれを生成しません。データベースから値をそのままコピーします。価格を幻覚させることは構造的に不可能であり、情報が存在しない場合は、推測するのではなく、その旨をシステムが伝えます。

[画像: コンシェルジュカスケード]

その他
したいこと…Reameが提供するもの
ドキュメント(請求書、チケット、ページ)からデータを抽出する小規模モデル + ディスクキャッシュ:繰り返し作業がほぼ無料になる
夜間のバッチジョブを実行する(10,000件の商品にタグ付け、メールのトリアージ)トークンあたり€0、レート制限なし、サーバーからデータが流出しない
薄利多売のSaaSにAIを追加するメーター課金APIの代わりに€5のVPS
法務/医療/公共部門のデータをプライベートに保つすべてがインフラストラクチャ上で実行され、そこに留まる
プライベートなコード補完を設定するContinue.dev用のOpenAI互換エンドポイント

対象外: 万能なChatGPTの代替、エージェント型コーディング、またはクリエイティブな長文執筆。CPU上の小規模モデルは、あなたのコンテキストにおける狭い作業に特化しています — それがニッチであり、それは重要なものです。


仕組み(平易な言葉で)

4つのコアアイデア、それぞれが測定されています。それ以外のすべては単なる配管です。

1 — 一度変換すれば、二度としない。 ほとんどのランタイムは、起動ごとにモデルの重みを再編成します:数分間の処理、数ギガバイトのRAM、無限の繰り返し。nucleoは一度だけ .nuc ファイルに変換します。サーバーはそれをマップするだけで、起動時に99 MBのRAMで、数秒で準備完了です。

2 — 同じものを二度読まない。 テキストの処理は、CPU上で計算コストの高い部分です。これを解決するために、Reameは読み取ったもののスナップショット(プレフィックスキャッシュ、ディスク上)を保存し、リクエスト、再起動、共通の始まりを共有する異なるプロンプト間で再利用します。同一のリクエストは0.5秒で完了します。

[画像: 共有プレフィックスキャッシュ]

3 — 誰も待っていない間に、先読みする。 訪問者があなたのページを開くと、ウィジェットはReame(/v1/warm)にpingを送り、訪問者がまだページを読んでいる間にモデルはドキュメントの読み込みを開始します。質問が届く頃には、重い処理はすでに完了しています。

[画像: ウォームアヘッド]

4 — モデルで理解し、データで答える。 言語理解は実際のLLMによって処理されるため、システムはユーザー自身の言葉で表現された質問にも対応できます。しかし、回答の実際の値はあなたのデータから来ており、そのままコピーされます。シンプルで曖昧さのないリクエストは、モデルを完全にスキップします(約20ミリ秒)。不確かなものは小規模モデルに渡され、それが失敗した場合は[escalation]リレーを介してより大きなモデルにエスカレートします。


数値

すべての数値は、指定されたハードウェアで出荷バイナリを使用して測定されました。各測定方法論はdocs/BENCHMARKS.md に記載されており、否定的な結果も含まれています。

内容測定値場所
Bonsai-8B三値モデル vs ベンダー自身のランタイムデコード +18-22%、プロンプト +44-55%Oracle無料ティア、2コアおよび4コア
デプロイされた三値レーンでの事実試験19/20、4回のデプロイメントで安定
ディスクおよびRAM上のBonsai-8B2.2 GB (2.125ビット/ウェイト、エンドツーエンド)—
同じ無料ボックスでのBonsai-1.7Bデコード4コアで20.9 トーク/秒Oracle無料ティア

私たちが主張しないこと:あらゆる場所で最速の三値エンジンであること。llama.cpp mainlineのTQ2_0パスは、現在1.7BモデルおよびApple Siliconではより高速です。完全なテーブルは、それらの行を含め、ベンチマークページにあり、ギャップを埋めるために私たちが何をしているかの隣にあります。


設定

[model]
path = models/bonsai-8b.nuc      ; .nuc → nucleoエンジン, .gguf → llama.cpp
context_length = 4096
threads = 4                      ; 共有vCPUでは少ない方が速いことが多い — 計測してください!

[cache]
directory = .reame-cache
max_size_mb = 4096               ; プレフィックススナップショットのディスク予算

[server]
port = 8080
api_key =                        ; 設定されている場合はベアラート認証
parallel = 1                     ; >1 = インターリーブされたマルチユーザーサービング

[escalation]                     ; より大きなモデルへのリレー(オプション)
endpoint = http://127.0.0.1:8081/v1/chat/completions
trigger = NON PRESENTE           ; 正規表現; 空の回答は常にエスカレートする
model_id = big-model

小規模モデルの応答がトリガーと一致すると、リクエストはディープエンドポイントで再再生され、新しい回答は"escalated": trueフラグ付きで返されます。より大きなモデルが失敗した場合、最初の高速応答が保持されます。リレーは結果を改善するためだけに設計されています。

API

エンドポイント機能
POST /v1/chat/completionsチャット (SSEストリーミング、"stream": true)
POST /v1/completions通常の補完
POST /v1/warmプロンプトまたはメッセージのプレフィックスを事前読み込みし、実際のリクエストをウォーム状態で開始する
POST /v1/sessions + save/load会話をスナップショットして復元する
GET /metrics · GET /healthカウンター · ライブネス

その他

失敗したことを公開することは、プロジェクトの価値の半分を占めると信じています。

  • 類似性は不在を検出できない。 回答可能な質問とデータにない質問の埋め込みスコアは、ほぼ完全に重複します(中央値0.895 vs 0.879)。コンシェルジュは、証拠に基づいて拒否を計算します。
  • 3つのカーネル設計が、それ自身の前身に敗北しました — 16ごとのパスでのサムトリック、バッチカーネルでのワイドアンパッキング、およびタイル化されたプリフィルバッファ。それぞれがプロトタイプ化され、測定され、最終的に元に戻されました。それぞれが、勝利した設計の隣に文書化されています。
  • MoEエキスパートが少ないとプリフィル(+44%)に役立ちますが、デコードには悪影響があります。 K=2ではモデルは完全に崩壊します(0/20)。ルールは次のとおりです:少数で読み、すべてで書く。
  • 過負荷のvCPUでの投機は逆効果です。 Reameはこれを実行時に検出し、自動的に無効にします。

詳細については、BENCHMARKSを参照してください。

他のツールを使うべき場合

Ollamaは、摩擦ゼロでパーソナルラップトップでさまざまなモデルを試したい場合に最適なツールです。ほとんどの人はOllamaを使用すべきであり、Reameはそこでは競合しません。GPUをお持ちの場合は、vLLMまたはSGLangが適切な選択肢です。

Reameは異なるシナリオのために設計されています:手頃なCPUハードウェアで実行される、単一の反復的なワークロード。この環境では、サーバーが長く実行されるほどリクエストあたりのコストが低下します。これは、トークンごとのAPI課金モデルとは正反対です。

サポート

これは、夜間と週末に無料ティアのハードウェアを使用して構築された、無料のMITライセンスプロジェクトです。API料金やGPUレンタル費用を節約できる場合は、スポンサーを検討してください。

謝辞

三値モデルはPrismML Bonsaiファミリー(Hugging Faceの各ライセンスを参照)からのものです — これらすべてが可能になった素晴らしいトレーニング作業です。大規模モデルレーンはllama.cpp(MIT)に依存しています — 私たちが喜んでクレジットする優れたエンジニアリングであり、私たちが自身を測定するベンチマークです。nucleoエンジンはゼロから書き起こされ、独立した参照に対してトークンごとに検証されました。私たちのディスクファーストキャッシュアプローチは、antirezのDwarfStar4の考え方に負うところが大きく、投機的パイプラインはLeviathan/Chenの定理に負うところが大きいです。アイデアは引用されています。数値は私たち自身のものです。

イタリア語のドキュメント:docs/README.it.md。

ライセンス

MIT。