HetznerはLLM推論に取り組んでいる

Hetzner Inference: 初見 Jonas Scholz 7分 HetznerがLLM推論を実験している。 これは私が書くとは思ってもみなかった文章ですが、非常に興味深いと思います :) 誰かがHetznerに本番AIワークロードを移行する前に言っておきます：これはあくまで実験です。請求、SLA、本番保証はなく、現在はモデルも1つだけです。Hetznerは、人々が実際にこれを求めているのか、システムがどのようにスケールするのか、どの機能が重要なのか、どのような負荷を処理できるのかを学びたいと考えています。 したがって、これは完成した製品のローンチではありません。Hetznerが早期に何かをユーザーの前に提示し、何が起こるかを見ているのです。私はそのアプローチを非常に気に入っています。 Hetzner Inferenceとは？ Hetzner Inferenceは、Hetzner自身のインフラストラクチャ上で動作するOpenAI互換APIです。ExperimentsダッシュボードでAPIトークンを作成し、OpenAIクライアントをHetznerのベースURLに向け、他のほとんどの推論APIと同様に使用します。 現在利用可能な唯一のモデルは、Qwen/Qwen3.6-35B-A3B-FP8です。これは350億パラメータのMixture-of-Expertsモデルで、アクティブパラメータは30億です。テキストと画像を扱え、262Kのコンテキストウィンドウを持ち、FP8量子化された重みを使用しています。 これは実験用としては十分に妥当なモデルです。法外なGPUクラスターなしで提供するには小さすぎず、しかし実際のワークロードでAPIをテストするには十分有用です。 Hetznerは、コードを書かずに試したい人のために、OpenCodeをAPIに接続するための短いチュートリアルも公開しています。 試してみました APIはOpenAI互換なので、統合に関して特別なことはほとんどありませんでした： ```python pip install openai from openai import OpenAI client = OpenAI( base_url="https://inference.hetzner.com/api/v1", api_key="YOUR_TOKEN", ) response = client.chat.completions.create( model="Qwen/Qwen3.6-35B-A3B-FP8", messages=[ { "role": "user", "content": "Explain why the sky is blue in one sentence.", } ], extra_body={ "chat_template_kwargs": { "enable_thinking": False, } }, ) print(response.choices[0].message.content) ``` enable_thinkingオプションは言及する価値があります。これがないと、モデルは目に見える回答を返す前に、推論にかなりの量の完了予算を費やすことがあります。このオプションは私のテストでは機能しましたが、Hetznerによって文書化されていないため、現時点ではその正確なリクエスト形状に基づいて重要なものを構築すべきではありません。 2026年7月23日に、いくつかの小さなテストを実行しました。この投稿を巨大なベンチマークレポートにしたくはありません。製品は実験的であり、それに対するベンチマークはおそらくすぐに時代遅れになるでしょう。しかし、大まかな数値は以下の通りでした： 7つの短いリクエストに対する最初のトークンまでのメディアン時間は153ミリ秒（接続はすでに開いている状態） 512トークンに制限された5つの長い生成における、毎秒224出力トークン それは速いです！そして、これは単一のクライアントによる、ある時点での1つのテストにすぎません。SLAではなく、多くの人が同時にサービスを使用したときに何が起こるかについては、ほとんど何も語っていません。 モデル自体は、私が予想したとおりでした。ほとんどのフォーマットと取得の指示に従い、画像を正しく処理し、非常に単純な算術問題2つで失敗しました。つまり、小さくて少し残念なLLMです :D モデルよりも製品の方が興味深い Qwenエンドポイントは楽しいですが、現在のモデルが興味深い部分だとは思いません。 興味深いのは、Hetznerがそもそも推論をテストしている理由です。 ここから先はすべて私の推測です。内部情報は一切なく、Hetznerの誰も私に計画を教えてくれませんでした。私はただ製品を見て、いくつかの点を結びつけようとしているだけです。 オープンウェイト推論はコモディティ市場です。誰でも同じウェイトをダウンロードし、多かれ少なかれ同じサービングソフトウェアを実行し、OpenAI互換APIを公開できます。プロバイダーの切り替えも簡単です。特にOpenRouterやLiteLLMのような製品を使えば、セルフホストする場合でも容易です。 これにより、何らかのアドバンテージがない限り、大きな利益を築くのは困難になります。通常、それは以下を意味します： GPUハードウェアを非常に安価に購入・運用できる。 そのハードウェアを非常に効率的に稼働させることができる。 または、すでにGPUを所有しており、それが顧客を待っている状態になっている。 Hetznerはハードウェアを購入し、自社のデータセンターに入れ、極めて効率的なコスト構造で運用することに非常に長けています。それが基本的に会社全体です。もし誰かが推論を別の低マージンのインフラ製品に変えることができるなら、Hetznerは少なくとも信じられる候補です。 利用率のストーリーも良いです。レンタルされたベアメタルGPUは、顧客がそれを使用しているかどうかにかかわらず、1人の顧客に属します。推論APIは、多くのユーザー間でGPU容量を共有し、ハードウェアを稼働させ続けることができます。もしHetznerに余剰GPU容量がある場合、またはより大規模なGPUフリートを構築する計画がある場合、推論製品はその容量を収益に変えるのに役立つ可能性があります。 繰り返しになりますが、これが実際に何をしているのかは全く分かりません。私には経済的に理にかなっているように思えます。 大きな問題はハードウェア これはまだ確信が持てない部分です。 Hetznerの現在の公開専用GPUサーバーラインナップは、2種類のGPUを使用しています： NVIDIA RTX 4000 SFF Ada Generation (20 GB VRAM) NVIDIA RTX PRO 6000 Blackwell Max-Q (96 GB VRAM) これらは能力のあるGPUであり、96 GBのRTX PRO 6000は、小規模から中規模のモデルにとって非常に優れた推論マシンです。Hetznerの現在のQwenモデルのFP8ファイルは約38 GBで、実際のVRAM使用量は、コンテキスト長、キャッシュサイズ、サービング設定によってそれより少し上になります。 しかし、これらはワークステーションGPUであり、本当に大規模なオープンモデルに必要な高密度マルチGPUシステムではありません。 GLM-5を極端な例として挙げます。これは7540億パラメータを持ち、公式のサービングレシピでは8つのGPUに分割されます。積極的な量子化を使っても、数百ギガバイトのVRAMが必要になります。現実的には、これはB200/B300クラスのハードウェア、またはそれに類するもので、複数のGPU間に非常に高速なリンクが必要です。 Hetznerは現在、公開ベアメタルラインナップでそのようなハードウェアを提供していません。 もちろん、それは実験的なAPIの背後にあるものが何であるかを私たちには教えてくれません。Hetznerは完全に異なる内部ハードウェアを使用している可能性があり、公開推論製品は専用サーバーカタログをミラーする必要はありません。 それでも、これは私が注目している部分です。 Hetznerが1つか2つの小規模モデルを提供し続けるなら、私はそれが重要な推論プロバイダーになるとはあまり見ていません。それはクールな実験でしょうが、それ以上のものにはならないでしょう。 もしこの実験が、より大きなGPUクラスター、適切なモデルカタログ、そしてB200/B300クラスのハードウェアへの第一歩であるなら、それははるかに興味深いものになります。Hetznerはすでにデータセンター、ネットワーク、ハードウェア経験、ヨーロッパでの位置づけ、そして攻撃的な価格設定の評判を持っています。その組み合わせは、彼らを真の競合相手にする可能性があります。 今のところ、APIは高速で無料、そして試すのが楽しいです。次のハードウェア発表は、小規模モデルの追加よりもはるかに多くのことを教えてくれるでしょう。 Cheers, Jonas