HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

HetznerはLLM推論に取り組んでいる

Hetzner is working on LLM Inference (sliplane.io)

112 pointsby jonas_scholz48 コメント

要約

Hetznerは、実験的なLLM推論サービスを開始しました。これはOpenAI互換APIを提供し、現在はQwen/Qwen3.6-35B-A3B-FP8モデルのみを利用可能です。サービスは無料ですが、SLAや本番保証はありません。筆者はAPIの速度を評価し、Hetznerがハードウェアコストの優位性を活かして、低マージンのインフラ製品としての推論サービスに参入する可能性について推測しています。ただし、大規模モデルに対応するには、より高性能なGPUハードウェアが必要になるだろうと指摘しています。

全文翻訳

Hetzner Inference: 初見

HetznerがLLM推論に取り組んでいる。

これは私が書くとは思っていなかった文章だが、かなり興味深いと思う :)

誰かが本番のAIワークロードをHetznerに移行する前に言っておくが、これはあくまで実験である。課金はなく、SLAもなく、本番稼働の保証もない。そして現時点ではモデルは1つだけだ。Hetznerは、人々が本当にこれを求めているのか、システムがどのようにスケールするのか、どの機能が重要なのか、どのような負荷に耐えられるのかを学びたいと考えている。

したがって、これは完成した製品のローンチではない。Hetznerが早期に何かをユーザーの前に提示し、何が起こるかを見ているのだ。私はそのアプローチを非常に気に入っている。

Hetzner Inferenceとは何か

Hetzner Inferenceは、Hetzner自身のインフラストラクチャ上で動作するOpenAI互換APIである。ExperimentsダッシュボードでAPIトークンを作成し、OpenAIクライアントをHetznerのベースURLに向け、他の多くの推論APIと同様に使用する。

現在利用可能なモデルはQwen/Qwen3.6-35B-A3B-FP8のみである。これは350億パラメータのMixture-of-Expertsモデルで、アクティブパラメータは30億である。テキストと画像を受け付け、262Kのコンテキストウィンドウを持ち、FP8量子化された重みを使用している。

これは実験としては十分に妥当なモデルだ。巨大なGPUクラスターなしで提供できるほど小さく、しかし実際のワークロードでAPIをテストするのに十分有用である。

[画像: Hetzner Experimentsの推論ダッシュボード]

Hetznerは、コードを書かずに試したい人のために、OpenCodeをAPIに接続するための短いチュートリアルも公開している。

試してみた

APIはOpenAI互換であるため、統合に関して特別なことはほとんどない。

enable_thinkingオプションは言及する価値がある。これがないと、モデルは目に見える回答を返す前に、完了予算のかなりの部分を推論に費やす可能性がある。このオプションは私のテストでは機能したが、Hetznerによって文書化されていないため、現時点ではその正確なリクエスト形状に基づいて重要なものを構築すべきではない。

2026年7月23日にいくつかの小さなテストを実行した。この投稿を巨大なベンチマークレポートにしたくはない。なぜなら、製品は実験的であり、それに対するベンチマークはおそらくすぐに陳腐化するだろうからだ。しかし、大まかな数値は以下の通りだった。

  • 既に開いている接続での7回の短いリクエストにおける153ミリ秒の中央値(初回トークン到達時間)
  • 512トークンに制限された5回の長い生成における毎秒224出力トークン

これは速い!また、これはある時点での1つのクライアントからの単一のテストに過ぎない。SLAではなく、多くの人が同時にサービスを使用した場合に何が起こるかについては、ほとんど何も語っていない。

モデル自体は、おおよそ予想通りだった。ほとんどのフォーマットと取得の指示に従い、画像を正しく処理し、非常に簡単な算数の質問を2つ間違えた。つまり、小さくて少しダメなLLMだ :D

製品はモデルよりも興味深い

Qwenエンドポイントは楽しいが、現在のモデルが興味深い部分だとは思わない。

Hetznerがそもそも推論をテストしている理由こそが、興味深い部分だ。

ここから先はすべて私の純粋な推測である。私は内部情報を持っていないし、Hetznerの誰も私に彼らが何を計画しているか教えてくれなかった。私はただ製品を見て、いくつかの点を結びつけようとしているだけだ。

オープンウェイト推論はコモディティ市場である。誰もが同じウェイトをダウンロードし、多かれ少なかれ同じサービングソフトウェアを実行し、OpenAI互換APIを公開できる。プロバイダーの切り替えも容易である。特にOpenRouterやLiteLLMのような製品を使えば、セルフホストしているユーザーにとってはさらにそうだ。

そのため、何らかの優位性がない限り、大きな利益を築くのは難しい。通常、それは以下を意味する。

  • GPUハードウェアを非常に安価に購入・運用できること。
  • そのハードウェアを常に稼働させ続けることに非常に優れていること。
  • または、すでにGPUを所有しており、そうでなければ顧客を待つだけで遊休状態になること。

Hetznerはハードウェアの購入、自社データセンターへの設置、そして極めて効率的なコスト構造での運用に非常に長けている。それが基本的に会社全体である。もしHetznerが推論を別の低マージンインフラ製品に変えることができるなら、Hetznerは少なくとも信じられる候補だ。

ここには、利用率のストーリーもある。レンタルされたベアメタルGPUは、顧客がそれを使用しているかどうかにかかわらず、1人の顧客に属する。推論APIは、多くのユーザー間でGPU容量を共有し、ハードウェアを稼働させ続けることができる。もしHetznerがGPU容量の余裕がある場合、あるいははるかに大きなGPUフリートを構築する計画がある場合、推論製品はその容量を収益に変えるのに役立つ可能性がある。

繰り返しになるが、これが実際に彼らがやっていることなのかは全く分からない。しかし、経済的には理にかなっているだろう。

大きな疑問はハードウェア

これはまだ確信が持てない部分だ。

Hetznerの現在の公開専用GPUサーバーラインナップは、2種類のGPUを使用している。

  • NVIDIA RTX 4000 SFF Ada Generation (20 GB VRAM)
  • NVIDIA RTX PRO 6000 Blackwell Max-Q (96 GB VRAM)

これらは高性能なGPUであり、96 GBのRTX PRO 6000は、小規模から中規模モデル向けの優れた推論マシンである。Hetznerの現在のQwenモデルのFP8ファイルは約38 GBで、実際のVRAM使用量はコンテキスト長、キャッシュサイズ、サービング設定によってそれ以上になる。しかし、これらはワークステーションGPUであり、本当に大規模なオープンモデルに必要な高密度マルチGPUシステムではない。

極端な例としてGLM-5を挙げよう。これは7540億パラメータを持ち、公式のサービングレシピでは8つのGPUに分割されている。積極的な量子化を行っても、数百GBのVRAMが必要となる。現実的には、これはB200/B300クラスのハードウェア、またはそれに類するもので、複数のGPU間で非常に高速なリンクが必要となる。
Hetznerは現在、公開ベアメタルラインナップでこの種のハードウェアを提供していない。

もちろん、これは実験的なAPIの背後にあるものが何であるかを示しているわけではない。Hetznerは完全に異なる内部ハードウェアを使用している可能性があり、公開推論製品は専用サーバーカタログをミラーする必要はない。

それでも、これは私が注目している部分だ。

もしHetznerが1つか2つの小規模モデルを提供し続けるなら、私はそれが重要な推論プロバイダーになるとはあまり思わない。それはクールな実験だろうが、それ以上のものにはならないだろう。

もしこの実験が、より大規模なGPUクラスター、本格的なモデルカタログ、そしてB200/B300クラスのハードウェアへの第一歩であるなら、それははるかに興味深いものになる。Hetznerはすでにデータセンター、ネットワーク、ハードウェア経験、ヨーロッパでの立地、そして積極的な価格設定で知られている。その組み合わせは、彼らを真の競合相手にする可能性がある。

今のところ、APIは高速で無料であり、試すのは楽しい。私にとって、興味深い質問は、次にどの小規模モデルが追加されるかではなく、Hetznerが大規模モデルを提供するために必要なハードウェアに投資するかどうかである。

Cheers,

Jonas