AI・機械学習
Show HN: Sunk Cost – ローカルLLMリグはいつ元が取れるのか？
Show HN: Sunk Cost – How long until a local LLM rig pays for itself? (sunkcost.ai)
要約
「Macを買ってローカルでモデルを実行すれば、元が取れる」という声を聞き、その検証を目的としたツール「Sunk Cost」が公開されました。このツールは、ハードウェアのスペック、使用するモデル、1日のトークン使用量に基づいて、ローカル環境でのLLM実行が、トークン単位でモデルをレンタルする場合と比較して、ハードウェア費用を回収するまでの期間を算出します。これは純粋なコスト削減の観点からの分析です。
全文翻訳
「ローカルでLLMを実行するマシンを買えば元が取れる」という話をよく耳にして、実際に検証してみたくなりました。
Sunk Costは、マシン、モデル、1日に使用するトークン数を入力すると、ハードウェアの購入費用が、同じモデルをトークン単位でレンタルする費用と比較して、いつ回収できるかを計算します。
もちろん、LLMのコスト削減以外にも、独自のハードウェアを購入する理由はたくさんありますが、これは純粋なコスト削減の観点から見たものです。
もっと役立つように改善するアイデアがあれば、ぜひ教えてください！