AI・機械学習
Show HN: Sunk Cost – ローカルLLMリグはいつ元が取れるのか？
Show HN: Sunk Cost – How long until a local LLM rig pays for itself? (sunkcost.ai)
要約
「Macを買ってローカルでモデルを実行すれば、元が取れる」という声を聞き、その検証を目的としたツール「Sunk Cost」が公開されました。このツールは、ハードウェアのスペック、使用するモデル、1日のトークン使用量に基づいて、ローカル環境でのLLM実行が、トークン単位でモデルをレンタルする場合と比較して、ハードウェア費用を回収するまでの期間を算出します。これは純粋なコスト削減の観点からの分析です。
全文翻訳
「Macを買ってローカルでモデルを実行すれば、元が取れる」という話をよく耳にして、それを検証したいと思いました。
Sunk Costは、マシン、モデル、そして1日に使用するトークン数を入力すると、ハードウェアがトークン単位で同じモデルをレンタルするよりも、どのくらいの期間で元が取れるかを計算します。
もちろん、LLMのためだけに自社ハードウェアを購入する以外の理由もたくさんありますが、これは純粋なコスト削減の観点からの分析です。
これをさらに役立つものにするためのアイデアがあれば、ぜひ教えてください！