HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: Frugon – より安価なモデルで処理できるLLMコールを特定する (ローカル、MIT)

Show HN: Frugon – Find which LLM calls a cheaper model could handle (local, MIT) (github.com)

42 pointsby jarodrh10 コメント

要約

Frugonは、OpenAIスタイルのログをローカルで分析し、LLMコールのコストを追跡・比較するCLIツールです。これにより、より安価なモデルに切り替えることで大幅なコスト削減の可能性を示します。デモでは、月額$549.46から$343.91への削減、すなわち37.4%の節約効果が示されています。

全文翻訳

今年に入ってからAIに本格的に取り組み始めました。より多くのことを自律的にこなしたかったのですが、トークン使用量が劇的に増加し、週の途中で週ごとのクォータを使い切ってしまうことがありました。

このままでは支出を倍増させる必要が出てくるため、何とかしなければならないと気づきました。そこで、タスクタイプごとのコストを追跡することにしました。これにより、多くの支出が検索/スキャンや、偵察タスクのような単純な作業に使われていることが明らかになりました。

そこで、これをローカルでOpenAIスタイルのログを読み込み、コストを分析し、他のモデルとの支出を比較して、より安価なモデルに切り替えることでどれだけ節約できるかを示すシンプルなCLIツールにすることにしました。

analyzeを実行すると、LiteLLMで価格設定され、LMArenaのティアで制限されたオフライン見積もりを得られます。一般的な節約帯はRouteLLMが公開したリサーチに基づいていますが、--measure(プロンプトとレスポンスの出力を並べて表示)と--judge(比較を行うために選択されたモデル)の2つのコマンドで自分で確認することもできます。これらはログからサンプルのプロンプトを、デフォルトの選択肢または自分で設定した候補モデルに送信します。このコールは、通常のLLMコールと同様に、モデルプロバイダーに直接行われ(私を経由することはありません)、レスポンスが表示され、より良いか悪いか、または同等かで判断されます。

意図的に小さく作られています。なぜなら、私は物事を複雑にしすぎたり、考えすぎたりする傾向があるからです。analyze、capture、そしていくつかのコマンドで3つのジョブを実行します。コスト、品質の可視性、ルーティングの推奨です。

何もホストされていません。captureは、お使いのマシン上のオプションのローカルプロキシであり、あなたのデータの経路にエンドポイントはありません。ソースコードを確認することでこれを証明できます。

デモを含めましたので、出力を確認できます。合成された56,000件のコールログ(1ヶ月分)があり、コストが月額$549.46から$343.91にどのように低下するかを示しています。37.4%の節約です。

試してみてください:

  uvx frugon analyze --demo

または

  uv tool install frugon

その後、あなた自身のログを指定してください。

すべてのフィードバックを歓迎します。特にルーティング/品質ロジックや、その他良い点、悪い点についてです。