Show HN: Frugon – より安価なモデルで処理できるLLMコールを特定する (ローカル、MIT)

今年、私はAIを本格的に活用し始めました。なぜなら、より多くのことを自律的に行いたかったからです。しかし、トークン使用量が劇的に増加し、週の終わりを待たずに、時には週の初めから数日以内に週ごとのクォータを使い切ってしまうようになりました。 このままでは支出を倍増させなければならないことに気づき、タスクタイプごとのコストを追跡することにしました。その結果、多くの支出が検索/スキャンや、偵察タスクのような単純なタスクに使われていることが明らかになりました。 そこで、これをローカルでOpenAIスタイルのログを読み込み、コストを分析し、他のモデルとの支出を比較して、より安価なモデルに切り替えることでどれだけ節約できるかを示すシンプルなCLIツールにすることにしました。 analyzeを実行すると、LiteLLMに対して価格設定されたオフライン推定値が得られ、LMArenaのティアによって制限されます。一般的な節約帯はRouteLLMによって公開されたリサーチに基づいています。しかし、--measure（プロンプトとレスポンスの出力を並べて表示）と--judge（比較を行うために選択されたモデル）の2つのコマンドを使用して自分で確認できます。これらはログからプロンプトのサンプルを候補モデル（デフォルトの選択または自分で設定したもの）に送信します。このコールは、通常のLLMコールと同様に、モデルプロバイダーに直接行われます（私を経由することはありません）。レスポンスは表示され、より良い、悪い、または同等と判定されます。 私はしばしば物事を複雑にしすぎたり、考えすぎたりする傾向があるため、これは意図的に小さく作られています。analyze + capture + いくつかのコマンドで、3つのジョブを実行します。コスト、品質の可視性、ルーティングの推奨。 何もホストされていません。captureは、お使いのマシン上のオプションのローカルプロキシであり、データのパスにエンドポイントはありません。ソースを確認することでこれを検証できます。 デモを含めましたので、出力を確認できます。合成された56kコールログ（1ヶ月分）があり、コストが月額$549.46から$343.91にどのように低下するかを示しています。37.4%の節約です。 試してみてください： <pre><code> uvx frugon analyze --demo </code></pre> または <pre><code> uv tool install frugon </code></pre> その後、ご自身のログをポイントしてください。 ルーティング/品質ロジックや、その他の良い点・悪い点に関するフィードバックを歓迎します。