独自のLLMプロキシを実行しないと、何が起こっているかどうやって知るのか？

タイトルがアイデアを完全に捉えていると思いますが、Twitterではないので掘り下げて説明します。
あなたはアイデア、コード片、あるいは世界を救っているであろう年間数十億ドル規模のSaaSアプリに取り組んでいるかもしれません。
もしかしたら、新しいLabubuリリース画像のクローニングプロセスを自動化し、2D画像をComfyUIを使って3D CADに変換し、旧正が近づき、その時期にグローバルな製造が停止するため、レプリカ生産をより速く開始しようとしているかもしれません。
あるいは、マクロ栄養素情報のために、開発された中で最も強力なコンピューターソフトウェアに対して、マクドナルドのRibサンドイッチ情報のようなものを検索するためにトークンを使いたいかもしれません。
あなたは、おそらくあなたが選んだプロバイダーからの有料サブスクリプションに紐づいた、何らかのフロントエンドとチャットしているのでしょう。TUI、GUI、ボイスコール、何でも構いません。
それはあなたのデータが入り、彼らのデータがあなたに戻ってくるということです。それが彼らが売っているものであり、私は今それを喜んで買います。
彼らは作業の証拠として、このようなものを見せるでしょう。
yikes y'all
それは気をそらすものです。それはエンジニア向けの時系列データを持つトークン使用統計ではありません。
このくだらないものでは意思決定できません。
確かに、大手のラボは好奇心旺盛なユーザーに共有する価値のある洞察を分析パネルに提供するでしょう。
このくだらないものでは意思決定できません。
もう聞こえていますよ、「OTelエクスポートオプションがある!!1!」と。
クールだと思います。
これが理由の一つですが、今思いつく限りでさらに5つ挙げます。
単一のエンドポイントで、複数のプロバイダー、複数のモデルを制御できる
どのキーが、いつ、どのクライアントで、どのモデルを呼び出したかのログとそのステータス
単一のメインキーをあなたの仕事、エージェント、ハーネスに散らかさないように、仮想APIキーを使用する
それはあなたが制御するインフラです
すべてを再設定することなく（おそらく、これで3回目でしょう）、モデルとプロバイダーを非常に速く切り替えることができます
私はあなたに使用するプロキシプロバイダーを推奨するつもりはありません。あなたが制御する場所に自分で実行することだけを推奨します。
プロバイダーを選んだら、実際のニーズに合わせてそれを変更できることを忘れないでください。
私はより良い洞察を得るために、カスタムMCPサーバーエンドポイント、追加機能のために私のものを改造しました。
あなたが何を選んだとしても、データに関してはこのようなものを得ているはずです。
コーディングセッション中にキャッシュミスを見たとき、その原因を20秒で特定できます。
私はそれを自動化していませんが、私が使用しているプロキシにはAPIがあるため、自動化は可能です。
あなたのインフラ、アプリケーションの可視性、データパス、ストレージを所有してください。
私はこれを自宅で行っています。なぜなら楽しいからです。そしてそれが私が学びたい方法だからです。
私はこれを仕事で行っています。なぜそれをしないなら、私は自分の仕事を正しく行っていないからです。
面接でホワイトボードで説明できるほど、大規模言語モデルがどのように機能するかを完全に理解することは決してないかもしれません。
しかし、私はそれをうまく扱い、推論を提供しながら計装されていることを確認できます。