Show HN: 利用状況をより良いモデルに変えるオープンソースのOpenRouterを開発しました

皆さん、こんにちは。私たちはオープンソースのモデルゲートウェイを開発しました。セルフホスト、フロンティア、オープンソースのモデルをすべて一元管理できる場所です。 これはRustネイティブで、並行処理のために構築されており、モデルやプロバイダー間のすべての設定の癖（ストリーミングフォーマット、ツール呼び出し、モデルパラメータ、レート制限、および異なるエラー動作）を実装しています。 このゲートウェイは、BYOK（Bring Your Own Key）リクエストで1ミリ秒未満、Experientialがプロバイダーキーを提供する場合で2ミリ秒未満の遅延を追加します。主要な推論プロバイダーをすべて網羅しており、CodexエージェントがPRを開くことで1000以上のモデルが毎日更新されます。 他の類似プロジェクトと比較して、私たちはオープンソースであり、マークアップを取らず、ローカルモデルとマーケットプレイスを混在させることができ、トラフィックを使用して（オプトインで）モデルをトレーニングできます。単純なルーティングに10%のトークンマークアップは必要ありません。 この仕組みは、標準化されたOTelトレースに基づいて、代表的な実際のタスクをマイニングし、テキストワールドモデルを使用してさまざまなモデルのロールアウトをシミュレートし、LLMジャッジを適用し、プロンプトの埋め込みの上に最近傍分類器をフィットさせて、各リクエストに最適なモデルを決定します。通常、これにより単一モデルを呼び出すよりもコスト/品質のパレート曲線が改善されますが、完璧ではありません。 これらのシミュレーションを使用して、キャッシュヒットの最適化、新しいモデルの提案、モデルのトレーニングなどのタスクも実行できます。 これはオープンソースなので、独自のインフラストラクチャにデプロイしたり、マークアップなしのホストバージョンを使用したり、当社のウェブサイトで最大限の可用性をどのように設計しているかを読んだりできます。