HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Wayfinder Router: ローカルLLMとホスト型LLM間のクエリを決定論的にルーティング

Wayfinder Router: deterministic routing of queries between local and hosted LLM (github.com)

91 pointsby handfuloflight47 コメント

要約

Wayfinder Routerは、プロンプトの複雑さに応じて、オフラインでローカルモデルとクラウドモデル間で決定論的にルーティングするツールです。これにより、モデル呼び出しによる遅延やコストを発生させることなく、プロンプトの構造や単語から難易度を判断し、適切なモデルに振り分けます。簡単なプロンプトはローカルで処理し、複雑なプロンプトは高価なクラウドモデルに送ることで、コスト削減と効率化を実現します。

全文翻訳

フォルダとファイル

Wayfinder

Omarchyのために構築されたモデルルーター。

Wayfinderは、Omarchy開発者に、既にマシン上にあるAIツールとモデルへの単一のローカルエンドポイントを提供します。各リクエストに対して、利用可能なローカル、アカウントバック、またはAPIモデルを選択し、その選択を説明する決定論的なレシートを記録します。

フラッグシップのOmarchyエクスペリエンスをインストールします。

omarchy plugin add https://github.com/asdecided/omarchy-wayfinder.git --enable

OmarchyバーでWayfinderを開き、「Wayfinderの設定」を選択します。ネイティブフローは、チェックサムでピン留めされたルーターが見つからない場合にインストールし、ノー・クローブ(上書きなし)のローカルポリシーを作成し、検証してから、ユーザーサービスをインストールして開始します。Rust、Cargo、手書きのユニットファイル、またはコピーされたエンドポイントは必要ありません。

ローカルランタイムが存在する場合、ルーターは固定ループバックカタログからのみモデルIDを検出し、1つのバウンドされた公開推論プローブでロードされたモデルを証明します。モデルをサイレントにダウンロード、プル、選択、またはアクティブ化することはありません。プロバイダーの要件が欠落している場合、パネルは要件と次の安全なアクションを名前で示します。

Codex、Claude Code、OpenCode、Pi、またはAiderをwayfinder-router connect <client>で同じループバックポリシーに向けます。検証済みのコーディングエージェントのクイックスタートを参照するか、wayfinder-router openを実行してローカルルーティングの決定を検査します。

Omarchyは、wayfinder-router exec <client> -- <program>を使用して、同じポリシーを通じてCodex、Claude Code、またはOpenCodeを起動できます。ノーライトランチャーは、まずルーターの準備状況とクライアントのワイヤー機能を検証し、プロセスローカルのエンドポイント/モデル/プレースホルダーのトークンオーバーライドのみを適用し、直接プロバイダーにフォールバックすることはありません。Piは、CLIが検証済みのノーライトエンドポイントオーバーライドを公開するまで、レビュー可能なconnectパスに残ります。

レビュー可能なprovider presetフラグメントを変更せずに、ホスト済み宛先を追加します。コマンドは公式の互換性エンドポイントと環境変数参照を出力します。資格情報は決して書き込まず、ルーティングポリシーも編集しません。

プラグインの下では、Wayfinder Routerは、Omarchyランタイムの依存関係を持たないポータブルなRustプロジェクトのままです。スコアリングされた決定パスはオフライン、決定論的、キーレスのままであり、資格情報は配信のためにのみ解決されます。

製品

Wayfinder for Omarchy

OmarchyプラグインはWayfinderのフラッグシップ製品サーフェスです。チェックサムで検証されたルーターリリースをインストールし、その独立したsystemd --userサービスを管理し、ネイティブOmarchyバーでヘルス、最近のルート、モデルの準備状況、ローカル対ホストの使用状況、および節約額を公開します。

シェルはルーティングの権威になることはなく、プロバイダーの資格情報を決して管理しません。プラグインの再読み込みまたは無効化は、ルーターを中断しません。プラグインソースとOmarchyファーストロードマップを参照してください。

Wayfinder Desktop

ネイティブSwift macOSアプリは以下を提供します。

  • ローカルに永続化された履歴を持つ、会話ファーストのチャット機能。
  • 自動またはピン留めされたモデル選択。
  • 対象となるApple Silicon MacでのApple Foundation Models配信。
  • バウンドされたストリーミング/ツール翻訳を備えたネイティブAnthropic Messages宛先。
  • 別途検証済みのプロバイダーを介したオプトインChatGPTアカウントルーティング。
  • OpenAI互換およびAnthropic互換のローカルゲートウェイエンドポイント。
  • ネイティブセットアップ、接続、ルーティング、プライバシー、診断サーフェス。

デスクトップリリースはSemVerとdesktop-v*タグを使用します。macos/WayfinderMac/Packaging/RELEASE.mdを参照してください。

Wayfinder for iPhone and iPad

プロジェクトがOmarchy開発者エクスペリエンスに焦点を当てている間、ネイティブiPhoneおよびiPadロードマップは一時停止されています。その受け入れられたアーキテクチャは記録されたままなので、ポータブルルーティングコアを変更したり、プロバイダーとプライバシーの境界を弱めたりすることなく作業を再開できます。

管理契約はWF-ROADMAP-0016、WF-ADR-0047、およびWF-ADR-0048です。モバイル会話の永続化はWF-ADR-0049によって管理されます。スレッドファーストのモバイルインタラクション契約はWF-DESIGN-0020です。

ポータブルルーター

Rustワークスペースには、決定論的スコアリングコア、設定パーサー、プロバイダークライアント、バウンドHTTPゲートウェイ、サービス統合、ネイティブXPCクライアント、およびコマンドラインヘルパーが含まれています。

以下でビルドします。

cargo build \
  --manifest-path rust/Cargo.toml \
  --package wayfinder-cli \
  --bin wayfinder-router \
  --locked

次に実行します。

rust/target/debug/wayfinder-router route "Summarise this request"
rust/target/debug/wayfinder-router serve --host 127.0.0.1 --port 8088

SemVer router-vMAJOR.MINOR.PATCHリリース(router-v*タグライン)は、x86_64およびaarch64向けのチェックサム検証済みネイティブLinuxアーカイブも提供します。これらはOmarchy統合で使用されるのと同じ独立したルータープロセスを含んでおり、アーカイブのインストールはサービスを作成または開始せず、プロバイダーの資格情報を変更しません。

ネットワークに公開されるデプロイメントの場合、ローカルサーフェスを公開しないでください。仮想キーをミントし、フェイルクローズドマネージドデータプレーンを選択します。

rust/target/debug/wayfinder-router keys new --id team-a
rust/target/debug/wayfinder-router serve \
  --surface data-plane --host 0.0.0.0 --port 8088

マネージドリスナーには、推論、認証済みモデル検出、および最小限の/livez//readyzプローブのみが含まれます。マネージドゲートウェイのデプロイを参照してください。

ゲートウェイは以下を公開します。

  • OpenAI互換: http://127.0.0.1:8088/v1
  • OpenAIレスポンス互換性: POST /v1/responses(Codexによって使用されるバウンドテキスト、マルチターン、および関数/カスタムツールの契約)
  • モダリティ互換性: 明示的な埋め込み、画像、音声、バッチ機能契約。テキスト以外のサーフェスは、レビュー済みアダプターが有効になるまでフェイルクローズドのままです。
  • Anthropic互換: http://127.0.0.1:8088
  • ヘルス: http://127.0.0.1:8088/healthz

スコアリングされた決定は、オフライン、決定論的、キーレスのままです。資格情報は、ルートが選択された後にのみ配信のために解決されます。

コンテナ

docker build -t wayfinder-router .
docker run --rm -p 8088:8088 \
  --read-only --tmpfs /tmp --user 10001:10001 \
  -v "$PWD/config:/etc/wayfinder:ro" \
  -v wayfinder-state:/var/lib/wayfinder \
  wayfinder-router

イメージはRustワークスペースからビルドされ、ネイティブゲートウェイとそのランタイム証明書のみを含みます。認証済みマネージドデータプレーンを開始するため、config/wayfinder-router.tomlには少なくとも1つの仮想キーとモデルを定義する必要があります。設定は読み取り専用のままです。監査および保存状態は、特権のないUID/GID 10001プロセスによって/var/lib/wayfinderの下に書き込まれます。

検証

cargo fmt --manifest-path rust/Cargo.toml --all -- --check
cargo test --manifest-path rust/Cargo.toml --workspace --all-features --locked
cargo clippy --manifest-path rust/Cargo.toml \
  --workspace --all-targets --all-features --locked -- -D warnings
swift test --package-path macos/WayfinderMac
node clients/shared/test/parity.mjs

リポジトリマップ

rust/                    ネイティブルーター、ゲートウェイ、プロバイダー、およびサービスクレート
apple/                   ブリッジ検証後の計画された共有Appleパッケージ
ios/                     計画されたネイティブiPhoneおよびiPad製品
macos/WayfinderMac/      ネイティブSwift macOSアプリとリリースパッケージ
clients/                 保持されているシンクライアント契約コードとフィクスチャ
decisions/               アーキテクチャ決定
designs/                製品およびインタラクション契約
roadmaps/                配信計画とクローズアウト記録
docs/                    運用およびリリースドキュメント

WayfinderはApache-2.0ライセンスです。