HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: Morph Reflexes – エージェントトレースのためのマルチヘッド分類器

Show HN: Morph Reflexes – Multi-head classifiers for agent traces (news.ycombinator.com)

20 pointsby bhaktatejas9222 コメント

要約

Morph Reflexesは、GPTやSonnetのようなフロンティアモデルを使用するよりも高速かつ低コストで、エージェントの動作上の失敗(ループ、推論リーク、ユーザーの不満など)を検出するためのセマンティック信号を提供するAPIです。これは、マルチヘッド推論を中心に設計された小型のLLMを基盤とし、カスタムカーネルとvLLMからフォークされた推論エンジンを使用することで、高い効率と低オーバーヘッドを実現しています。プロダクション環境でエージェントを運用している開発者からのフィードバックを求めています。

全文翻訳

プロダクションエージェントで最も一般的な障害は、ループ、推論漏洩、ユーザーの不満など、行動に関するものです。GPTやSonnetのようなフロンティアモデルを使って各ターンを評価するのは、大規模に実行するにはコストが高すぎ、遅すぎます。

これを解決するために、私たちはReflexesを構築しました。これは、エージェントのトレースから得られるセマンティックシグナルであり、API経由で高速かつ安価に提供されます。vLLMからフォークしたカスタムカーネルとカスタム推論エンジン上に構築されています。

内部的には、マルチヘッド推論を中心に設計された小型LLMです。小型モデルは特定のタスクのためにトレーニングする必要がありますが、50個のタスクすべてに対して同じ入力で50個の個別の小型モデルを実行するのは理にかなっていません。

仕組み:最新のLLMにハイブリッドアテンションを使用し、デコードステップを削除します。プリフィル計算がリフレックス間で99%再利用できる推論エンジンを構築しました。これは、古い2019年時代のBERT/HYDRAや古いマルチヘッド技術に似た精神です。KV/キャッシュを入力間で再利用し、すべてのリフレックス間で計算を共有する推論エンジンを構築しました。1つの共有バックボーンがトレースを一度読み取り、その後多くのヘッドが異なるシグナルを分類します。私たちの推論エンジンは、すべてのリフレックス間で同じKV/キャッシュと計算を再利用し、追加のリフレックスごとに0.1%未満のオーバーヘッドで30ms未満の推論を実現します。

私たちは同じハイレベルなアイデアを取り入れ、最新のアーキテクチャとアテンションで機能するように懸命な作業を行いました。これにより、30ms未満の推論を実行し、90ms未満で完全なリクエストを提供できます。4つのリフレックスを実行しても100個実行しても、追加のオーバーヘッドは2ms未満です。

この最適化がなぜ重要なのでしょうか?

中規模のスタートアップであっても、数万件のエージェント実行と数百万ターンを扱っています。ユーザーの不満率などを経時的に追跡したい場合、フロンティアLLM-as-judgeはスケールしません。

私はテスラで同様のスタックを構築しました。MLエンジニアが、is_camera_obfuscated=trueのようなシグナルやその他の200個以上のシグナルのためにペタバイト級のデータをサンプリングする必要があったとき、1) それらを迅速に起動し、2) 大規模に効率的に実行する必要があります。

これは何ではありません:ダッシュボードです。ダッシュボードの99%は使用されません。100% APIファーストであり、これをトリガーとして独自のものを構築したい開発者のために作られています。

カスタムリフレックスをダッシュボードでトレーニングし、プロダクションで自己改善させることもできます:https://www.morphllm.com/dashboard/reflex

ドキュメント:https://docs.morphllm.com/sdk/components/reflexes/index

プロダクションでエージェントを実行している方々からのフィードバックをいただけると嬉しいです。現在追跡できないが、100%のターンで経時的に追跡したいと思うようなことは何でしょうか?

TLDR:エージェントトレースからのセマンティックシグナル、超高速、API経由で安価