HN 日本語サマリー

← 一覧へ戻る
プログラミング

Walsh: 取引を拒否できるリスクマネージャーを備えたマルチエージェントリサーチパイプライン

Walsh: Multi-agent research pipeline with risk manager that can veto trades (github.com)

4 pointsby atshu210 コメント

要約

Walshは、ファンダメンタル、テクニカル、センチメント、マクロの4つの専門エージェントが並列で各ティッカーを処理し、それらの分析をポートフォリオマネージャーが集約した後、最終的な決定をルールベースのリスクマネージャーが承認または拒否する、マルチエージェント型の株式リサーチシステムです。2023年のバックテストでは、市場平均をわずかに下回る結果となりましたが、これはリスクゲートが市場の不確実性を検知し、ポジションを解消したためであり、トレンド相場での保守的な閾値設定のコストを示唆しています。

全文翻訳

Walsh

Walshは、ファンダメンタル、テクニカル、センチメント、マクロの4つの専門エージェントが並列でティッカーを処理し、それらの分析を信頼度で重み付けされたポートフォリオマネージャーが集約し、最終的な判断をルールベースのリスクマネージャーが取引実行前に拒否またはダウングレードするマルチエージェント株式リサーチシステムです。

ライブデモ: walsh-demo.vercel.app · デモGIF


結果

バックテスト実行: AAPL · MSFT · NVDA、2023年1月~12月、初期資本10万ドル、ルールベースのシグナルエージェント、厳格なルックアヘッドなしの実施。

メトリックWalshパイプラインバイ&ホールド(均等加重)
総リターン+75.52%+119.75%
シャープレシオ2.362.86
最大ドローダウン−13.50%−13.22%
勝率76.2%—
取引回数21—
最終価値$175,518$219,749

この強気相場期間中、Walshはバイ&ホールドを下回りました。2023年10月、パイプラインはモメンタムシグナルが崩壊した際に全ポジションをエグジットし、1ヶ月間キャッシュを保有したため、その後のNVDAの回復ラリーを逃しました。これはリスクゲートの意図された動作であり、高不確実性期間を正しく特定しましたが、トレンド市場における保守的な閾値のコストを明らかにしています。

エージェントごとの精度 / 信頼度キャリブレーション: 準備中。eval/agent_attribution.pyモジュールは準備できていますが、結果を生成するには、フォローアップ価格データを使用したパイプライン実行が50回以上必要です。

実行あたりのコストとレイテンシ: 準備中。eval/cost_latency.pyのPipelineTrackerは計測済みですが、LLMベースのエージェントが現在のルールベースのスタブに置き換わった後に数値が入力されます。

敵対的ロバスト性: 3種類のエージェントタイプにわたる18のテストケース。5件が過信のためフラグ付けされました(既知の制限事項を参照)。


アーキテクチャ

                          ┌──────────────────────────┐
          ticker ──────►  │      Orchestrator         │
                          │   (asyncio.gather)        │
                          └──┬──┬──┬──┬──────────────┘
                             │  │  │  │  (parallel)
               ┌─────────────┘  │  │  └─────────────┐
               ▼                ▼  ▼                 ▼
        ┌────────────┐  ┌──────────┐  ┌──────────┐  ┌───────────┐
        │Fundamental │  │Technical │  │Sentiment │  │  Macro    │
        │  Analyst   │  │ Analyst  │  │ Analyst  │  │  Analyst  │
        │            │  │          │  │          │  │           │
        │PE, growth, │  │RSI, MACD,│  │news,     │  │GDP, rates,│
        │margins,    │  │golden    │  │social,   │  │inflation, │
        │D/E ratio   │  │cross     │  │insider   │  │sector     │
        └─────┬──────┘  └────┬─────┘  └────┬─────┘  └─────┬─────┘
              └──────────────┴──────────────┴──────────────┘
                                     │
                                     ▼  AgentThesis × 4
                          ┌──────────────────────┐
                          │   Portfolio Manager  │
                          │ confidence-weighted  │
                          │  signal synthesis    │
                          └──────────┬───────────┘
                                     │  PortfolioDecision
                                     ▼
                          ┌──────────────────────┐
                          │    Risk Manager      │
                          │  veto / downgrade    │
                          │  • conf < 45% → veto │
                          │  • spread ≥ 4 → veto │
                          │  • conf < 65% →      │
                          │    downgrade STRONG  │
                          └──────────┬───────────┘
                                     │  FinalDecision
                                     ▼
                              approved / vetoed

仕組み

ファンダメンタルアナリストは、バリュエーション指標(PER、収益成長率、利益率、負債資本比率)を取得し、それらを閾値と比較してスコアリングします。PERが15未満は強気票を1つ追加し、30を超えると弱気票を1つ追加します。収益成長率が15%以上または利益率が20%以上の場合、それぞれ強気票を1つ追加します。生のスコアは、確信の強さに比例した信頼度を持つSTRONG_BUY / BUY / HOLD / SELL / STRONG_SELLシグナルにマッピングされます。

テクニカルアナリストは、SMAクロスオーバー(20日および50日)、MACDヒストグラムの方向、およびオプションでゴールデンクロスフラグを評価します。各インジケーターは+1または−1を投票し、価格が平坦な場合の偽のシグナルを抑制するためのデッドバンドがあります。バックテストハーネスでは、ルールベースのTechnicalSignalAgentが、yfinanceの価格データに対して20日および50日のローリングウィンドウでの実現モメンタムを使用します。

センチメントアナリストは、ニュースセンチメントスコア(-1から+1)とソーシャルセンチメントスコアを集約し、それらを平均化してからインサイダー買いボーナスを適用します。方向性シグナルと、中立に近いセンチメントで減衰された信頼値を出力します。

マクロアナリストは、GDP成長率、フェデラルファンド金利、インフレ率、およびセクター見通しタグを確認します。好ましいマクロ経済条件(成長率> 2.5%、金利<4%、インフレ率<3%、強気セクター)はそれぞれ強気票を1つ追加し、好ましくない条件は減算します。マクロシグナルはレジームフィルターとして機能します。強い弱気のマクロは、強気のテクニカルまたはセンチメントの読みを相殺する可能性があります。

ポートフォリオマネージャーは、数値シグナルスコアの信頼度で重み付けされた平均を使用して、4つの分析を合成します。コンセンサスペナルティ:信頼度は、エージェントシグナルの最高値と最低値の差によってスケーリングされます(conf × max(0.5, 1 − spread × 0.1))。緊密なコンセンサスは完全な信頼度に近く維持されますが、4ポイントの差(STRONG_BUY対STRONG_SELL)は信頼度を半分にします。

リスクマネージャーは唯一の意思決定者です。2つのハード拒否ルールがあります:(1)ポートフォリオ信頼度が45%未満の場合 → シグナルに関係なく強制的にHOLD、(2)エージェントシグナルスプレッドが4以上の場合 → 極端な意見の不一致として拒否。ソフトルールは、信頼度が45〜65%の場合にSTRONG_BUYをBUYに、またはSTRONG_SELLをSELLにダウングレードします。ルールが発火しない場合、決定は「リスクフラグなし」で通過されます。


既知の制限事項 / 失敗モード

バックテストでのパフォーマンス不足(2023年1月~12月): Walshのルールベースバックテストは、AAPL/MSFT/NVDAの均等加重パッシブバイ&ホールドの+119.8%に対し、+75.5%のリターンでした。これは約44パーセントポイントのアンダーパフォーマンスです。主な原因はボラティリティダンパー(backtest/engine.pyのvol_cap=40%)であり、NVDAの実現ボラティリティが年間を通じて約70〜90%であったのに対し、NVDAの配分の大部分を年間ゼロにしました。さらに、MeanReversionSignalAgentが強気相場全体で52週高値を更新した銘柄に対してSELLシグナルを発行しました。シグナル重み付けとボラティリティキャップは、この戦略がライブ展開に適する前に調整が必要です。より広範には、逆張り戦略は持続的なトレンドレジーム中に構造的にパフォーマンスが悪化します。より堅牢なWalshは、トレンドと平均回帰市場条件を検出し、MeanReversionSignalAgentの重みをそれに応じてスケーリングするでしょう。現在のところ、すべてのレジームで一定に保たれています。

バックテスト方法論の明確化: バックテストエンジンは、LLMベースのエージェント(デモダッシュボードに表示)ではなく、決定論的なルールベースのエージェント(SMAクロスオーバー、モメンタム、平均回帰)を使用します。上記の数値は、アルゴリズムシグナルエンジンのみを反映しています。

これらはeval/adversarial.py(18テストケース、5件フラグ付け)からの文書化された発見です:

TECH_003 — ジグザグ価格、過信 (confidence=0.80、最大期待値 0.65) SMAシグナルは、振動する価格から不完全に相殺されます。エージェントは、投票の平均が一方にわずかに有利であるため、依然として0.80を返します。SMA20/SMA50を繰り返し横切る価格系列は、ほぼゼロの信頼度を生成すべきですが、デッドバンド(0.1%)はすべてのノイズを抑制するにはタイトすぎます。

TECH_004 — 上昇トレンド後のクラッシュ、古い強気シグナル (confidence=0.80、最大期待値 0.65) 価格が上昇してから急落した場合、SMA20とSMA50は構造上遅延します。エージェントは、クラッシュトップの後数バーで「SMAを上回る価格」と読み取る可能性があり、下落市場への自信のあるBUYを生成します。20日モメンタムはこれを部分的に修正しますが、常に2つのSMA投票を克服できるわけではありません。

TECH_006 — 横ばいの履歴の後、単日50%ジャンプ、偽のシグナル (confidence=0.80、最大期待値 0.75) 1日の急騰は20日モメンタム計算を膨張させ、価格を即座に両方のSMAを上回らせ、トレンドの実質がないにもかかわらず0.80の信頼度でSTRONG_BUYを生成します。入力検証(例:単一バーの移動をキャップする)は現在適用されていません。

MOM_005 — 負の価格(データ破損)、過信 (confidence=0.85、最大期待値 0.65) MomentumSignalAgentは、対数収益率を計算する前に価格が正であることを検証しません。負の価格は、定義された(ただし無意味な)モメンタム値と自信のある方向性シグナルを生成します。価格の健全性チェックが修正です。

REV_006 — 中間範囲でのジグザグ、過信 (confidence=0.76、最大期待値 0.50) MeanReversionSignalAgentは、価格が52週範囲の中央で正確に振動している(リバージョンシグナルなし)と認識しますが、0.76の信頼度を出力します。エージェントは現在、中間範囲の価格に対してゼロ以外の信頼度を与えていますが、これは「明確なリバージョンターゲットなし」とデフォルトすべきです。

まだテストされていない構造的制限:

  • リスクマネージャーの45%の信頼度閾値は単一のハードカットオフであり、ドローダウンレジームやポートフォリオの集中度を考慮していません。
  • エージェントシグナルは、クロスエージェント情報共有なしで独立して計算されます。マクロ拒否はテクニカルエージェントの信頼度を下げるわけではありません。
  • 現在のバックテストはルールベースのスタブエージェントを使用しています。LLMベースのエージェント(幻覚を見たり、確実性を過大評価したりする可能性がある)は、追加の失敗モードを表面化させる可能性が高いです。
  • ライブ市場データ統合はありません。オーケストレーターはモックAPI(api.finance.example.com)を指しています。

デモ

ライブダッシュボードは demo-cyan-delta.vercel.app で利用可能です。

ダッシュボードは、ドロップダウンで選択可能な5つの事前生成されたティッカー実行を表示し、それぞれが異なるパイプライン結果を例示しています:

ティッカーストーリー
AAPL4つのエージェントすべてが合意 → BUY、承認
MSFT極端な意見の不一致(ファンダメンタル=SELL vs テクニカル=STRONG_BUY) → 拒否
NVDA4つのエージェントすべてが強く合意 → STRONG_BUY、承認
TSLAエージェントの分割:ファンダメンタル=BUY vs テクニカル=SELL(180°反対) → 拒否、ポジションなし
METAエージェントは合意(STRONG_BUYコンセンサス)だが、リスクマネージャーは年率76%のボラティリティが40%のリスクキャップを超えるため拒否

ターミナルでの再現(GIFはまだありません - 録画準備中):

# MSFTに対してモックデータでオーケストレーターを実行:
cd demo
python3 gen_demo.py  # demo/data/MSFT.jsonと同じJSONを出力

LLMベースのパイプラインが配線されたらGIFを録画するには:

pip install vhs
vhs scripts/record_pipeline.tape  # まだ作成されていません

セットアップ

前提条件
  • Python 3.11+
  • uv または pip
  • Anthropic APIキー(LLMベースのエージェント用。バックテストハーネスには不要)
インストール
# バックテスト / 評価ハーネス (walsh-backtest-eval-harness ブランチ)
pip install -e "'.[dev]'"          # yfinance, pydantic, pytest をインストール

# オーケストレーター (commit-and-push-all-changes ブランチ)
pip install -r requirements.txt  # httpx をインストール
環境変数
ANTHROPIC_API_KEY=sk-ant-...   # LLMベースのエージェントに必要

バックテストエンジンと敵対的評価はAnthropic APIを呼び出しません。

バックテストの実行
python -m backtest.engine --tickers AAPL,MSFT,NVDA --start 2023-01-01 --end 2024-01-01
# 結果は eval/results/<timestamp>_backtest.json に書き込まれます
# エージェントの分析結果は eval/results/theses.jsonl に追加されます
評価スイートの実行
# 敵対的ロバスト性(外部依存なし)
python -m eval.adversarial

# エージェントごとの精度(バックテスト実行の theses.jsonl が必要)
python -m eval.agent_attribution

# コスト / レイテンシ(計測済みパイプライン実行が必要)
python -m eval.cost_latency
フルオーケストレーターパイプラインの実行
python -m orchestrator.main AAPL    # FinalDecision JSON を標準出力に出力
テスト
pytest                     # 全テスト
pytest tests/test_backtest.py -v
pytest tests/test_eval.py -v
デモダッシュボードのローカル実行
cd demo
npm install
npm run dev               # http://localhost:3000