HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Launch HN: EdotEnv (YC S26) – 量的取引RL環境でLLMにリサーチを教える

Launch HN: EdotEnv (YC S26) – Quant Trading RL Envs to Teach LLMs Research (edotenv.com)

28 pointsby Mzzzzz20 コメント

要約

EdotEnvは、量的な取引ワークフローから自己改善型の強化学習(RL)環境を構築するプラットフォームです。進化し続ける市場の性質を利用し、LLMが継続的な学習や長期的な計画といった、より汎用的なリサーチスキルを習得できるように設計されています。この環境は、実際のデータ、ノイズ、トレードオフを含み、LLMの評価に役立つと期待されています。

全文翻訳

RuiとMichaelです。私たちはEdotEnv(https://edotenv.com)を開発しています。これは、Quant Tradingのワークフローから自己改善型のRL環境を構築するものです。

多くのベンチマークが飽和し、モデル比較において意味をなさなくなっています。有用なベンチマークは、モデルが進歩するにつれて難易度が増す必要があります。以前Quantの仕事で、Michaelと私は市場がまさにこの特性を持っていることに気づきました。人々がトレーディングの非効率性から利益を得るにつれて市場はより効率的になり、新しい収益性の高い戦略を見つけるのが難しくなり、古い戦略は時間とともに衰退していきます。

これは、市場をLLMトレーニングのための理想的で継続的に進化するベンチマークにします。難しいのは、プロのQuantワークフローを信頼性の高いトレーニング環境にすることです。なぜなら、これは非常にニッチな専門知識だからです。

私たちの環境では、LLMにQuantトレーディングワークフローを与え、アウトオブサンプルデータでのパフォーマンスを評価します。具体的には、予測特徴量/モデルの構築、ポートフォリオの設計、戦略のバックテスト、市場レジームへの継続的な適応を行います。各ステップは、異なる自社開発ツールを持つタスクです。例えば、予測特徴量構築タスクでは、エージェントに期間 [0, T] のクリーニングされた市場データを与えてアイデアをリサーチさせ、作成された特徴量を時間 t における [0, t] でテストするバックテストツール、そして新しい特徴量を用いて [t+1, T] で戦略を取引するための実行ツール、そして最終評価を提供します。私たちの報酬は、エージェントの特徴量構築スキルを分離しつつ、市場の特性から利益を得られるように設計されています。

私たちの環境でSOTAモデルを実行した結果、以下のことがわかりました。i) モデルは、広範で浅い探索を好む傾向があり、リサーチアイデアの深い反復処理に苦労しているようです。ii) 高度な推論能力はパフォーマンスの向上につながらないようです。iii) エージェントはトレーディングを理解していません。例えば、お金を失っているときに、より賢く取引するのではなく、取引を停止してしまいます。詳細については、私たちのブログをご覧ください! https://edotenv.com/?tab=blog

Quantワークフローは、本質的に応用MLリサーチ、長期計画、継続的学習です。私たちの環境を通じて、タスク固有の回答ではなく、これらの転移可能なリサーチスキルを教えます。私たちの環境は、現実の研究ワークフローに近いです。合成データではなく、実世界のデータを使用します。私たちの環境は、自然にノイズと現実のトレードオフを含んでいます。追加のLLMジャッジや人間の専門家を必要とせず、私たちの報酬は検証可能で即時的です。

サンプルタスクリポジトリをオープンソース化しました: https://github.com/MMcollab-dotcom/feature-engineering。私たちは、MLモデリング能力、継続的学習、長期計画、またはQuantリサーチ全般に関心のある、独自のAIエージェントをトレーニングするAIラボ/研究者/企業に、継続的に改善される環境を販売する予定です。

評価またはトレーニング後のいずれかの目的で、私たちの環境で独自のエージェントを試した方からのフィードバックを歓迎します。そしてもちろん、LLMとのトレーディングの未来について議論できることを常に嬉しく思います(そして、LLMに明日の株を教えてもらうようなものではありません)。コメントをお待ちしています!