高性能C++バックテストフレームワークの構築
Building a High-Performance C++ Backtesting Framework (dolphindb.com)
要約
DolphinDBの高性能注文マッチングシミュレータープラグインを既存のC++バックテストフレームワークに統合する方法について解説しています。これにより、システム全体を再構築することなく、高性能な市場データリプレイと現実的な注文マッチングが可能になります。特に高頻度戦略の検証において、定量エンジニアにとって低遅延・高スループットなソリューションを提供し、SwordfishライブラリまたはC++ APIを用いた統合方法を説明しています。
全文翻訳
高性能C++バックテストフレームワークの構築:注文照合シミュレータープラグインと共に
既にC++バックテストフレームワークを構築している機関にとって、より現実的な注文照合と高性能な市場リプレイをサポートするためにシステム全体を再構築することは、しばしば非現実的です。DolphinDBの高性能な市場データリプレイと注文照合シミュレータープラグインは、戦略検証のための低遅延・高スループットソリューションを提供します。このプラグインを既存のC++バックテストフレームワークに直接統合することで、機関はDolphinDBの超高速コンピューティング能力を活用しながら、現在のインフラを再利用でき、高頻度戦略シミュレーションに理想的なソリューションとなります。
このチュートリアルは、C++開発に慣れており、DolphinDBの基本的な理解があるクオンツエンジニアを対象としています。SwordfishライブラリまたはC++ APIのいずれかを使用して、DolphinDB注文照合シミュレータープラグインをスタンドアロンC++取引システムにシームレスに統合する方法に焦点を当てています。DolphinDBスクリプト言語でのバックテストと比較して、このアプローチは低遅延・高並列のバックテストワークフローを実現し、アルゴリズム取引やマーケットメイキング戦略のような時間制約のあるシミュレーションシナリオに特に適しています。
1. 背景
バックテストは、クオンツ取引の研究開発において重要な部分です。クオンツ戦略をライブ取引に適用する前に、そのパフォーマンスを履歴データで評価する必要があります。中〜高頻度戦略のバックテストでは、すべての注文が現行価格または終値で全量約定すると単純に仮定することはできません。代わりに、注文照合シミュレーターを使用して、注文が約定可能かどうか、約定価格、取引数量、市場インパクトを含む実際の取引プロセスをモデル化する必要があります。DolphinDBは、上海および深圳証券取引所のLevel-2ティックバイティックおよびスナップショット市場データをサポートする注文照合シミュレータープラグインを提供します。これは「価格優先、時間優先」の原則に基づき、取引所のルールと一致した高精度な注文照合を実現し、複数の種類の市場データに基づいた照合モードをサポートし、実際の取引条件をシミュレートするための広範な注文照合設定オプションを提供します。また、DolphinDBスクリプト言語、Python、C++での中〜高頻度クオンツ取引戦略の開発とテストをサポートし、高性能で拡張性の高いバックテストソリューションを提供します。
Swordfishは、金融業界向けに特別に設計された高性能分析コンピューティングライブラリであり、優れたインメモリ処理能力と最適化された計算パフォーマンスを備えています。幅広い汎用コンピューティング機能に加えて、リアルタイムストリーミングデータ処理とユーザー定義関数をサポートし、複雑な分析と低遅延ストリーム処理のニーズに対応します。SwordfishはC++をサポートするあらゆるプラットフォームで実行でき、ユーザーは効率的な計算のためにC++コードで直接APIを呼び出すことができます。
DolphinDB C++ APIは、DolphinDBサーバーとC++クライアントを接続し、双方向のデータ転送とリモートスクリプト実行を可能にします。これにより、データ処理、分析、モデリングなどのワークロードをDolphinDBの優れたコンピューティングパフォーマンスと強力なストレージ機能で加速させながら、C++プログラムでDolphinDBを便利に使用できます。
このチュートリアルでは、注文照合シミュレータープラグインをC++でカプセル化し、高精度な注文照合を備えたシンプルで拡張性の高いバックテストフレームワークを構築する方法を説明します。これは、既存のC++バックテストまたはシミュレーションシステムに簡単に統合できます。このチュートリアルでは、統一されたイベント駆動型インターフェイスを定義し、SwordfishとC++ APIの2つの実装を提供します。2つのアプローチの適用シナリオは以下の通りです。
表 1–1 SwordfishおよびC++ APIバックテストフレームワーク実装間のシナリオ比較
[画像: SwordfishとC++ APIのバックテストフレームワーク実装のシナリオ比較表]
2. システム設計
中〜高頻度クオンツ取引戦略のバックテストプラットフォームの実装は、主に以下の3つの主要部分を含みます。
- 市場データリプレイ
- 注文照合シミュレーション
- 戦略開発とバックテストパフォーマンス評価
この設計に基づき、DolphinDBをデータソースとしたC++でのバックテストの全体的なワークフローを定義できます。
- リモート市場データストリームテーブルを作成し、購読します。
- ストリームテーブルに市場データをリプレイします。
- 購読コールバックでデータをトラバースして解析し、解析された市場データを注文照合シミュレーターに書き込みます。
- 市場データコールバックをトリガーし、コールバック内で戦略ロジックを実装し、注文を発注またはその他のアクションを実行します。
- 注文照合シミュレーターが約定詳細などの情報を出力し、関連するビジネスコールバックをトリガーし、それらのコールバックで戦略ロジックを実装できるようにします。
- バックテスト終了後にパフォーマンスメトリクスを出力します。
以下の図は、Swordfishを使用したユーザー定義バックテストの実装システムのアーキテクチャを示しています。
[画像: Swordfishを使用したユーザー定義バックテストのアーキテクチャ図]
Figure 1–1 Swordfishを使用したユーザー定義バックテストのアーキテクチャ
以下の図は、C++ APIを使用したユーザー定義バックテストの実装システムのアーキテクチャを示しています。
[画像: C++ APIを使用したユーザー定義バックテストのアーキテクチャ図]
Figure 1–2 C++ APIを使用したユーザー定義バックテストのアーキテクチャ
3. インターフェイス設計
DolphinDBの注文照合シミュレーターインターフェイスが提供する機能に基づき、この記事では市場データと取引インターフェイスを定義します。設計は主に以下の機能モジュールを含みます。
- 設定モジュール: リモート接続設定、市場データタイプ設定、並行性関連設定など、バックテストフレームワークインスタンスの設定を処理します。
- アクティブコールインターフェイスモジュール: 注文照合シミュレーターインスタンスの作成、データリプレイ、注文の発注、注文のキャンセルなどのインターフェイスを提供します。
- コールバックインターフェイスモジュール: 市場データコールバック、注文確認、約定通知などのコールバックベースのインターフェイスを提供します。
注:
特に指定がない限り、このセクションで紹介する設定項目とインターフェイスは、SwordfishとC++ APIの両方で使用できます。
3.1 設定項目
バックテストフレームワークインスタンスの設定項目を表に示します。各インスタンスは独立して設定できるため、ユーザーは複数のインスタンスで並行バックテストを実行できます。
[画像: バックテストフレームワークインスタンスの設定項目表]
3.2 インターフェイス
このチュートリアルで紹介するバックテストフレームワークは、注文照合シミュレーターインスタンスの作成、データリプレイ、注文の送信、およびキャンセルを行うための直接コールインターフェイスと、市場データ、注文送信応答、および取引通知のためのコールバックインターフェイスを提供します。以下のセクションでは、コアインターフェイスの設計と使用方法について説明します。その他のインターフェイスの詳細については、添付のソースコードのコメントを参照してください。
3.2.1 注文照合シミュレーターの作成
まず、createMatchEngineインターフェイスを使用して注文照合シミュレーターインスタンスを作成します。これは2つの実装を提供します。
dolphindb::SmartPointer<MatchingEngineSimulatorWrapper> createMatchEngine(
dolphindb::ConstantSP name, dolphindb::ConstantSP exchange, dolphindb::DictionarySP config,
dolphindb::TableSP dummyQuoteTable, dolphindb::DictionarySP quoteColMap, dolphindb::TableSP dummyUserOrderTable,
dolphindb::DictionarySP userOrderColMap, dolphindb::TableSP dummyOrderDetailsOutput,
dolphindb::ConstantSP orderDetailsOutputStreamTableName=nullptr)
dolphindb::SmartPointer<MatchingEngineSimulatorWrapper> createMatchEngine(
std::vector<dolphindb::ConstantSP> args)
最初のものは拡張されたパラメータリストを使用し、2番目のものは最初のリストのすべてのパラメータを単一の配列にパッケージ化します。このインターフェイスのパラメータ要件は、元のcreateMatchEngineインターフェイスとほぼ同じです。異なるパラメータのみをここに説明します。
dummyOrderDetailsOutput: 取引詳細出力テーブルの実際のスキーマを定義するTableオブジェクトへのポインタ。これは、出力ストリームテーブルを作成する際のSwordfish/DolphinDBの参照スキーマとして使用されます。orderDetailsOutputStreamTableName: 取引詳細出力テーブルのストリームテーブル名を指定するStringオブジェクトへのポインタ。デフォルトは「orderDetailsOutputStream」です。C++ APIに固有のパラメータです。
戻り値はMatchingEngineSimulatorWrapperオブジェクトへのポインタです。このエンジンインスタンスは、市場データのフィード、注文の送信、取引詳細の取得、および関連操作をサポートします。
注:C++ API実装では、注文照合シミュレーターインスタンスはDolphinDB内に存在します。createMatchEngineを呼び出すたびに、新しいリモートDolphinDB接続が作成され、バインドされます。したがって、このインターフェイスの頻繁な呼び出しは避けるべきです。代わりに、返されたインスタンスを保持して再利用してください。
3.2.2 市場データリプレイ
注文照合シミュレーターが作成された後、replayQuoteToMatchEngineインターフェイスを使用して、指定された銘柄コードと日数分の市場データを指定されたエンジンにリプレイできます。リプレイ速度も設定可能です。
void Interface::replayQuoteToMatchEngine(VectorSP codes, ConstantSP startDate, ConstantSP endDate,
SmartPointer<MatchingEngineSimulatorWrapper> engine, int replayRate)
注:このチュートリアルでは、Level-2株式スナップショットデータのリプレイ例を提供します。コードは、他の種類の市場データのリプレイを実装するための参照として使用できます。
3.2.3 市場データコールバック
市場データがエンジンに流れ始めると、onQuoteコールバックがトリガーされます。コールバックパラメータは、1つの市場データレコードを表す辞書です。getMember(“key”)を呼び出すことでフィールドを読み取ることができます。例えば、銘柄コードを読み取るには次のようにします。
virtual void onQuote(const ConstantSP& quote){
string symbol = quote->getMember("symbol")->getString();
}
3.2.4 戦略の実装
戦略を実装する際、getMatchEngineインターフェイスを使用して指定された名前の注文照合シミュレーターを取得し、それを使用して注文を送信またはキャンセルできます。
SmartPointer<MatchingEngineSimulatorWrapper> Interface::getMatchEngine(ConstantSP name)
注文送信インターフェイスはsubmitOrder、注文キャンセルインターフェイスはcancelOrderです。どちらもエンジンインスタンスと注文データをパラメータとして取ります。注文データ型はOrderFieldで、構造体のフィールド形式は注文照合シミュレータープラグインの注文テーブルと同じです。フィールドは以下のように説明されます。
symbol: string. 銘柄コード。timestamp: long long. 注文タイムスタンプ。オプション。省略された場合、エンジンは直ちに注文照合を実行します。orderType: int. 注文タイプ。price: double. 注文価格。orderQty: long long. 注文数量。direction: int. 売買方向:1(買い)、2(売り)。orderId: int. ユーザー注文ID。オプション。注文をキャンセルする場合にのみ必要です。userOrderId: int. ユーザー定義注文ID。オプション。省略された場合、システムは自動的にインクリメンタルIDを割り当てます。同じエンジンに送信される各注文について、userOrderIdが一意であることを確認してください。
戻り値はlong long型です。注文送信またはキャンセルが成功した場合、関数はユーザー注文IDを返します。それ以外の場合は-1を返します。
long long Interface::submitOrder(SmartPointer<MatchingEngineSimulatorWrapper> engine, const OrderField &order);
long long Interface::cancelOrder(SmartPointer<MatchingEngineSimulatorWrapper> engine, const OrderField &order);
3.2.5 注文送信/キャンセル応答と通知
注文が送信またはキャンセルされた後、システムは応答と通知をトリガーします。注文送信応答のコールバックインターフェイスはonOrderSubmit、注文キャンセル応答のコールバックインターフェイスはonOrderCancelです。どちらのコールバックも注文データとエラーコードを含みます。注文通知のコールバックインターフェイスはonOrder、取引通知のコールバックインターフェイスはonMatchです。パラメータは、単一の注文または取引詳細レコードの辞書であり、注文照合シミュレーターの取引詳細テーブルと同じフィールド形式です。
virtual void onOrder(dolphindb::DictionarySP orderDetail);
virtual void onMatch(dolphindb::DictionarySP tradeDetail);
4. バックテストプラットフォームの実装
システム設計とインターフェイス設計に基づき、バックテストおよびシミュレーション取引システムを実装するために、以下の機能モジュールが設計されています。
- リモート接続: DolphinDBにリモート接続し、スクリプトを実行して、データリプレイ、リモート環境クリーンアップ、および関連操作のインターフェイスを実装します。
- プラグインのロードと使用: 注文照合シミュレータープラグインをロードし、そのスクリプトメソッドをC++インターフェイスとしてカプセル化し、注文送信とキャンセルなどのアクティブインターフェイス、および注文通知と取引通知のコールバックを実装します。
- ストリーミングデータ購読、解析、およびコールバック: DolphinDBストリームテーブルをデータソースとして購読し、ストリーミングデータを解析し、注文照合シミュレーターに書き込んで市場データコールバックを実装します。
以下のセクションでは、SwordfishとC++ APIのそれぞれの実装ロジックについて説明します。
4.1 Swordfishを使用した実装
Swordfishはプラグインのロードをサポートしており、プラグインメソッドはC++関数ポインタを介して呼び出されます。入力パラメータと戻り値の両方が、Constantクラスから派生したDolphinDBデータ型です。ユーザー定義バックテストロジックは、Swordfish内の注文照合シミュレーターメソッドへのローカルコールを通じて実装できます。以下のセクションでは、主要な実装ロジックの設計について説明します。
4.1.1 リモート接続
Swordfishでは、xdbメソッドを通じてDolphinDBノードへのリモート接続を確立し、remoteRunを使用してスクリプトを実行できます。リモート接続操作を容易にするために、xdbとremoteRunをカプセル化し、リモート接続用のDDBConnectionという名前のクラスを定義しました。このクラスは、指定されたDolphinDBノードにリモート接続し、スクリプトを実行し、ストリームテーブルを購読するように特別に設計されています。そのパラメータと戻り値は、C++ APIのリモート接続クラスの設計に従います。詳細はソースコードのコメントを参照してください。
4.1.2 プラグインのロードと使用
Swordfishでは、注文照合シミュレータープラグインをローカルでロードして使用できます。loadPluginメソッドを使用してプラグインをロードし、そのインターフェイスへの関数ポインタを取得します。プラグインのロードとインターフェイス呼び出しを簡素化するために、loadPluginメソッドをカプセル化し、指定されたプラグインをロードしてそのインターフェイスを呼び出すDDBPluginクラスを定義しました。プラグインクラスを継承することにより、注文照合シミュレータープラグインクラスMatchingEngineSimulatorWrapperを実装し、注文の発注やキャンセルなどのアクティブ操作のための注文照合シミュレーターインターフェイスを呼び出します。詳細な使用方法については、ソースコードのコメントを参照してください。
4.1.3 ストリーミングデータ購読、解析、およびコールバック処理
Swordfishでは、subscribeTableメソッドを使用してリモートDolphinDBストリームテーブルを購読できます。このメソッドの重要なパラメータはhandlerであり、購読されたデータを処理する関数ポインタです。Swordfish関数定義クラスSwordfishFunctionDefをカプセル化して、C++関数ポインタをSwordfish関数ポインタに簡単に変換できるようにし、ユーザー定義C++メソッド内でストリーミングデータを解析して関連するビジネスコールバックを呼び出すことができます。詳細な使用方法については、ソースコードのコメントを参照してください。
4.2 C++ APIを使用した実装
DolphinDBで注文照合シミュレータープラグインをロードした後、ユーザー定義バックテストロジックは、DolphinDBにリモート接続し、パラメータをアップロードし、関連するスクリプトメソッドを呼び出すことによって、C++ APIを通じて実装できます。以下のセクションでは、主要なロジックの実装設計について説明します。
4.2.1 リモート接続
C++ APIでは、DolphinDBへのリモート接続とスクリプト実行は、DBConnectionクラスを通じて実行できます。インターフェイスの使用方法の詳細については、公式C++ APIドキュメントを参照してください。
4.2.2 プラグインのロードと使用
C++ APIでは、リモートDolphinDBストリームテーブルへの購読はThreadedClientクラスを通じて実装できます。そのsubscribeメソッドは、C++関数ポインタを直接購読コールバックとして受け入れ、ユーザー定義C++メソッド内でストリーミングデータを解析し、関連するビジネスコールバックを呼び出すことができます。インターフェイスの使用方法の詳細については、公式C++ APIドキュメントを参照してください。
4.2.3 ストリーミングデータ購読、解析、およびコールバック処理
C++ APIでは、リモートDolphinDBストリームテーブルへの購読はThreadedClientクラスを通じて実装できます。そのsubscribeメソッドは、C++関数ポインタを直接購読コールバックとして受け入れ、ユーザー定義C++メソッド内でストリーミングデータを解析し、関連するビジネスコールバックを呼び出すことができます。インターフェイスの使用方法の詳細については、公式C++ APIドキュメントを参照してください。
5. バックテスト例
上記で説明した設計と実装に基づき、このセクションではコアコード例を通じてシンプルなバックテスト戦略の実装ロジックを説明します。具体的には、この戦略はスナップショットデータの各項目をリアルタイムで処理した後、自動的にリミットオーダーを生成します。完全なコードについては、添付のソースファイルを参照してください。
1. インターフェイスクラスの定義と戦略の実装
CustomInterfaceクラスをInterfaceクラスから派生させ、onQuoteメソッドをオーバーライドします。市場データが到着すると、getMatchEngineを呼び出してエンジンインスタンスを取得し、次にsubmitOrderを呼び出して注文を発注します。
class CustomInterface: public Interface {
public:
CustomInterface(unordered_map<string, string> config): Interface(config) {}
void onQuote(const ConstantSP& quote) override {
...
engine = getMatchEngine(new String(matchEngineName_));
string symbol = quote->getMember("symbol")->getString();
OrderField order;
order.symbol = symbol;
order.orderType = 5; // Limit Order
order.price = bidPrice->getDouble(); // Assuming bidPrice is available
order.orderQty = 200;
order.direction = 1; // Buy
submitOrder(engine, order);
}
};
2. 注文照合シミュレーターの作成: main関数で、CustomInterfaceクラスのインスタンスを作成し、getExampleMatchEngineArgsメソッドを使用して注文照合シミュレーターのサンプル引数を取得し、次にcreateMatchEngineを呼び出して注文照合シミュレーターを作成します。
interface = new CustomInterface(config);
auto args = interface->getExampleMatchEngineArgs();
engine = interface->createMatchEngine(args);
3. 市場データの購読: subQuoteTableメソッドを使用して市場データを購読し、市場データコールバックを有効にします。
interface->subQuoteTable();
4. 市場データのリプレイ
replayQuoteToMatchEngineメソッドを使用して、指定された銘柄コードと日時範囲のデータをエンジンにリプレイします。
interface->replayQuoteToMatchEngine(codes, startDate, endDate, engine, -1);
5. バックテスト終了を待機
isBacktestEndメソッドを使用して、バックテストの終了を待機します。
interface->isBacktestEnd(true);
6. パフォーマンスメトリクスの表示
例えば、getPositionメソッドを使用してポジションを表示できます。CustomInterfaceクラスを使用して、ユーザー定義メトリクスを実装して出力することもできます。
cout << interface->getPosition() << endl;
6. パフォーマンステスト
この記事で使用されたテスト環境は次のように構成されています。
- DolphinDB v3.00.2.2、シングルノード
- Swordfish v3.00.2 ABI0
- CPU: Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz、64コア
- メモリ: 400 GB
- ディスク: SSD、12 Gbps
複数の並行タスクでフルスピードリプレイを実行するSwordfishベースのバックテストフレームワークにかかる総時間を測定しました。注文発注戦略は、各スナップショットクォートに対して1つのリミットオーダーを送信します。パフォーマンス統計は以下の通りです。
表 6-1 Swordfishで実装されたバックテストフレームワークのパフォーマンス統計
[画像: Swordfishで実装されたバックテストフレームワークのパフォーマンス統計表]
示されているように、マルチスレッド並列処理はパフォーマンスを効果的に向上させますが、サーバーがストリームテーブルにデータをリプレイしてクライアントに送信するのに時間を要するため、改善は線形ではありません。
C++ API実装では、注文照合シミュレーターはリモートDolphinDBサーバー上で実行されるため、注文の発注やキャンセルなどの操作にはネットワーク遅延が発生します。高速リプレイ中、クライアント操作が実行される頃には、サーバーは既に後の時点までリプレイしている可能性があります。したがって、リアルタイムリプレイのみがサポートされ、高速リプレイのパフォーマンステストは実行できません。
7. まとめ
この記事では、SwordfishまたはC++ APIを使用して注文照合シミュレータープラグインを呼び出すことにより、C++で高性能なバックテストを実装する方法、およびDolphinDBバックテストロジックを既存のC++バックテストシステムに簡単に統合するための統一インターフェイスをカプセル化する方法を示しました。2つのアプローチのうち、Swordfishは注文照合シミュレーターをローカルで実行でき、より大きな柔軟性、高速リプレイのサポート、および全体的なパフォーマンスの向上を提供します。
お読みいただきありがとうございます!最新のアップデート、技術記事、製品ニュースについては、X(@DolphinDB_Inc)およびLinkedIn(LinkedIn)でDolphinDBをフォローしてください。