RayforceDB – Lisp風構文を持つ純粋なC言語製分析データベース
RayforceDB – a pure C analytics database with a Lisp-like syntax (rayforcedb.com)
要約
RayforceDBは、Lisp風の構文を採用した純粋なC言語で書かれた分析データベースです。このデータベースは、遅延評価されるDAG(有向非巡回グラフ)のプランニング、複数パスでの最適化、中間バイトコードの削除、キャッシュサイズに合わせたストリーム実行などの機能を提供します。
全文翻訳
RayforceDB – Lisp風構文を持つ純粋C言語のアナリティクスデータベース
オープンソース · 純粋C · 依存関係ゼロ
アナリティクスとグラフ。
1つの高速エンジン。
Rayforceは、カラム型アナリティクス、グラフ探索、再帰クエリを1つの組み込み可能な実行パイプラインに融合させています。これは、会議ではなくマイクロ秒単位でレイテンシを測定するチームのために構築されました。
; 10万件の決定論的な市場データ行
(select {from: trades
where: (> qty 100)
by: symbol
trades: (count qty)
notional: (sum (* price qty))})
10万件の行をロード
- Load100K rows
- Optimizer rewrite DAG
- Filter 60K match
- Group 4 symbols
| symbol | trades | notional |
|---|---|---|
| NVDA | 15,000 | 1,181,242,500 |
| GOOG | 15,000 | 1,191,143,000 |
| AAPL | 15,000 | 1,176,404,200 |
| MSFT | 15,000 | 1,185,774,600 |
コミュニティに参加する
1つの実行モデル
データを移動させるのをやめる
エンジン間で。
リレーショナル演算子とグラフ探索は同じプランに属します。Rayforceはワークロード全体を見て、それをまとめて書き換え、ホットパスをハードウェアの近くに保ちます。
01
Compose
テーブル + グラフ + ルール
Lazy DAG
02
Optimize
プラン全体を書き換える
Multi-pass
03
Fuse
中間物を削除する
Bytecode
04
Execute
キャッシュサイズの塊をストリーミングする
Parallel
16K行の集中的なCコード
0外部依存関係
IPCクライアント/サーバー転送を内蔵
MITライセンスで組み込み可能
Rayfall言語
複雑な質問をする。
構文は小さく保つ。
Rayfallを対話的に使用したり、C APIを組み込んだり、増え続けるクライアントインターフェースを通じて接続したりできます。すべてのインターフェースが同じオプティマイザと実行コアに到達します。
1つのエンジン、3つのインターフェース
; 高価値フローを集計し、次にカウンターパーティを探索する
(set flow
(select {from: trades
where: (> Notional 1000000)
by: Counterparty
Volume: (sum Notional)}))
(.graph.var-expand network flow 1 3)
EXAMPLE RESULT5 rows · optimized
| Counterparty | Depth | Volume |
|---|---|---|
| LYNX_02 | 184.20M | |
| ALPHA_17 | 261.08M | |
| NODE_08 | 244.71M | |
| FORT_04 | 327.19M | |
| EDGE_12 | 312.42M |
1つのシステムとして構築
小さなフットプリント。
本格的な機構。
セカンドプラットフォームをその周りに組み立てることなく、生の列から接続された回答への移動に必要なすべてが含まれています。
カラム型アナリティクス
ベクトル化されたフィルター、結合、グループ化、ウィンドウ関数、ピボット、時系列プリミティブ。
↗
ネイティブグラフエンジン
CSR探索、最短経路、中心性、コミュニティ検出、WCO結合、HNSW。
↗
再帰的Datalog
到達可能性と再帰的な関係を、同じDAGにコンパイルされるルールとして表現します。
↗
オープンなままのストレージ
CSV、スプレッドおよびパーティショニングされたテーブル、メモリマップ、IPC、ブロックオフローディング。
↗
Rayforceの活用事例
合成デモではなく、実際の作業のために構築。
Rayforceはすでに、取引、市場接続、投資分析、リスクにまたがる本番システムやオープンソースプロジェクトの一部となっています。
Rayforceプロジェクトによって使用が確認されています。顧客名は公開サイトへのリンクです。
Rayforce Cloud 近日公開
組み込み可能なエンジン。
運用する必要のないプラットフォーム。
Rayforceの統合アナリティクスおよびグラフパイプラインをマネージドクラウドエクスペリエンスで提供します。これにより、チームはデータパスを再構築することなく、ローカルプロトタイプから本番ワークロードに移行できます。
RAYFORCE / CLOUD
PREVIEW
Deployment
eu-westReady
QUERY SERVICE
Preview
ENGINE
Managed
コアはオープン
すべての行を読む。
すべてのワークロードを所有する。
1つのコードベース。1つの公開ヘッダー。外部ランタイムなし。Rayforceをクローンし、コンパイルし、組み込み、データパスの制御を維持します。
**—**GitHubスター
—フォーク
Linux · macOS本日サポート