HN 日本語サマリー

← 一覧へ戻る
プログラミング

RayforceDB – Lisp風構文を持つ純粋なC言語製分析データベース

RayforceDB – a pure C analytics database with a Lisp-like syntax (rayforcedb.com)

14 pointsby sourdecor3 コメント

要約

RayforceDBは、Lisp風の構文を採用した純粋なC言語で書かれた分析データベースです。このデータベースは、遅延評価されるDAG(有向非巡回グラフ)のプランニング、複数パスでの最適化、中間バイトコードの削除、キャッシュサイズに合わせたストリーム実行などの機能を提供します。

全文翻訳

RayforceDB – Lisp風構文を持つ純粋C言語のアナリティクスデータベース

オープンソース · 純粋C · 依存関係ゼロ

アナリティクスとグラフ。

1つの高速エンジン。

Rayforceは、カラム型アナリティクス、グラフ探索、再帰クエリを1つの組み込み可能な実行パイプラインに融合させています。これは、会議ではなくマイクロ秒単位でレイテンシを測定するチームのために構築されました。

; 10万件の決定論的な市場データ行
(select {from: trades
         where: (> qty 100)
         by: symbol
         trades: (count qty)
         notional: (sum (* price qty))})

10万件の行をロード

  1. Load100K rows
  2. Optimizer rewrite DAG
  3. Filter 60K match
  4. Group 4 symbols
symboltradesnotional
NVDA15,0001,181,242,500
GOOG15,0001,191,143,000
AAPL15,0001,176,404,200
MSFT15,0001,185,774,600

コミュニティに参加する

1つの実行モデル

データを移動させるのをやめる

エンジン間で。

リレーショナル演算子とグラフ探索は同じプランに属します。Rayforceはワークロード全体を見て、それをまとめて書き換え、ホットパスをハードウェアの近くに保ちます。

実行パイプラインを探る ↗

01
Compose

テーブル + グラフ + ルール

Lazy DAG

02
Optimize

プラン全体を書き換える

Multi-pass

03
Fuse

中間物を削除する

Bytecode

04
Execute

キャッシュサイズの塊をストリーミングする

Parallel

16K行の集中的なCコード

0外部依存関係

IPCクライアント/サーバー転送を内蔵

MITライセンスで組み込み可能

Rayfall言語

複雑な質問をする。

構文は小さく保つ。

Rayfallを対話的に使用したり、C APIを組み込んだり、増え続けるクライアントインターフェースを通じて接続したりできます。すべてのインターフェースが同じオプティマイザと実行コアに到達します。

1つのエンジン、3つのインターフェース

; 高価値フローを集計し、次にカウンターパーティを探索する
(set flow
  (select {from: trades
           where: (> Notional 1000000)
           by: Counterparty
           Volume: (sum Notional)}))

(.graph.var-expand network flow 1 3)

EXAMPLE RESULT5 rows · optimized

CounterpartyDepthVolume
LYNX_02184.20M
ALPHA_17261.08M
NODE_08244.71M
FORT_04327.19M
EDGE_12312.42M

1つのシステムとして構築

小さなフットプリント。

本格的な機構。

セカンドプラットフォームをその周りに組み立てることなく、生の列から接続された回答への移動に必要なすべてが含まれています。

01

カラム型アナリティクス

ベクトル化されたフィルター、結合、グループ化、ウィンドウ関数、ピボット、時系列プリミティブ。

↗

02

ネイティブグラフエンジン

CSR探索、最短経路、中心性、コミュニティ検出、WCO結合、HNSW。

↗

03

再帰的Datalog

到達可能性と再帰的な関係を、同じDAGにコンパイルされるルールとして表現します。

↗

04

オープンなままのストレージ

CSV、スプレッドおよびパーティショニングされたテーブル、メモリマップ、IPC、ブロックオフローディング。

↗

Rayforceの活用事例

合成デモではなく、実際の作業のために構築。

Rayforceはすでに、取引、市場接続、投資分析、リスクにまたがる本番システムやオープンソースプロジェクトの一部となっています。

Rayforceプロジェクトによって使用が確認されています。顧客名は公開サイトへのリンクです。

Rayforce Cloud 近日公開

組み込み可能なエンジン。

運用する必要のないプラットフォーム。

Rayforceの統合アナリティクスおよびグラフパイプラインをマネージドクラウドエクスペリエンスで提供します。これにより、チームはデータパスを再構築することなく、ローカルプロトタイプから本番ワークロードに移行できます。

RAYFORCE / CLOUD
PREVIEW

Deployment

eu-westReady

QUERY SERVICE
Preview

ENGINE
Managed

コアはオープン

すべての行を読む。

すべてのワークロードを所有する。

1つのコードベース。1つの公開ヘッダー。外部ランタイムなし。Rayforceをクローンし、コンパイルし、組み込み、データパスの制御を維持します。

**—**GitHubスター

—フォーク

Linux · macOS本日サポート