Heliconeは、ユーザーが共有ClickHouseに直接SQLを記述できるようにします
Helicone allows users to write SQL directly to a shared ClickHouse (justintorre.com)
要約
Heliconeは、HQL(Helicone SQL)と呼ばれるSQLエディタを導入しました。これにより、ユーザーはテキストボックスにSELECT文を記述するだけで、共有ClickHouseクラスターに対して直接クエリを実行できます。各組織のリクエストデータは単一のテーブルに保存され、organization_id列で分離されます。ClickHouseの行ポリシーとカスタム設定を連携させることで、組織Aのクエリが組織Bの行を読み取ることをデータベースレベルで保証しています。
全文翻訳
ユーザーが共有ClickHouseに直接SQLをクエリできるようにする
HeliconeにHQL(Helicone Query Language)と呼ばれるSQLエディターを追加しました。顧客はテキストボックスにSELECT文を書き込むだけで、クエリは直接ClickHouseクラスターで実行されます。各組織のリクエストデータは、organization_idカラムによってのみ分離された、同じテーブルrequest_response_rmtに格納されます。
見知らぬ人に共有テーブルに対して任意のSQLを実行させるのは、セキュリティインシデントに一手間加えたようなものなので、出荷前にデータベース自体が、組織Aからのクエリが組織Bに属する行を決して読み取れないことを保証する必要がありました。ClickHouseは、あまり注目されていない2つの機能、つまり行ポリシーとカスタム設定でこれを実現できます。ここでは、それらをどのように連携させたか、そしてアプリケーション側のコード(ASTパーサーを含む)がまだ何をすべきかについて説明します。
[画像: HeliconeのHQLエディター。request_response_rmtから日ごとのトークン使用量を集計するSQLクエリが表示されており、サイドバーには保存されたクエリ、右側にはHelixアシスタントパネルがある]
HQLのプロダクション環境。この画面上のすべてのクエリは、同じ共有テーブルに対して実行されます。
行ポリシー
ClickHouseの行ポリシーは、テーブルごと、ユーザーごとに、サーバーがすべての読み取りに付加するフィルターです。設定は2つのステートメントで、私たちのマイグレーションから直接取得したものです。行ポリシーを持つ一意のユーザーを作成し、そのユーザーに行ポリシーをアタッチします。
CREATE USER IF NOT EXISTS hql_user;
CREATE ROW POLICY hql_organization_filter ON request_response_rmt
FOR SELECT
USING organization_id = getSetting('SQL_helicone_organization_id')
TO hql_user;
最初のステートメントのポイントは、一意のユーザーです。hql_userはHQLトラフィックを提供するためだけに存在し、ポリシーはTO hql_user句を通じてそれにバインドされます。私たちのインジェストコードとダッシュボードコードは、異なるユーザーとして接続し、ポリシーを見ることはありません。hql_userの場合、request_response_rmtに対するすべてのSELECTは、顧客が実際に書いたSQLに関係なく、WHERE organization_id = getSetting('SQL_helicone_organization_id')がクエリの一部であるかのように動作します。
getSettingが興味深い部分です。現在のクエリのコンテキストから設定を読み取ります。ClickHouseは認識しない設定名を拒否し、カスタム設定は宣言されたプレフィックスで始まる場合にのみ有効です。セルフホストする場合、サーバー設定でそのプレフィックスを選択します。
<clickhouse>
<custom_settings_prefixes>SQL_</custom_settings_prefixes>
</clickhouse>
私たちのクラスターが実行されているClickHouse Cloudでは、選択肢はありません。サーバー設定を変更できず、ClickHouseドキュメントには、「カスタムプレフィックスを指定することはできません」と記載されています。すべてのカスタム設定は例外なくSQL_で始まります。そのため、よりクリーンな名前ではなくSQL_helicone_organization_idという名前になり、その不格好なプレフィックスは命名の選択ではなく、負荷を担っています。リポジトリのどこにもcustom_settings_prefixesのエントリがないことに気づくでしょう。Cloudでは設定するものがありません。
プレフィックスには歴史もあります。MySQLクライアントは接続時にSQL_AUTO_IS_NULLのようなセッション変数を設定し、ClickHouseはそれらをノーオペレーションとして受け入れます(ClickHouse PR #50013)。これにより、MySQLを話すツール(Tableauなど)が接続時に問題を起こすのを防ぎます。おそらく、CloudがSQL_を唯一許可されたプレフィックスとして標準化したのはそのためであり、私たちのテナンシーフィルターはMySQLドライバーのために構築された命名規則に乗っています。
クエリパラメータが登場する場所
ClickHouseの設定はクエリごとに設定できます。HTTPインターフェースではURLクエリパラメータとして渡されるため、各HQLリクエストはクエリ文字列にテナントIDを含みます:?SQL_helicone_organization_id=<org>。公式Nodeクライアントはこれをclickhouse_settingsの背後に隠していますが、私たちのものはClickhouseWrapper.tsにあります。
const result = await clickHouseHqlClient.query({
query: userSql,
format: "JSONEachRow",
clickhouse_settings: {
SQL_helicone_organization_id: organizationId,
readonly: "1",
allow_ddl: 0,
max_execution_time: 30,
max_memory_usage: "4000000000",
max_result_rows: "10000",
},
});
organizationIdは認証レイヤーから取得され、顧客が入力したものではありません。他の設定は、顧客がクラスターを私たちのインジェストパイプラインや他の顧客と共有しているためです。30秒のタイムアウト、メモリキャップ、結果行数のキャップが含まれます。
readonlyは、それ自体で段落を設ける価値があります。ClickHouseのSELECTはSETTINGS句で終わることができます。これは、顧客がSELECT * FROM request_response_rmt SETTINGS SQL_helicone_organization_id = 'victim-org'と試して、私たちが渡した値を上書きしようとする可能性があることを意味します。readonly = 1を使用すると、サーバーはクエリ実行時の設定変更をすべて拒否するため、その穴は閉じられます。それに加えて、アプリケーションは設定名に言及するクエリをすべて拒否します。
const forbiddenPattern = /sql[_\]s*helicone[_\]s*organization[_\]s*id/i;
if (forbiddenPattern.test(query)) {
return err("Query contains a reserved setting name");
}
ClickHouseは実際のブロックを強制します。正規表現は、試行がデータベースエラーではなく、拒否されたクエリとしてログに記録されることを意味します。
他のすべてを無効にする
1つのテーブルに行ポリシーがあっても、データベースの他の部分には何の影響もありません。ClickHouseには非常に読みやすいシステムテーブルが付属しています。system.query_logだけでも、すべてのテナントが実行したすべてのクエリ(SQLテキストを含む)が含まれています。そのため、hql_userは正確に1つのGRANTにまで削減されます。
REVOKE ALL ON system.* FROM hql_user;
REVOKE ALL ON information_schema.* FROM hql_user;
REVOKE ALL ON default.* FROM hql_user;
GRANT SELECT ON default.request_response_rmt TO hql_user;
また、エディターのオートコンプリートを駆動するDESCRIBEの結果からorganization_idカラムを除外します。カラムは存在し、ポリシーはそれを参照していますが、エディター内からはテーブルが共有されているという兆候は一切見えません。
ASTは何のためにあるのか
テナンシーの強制はアプリケーションでは行われず、それは意図的です。誘惑される設計は、各クエリを解析し、ASTをウォークし、実行前にorganization_id = ?をWHERE句に挿入することです。そうすると、セキュリティ境界はClickHouse構文に追従するJavaScript SQLパーサーになり、ClickHouse構文にはほとんどのパーサーが処理できないproperties['user_id']のようなマップサブスクリプトやarrayJoinが含まれます。パーサーが誤って処理したクエリは、漏洩するクエリになります。
私たちは依然としてクエリを解析しますが、失敗が許容されるものに対してのみです。node-sql-parserにはClickHouseのダイアレクトがないため、Postgresのダイアレクトで解析し、ASTにLIMITをクランプまたは挿入し、クエリをシリアライズし直します(全体の処理はHeliconeSqlManager.tsにあります)。
const ast = parser.astify(sql, { database: "Postgresql" });
const limitedAst = addLimit(normalizeAst(ast)[0], limit);
firstSql = parser.sqlify(limitedAst, { database: "Postgresql" });
ClickHouse固有の構文が解析を壊した場合、例外をキャッチし、生の文字列に対する正規表現でLIMITをクランプすることにフォールバックします。そのフォールバックは、組織フィルターがそれに依存している場合、恐ろしいものになるでしょう。フィルターはデータベースに存在するため、パーサーのバグがここでできる最悪のことは、私たちが望むよりも多くの行を返すクエリを許可することであり、max_result_rowsがそれを anyway でキャッチします。
これらが実行される前に、検証パスが、プレーンなSELECTではないもの、および現在1つの名前のみを含む許可リスト外のテーブル参照をすべて拒否します。
サブクエリは恐ろしい部分だった
設計中に私たちを不安にさせたクエリの形状は、サブクエリでした。テナンシーがアプリケーション側のリライターに存在する場合、SELECT * FROM (SELECT * FROM request_response_rmt) AS subはそれを壊すクエリです。外側のSELECTにWHERE organization_id = ?を挿入しても、何もフィルタリングされません。内側のSELECTはすでにテーブル全体を読み取っています。正しいリライターは、ネストされた各SELECT、各CTE、各UNIONブランチ、および各JOINオペランド内のすべてのテーブル参照を見つけ、それぞれがフィルタリングされたことを証明する必要があります。
私たち自身の検証コードは、アプリケーションでクエリをウォークすることの限界を示しています。テーブル許可リストは、FROMとJOINの後に識別子をスキャンすることで機能し、括弧を開くものはすべて意図的にスキップします。サブクエリはテーブル名ではないからです。ガードレールとしてはそれで十分です。セキュリティ境界としては、UNIONを通り抜けられる穴になるでしょう。そして、node-sql-parserがまったくASTを生成できない場合、これは実際のClickHouseクエリが常にトリガーするものであり、ウォークするツリーはそもそも存在しません。
したがって、テストスイートは主にパーサーではなくデータベースを攻撃します。hqlSecurityTests.test.tsは、実際の行ポリシーがアタッチされた実際のClickHouseインスタンスに対して実行される敵対的なクエリの843行であり、データベースによって強制される保証は、モックがテストできないものだからです。describeブロックは、脅威モデルのように読めます:設定の上書き、システムテーブルへのアクセス、関数乱用(file()、url()、s3()、mysql())、UNION攻撃、権限昇格、そしてサブクエリの恐怖が存在する解析エッジケースのセクションです。
it("should handle queries with subqueries", async () => {
const query = `
SELECT * FROM (
SELECT * FROM request_response_rmt
WHERE status = 200
) AS subquery
LIMIT 10
`;
// every row that comes back must belong to testOrgId
});
it("should handle CTEs", async () => {
const query = `
WITH filtered AS (
SELECT * FROM request_response_rmt WHERE status = 200
)
SELECT * FROM filtered LIMIT 10
`;
});
自己結合も同様に扱われます。r1 JOIN request_response_rmt r2は、リライターが異なるエイリアスで個別にフィルタリングする必要がある2つのテーブル参照だからです。行ポリシーを使用すると、それらは1つのケースに収束します。フィルターはテーブル自体での読み取り時に適用され、クエリの形状の下にあるため、サブクエリ、CTE、UNIONブランチ、およびエイリアス付き結合はすべて無料でそれを継承します。テストは、その主張を証明するために存在し、アプリケーションがWHERE句を1つも貢献することなくパスします。
ファイルの中で私が一番好きなテストは、ClickHouseに他の全員の行数を数えさせるものです。
SELECT count(*) as cnt FROM request_response_rmt
WHERE organization_id != '<my own org id>'
-- expected result: 0
クエリは合法であり、クリーンに実行され、空の世界を数えます。行ポリシーの下での敵対的なクエリは、プローブするためのエラーを受け取りません。そこには単に何もありません。
クローズドで失敗する
このセットアップの私のお気に入りの特性は、設定が見つからない場合に大声で失敗することです。アプリケーションコードがSQL_helicone_organization_idを送信し忘れた場合、getSettingは例外をスローし、クエリは失敗します。設定ミスは、誰かの行を含む応答ではなく、エラーを生成します。アプリケーション側でのフィルタリングと比較してください。WHERE句を忘れるとすべてが返され、成功のように見えます。
私たちの管理ツールは、通常のデータベースユーザーとして接続することで、意図的にこれらすべてをバイパスします。ポリシーはhql_userにのみ付与されているためです。バイパスは、クエリのフラグではなく、異なる接続文字列であり、誤ってトリップするのが困難になります。
ClickHouseをバックエンドとする製品に顧客向けのSQLを追加する場合、メカニズム全体はマイグレーションで約10行のSQLと、クエリごとに1つの設定で済みます。パーサーの作業は本物ですが、安全のためではなく、人間工学のためにそれを行うことができ、それははるかに良い場所です。