クエリ変換パイプライン
The Query Transformation Pipeline (readyset.io)
要約
Readysetは、従来のデータベースがクエリごとに実行計画を再構築するのに対し、クエリをデータフローグラフにコンパイルして結果を継続的に維持するアプローチを採用しています。このデータフローエンジンはSQLの構文に制約があるため、ReadysetはSQLをデータフローエンジンが期待する形式に変換する多段階の書き換えパイプラインを使用しています。このパイプラインは、SQLの正規化、サブクエリのデコレレーション、派生テーブルのインライン化などを実行し、データフローエンジンが効率的に処理できる形にSQLを整形します。
全文翻訳
ReadysetはどのようにSQLを書き換えるか:クエリ変換パイプラインの内部
クエリ書き換えがデータフローにとって重要な理由
ほとんどのデータベースは同じように動作します。クエリが到着し、エンジンが実行計画を構築し、テーブルをスキャンし、行を結合し、フィルタリングし、集計し、結果を返します。クエリが実行されるたびに、作業はゼロから繰り返されます。このプルベースのモデルはリレーショナルデータベースに数十年間利用されてきましたが、固有のコストが伴います。読み取りレイテンシは、クエリの複雑さとそれが触れるデータのサイズに比例します。
Readysetは根本的に異なるアプローチを取ります。Readysetは、オンデマンドでのクエリ再実行の代わりに、各クエリをデータフローグラフにコンパイルします。これは、基盤となるデータが変更されるにつれてクエリの結果を継続的に維持する演算子(結合、フィルタ、集計、射影)のネットワークです。アップストリームデータベースで行が挿入、更新、または削除されると、変更はグラフを伝播し、キャッシュされた結果は増分的に更新されます。読み取りは、完全なクエリ実行ではなく、事前計算されたマテリアライズドビューへのルックアップになります。
これが重要な違いです。従来のエンジンは、クエリが実行されるたびにクエリをどのように実行するかを最適化します。Readysetは、キャッシュ作成時に一度だけ最適化し、その後、結果を継続的に永続的に維持します。トレードオフとして、クエリはデータフローエンジンがコンパイルできる形式で表現される必要があります。そして、その形式はSQLが許可するものよりも制限的です。
データフローエンジンが要求するもの
SQLは宣言型言語です。同じ論理クエリは多くの同等な方法で記述できます。相関サブクエリ、派生テーブル、CTE、LATERAL結合、ネストされた集計。従来のオプティマイザは、これらを相互に交換可能な表現として扱い、構文に関係なく最適な実行計画を選択します。
Readysetのデータフローコンパイラは従来のオプティマイザではありません。SQLをストリーミング演算子の有向非巡回グラフに変換します。各演算子は入力から変更を受け取り、出力に送信します。このアーキテクチャは、SQL構文にはない構造的な制約を課します。
等価述語によるバイナリ結合。データフローグラフ内の各結合は、列等価述語(a.id = b.id)を介して正確に2つの入力を接続します。エンジンはこれらの等価性を使用してハッシュベースの結合状態を維持します。範囲述語、式ベースの結合キー、または複数テーブルのON条件は直接サポートされていません。
相関実行なし。従来のエンジンでは、相関サブクエリは外部行ごとに1回実行されます(ネストドループパターン)。データフローグラフには「行ごと」の実行モデルはありません。各演算子は、入力からの変更の完全なストリームを表示します。相関サブクエリは、データフローが増分的に維持できる同等の結合に書き換える必要があります。
フラットな結合構造が好ましい。派生テーブル(FROM内のサブクエリ)はデータフローエンジンでサポートされていますが、コストがかかります。派生テーブルは完全にマテリアライズされた中間ノードにコンパイルされ、パラメータ化できません。入力データの各一意の組み合わせは、外部クエリが必要とするかどうかにかかわらず、格納された結果を生成します。派生テーブルをインライン化する(FROM項目、WHEREフィルタ、および射影を外部クエリに吸収する)ことで、この中間マテリアライズを排除し、エンジンが基盤テーブルに対して直接パラメータ化されたルックアップを構築できるようにします。書き換えパイプラインは、意味的に安全な場合は積極的に派生テーブルをインライン化し、インライン化がクエリの意味を変更する場合にはマテリアライズド形式を予約します。
サポートされている結合タイプ。エンジンはINNER JOIN、LEFT OUTER JOIN、CROSS JOINをサポートしています。RIGHT JOINとFULL OUTER JOINは、ストリーミングコンテキストでの増分メンテナンスが両側のマッチの不在を追跡する必要があるため、サポートされていません。これははるかに難しい問題です。
集計境界。GROUP BYおよび集計関数(COUNT、SUMなど)は、実行中の合計を維持するステートフルな演算子にコンパイルされます。エンジンは、各集計クエリが少なくとも1つの集計派生式を射影し、GROUP BYキーが明示的な列参照(位置番号やエイリアスではない)であることを要求します。
これらの制約は、PostgreSQLまたはMySQLが問題なく実行する構文的に有効なSQLクエリでも、Readysetで直接コンパイルできない場合や、必要以上に非効率的なデータフローグラフにコンパイルされる可能性があることを意味します。クエリ書き換えパイプラインは、このギャップを埋めるために存在します。
書き換えパイプライン:SQLからデータフローへの橋渡し
ユーザーがクエリに対してCREATE CACHEを発行すると、Readysetはクエリを多段階の書き換えパイプラインに通し、任意のSQLをデータフローエンジンが期待する標準形式に変換します。パイプラインは3つのブロックに編成されています。
| ブロック | 目的 | 例 |
|---|---|---|
| A — 正規化 | 構文のデシュガー化、スキーマの解決、列の修飾 | SELECT * は SELECT t.id, t.name, ... になる |
| B — 深い書き換え | サブクエリのデコレレート、派生テーブルのフラット化、最適化 | WHERE id IN (SELECT ...) は結合になる |
| C — クリーンアップ | 不要な句の削除、リテラルのパラメータ化 | ORDER BY id LIMIT 10 は結果が単一行であることが証明されている場合に削除される |
各パスは意味を保持します。書き換えられたクエリは、すべての可能なデータに対して元のクエリと同じ結果を返します。パスは互いに構築されます。ブロックAはSQLを標準形式に正規化し、ブロックBの変換が確実に機能するようにします。ブロックCはブロックBによって残されたアーティファクトをクリーンアップします。
ブロックA:SQLを標準化する
深い変換が行われる前に、クエリは予測可能な形状である必要があります。ブロックAがこれを処理します。
- スキーマ解決:テーブル名と列名を、Readysetがアップストリームデータベースからレプリケートした実際のスキーマメタデータにバインドします。これは、主キー、一意制約、列の型を知る必要がある後続のパスに不可欠です。
- スター展開:
SELECT *を明示的な列リストに置き換えます。すべてのダウンストリームパスは、ワイルドカードではなく名前付き列を表示することを期待します。 - 列修飾:すべての列参照がテーブル名でプレフィックスされていることを確認します(
idはt.idになります)。これにより、複数のテーブルが同じ名前の列を持つ場合の曖昧さを防ぎます。 - USINGのデシュガー化:
JOIN ... USING(id)をJOIN ... ON (a.id = b.id)に変換します。データフローエンジンはON述語で動作し、USING句ではありません。
ブロックAの後、クエリは完全に解決され、修飾され、デシュガー化され、後続の変換のためのクリーンな基盤となります。
ブロックB:重い作業
ブロックBは実際の作業が行われる場所です。これらのパスは、データフローエンジンが処理できないSQL構造を、処理できる同等の構造に変換します。順序が重要です。各パスは次のパスの準備をします。
配列コンストラクタの書き換え
最初のブロックBパスであり、PostgreSQL固有です。PostgreSQLのARRAY(SELECT ...)コンストラクタは、サブクエリの行から配列値を生成します。これは、データフローエンジンに直接的な演算子がない、行ごとのスカラー集計形状です。パイプラインは、各出現をLATERAL LEFT JOINに書き換えます。その本体は元のサブクエリをarray_agg(...)でラップし、外部側にはCOALESCE(..., ARRAY[])があり、空のサブクエリがNULLではなく空の配列を生成します。コンストラクタ内のORDER BYとDISTINCTはarray_agg呼び出しにコピーされます(サブクエリにもLIMIT/Top-Kがある場合に正しさのために必要)。最初に実行することで、このパスは後続のパスが認識しないSQL構造を、それらがすでに処理する方法を知っているLATERAL結合に変換します。
-- 前:ARRAY(SELECT ...) コンストラクタ — 直接的なデータフロー演算子なし
SELECT u.name,
ARRAY(SELECT p.title FROM posts p WHERE p.user_id = u.id) AS post_titles
FROM users u
-- 後:LATERAL + array_agg + COALESCE — パイプラインの残りの部分が理解する形状
SELECT u.name,
COALESCE(array_subq.agg_result, ARRAY[]) AS post_titles
FROM users u
LEFT JOIN LATERAL (
SELECT array_agg(inner_subq.title) AS agg_result
FROM (SELECT p.title FROM posts p WHERE p.user_id = u.id) inner_subq
) array_subq ON TRUE
冗長な結合の除去
ORMによって生成されたクエリには、しばしば冗長な自己結合が含まれます。同じテーブルが主キーで自身に結合され、すべての射影列が片側から取得されます。パイプラインはこれらを早期に検出し、除去し、後続のより重い変換の前に結合グラフの複雑さを軽減します。
左スパインホイスティング
サブクエリのデコレレーションを行う前に、パイプラインはFROM内の最も左の派生テーブルをインライン化しようとしますが、クエリのトップレベルでのみ行われます。これは、Top-Kパターン(ORDER BY ... LIMIT)が最も価値のある位置です。トップレベルでは、LIMITはパラメータ化可能(例:LIMIT ?)になり、データフローコンパイラはネイティブなTop-Kノード(増分的に上位N行を維持するために特別に構築されたストリーミング演算子)を展開できます。サブクエリがネストされたまま後で一般的なデコレレーションパスによって処理された場合、Top-KはROW_NUMBER()ベースのフィルタに置き換えられます。これは機能的には正しいですが、効率が悪く、LIMITはもはやパラメータ化できません。
-- 前:派生テーブルにネストされたTop-K — データフローはROW_NUMBERフィルタを発行する
SELECT sq.id, sq.name, sq.score
FROM (SELECT id, name, score FROM products ORDER BY score DESC LIMIT ?) AS sq
-- 左スパインホイスト後:トップレベルのTop-K — ネイティブでパラメータ化可能なTop-Kノード
SELECT id, name, score
FROM products
ORDER BY score DESC
LIMIT ?
トップレベルにORDER BYとLIMITがある場合、データフローコンパイラはTop-K形状を認識し、ネイティブストリーミング演算子を展開します。LIMITはパラメータ(?)のままなので、単一のキャッシュされたデータフローグラフは、LIMIT 10、LIMIT 50、LIMIT 1000のすべてのバリアントに対応します。列の再バインド、ORDER BYの書き換え、LIMIT/OFFSETの合成はすべて、パイプライン内のすべてのインライン化サイトで再利用される共有インライン化APIによって処理されます。
サブクエリのデコレレーション
パイプラインで最も複雑な変換であり、前のパスが存在する理由です。それらはクエリ構造を準備し、デコレレーションがすべての相関参照を認識して操作できるようにします。以下を検討してください。
SELECT o.id, o.total
FROM orders o
WHERE o.total > (SELECT AVG(total) FROM orders WHERE region = o.region)
サブクエリは外部クエリからo.regionを参照しています。これは相関しています。従来のエンジンは、外部行ごとにサブクエリを1回実行します。Readysetのデータフローには行ごとの実行モデルがないため、パイプラインはこれを結合に書き換えます。
SELECT o.id, o.total
FROM orders o
INNER JOIN (
SELECT region, AVG(total) AS avg_total
FROM orders
GROUP BY region
) AS sq ON o.region = sq.region
WHERE o.total > sq.avg_total
相関述語region = o.regionはGROUP BYキーと結合条件になります。サブクエリは、さらにフラット化できる派生テーブルになります。データフローエンジンはこれを、領域ごとの平均を増分的に維持する結合演算子にコンパイルします。
このデコレレーションは、EXISTS、NOT EXISTS、IN、NOT IN、スカラーサブクエリ、およびLATERAL結合を処理します。それぞれに独自のセマンティクスがあります。COUNTを持つLATERALは、ゼロカウントセマンティクスを保持するためにLEFT JOINとCOALESCEを必要とします。祖父スコープと相関するネストされたLATERALは、スコープ境界を排除するためにラッパーのフラット化を必要とします。IN / NOT IN / スカラーサブクエリが潜在的にNULLのオペランドに対して行われる場合、3値論理プローブが必要になります。その適用性は演算子と述語が表示される場所によって異なります。これは次に説明します。
IN、NOT IN、およびスカラーサブクエリのための3値論理
SQLブール式はTRUE、FALSE、またはNULLに評価されます。これは3値論理(3VL)です。ほとんどの演算子はこれを透過的にしますが、NULLを生成できるサブクエリに対するIN / NOT INはそうではなく、正しい処理は述語がどこに表示されるかによって異なります。
WHERE内のNOT INは3VLガードが必要です。RHSが単一のNULLを生成した場合でも、そうでなければFALSEになるNOT IN述語はNULLになります。そしてWHEREでは、NULLは行を除外しますが、FALSEは行を保持することを意図していました(またはその逆、周囲のロジックによります)。単純なLEFT ANTI JOINへのデコレレーションはこの区別を失い、誤った結果を返します。WHERE内のINは3VLガードを必要としません。FALSE(一致なし、RHSにNULLなし)とNULL(一致なし、RHSにNULLあり)の両方でWHEREは行を破棄するため、区別は重要ではありません。単純なセミ結合へのデコレレーションはすでに正しいです。SELECTリスト内のINまたはNOT INは、演算子に関係なく、常に3VLガードが必要です。述語の値はクエリから射影され、呼び出し元はIS NULLでテストしたり、別の式に渡したり、別のブール値と比較したりする可能性があります。TRUE/FALSE/NULLの区別は正確に保持される必要があります。- SELECTリスト内のスカラーサブクエリは、これらのケースの隣に配置されます。それらの
NULL対空結果のセマンティクスは、同じプローブ機構を必要とします。
Readysetは、デコレレートされたサブクエリの隣にプローブ結合をインストールすることで、これらすべてを処理します。2つのプローブが完全な真理値表をカバーします。
- NP(null-present):
EXISTS(rhs WHERE first_field IS NULL)— RHSはこの相関パーティションでNULLを生成しますか? - EP(existence):
EXISTS(rhs)— この相関パーティションでRHSは空ではありませんか?
どちらも、ダウンストリーム述語がIS [NOT] NULLでテストするセンチネルpresent_列を射影するLEFT LATERAL結合としてマテリアライズされます。小さなブール式(lhs IS NULL、NP.present_、EP.present_、およびアンチ結合マッチ)は、SQLセマンティクスが必要とする正確な3VL結果を生成します。
プローブは、null推論がそれらが不要であることを証明できない場合にのみインストールされます。どちらかのプローブをマテリアライズする前に、パイプラインは述語の両側でヌル可能性分析を実行します。
- RHSの比較列がヌルフリーであることが証明されている場合(
NOT NULL制約、ヌル不可の式、またはヌル不可の出力を保証するグループ化/集計から)、NPプローブはスキップされます。NULLは決して発生しない可能性があるため、それが保護する3VLブランチは到達不可能です。 - LHS式がヌルフリーであることが証明されている場合、EPプローブはスキップされます。3VL式の「
LHSはNULL」ブランチは発火できません。 - ヌル可能性分析によって静的に排除できないブランチのみがランタイムプローブを生成します。
これは、すべてのプローブが追加のLEFT LATERAL結合であり、追加のノード、追加の状態、およびすべてのアップストリーム変更に対する追加の作業であるため重要です。証明可能に不要なプローブを抑制することで、データフローグラフは最小限に抑えられ、クエリが実際に必要とするものと一致します。
同一のプローブは一度マテリアライズされ、再利用されます。実際のクエリには、同じRHSと相関を持つ複数のサブクエリが含まれることがよくあります。同じサブセレクトに対する2つのNOT IN句、SELECTとWHEREの両方で参照されるスカラーサブクエリ、ORMによって生成された繰り返し述語などです。構造的なProbeRegistryは、正規化されたRHS本体と相関述語のハッシュをキーとしてプローブをキーイングします(正規化後、化粧品の差異がミスを引き起こさないように)。2番目の出現は既存のエントリを見つけ、そのLATERAL結合を再利用して重複を発行しません。レジストリは遅延アップグレードもサポートしています。最初の出現でNPのみが必要で、後続の出現でもEPが必要な場合、EPプローブは同じレジストリエントリに追加され、同じ基盤となるサブクエリに対する並列結合セットを回避します。
結果:3VLは正確であり、データフローグラフはクエリが実際に必要とするプローブ機構のみを運び、繰り返されるサブクエリは単一のコンパイル済み形式を共有します。
一般的な派生テーブルのインライン化
デコレレーション後、クエリには派生テーブルが含まれる場合があります。これは、左スパインパスが処理しなかった元の派生テーブルと、デコレレーション自体によって導入された新しい派生テーブル(ネスト解除されたサブクエリの結合ターゲットとして)の両方です。この2番目のインライン化パスは、それらを外部結合構造にフラット化し、不要な中間マテリアライズを排除します。
-- 前:派生テーブルで計算された集計、その後外部クエリによってフィルタリングされる
SELECT sq.name, sq.total
FROM (SELECT name, SUM(amount) AS total FROM orders GROUP BY name) AS sq
WHERE sq.total > 100
-- インライン化後:派生テーブルが吸収され、外部WHEREが集計に移行してHAVINGになる
SELECT name, SUM(amount) AS total
FROM orders
GROUP BY name
HAVING SUM(amount) > 100
集計を参照する外部WHERE(sq.total > 100)は、インライン化後、グループ化された結果に適用されるため、HAVINGに移行します。GROUP BYキー、集計射影、および列の再バインドは、左スパインパスで使用されたものと同じ共有インライン化APIによって処理されます。
すべての派生テーブルをインライン化できるわけではありません。パイプラインは、動作が変わるウィンドウ関数(パーティションサイズは行セットに依存し、インライン化後に変更される)、ネストされた集計の競合、および自己結合の導入をチェックします。インライン化がセマンティクスを変更する場合、クエリはそのままにされ、データフローグラフで派生テーブルとして扱われます。または、エンジンがサポートできない場合は拒否されます。
結合順序の並べ替え
結合を異なる順序でリストする2つの意味的に同一のクエリ(FROM a JOIN b ON ... JOIN c ON ... vs FROM a JOIN c ON ... JOIN b ON ...)は、同じデータフローグラフにコンパイルされ、同じキャッシュを共有する必要があります。しかし、データフローコンパイラは各結合順序に対して異なるグラフを生成するため、SQLテキストの構造的な違いは、同じ論理クエリに対して冗長なキャッシュにつながります。
このパスはコストベースの結合オプティマイザではないことを強調する価値があります。その目的は純粋に正規化です。決定論的で構文に依存しない結合シーケンスを生成し、意味的に同等のクエリが同じキャッシュされたデータフローグラフを共有できるようにします。コスト、カーディナリティ、統計はここでは役割を果たしません。スコアリングは構造的なタイブレーカーであり、パフォーマンスヒューリスティックではありません。真のコストベースの結合順序の並べ替えは、この標準形式で動作する別の今後のパスです。それが配置されると、ダウンストリーム最適化ステップは、コストベースの結合順序の並べ替え、フィルタホイスティング、またはその両方なしで実行するように構成可能になります。そして、すべてのケースで、ここから生成された同じ標準化された形状から開始します。
パイプラインは、決定論的な構造アルゴリズムを使用して結合順序を正規化します。各ステップで、述語の近接性(最近結合されたテーブルを最も多く参照するON条件を持つ結合を優先する)と、候補がスコープにもたらすクロステーブル等価性の数をスコアリングし、リレーション名の辞書順でタイをブレークします。これにより、ユーザーが最初にクエリをどのように記述したかに関係なく、標準的な結合シーケンスが生成されます。同じアプローチで、カンマ区切りのFROM項目を明示的なCROSS JOINに正規化し、一貫した構造を保証します。
意味的フィンガープリントのための句の正規化
Readysetは構造的に同一のクエリを識別するため、単一のキャッシュされたデータフローグラフを共有できます。表面的な違い(GROUP BY 1, 2 vs GROUP BY name, region、またはORDER BY total DESC vs ORDER BY 3 DESC)のみが異なる2つのクエリは、意味的に同一であり、同じキャッシュにヒットする必要があります。
パイプラインは、位置参照(GROUP BY 1)とエイリアス参照(ORDER BY total)を基になる式(GROUP BY t.name、ORDER BY SUM(t.amount))に解決することで、これらの句を正規化します。正規化後、意味的に同等のクエリは同一のAST構造を生成し、信頼性の高いフィンガープリントベースのキャッシュマッチングを可能にします。
フィルタホイスティング
最後のブロックBパスです。すべての構造変換、結合順序の並べ替え、および句の正規化が標準クエリ形状を生成した後、パイプラインは派生テーブル内のパラメータ化されたフィルタ(WHERE id = ?)を最も外側のWHERE句にホイストします。これらのフィルタは、データフローエンジンがキーベースのルックアップにそれらを使用できるトップレベルで最も効率的です。最後に実行することで、フィルタホイスティングは最終的な意味的フィンガープリント形状、つまりキャッシュマッチングに使用されるのと同じ標準形式で動作します。これにより、ホイストされたフィルタが正しい構造的位置に着地することが保証されます。
今日、このパスはブロックBの最後のステップとして無条件に実行されます。コストベースの結合順序の並べ替えが配置されると、このスロットは構成可能な最適化ステップになります。パイプラインは、フィルタホイスティング、コストベースの結合順序の並べ替え、またはその両方なしのいずれかを選択します。各オプションは、前のパスによって生成された標準形状から開始します。
ブロックC:最終クリーンアップ
ブロックBの変換後、クエリには不要な句が含まれる場合があります。ブロックCは、最大1行しか返さないことが証明されているクエリ(例:一意キーでのフィルタリング)からORDER BYとLIMITを削除し、リテラル値を自動パラメータ化して、定数が異なる構造的に同一のクエリが同じキャッシュされたデータフローグラフを共有できるようにします。
結果
クエリが書き換えパイプラインを終了する頃には、データフローエンジンが直接コンパイルできる形式になっています。
- すべてのサブクエリは結合にデコレレートされています。
- すべての派生テーブルはインライン化されています(またはサポートされている派生テーブル演算子として残されています)。
- すべての列参照は完全に修飾されています。
- すべての結合述語は列等価ペアです。
- 結合は、標準的な意味的フィンガープリント形状に並べ替えられています。
GROUP BYキーとORDER BY式は、明示的な列参照(位置またはエイリアスによる間接参照なし)に正規化されています。- 冗長な結合と句は削除されています。
- パラメータ化可能なフィルタはトップレベルにあります。
- データフローエンジンが必要とするすべての構造的制約が満たされています。クエリは、さらなる変換なしでコンパイルできることが保証されています。
その後、データフローコンパイラはこの標準SQLをストリーミング演算子のグラフに変換します。そして、そこから、すべてのデータ変更がグラフを流れ、元のクエリを再実行することなく、キャッシュされた結果を最新の状態に保ちます。
これが、ReadysetがSQLクエリをライブで増分的に維持されるキャッシュに変換する方法です。より速く実行するのではなく、決して実行する必要がなくなることで。
今後の作業
今日のパイプラインは、一般的なSQLセマンティクスとリレーショナル代数原理に基づいています。各パスは広く適用可能な書き換えです。構造的な形状に一致する任意のクエリに機能するヒューリスティックであり、任意のデータに対して有効な正当性の議論に裏打ちされています。この一般性は機能ですが、次のラウンドの作業もここにあります。
コストベースの結合順序の並べ替え。現在の結合順序の並べ替えパスは純粋な正規化ステップです。統計を使用せず、作業を最小限に抑えようとしません。実際のコストベースの結合オプティマイザ(CBJO)が次の主要な追加機能です。それが配置されると、最後のブロックBスロットは構成可能な最適化ステップになります。パイプラインは、フィルタホイスティング、コストベースの結合順序の並べ替え、またはその両方なしのいずれかを選択します。そして、すべてのオプションは、前のパスによって生成された標準形状から開始します。
デコレレーションとインライン化のガードレールの緩和。現在のガードのいくつかは意図的に慎重です。それらは、よりターゲットを絞った分析が安全に許可できる変換を拒否します。例としては、よりタイトなウィンドウ関数のパーティション安定性分析、複合キーの冗長結合除去、インライン化後の混合集計/非集計式の列ごとの分解などがあります。これらはそれぞれ、既存のガードの単純な緩和です。より広範な拒否の代わりに、より狭いチェックです。
一般的なヒューリスティックからパターン固有の変換へ。今日存在するパスは、意図的に一般的な書き換えとして構築されました。広く適用される構造パターンです。次のフェーズは逆です。一般的なヒューリスティックが認識しない特定のクエリ形状を特定し、それらのためのターゲットを絞った書き換えを追加します。実際のワークロードは、ORM、BIツール、または一般的なレポート作成イディオムによって生成されるパターンで満たされています。それらは意味的には単純ですが、現在の構造テンプレートのいずれにも適合しません。それぞれのパターンは、新しいパスまたは既存のパスの新しいブランチになります。具体的な形状に対する狭い一致、独自の正当性の議論を持ち、一般的な書き換えとともにパイプラインに構成されます。
パイプラインのアーキテクチャ(独立した、構成可能な、意味を保持するパスのシーケンス)により、すべてが段階的に行われます。各機能は新しいパスまたは緩和されたガードであり、完全な回帰テストスイートに対してテストされ、意味の保持について検証されます。