VictoriaLogsがログをカラム型レイアウトで保存する方法
How VictoriaLogs Stores Your Logs in a Columnar Layout (victoriametrics.com)
要約
VictoriaLogsは、ログデータの効率的な保存と高速なクエリのために、ディスク上でカラム型レイアウトを採用しています。ログはまず内部形式に正規化され、ストリームごとにグループ化された後、メモリ上のバッファを経て、最終的に日付ごとのパーティションに格納される「パート」と呼ばれる単位にまとめられます。このカラム型アプローチにより、データの圧縮率向上、不要なスキャンの削減、および高速な検索が可能になります。
全文翻訳
VictoriaLogs はどのようにログをカラム型レイアウトで保存するか
VictoriaLogs を運用していると、日々の業務は主に 3 つのことに集約されます。ログの送信、ログのクエリ、そしてディスク容量がいっぱいにならないように保持期間を設定することです。それ以外のすべては、ディスク上で静かに実行されます。
この記事では、1 つのログ行が到着してからディスク上に最終的に配置されるまでを追うことで、VictoriaLogs が内部で何を行っているのかを理解し、クエリが速い理由、ディスク上に多数のファイルが見られることがある理由、そして何かがおかしい時にどのフラグやメトリクスが重要になるのかを説明します。この記事は、プログラミングの背景知識がなくても、Go のコードを読む必要もなく、誰でも理解できるように書かれています。さらに深く知りたい場合は、VictoriaLogs のソースコード を参照してください。
VictoriaLogs は、JSON Lines、Elasticsearch bulk、Loki push、OpenTelemetry、syslog など、多くのプロトコルでログを受け付けます(完全なリストはデータ取り込みドキュメントを参照してください)。
どのプロトコルを使用しても、VictoriaLogs が最初に行うことは、そのレコードをシステム全体が理解できる単一の内部形式に変換することです。それは、タイムスタンプ、名前付きフィールドのセット、そして「ストリーム識別子」です。
[画像: すべてのプロトコルが 1 つの内部形式にマッピングされます。]
すべてのプロトコルが 1 つの内部形式にマッピングされます。
各プロトコルには、この変換を行うための小さなプロセッサがあり、クエリ引数またはリクエスト自体のヘッダーでこれを制御できます。
ignore_fieldsクエリ引数またはVL-Ignore-Fieldsヘッダーを使用して、保存したくないフィールドをドロップします。decolorize_fieldsクエリ引数またはVL-Decolorize-Fieldsヘッダーを使用して、値から端末カラーコードを削除します。extra_fieldsクエリ引数またはVL-Extra-Fieldsヘッダーを使用して、各レコードにフィールドを追加します。_msg_fieldクエリ引数またはVL-Msg-Fieldヘッダーを使用して、VictoriaLogs のメインメッセージフィールド (_msg) を指定します。_time_fieldクエリ引数またはVL-Time-Fieldヘッダーを使用して、タイムスタンプを持つフィールドを指定します。_stream_fieldsクエリ引数またはVL-Stream-Fieldsヘッダーを使用して、ストリーム識別子を定義するフィールドを選択します。
ストリーム識別子は、この記事全体で最も重要な概念です。同じストリームフィールドを共有するログは、単一のストリームとして扱われ、そのストリームがどのように見えるかを決定するのはあなたです。たとえば、_stream_fields=pod,container を設定すると、同じ pod とコンテナを持つすべてのログが 1 つのストリームを形成します。
VictoriaLogs は、各ストリームのログをディスク上でまとめて保持し、そのグループ化により、ログは非常にうまく圧縮され、クエリはすべてをスキャンするのではなく、必要なストリームのみに触れることができます。
[画像: 同じストリームフィールドを持つログが 1 つのストリームを形成します。]
同じストリームフィールドを持つログが 1 つのストリームを形成します。
オペレーターとしての実用的なルール: ストリームフィールドは安定した低カーディナリティ(host、app、pod、container のように、ごくわずかな異なる値しか持たない)に保ち、高カーディナリティの値(trace_id や user_id のように、非常に多くのユニークなエントリを持つもの)はストリームフィールドではなく、通常のフィールドとして保持してください。
受信レコードの受信と正規化の後、VictoriaLogs はそれらを 1 つずつ処理するわけでもありません。メモリ内のバッファに蓄積し、約 1 秒ごと(またはバッファがいっぱいになったらより早く)に、バッチ全体をまだ RAM に存在する検索可能な小さなチャンク(インメモリパート)に変換します。
[画像: バッファリングされたバッチが 1 つのインメモリパートにフラッシュされます。]
バッファリングされたバッチが 1 つのインメモリパートにフラッシュされます。
そのインメモリバッファは、単一の共有キューではありません。すべての受信バッチが同じバッファで待機する必要があると、互いに無駄な時間を費やすことになるため、VictoriaLogs はバッファをシャードに分割します。CPU コアごとに 1 つのシャードがあり、受信バッチを順番に分散させます。
したがって、3 CPU マシンでは 3 つのバッファシャードが並列で満たされ、各シャードは独自にフラッシュし、約 1 秒ごとにバッチを新しいインメモリパートとして書き出します。
[画像: バッファは CPU ごとのシャードに分割され、それぞれが独自のインメモリパートをフラッシュします。]
バッファは CPU ごとのシャードに分割され、それぞれが独自のインメモリパートをフラッシュします。
パートは、VictoriaLogs(および他の VictoriaMetrics 製品)全体の中核的なデータ構造の 1 つです。これは、検索可能、つまりクエリ可能な自己完結型のデータバンドルです。
ほとんどの場合、バッファリングされたバッチはインメモリパートにフラッシュされますが、まれに、バッチが大きすぎてインメモリサイズ制限を超える場合、パートは代わりにディスクに直接書き込まれ、小さいまたは大きいパートになります。
メトリクス vl_insert_flush_duration_seconds: バッファリングされたバッチをインメモリパートに変換するのにかかる時間。
バッチがフラッシュされると、VictoriaLogs は各ログをパーティションにファイリングし、パーティションは正確に 1 日(UTC)のログを保持します。各ログのタイムスタンプを読み取り、それが属する日を計算して、そこにルーティングします。
つまり、ログは日付ごとに分離されます。これはディスク上で直接確認でき、日付ごとに 1 つのディレクトリが作成されます。
$ tree victoria-logs-data/
victoria-logs-data/
└── partitions/
├── 20260109
├── 20260110
├── 20260111
└── 20260112
この日ごとのレイアウトは、単なる実装の詳細ではありません。日常的な 2 つの操作が安価である理由です。
- 保持は、日付ディレクトリ全体を削除することで実現されます。ログが
-retentionPeriod(デフォルトは 7 日)を超えて古くなった場合、またはディスクベースの保持が有効になった場合、VictoriaLogs は個々のログ行を探すのではなく、日付フォルダ全体を削除します。 - クエリはほぼ常に時間範囲が限定されています(
_time:1h、_time:5m)。そのため、VictoriaLogs はクエリの時間範囲と重なる日付パーティションのみを開けばよく、残りを無視できます。
パーティションは、ディスク上のフォルダだけではありません。2 つの側面があります。既に書き出されたパートを保持するディスク側の側面と、バッファシャードと先ほど見たインメモリパートを保持するメモリ側の側面です。
[画像: パーティションにはメモリ側とディスク側があります。]
パーティションにはメモリ側とディスク側があります。
日付をクエリすると、パーティションは両方の側面から同時に結果を提供し、必要に応じてディスクから関連するパートをプルします。
メトリクス vl_storage_parts は、存在するパートの数を数え、どこにあるかで内訳が表示されます: メモリ内のパートは {type="storage/inmemory"}、ディスク上のパートは {type="storage/small"} および {type="storage/big"} です。また、vl_pending_rows{type="storage"} は、まだパートになっていないバッファに残っている行数を数えます。
## 3. パート: VictoriaLogs が実際に保存する単位
パートについてはセクション 1 で既に触れました。パートとは、バッファがフラッシュ時に生成する、自己完結型で検索可能なログのバンドルです。ここでは、パートには 3 つのタイプがあることを付け加えます。これらは実際には、そのライフサイクルの異なる段階にある同じデータです。
- インメモリパート: 最初はメモリ内に作成されるため、ディスクへの書き込みを待たずに、新しく取り込まれたログはほぼ即座にクエリ可能になります。
- 小さいパート: 耐久性のためにディスクに書き出されたインメモリパートです。
- 大きいパート: 時間の経過とともに小さいパートが結合された結果です。
[画像: インメモリパートが小さいパート、次に大きいパートに結合されます。]
インメモリパートが小さいパート、次に大きいパートに結合されます。
インメモリバッファ内のログは、ディスクに触れる前にまずインメモリパートにフラッシュされ、これが取り込みを安価に保ちます。
パートは、ディスクには大きく、まれなチャンクでしか到達せず、小さいパートはメモリ内でより大きいパートにマージされるため、VictoriaLogs はディスクへの書き込みと読み取りをはるかに少なく行います。これにより、低 IOPS の遅い HDD 上でも、毎秒約 1 GiB のログを取り込むことができます。
最初のタイプにはトレードオフがあります。インメモリパートは RAM に存在するため、ログは数秒以内にクエリ可能になりますが、ディスク上ではまだ安全ではありません。VictoriaLogs は、短い間隔でディスクへのフラッシュを保証することで、このギャップを埋めます。これを制御するフラグは -inmemoryDataFlushInterval(デフォルトは 5s)で、インメモリデータがディスクに到達することが保証される頻度です。
ディスク上では、各パートは 16 文字の 16 進数名(単なる ID)を持つディレクトリで、パーティションの datadb フォルダ内にあります。別の indexdb フォルダには、その日のストリームカタログが含まれています。
$ tree victoria-logs-data/partitions/20260109/
victoria-logs-data/
└── partitions/
└── 20260109/
├── indexdb/
└── datadb/
├── 1882C35B4CE64498/
├── 1882C35B4CE664F8/
├── 1882C35B4CE66BDB/
└── parts.json
parts.json ファイルは、現在アクティブなパートのリストにすぎず、VictoriaLogs は起動時にどのディレクトリを読むべきかを知ることができます。
$ cat victoria-logs-data/partitions/20260109/datadb/parts.json
["1882C35B4CE64498", "1882C35B4CE664F8", "1882C35B4CE66BDB"]
パートは不変です。一度書き込まれると、そのファイルは変更されません。これがスナップショットとバックアップを安全かつ安価にする理由です。
では、小さいパートと大きいパートの違いは何でしょうか?
これはオペレーティングシステムのページキャッシュにかかっています。簡単に言うと、これは OS が最近読み取られたファイルデータを保持するために使用する RAM のスライスであり、同じバイトを再度読み取る際にディスクではなくメモリから取得できるようにします。マシンに RAM が多いほど、このキャッシュは大きくなり、より多くのログが直接メモリから提供されます。小さいパートは、そのキャッシュを通過して書き込まれ、意図的に小さく保たれるため、通常は RAM に留まり、素早く読み戻されます。そのサイズは、VictoriaLogs が OS のキャッシュ用に空けておく RAM(少なくとも 10 MB)でスケーリングします。それより大きいものは代わりに大きいパートとして書き込まれます。大きいパートは最大約 1 TB まで成長でき、書き込み時にページキャッシュをバイパスするため、大規模なマージが最近のクエリが依存するホットデータを追い出すことを防ぎます。
上記のコードスニペットで見た datadb フォルダの隣には indexdb フォルダがあります。datadb がパート(実際のログ)を保持するのに対し、indexdb はストリームの日次カタログです。どのストリームが存在し、どのようなフィールドを持っているか。クエリを実行すると、VictoriaLogs は最初にこのカタログをチェックして、どのストリームが一致する可能性があるかを判断するため、関連のないストリームのログには決して触れません。これは独自の投稿に値するため、ここでは割愛します。
## 4. VictoriaLogs のデータ構造のメンタルモデル
実際のファイルを開く前に、パートがどのようにレイアウトされているかのメンタルモデルを持つと役立ちます。導きのアイデアはシンプルです。VictoriaLogs は、後で読み取る際に可能な限り少ないデータに触れるようにデータを配置します。2 つのアイデアがほとんどの作業を行います。
### 4.1 ログはストリームと時間ごとにブロックにグループ化されます
パート内では、ログはブロックに詰め込まれます。ブロックは単一ストリームからの行を保持し、パートは多くのブロックを含みます。ブロックはストリームごとに、次に時間ごとに配置され、各ブロック内の行はタイムスタンプでソートされます。
[画像: パートのブロックはストリームごとにグループ化されています。]
パートのブロックはストリームごとにグループ化されています。
ブロックは、圧縮されていないデータで約 2 MiB に制限されます(パートが結合されると約 4 MiB まで拡張できます)。各ブロックは、ログ自体とは別に保持される小さなメタデータ片であるブロックヘッダーを持ちます(セクション 5.8 で開く index.bin にあります)。それは以下を記録します。
- ブロックが属するストリーム
- 保持する行数
- ブロック内の最小および最大タイムスタンプ
これらのヘッダーは非常に小さく、実際のログデータとは別に保存されているため、VictoriaLogs はそれらをスキャンして、どのブロックが読み取る価値があるかを、スキップするブロックのログ行に一切触れることなく判断できます。
これが、フィルタリングされたクエリが安価である理由です。1 時間にわたる 1 つのストリームを要求すると、VictoriaLogs はそのストリームのブロックに直接ジャンプし、各ブロックヘッダーの最小および最大タイムスタンプを使用して、時間範囲がウィンドウと重ならないブロックをすべてスキップします。関連のないストリームや範囲外のブロックは一切読み取りません。
### 4.2 各フィールドはカラムであり、クエリは要求されたものだけを読み取ります
少数のログを視覚化する自然な方法は、行ごとに 1 つのレコードです。各ログ行は行であり、そのすべてのフィールドが並んでいます。
[画像: 3 つのログ、行ごとに 1 つのレコード。]
行ごとに 1 つのレコードを持つ 3 つのログ。
ブロック内では、VictoriaLogs はこれを反転させます。各ログを行としてまとめて保持する代わりに、各フィールドを独自のカラムとして保存し、値は行ごとに並んでいます。
[画像: カラムごとに保存された同じログ。]
カラムごとに保存された同じログ。
フィールドを独自のカラムに保持するということは、VictoriaLogs がリクエストが実際に使用するカラムにのみ触れればよく、すべての行のすべてのフィールドを読み取る必要がないことを意味します。ログが持つフィールドが多いほど、これは重要になり、VictoriaLogs が多くのフィールドと多くの異なる値を持つ広範なログを快適に処理できる大きな理由の 1 つです。
また、これが LogsQL の fields パイプがクエリを高速化する安価な方法である理由でもあります。デフォルトでは、クエリはすべてのフィールドを返しますが、これはすべてのカラムを読み取ることを意味します。| fields ...(またはそのエイリアス | keep ...)を追加すると、VictoriaLogs は名前を付けたカラムのみを読み取り、残りをスキップするように指示します。
_time:5m error | fields _time, host, _msg
ここでは、VictoriaLogs はディスクからすべてのマッチする行のすべてのフィールドを取得するのではなく、_time、host、_msg カラムのみを読み取ります。数十のフィールドを持つ広範なログでは、出力を実際に必要とする少数のフィールドに絞り込むことで、クエリが読み取るデータ量を劇的に削減できます。
1 つのフィールドの値をまとめることには、別の利点があります。それは圧縮です。同じフィールドの値は、同じ種類の傾向があります。
levelは常にinfoやerrorのような数少ない単語のいずれかです。statusは常に数値です。timestampは常に時間です。
カラム内の各値が同じ形状またはタイプを持つ場合、それは非常にうまく圧縮され、VictoriaLogs は数値、タイムスタンプ、IP アドレスなどの各カラムに適したストレージ形式を選択することで、これを活用します。
さらに、同じストリーム内のログは互いに非常によく似ているため、カラム内の隣接する値は頻繁に繰り返し、さらに圧縮されます。これが、VictoriaLogs が生のログの数 TiB をディスク上でわずか数百 GiB に、あるいはそれ以下に圧縮できる理由の 1 つです。
それがメンタルモデルです。では、パートを開いて実際のファイルを見て、各ファイルが何のためにあり、どのようにそのモデルに役立つかを見てみましょう。
パートはファイルのディレクトリです。それを一覧表示すると、次のようになります。
1882C35B4CE64498/
├── metadata.json
├── index.bin, metaindex.bin
├── timestamps.bin
├── values.bin0, values.bin1, ...
├── bloom.bin0, bloom.bin1, ...
├── message_values.bin, message_bloom.bin
└── column_names.bin, column_idxs.bin, columns_header.bin, columns_header_index.bin
これらを覚える必要はありません。ほとんどはいくつかのグループに分類され、ほぼすべてが VictoriaLogs が実際のデータを読み取る前に作業を却下するのに役立ちます。
### 5.1 metadata.json: パートレベルの概要
各パートには metadata.json が 1 つだけあり、人間が読める形式なので、VictoriaLogs はそのパートがそもそも開く価値があるかどうかを即座に判断できます。
{
"FormatVersion": 3,
"CompressedSizeBytes": 537919490,
"UncompressedSizeBytes": 6024698288,
"RowsCount": 4240299,
"BlocksCount": 1915,
"MinTimestamp": 1767916800890319297,
"MaxTimestamp": 1767946621349903397,
"BloomValuesShardsCount": 60
}
これだけで、VictoriaLogs はパートが約 424 万行("RowsCount": 4240299)を 1915 ブロック("BlocksCount": 1915)で保持し、ディスク上で約 513 MiB を占めること("CompressedSizeBytes": 537919490、生のログ約 5.6 GiB からなので、圧縮が効果を発揮しています)、そして特定の時間範囲(MinTimestamp および MaxTimestamp)をカバーしていることを知ります。クエリの時間範囲がその範囲と重ならない場合、パート全体が他のものを一切読み取らずにスキップされます。
すべてのログにはタイムスタンプがあり、timestamps.bin は各行の _time を保持する専用のカラムです。これはフィールドカラムとは別に保持されています。なぜなら、ほぼすべてのクエリは時間でフィルタリングまたはソートするため、すべてのタイムスタンプを 1 つのタイトな場所に置くことが有利だからです。
そして、それはコンパクトに保存されます。各完全なタイムスタンプを書き出す代わりに、VictoriaLogs は最初のタイムスタンプを完全な値として保持し、その後は各後続行への小さな差分のみを保持します。数ミリ秒間隔のログのバーストは、ほとんど何も圧縮されない小さな数値の連続に変わります。
[画像: タイムスタンプは、1 つの完全な値とそれに続く小さな差分として保存されます。]
タイムスタンプは、1 つの完全な値とそれに続く小さな差分として保存されます。
上記の図は、1 ブロック分のタイムスタンプのみを示しています。ファイル全体で、タイムスタンプはログと同じように整理されています。ブロックはまずストリームで順序付けられ、同じストリーム内では時間で順序付けられ、各ブロック内の行も時間でソートされています。
[画像: ファイルにはブロックごとに 1 つの差分シーケンスが含まれています。]
ファイルにはブロックごとに 1 つの差分シーケンスが含まれています。
次のいくつかのファイルはすべて 1 つの目的のためです。各フィールドの値の保存と、それらを高速に見つけることです。セクション 4.2 で、各フィールドは独自のカラムであると述べましたが、ディスク上ではそのカラムは単一のきれいなファイルではありません。pod のような 1 つのフィールドをこれらのファイルで追跡することが、それらがどのように適合するかを見る最も簡単な方法です。
### 5.3 column_names.bin: カラム名の短い ID
フィールド名は長く、繰り返しが多い傾向があります。kubernetes.pod.name や kubernetes.labels.app を考えてみてください。そして、単一のパートが数千または数百万のブロックを保持できることを思い出してください。各ブロックがその名前を独自のメタデータに記述する必要があるとすると、同じ長い文字列が何度も重複し、パートは名前だけで大きくなり、読み取りが遅くなります。
そのため、VictoriaLogs は、パート内の各ユニークなフィールド名に短い数値のカラム ID を割り当てます。column_names.bin はそのマッピングが存在する場所です。これは、_msg を除くパート内のすべてのフィールド名の順序付けられたリストです(_msg は独自のファイルを持ちます)。リスト内の名前の位置がその ID になります。
[画像: リスト内の名前の位置がカラム ID です。]
リスト内の名前の位置がカラム ID です。
これ以降、パート内の他のどの要素も完全な名前を繰り返す必要はありません。ブロックとそのカラムヘッダーは ID でカラムを参照するため、kubernetes.pod.name はここで 1 回だけ保存され、他のすべての場所では小さな整数になります。
### 5.4 column_idxs.bin: カラムが存在するシャード
次の質問は、カラムのデータが実際にどこに行くかです。VictoriaLogs はすべてのフィールド値を 1 つの巨大なファイルに積み重ねるわけではありません。代わりに、それらをシャードに分割します。各シャードはファイルのペアです。
- 値用の
values.binN - ブルームフィルタ用の
bloom.binN(ブルームフィルタについては後述します)。
各カラムの値は単一のシャード内に保持されますが、異なるカラムは異なるシャードに分散されるため、多くのフィールドを持つパートは、それらを 1 つに詰め込むのではなく、多くのシャードファイルに分散されることになります。
[画像: 各カラムのデータは、値のペアのファイル values.binN とブルームフィルタのファイル bloom.binN であるシャードに格納されます。]
各カラムのデータは、値のペアのファイル values.binN とブルームフィルタのファイル bloom.binN であるシャードに格納されます。
パート内の各ユニークなフィールド名について、VictoriaLogs はシャード番号を選択し、その「カラムからシャードへの」マッピングを column_idxs.bin に記録します。この割り当てはパート全体で安定しているため、同じフィールドは常に同じシャードに配置されます。
pod がシャード 1 に割り当てられた場合、各ブロックの pod 値は values.bin1 に、各ブロックは独自のオフセット(ファイル内の独自の場所)で格納されます。
[画像: 各カラムは安定したシャードに割り当てられ、pod はブロックごとに values.bin1 に格納されます。]
各カラムは安定したシャードに割り当てられ、pod はブロックごとに values.bin1 に格納されます。
パートは最大 128 個のシャードを持つことができます(values.bin0 から values.bin127、および対応する bloom.bin0 から bloom.bin127)。新しいフィールド名が現れると作成されるため、小さいパートには数個しかない場合があります。パートに 128 個を超えるユニークなフィールドがある場合、シャード番号は 0 にラップバックします。129 番目のフィールドは最初のフィールドの隣の values.bin0 に、130 番目のフィールドは values.bin1 に入ります。したがって、128 フィールドを超えると、一部のフィールドは単にシャードを共有します。
正確な数は、metadata.json で見た BloomValuesShardsCount です。ここでは、スクロールバックしなくても再度表示します。
{
"FormatVersion": 3,
"CompressedSizeBytes": 537919490,
"UncompressedSizeBytes": 6024698288,
"RowsCount": 4240299,
"BlocksCount": 1915,
"MinTimestamp": 1767916800890319297,
"MaxTimestamp": 1767946621349903397,
"BloomValuesShardsCount": 60
}
ハイライトされた行は、このパートのシャード数です。60 は、VictoriaLogs がここで 60 個のシャードペアを作成したことを意味します。values.bin0 から values.bin59 まで、それぞれに対応する bloom.bin0 から bloom.bin59 があります。この数は、パートが認識したユニークなフィールド名の数にすぎません。最初のフィールドはシャード 0 に、2 番目のフィールドはシャード 1 に配置されます。
このようにカラムを分散させることで、単一のファイルがボトルネックになるのを防ぎ、異なるフィールドが異なるシャードファイルに配置されることが多いため、VictoriaLogs が異なるフィールドを並列で読み取れるようになります。
### 5.5 values.binN および message_values.bin: フィールドの値
ここにログデータ自体が最終的に存在します。各ブロックは、フィールドの値のセットを 1 つのブロブ(連続したバイトの単一チャンク)としてエンコードし、そのフィールドのカラムファイルに追加します。
シャードはフィールドごとに固定されているため、単一の values.binN は多くの小さなブロブを保持することになり、各ブロブはフィールドごとにブロックごとに 1 つです。
[画像: 独立したシャードファイル。ブロックは複数のシャードに書き込むことができ、特定のカラムがそのシャードにない場合もあります。]
独立したシャードファイル。ブロックは複数のシャードに書き込むことができ、特定のカラムがそのシャードにない場合もあります。
各ブロブの中には、ブロックのカラムの値が、行ごとに 1 つずつ、セクション 4.2 で見たように、カラムの内容に適した方法でパックされています。
- 繰り返しの単語のカラムは、小さな辞書とそれへの参照として保存されます。
- 数値は数値として保存されます。
- すべて同じ値は単一の定数になります。
- タイムスタンプや IP アドレスなどのタイプは、独自のコンパクトな形式になります。
現時点でのポイントは、各値タイプがそれに適した方法でコンパクト化されていることだけです。ここではすべての形式の詳細には踏み込みません。
メッセージフィールドは特別なケースです。内部的には、VictoriaLogs は _msg を「メインカラム」として扱います(そのカラム名は実際には空文字列で、クエリでは _msg と表示されます)。そして、メッセージデータは共有シャードに混在させるのではなく、独自のファイル message_values.bin に保持します。
メッセージは通常、最も大きく、最も頻繁に読み取られるフィールドであるため、独自のファイルにすることで、VictoriaLogs は小さなフィールドから独立してメッセージを読み取り、デコードできます。
[画像: _msg カラムは独自のファイルにあり、ブロックごとに 1 つのブロブがあります。]
_msg カラムは独自のファイルにあり、ブロックごとに 1 つのブロブがあります。
### 5.6 ブルームフィルタ: bloom.bin および message_bloom.bin
それらの値のすぐ隣にはブルームフィルタがあり、まったく同じようにシャード化されています(bloom.binN は values.binN とペアになり、message_bloom.bin はメッセージカラムをカバーします)。それらのジョブは、安価な事前フィルタであることです。これは、VictoriaLogs が実際の値を読み取る前に実行される、迅速な Yes/No チェックであり、ほとんどのブロックは開かれることなく破棄できます。
ブルームフィルタは、1 ブロックのカラム内のすべての単語の小さなフィンガープリントです。単語自体を保存するのではなく、単語が「この単語はこのブロックに含まれている可能性があるか?」という 1 つの質問に答えるのに十分なビットのみを保存します。
その答えは 2 つのいずれかです。「確実にない」(確実性あり)または「可能性がある」。それは以下を行うことができます。
- 単語が実際には存在しない場合に、時々「可能性がある」と答えることがあります。
- しかし、存在する場合に「ない」と答えることは決してありません。
その片側保証は、フィルタに必要なものです。したがって、error を検索すると、VictoriaLogs はまず各ブロックのブルームフィルタに問い合わせ、明らかに「ない」と答えたブロックをすべてスキップし、その後、「可能性がある」と答えた少数のブロックから実際の値を読み取ります。
[画像: 各ブロックのブルームが最初にチェックされ、「可能性がある」場合にのみ、その値が読み取られます。]
各ブロックのブルームが最初にチェックされ、「可能性がある」場合にのみ、その値が読み取られます。
それを構築するために、VictoriaLogs はブロックの 1 つのカラム(例えば _msg フィールド)を取り、その中の各値をトークンに分割します。トークンとは、文字、数字、またはアンダースコアの連続です。
GET /cart 200 や POST /pay 200 のようなメッセージの場合、トークンは GET、cart、200、POST、pay などです。次に、そのブロック全体のユニークなトークンをそのブロックのブルームフィルタに記録します。後で error を検索すると、VictoriaLogs はクエリを同じようにトークンに分割し、ブルームに「これらのトークンはここにありますか?」と尋ねます。
各ユニークなトークンは約 2 バイトしかかからないため、サイズを推測するのは簡単です。1,000 個のユニークな単語を持つブロックカラムは約 2 KB のブルームを必要とし、20,000 個のユニークなトークンを持つブロックは約 40 KB を必要とします。これが、非常に言葉数の多いログに対する全文検索が安価であり続ける理由です。
自分でデータでこれを測定できます。メッセージにはいくつのユニークな単語がありますか(高価なクエリ):
* | unpack_words as words drop_duplicates | unroll words | stats count_uniq(words) as unique_words
メッセージあたりの 99 パーセンタイルの単語数(より安価なクエリ):
* | unpack_words as words drop_duplicates | json_array_len(words) as words_count | stats quantile(0.99, words_count) as p99_words_per_msg
これらの両方をVictoriaLogs Playground で今すぐ試すことができます。
さて、ブルームフィルタは値とまったく同じように分割されています。各(ブロック、カラム)ペアに対して 1 つのブルームブロブがあり、そのブロック内のカラム全体のフィンガープリントです。
[画像: 各ブルームブロブは、同じブロックカラムの対応する値ブロブと 1 対 1 でペアになります。]
各ブルームブロブは、同じブロックカラムの対応する値ブロブと 1 対 1 でペアになります。
そして、2 つは 1 対 1 で整列します。bloom.binN と values.binN は同じシャード番号を共有するため、ブロックのブルームが「可能性がある」と答えた瞬間、対応する値ブロブはペアのファイルにあり、読み取る準備ができています。
### 5.7 columns_header.bin および columns_header_index.bin: ブロック内のカラムの特定
これで、最後の接続を除くすべてが揃いました。フィールド名の短い ID(5.3)、フィールドが存在するシャード(5.4)、そして値とブルームフィルタが values.binN および bloom.binN(5.5、5.6)のペアのブロブとして存在することを知っています。
まだ 1 つの質問が残っています。単一の values.binN は多くのブロブを連続してパックしていますが、正確にどこから 1 つのブロックの pod ブロブが始まり、その長さは何バイトか? VictoriaLogs がファイル全体をスキャンせずに読み取れるように、その正確なバイト範囲を指し示すのが、カラムヘッダーのジョブです。
カラムヘッダーは、1 つのブロック内の 1 つのフィールドを記述する小さなレコードです。そのため、(ブロック、カラム)ごとに 1 つあります。これはデータではなくマップであり、カラムを盲目的に読み取ることなく操作するために必要な情報だけを含んでいます。
- 値のタイプ(文字列、辞書、数値、タイムスタンプ、IP など)。これにより、VictoriaLogs はバイトをどのように読み取るかを判断します。
- 数値、タイムスタンプ、IP カラムのオプションの最小値と最大値。これにより、範囲フィルタはブロックに触れることなくブロックを除外できます。
- そのカラムの値ブロブのバイトオフセットとサイズ、およびそのブルームブロブのオフセットとサイズ。
[画像: カラムヘッダーは、値ファイルとブルームファイルへの小さなマップです。]
カラムヘッダーは、値ファイルとブルームファイルへの小さなマップです。
上記の図は、status カラムのブロックに対する 1 つのカラムヘッダーです。それは以下を示しています。
- 値は小さな整数です(
uint16タイプ)。 - そして、
200から504の範囲です。 - 値ブロブはオフセット
4096から始まり、values.bin2で312バイト続きます。 - そして、そのブルームブロブはオフセット
880から始まり、bloom.bin2で64バイトです。
これらはすべて、VictoriaLogs が範囲フィルタでブロックをスキップするか、それらの 2 つのバイト範囲に直接シークしてそれ以上何も読み取らないために必要な情報です。
ブロックは通常多くのカラムを持つため、それらのすべてのヘッダーはまとめてパックされ、columns_header.bin に単一のブロブとして書き込まれます。ファイルはブロック順にレイアウトされ、異なるブロックは異なるフィールドを含む可能性があるため、各ブロックのブロブには、そのブロックが持つカラムのヘッダーのみが含まれます。
[画像: columns_header.bin の内部では、ブロックごとに 1 つのブロブがあり、そのブロックのカラムヘッダーが含まれています。]
columns_header.bin の内部では、ブロックごとに 1 つのブロブがあり、そのブロックのカラムヘッダーが含まれています。
そのパッキングは小さな問題を引き起こします。ブロック 0 の status のみが必要だとします。ブロック 0 は pod、level、status、host をその順序で格納しています。手動で見つけるには、最初のヘッダーから始めて、pod の長さが level のどこから始まるかを知るために必要であることを読み取り、level を読んで status がどこから始まるかを見つけ、同様に、実際に必要なヘッダーの前に来るすべてのヘッダーに触れる必要があります。
columns_header_index.bin はそのウォークを排除します。各ブロックについて、カラム ID をブロブ内の各カラムヘッダーの正確なバイトオフセットにマッピングする小さなルックアップテーブルを格納します。そのため、スキャンする代わりに、VictoriaLogs はテーブルを読み取り、status(カラム 2)がオフセット 96 にあることを確認し、そこに直接ジャンプします。
[画像: ブロックごとのインデックスは、1 つのカラムヘッダーにジャンプし、それが値ファイルへのポインタとなります。]
ブロックごとのインデックスは、1 つのカラムヘッダーにジャンプし、それが値ファイルへのポインタとなります。
したがって、1 つのブロックの status を読み取ることは、短い直接的なチェーンをたどります。そのブロックのエントリの columns_header_index.bin で status のオフセットを検索し、columns_header.bin からそのヘッダーのみを読み取り、そのオフセットとサイズを values.bin2 に直接たどります。残っている唯一の未解決の点は、VictoriaLogs が特定のブロックのヘッダーブロブがどこにあるかをどのように知るかであり、それが最後のファイルです。
### 5.8 index.bin および metaindex.bin: ブロックを見つけるインデックス
上記すべては、VictoriaLogs が既に気にかけているブロックを把握していることを前提としています。インデックスは、そこへ到達するためのものです。セクション 4.1 を思い出してください。各ブロックには小さなブロックヘッダーがあります。それは、ストリーム、時間範囲、行数、およびそのブロックのタイムスタンプとカラムヘッダーが存在する場所へのリンクです。
index.bin は、パートのすべてのブロックヘッダーが存在する場所です。そのため、ブロックごとに 1 つのブロックヘッダーがあります。それらはインデックスブロックと呼ばれるチャンクにグループ化されています。
[画像: ブロックヘッダーはインデックスブロックと呼ばれるチャンクにグループ化されています。]
ブロックヘッダーはインデックスブロックと呼ばれるチャンクにグループ化されています。
そして、まだ終わりではありません。これまでのところで、VictoriaMetrics 製品と同様に、VictoriaLogs は同じトリックを繰り返し行うことを気に入っていることに気づいたかもしれません。大きなものをスキャンするのではなく、適切な場所を最初に指し示すことができる小さなものを使用します。
インデックスブロック(index.bin)も例外ではありません。クエリに一致する少数のブロックを見つけるためにすべてのブロックヘッダーをスキャンすることは、数千のブロックを持つ大きなパートではそれ自体が遅くなるため、さらに 1 つのレイヤー、インデックス上のインデックスである metaindex.bin があります。
metaindex.bin は、インデックスブロックごとに 1 つの小さなレコードを保持し、各レコードは index.bin 内のそのインデックスブロックの場所と、それがカバーするストリームおよび時間範囲の概要を格納します。全体は十分に小さいため、VictoriaLogs はそれをメモリに保持します。
[画像: 2 つのレベルが、ブロックヘッダーが読み取られる前に検索を絞り込みます。]
2 つのレベルが、ブロックヘッダーが読み取られる前に検索を絞り込みます。
この 2 レベルの形状により、最初の読み取りからクエリがターゲット設定されます。VictoriaLogs は、メモリ内の metaindex.bin をスキャンします。各レコードは単なるストリーム範囲、時間範囲、および index.bin へのリンクです。
metaindex.bin
streams time range index.bin offset size
a–f 09:00 – 09:20 0 4096
g–m 09:20 – 09:40 4096 4096
n–z 09:40 – 10:00 8192 3072
そこから、クエリと重なる可能性のあるストリームと時間範囲を持つインデックスブロックのみを保持し、それらを index.bin から読み取って関連するブロックヘッダーを取得し、各ブロックヘッダーから既に見たリンクをたどり、タイムスタンプ、ブルームフィルタ、カラムヘッダーを経て、必要な正確なバイトまでたどります。パート内のすべてのファイルは、そのパスを短く保つために存在します。
上記のファイルレベルの詳細なしでも VictoriaLogs をうまく実行できますが、チューニングやトラブルシューティングを行う際にはメンタルモデルが役立ちます。パート内のすべてのファイルは 1 つの理由で存在します。それは、小さいものを読み取って大きいものをスキップすることです。そのため、クエリは常に本当に必要なバイトにのみ触れます。
[画像: パート内の各ファイルは次のファイルへのポインタとなり、クエリはパート全体から数バイトに絞り込まれます。]
パート内の各ファイルは次のファイルへのポインタとなり、クエリはパート全体から数バイトに絞り込まれます。
- ログはストリームにグループ化され、日次パーティションに保存されます。ストリームフィールドは安定した低カーディナリティに保ってください。
- 保持は日付全体を削除し、クエリは時間範囲内の日付にのみ触れるため、時間範囲が限定されたクエリは安価です。
- 1 日は不変のパートで構成され、複数のパートが見られるのは正常です。
- クエリが高速なのは、VictoriaLogs がすべてのレベルで作業をスキップするためです。時間範囲によるパート全体、ストリームと時間によるブロック、クエリするフィールドによるカラム、ブルームフィルタによるキーワードです。