HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: Ctrlb-decompose、LLMに送信する前にログからノイズを除去

Show HN: Ctrlb-decompose: Strip the noise from logs before sending to LLMs (github.com)

34 pointsby ruhani_grover7 コメント

要約

Ctrlb-decomposeは、大量のノイズの多いログ行を、統計情報、異常検知、相関関係を含む構造化されたパターンに圧縮するツールです。これにより、数百万行のログを、型付けされた変数、分位点統計、異常フラグ、重要度スコアリングを備えた少数の実行可能なパターンに変換できます。CLI、WASM経由のブラウザ、またはRustライブラリとして動作します。

全文翻訳

ctrlb-decompose

数百万ものノイズの多いログ行を、型付けされた変数、分位数、異常、LLM向けの出力を持つコンパクトなパターンに変換します。

CLI、WASM経由のブラウザ、またはRustライブラリとして実行可能 — ログがマシンを離れることはありません。

[画像: ctrlb-decompose ターミナルデモ]

ウェブサイト: ctrlb.ai


60秒で試す

インストール不要、サインアップ不要 — パイプライン全体(CLPエンコーディング、Drain3クラスタリング、型付け、統計)がクライアントサイドでWebAssemblyで実行されます。

  1. ctrlb.ai/decompose を開く
  2. ログファイルを貼り付けるかドロップする(またはサンプルデータで試すには Generate Example をクリック)
  3. Analyze をクリックして、数千行のログが数個の型付きパターンに収束するのを見る

Before / After

実際の56,482行のApache風エラーログを、ブラウザデモでライブ分解しました:

Before — 生の、繰り返しが多く、スキミング不可能な状態:

[Thu Jun 09 06:07:05 2005] [error] env.createBean2(): Factory error creating channel.jni:jni ( channel.jni, jni)
[Thu Jun 09 06:07:05 2005] [error] config.update(): Can't create channel.jni:jni
[Thu Jun 09 06:07:05 2005] [error] env.createBean2(): Factory error creating vm: ( vm, )
[Thu Jun 09 06:07:05 2005] [error] config.update(): Can't create vm:
[Thu Jun 09 06:07:05 2005] [error] env.createBean2(): Factory error creating worker.jni:onStartup ( worker.jni, onStartup)
... このような行がさらに56,477行 ...

After — 25個の型付きパターンに、ボリューム順にランク付けされ、246msで表示:

ctrlb-decompose: 56,482 lines → 25 patterns (100.0% reduction)
Time range: 06:07:04 UTC → 03:49:01 UTC

Pattern #1 [ERROR] (20,862 occurrences, 36.9%)
  "<TS> [error] [client <*>] <*> <*> <*> <*> <*>"
  Variables:
    IPv4:   456 unique values
    String: 46 unique values
    Enum:   does (100.0%), to (0.0%)
    Enum:   not (100.0%), serve (0.0%)
    Enum:   exist (100.0%), directory (0.0%)
    String: 81 unique values

Pattern #2 (7,044 occurrences, 12.5%)
  ...
出力モード

HUMANモード — ターミナルでの調査用に色付けされています:

[画像: 人間が読める出力]

LLM OPTIMIZEモード — LLMへの入力用にコンパクトなMarkdown形式:

[画像: LLM最適化出力]


リソース

リソース
ライブブラウザデモctrlb.ai/decompose
Claude Codeプラグインgithub.com/ctrlb-hq/ctrlb-decompose/tree/main/plugin
研究論文ctrlb.ai/research

仕組み

cctrlb-decomposeは、2段階の正規化およびクラスタリングパイプラインを使用しており、最小限のメモリフットプリントで単一のストリーミングパスでログを処理します。

                         ┌──────────────────────────────────────────────┐
                         │            ctrlb-decompose pipeline          │
                         └──────────────────────────────────────────────┘

  Raw Log Lines
       │
       ▼
┌──────────────┐    Strip & parse timestamps (ISO 8601, Apache,
│  Timestamp   │    syslog, Unix epoch, etc.) into normalized
│  Extraction  │    <TS> markers with DateTime values.
└──────┬───────┘
       │
       ▼
┌──────────────┐    Replace integers, floats, IPs, and strings
│     CLP      │    with compact placeholder bytes. Structurally
│   Encoding   │    identical lines now produce the same "logtype."
└──────┬───────┘
       │
       ▼
┌──────────────┐    Tree-based similarity clustering (Drain3) groups
│   Drain3     │    logtypes into patterns. Differing tokens become
│  Clustering  │    <*> wildcards. Incremental — no second pass needed.
└──────┬───────┘
       │
       ▼
┌──────────────┐    Merge CLP-decoded values with Drain3 wildcard
│   Variable   │    positions. Classify each variable into semantic
│  Extraction  │    types: IPv4, UUID, Duration, Enum, Integer, etc.
│  & Typing    │
└──────┬───────┘
       │
       ▼
┌──────────────┐    DDSketch quantiles (p50/p99), HyperLogLog
│  Statistics  │    cardinality estimation, top-k values, temporal
│ Accumulation │    bucketing, and reservoir-sampled example lines.
└──────┬───────┘
       │
       ▼
┌──────────────┐    Frequency spikes, error cascades, low-cardinality
│   Anomaly    │    flags, bimodal distributions, and clustered
│  Detection   │    numeric detection.
└──────┬───────┘
       │
       ▼
┌──────────────┐    Keyword-based severity (ERROR > WARN > INFO > DEBUG),
│   Scoring    │    temporal co-occurrence, shared variable correlation,
│ & Correlation│    and error cascade detection across patterns.
└──────┬───────┘
       │
       ▼
┌──────────────┐
│    Output    │──── Human (ANSI terminal) / LLM (compact markdown) / JSON
└──────────────┘
Stage 1 — CLP Encoding

CLP (Compressed Log Processor)エンコーディングは、変数トークンを型付きプレースホルダーに正規化するため、構造的に同一の行は実際の値に関わらず同一のログタイプを生成します:

Input:   "Request from 10.0.1.15 completed in 45ms status=200"
Logtype: "Request from <dict> completed in <float>ms status=<int>"
Stage 2 — Drain3 Clustering

Drainアルゴリズムはログタイプ上にプレフィックスツリーを構築し、トークン類似度(設定可能、デフォルト0.4)でグループ化します。トークンが分岐する場所では、テンプレートに<*>ワイルドカードが追加されます。これはインクリメンタルに実行されます — 各行は2回目のパスなしで一度だけ処理されます。

変数分類

抽出された変数は、よりリッチな分析のためにセマンティックタイプに分類されます:

タイプ例検出
IPv4 / IPv610.0.1.15CIDRパターンマッチ
UUID550e8400-e29b-...8-4-4-4-12形式の16進数
Duration45ms, 3.2s数値 + 時間単位の接尾辞
HexID0x1a2b3c4桁以上の16進数
Integer200i64としてパース可能
Float3.14.を含み、f64としてパース可能
EnumERROR低カーディナリティ(<=20ユニーク、上位3つ>=80%)
Timestamp2024-01-15T14:22:01ZRFC 3339パターン
Stringその他すべてフォールバック
メモリ効率
  • Drain3クラスタ: LRUエビクション付きO(k)(デフォルト最大10k)
  • 分位数: DDSketch — 数値スロットあたり約200バイト、生の値は保存しない
  • カーディナリティ: HyperLogLog++ — 高カーディナリティ変数あたり約200バイト
  • 例: リザーバーサンプリング — パターンごとにバッファを制限

インストール

macOS (Homebrew)
brew tap ctrlb-hq/tap
brew install ctrlb-decompose
Debian / Ubuntu
curl -LO https://github.com/ctrlb-hq/ctrlb-decompose/releases/download/v0.1.0/ctrlb-decompose_0.1.0-1_amd64.deb
sudo dpkg -i ctrlb-decompose_0.1.0-1_amd64.deb
Windows x64

GitHub Releasesからctrlb-decompose-x86_64-pc-windows-msvc.zipとその.sha256ファイルをダウンロードします。ZIPにはctrlb-decompose.exeが含まれており、Rustのインストールは不要です。

PowerShellで、ZIPのSHA-256ハッシュを.sha256ファイルの値と比較します:

Get-FileHash .\ctrlb-decompose-x86_64-pc-windows-msvc.zip -Algorithm SHA256
Get-Content .\ctrlb-decompose-x86_64-pc-windows-msvc.zip.sha256

ZIPを展開し、PowerShellから実行可能ファイルを実行します:

Expand-Archive .\ctrlb-decompose-x86_64-pc-windows-msvc.zip -DestinationPath .\ctrlb-decompose
.\ctrlb-decompose\ctrlb-decompose.exe --version
.\ctrlb-decompose\ctrlb-decompose.exe --json "C:\logs\server.log"
Get-Content "C:\logs\server.log" | .\ctrlb-decompose\ctrlb-decompose.exe --json

オプションで、展開したディレクトリをユーザーのPATHに追加すると、どのディレクトリからでもctrlb-decomposeを実行できます。これはコマンドラインツールです。実行可能ファイルをダブルクリックするのではなく、ターミナルで実行してください。

ソースからビルド
git clone https://github.com/ctrlb-hq/ctrlb-decompose.git
cd ctrlb-decompose
cargo build --release
# バイナリは target/release/ctrlb-decompose にあります
Docker

2つのバリアントが提供されています — 環境に適したベースイメージを選択してください:

バリアントファイルベースイメージサイズ
DebianDockerfiledebian:bookworm-slim~140MB
AlpineDockerfile.alpinealpine:3 (musl, 静的に小さい)~19MB
git clone https://github.com/ctrlb-hq/ctrlb-decompose.git
cd ctrlb-decompose

# Debianベースのイメージ
docker build -t ctrlb-decompose .

# ... またはより小さいAlpineベースのイメージ
docker build -f Dockerfile.alpine -t ctrlb-decompose .

# stdin経由でログファイルをパイプする
cat /var/log/syslog | docker run --rm -i ctrlb-decompose --llm

# ファイルをコンテナにマウントして分析する
docker run --rm -v "$(pwd)/server.log:/logs/server.log:ro" ctrlb-decompose server.log --top 10

使用方法

# stdinからパイプ
cat /var/log/syslog | ctrlb-decompose

# ファイルから読み込み
ctrlb-decompose server.log

# LLM最適化出力(コンパクト、トークン効率が良い)
ctrlb-decompose --llm app.log

# JSON出力
ctrlb-decompose --json app.log

# 各パターン3つの例を含むトップ10パターン
ctrlb-decompose --top 10 --context 3 app.log
オプション
ctrlb-decompose [OPTIONS] [FILE]

Arguments:
  [FILE]          ログファイルのパス(省略または "-" の場合はstdinを読み込む)

Options:
      --human         人間が読める出力(色付き)(デフォルト)
      --llm           LLM最適化コンパクトMarkdown
      --json          構造化JSON出力
      --top <N>       トップNパターンを表示(デフォルト: 20)
      --context <N>   パターンごとの例行数(デフォルト: 0)
      --no-color      ANSIカラーを無効にする
      --no-banner     ヘッダー/フッターを抑制する
  -q, --quiet         進捗メッセージを抑制する
  -h, --help          ヘルプを表示
  -V, --version       バージョンを表示

出力フォーマット

cctrlb-decomposeには3つの出力モードがあり、すべて同じ分析パスから生成されます — 読み取る場所に合わせて選択してください。ブラウザデモで--humanと--llmを並べて表示したものは、Before/Afterスクリーンショットを参照してください。

フォーマットフラグ最適な用途
Human--human (デフォルト)ターミナル調査 — 色付き、視覚的なバー
LLM--llmLLMへの入力 — コンパクト、トークン効率の良いMarkdown
JSON--jsonプログラムによる消費 — 構造化、機械可読

Human — ctrlb-decompose server.log --top 2

┌──────────────────────────────────────────────────────────────────┐
│ ctrlb-decompose: 80,000 lines -> 3 patterns (100.0% reduction) │
└──────────────────────────────────────────────────────────────────┘
  Time range: 14:22:01 UTC -> 16:35:10 UTC

Pattern #1 (75,211 occurrences, 94.0%)
  "<TS> INFO [<*>] Request from <*> completed in <*> status=<*>"
  Variables:
    HexID:    804 unique values
    IPv4:     27 unique values
    Duration: mean=46, p50=45, p99=116, min=3, max=169
    Integer:  mean=224, p50=198, p99=498, min=200, max=503

Pattern #2 [WARN] (2,773 occurrences, 3.5%)
  "<TS> WARN [<*>] Connection pool exhausted, waiting <*>"
    HexID:    726 unique values
    Duration: mean=526, p50=529, p99=889, min=150, max=900

LLM — ctrlb-decompose server.log --llm

プロンプトに直接貼り付けるように設計された、コンパクトでトークン効率の良いMarkdown — 56K行のログに対する完全な実例については、LLM OPTIMIZEスクリーンショットを参照してください。

JSON — ctrlb-decompose server.log --json --top 1

{
  "summary": {
    "total_lines": 80000,
    "pattern_count": 3,
    "patterns_shown": 1,
    "patterns_omitted": 2,
    "time_range": {
      "start": "2026-08-21T14:22:01.051+00:00",
      "end": "2026-08-21T16:35:10.707+00:00"
    }
  },
  "patterns": [
    {
      "id": 1,
      "template": "<TS> INFO [<*>] Request from <*> completed in <*> status=<*>",
      "count": 75211,
      "frequency_pct": 94.0,
      "severity": "info",
      "variables": [
        { "slot": 0, "type": "HexID", "unique_count": 804 },
        { "slot": 1, "type": "IPv4", "unique_count": 27 },
        { "slot": 2, "type": "Duration", "unique_count": 157 },
        { "slot": 3, "type": "Integer", "unique_count": 4 }
      ]
    }
  ]
}

Claude Code Plugin

Claude Codeから直接ctrlb-decomposeを使用 — CLIの知識は不要です。プラグインはctrlb-decomposeを自動的にインストールし、質問するだけでログを分析できます。

インストール
/plugin marketplace add ctrlb-hq/ctrlb-decompose
/plugin install ctrlb-decompose@ctrlb-hq
使用方法

自然言語で説明するだけです:

  • "/var/log/app.logのエラーを分析して"
  • "このログファイルの最も一般的なパターンは何ですか?"
  • "これらのログを要約して、異常を強調してください"

Claudeはctrlb-decomposeがインストールされているか確認し(インストールされていない場合は手順を案内)、分析を実行して結果を説明します — エラーを最初に表示し、異常を指摘し、次に調査すべきことを提案します。

詳細については、github.com/ctrlb-hq/ctrlb-decompose/tree/main/pluginを参照してください。


ライセンス

MIT