HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

オープンソースのキャンドルのみの仮想通貨ポンプ検出器 – 機械学習コントリビューター募集

An open-source, candle-only crypto pump detector–looking for ML contributors (github.com)

3 pointsby alekshenderson0 コメント

要約

このプロジェクトは、BinanceとBybitの1分足・5分足の市場統計と過去のローソク足アーカイブからデータを取得し、仮想通貨のポンプ・ダンプ相場を検出し、Telegram経由で通知するTypeScript製のオープンソースツールです。セットアップは簡単で、取引所のAPIキーは不要です。検出されたポンプイベントを手動でレビューし、機械学習モデルの改善に役立てるための機能も備えています。

全文翻訳

Pump and Dump Crypto Screener

[画像: Pump/dump summary terminal output — episodes table with coin, duration, peak, and TradingView links]

TypeScriptとpnpm monorepoを使用して、BinanceおよびBybitから1分/5分足の市場統計とバルクklineアーカイブを取得し、ポンプ/ダンプ相場を検出し、Telegram経由でアラートを送信します。

ライブボットを試す: Open @pumpdumpscreenerautobot on Telegram

要件: Node.js 20+, pnpm 9+, pm2 (本番環境用プロセス管理).

セットアップ方法

取引所のAPIキーは不要です。 BinanceとBybitのデータは、公開されているバルクアーカイブと公開RESTエンドポイントから取得されます。

無料アカウントが2つ必要です(それぞれ約2分で作成可能):

| サービス |
| --- | --- | --- |
| Turso | ポンプ、モニター実行、Telegram購読者を保存 |
Turso CLI: turso db create screener → URLと認証トークンをconfig.jsにコピー |
| Telegram | ポンプアラートおよび /stats / /runs / /about ボット |
@BotFather → /newbot → docs/telegram_setup.md を参照 |

1. 依存関係のインストールと設定
pnpm install
cp config.example.js config.js   # Turso + Telegram を入力 (上記テーブル参照)

config.jsを編集します。最低限、database、telegramBotToken、およびプライベートなclassifierTelegramChatIdを設定してください。オプションで、投票制御なしの常時稼働の公開グループまたはチャンネルフィードのためにpublicTelegramChatIdを設定できます。ボットは、その宛先のディスカッショントークンを検出します。publicTelegramChatUrlは、明示的なhttps://t.me/...のユーザー名または招待URLでこれを上書きできます。/startを送信したユーザーは自動的にアラートに購読され、/stats、/runs、/aboutを使用できます。分類チャットのみが投票をレガシー分類フィールドに同期します。ポンプのルックバックとスキャン設定はpumpの下にあります(デフォルトはconfig.example.js)。

database: {
  url: "libsql://screener-....turso.io",
  authToken: "...",
},
telegramBotToken: "123456789:ABC...",
classifierTelegramChatId: "36772199",
publicTelegramChatId: "-1001234567890", // オプションの読み取り専用グループ/チャンネル
publicTelegramChatUrl: "https://t.me/example_chat", // オプションのリンク上書き
web: {
  port: 3000,    // ローカルアプリサーバー; nginxが公開HTTP/HTTPSを終端
  host: "127.0.0.1",
},
pump: {
  days: 5,        // ダウンロード+スキャンのためのルックバック日数
  minScore: 80,
  scanCache: true,
  requireCalmPrePump: false, // 機能フラグ: ポンプ前に2時間の静穏期間を要求する
},
2. データベースのビルドと初期化
pnpm build
pnpm db:bootstrap

コード変更後は必ず pnpm build を再度実行してください — PM2は自動でリビルドしません。

3. PM2での起動

本番環境の実行は、リポジトリルートにあるecosystem.config.cjsで定義されています。これは3つのプロセスを起動します:

| PM2名 |
| --- | --- |
| pump-monitor | pnpm pump:monitor | ダウンロード → スキャン → ポンプの永続化 → Telegramアラート |
| pump-bot | pnpm pump:bot | /stats、/runs、/about、および Pump | Dump | None ボタンクリック |
| pump-web | pnpm pump:web | 保存された最後の10件のポンプを表示するシンプルなHTTPページ |

pm2 start ecosystem.config.cjs

[画像: pm2 monit dashboard — pump-monitor and pump-bot processes with live pipeline logs]

PM2はすべてのプロセスを稼働させ続けます。pump-monitorがパイプライン実行を完了すると終了し、PM2は直ちに次の実行を開始します(autorestart: true)。これにより、手動のcronループが置き換えられます。

初回実行では、pump.days分のローソク足をdata/market_stats/にダウンロードします — ネットワークとディスクが必要です。数時間かかる場合があります。市場データはリポジトリに含まれていません。

Webページはデフォルトで127.0.0.1:3000でpump-webによって提供されます。公開HTTP/HTTPSのためにその前にnginxを配置してください。docs/nginx_letsencrypt.mdを参照してください。

再起動後もPM2を維持するには:

pm2 save
pm2 startup   # 表示されるコマンドに従う (サーバーごとに1回)

ポンプイベントレビューア

[画像: Pump Event Reviewer showing the event browser, Telegram subscriber votes, an interactive historical candlestick chart, and human classification controls]

/reviewにある手動レビューアは、検出されたポンプを評価および改善するための人間がラベル付けしたデータセットに変換します。これは、高速でキーボードフレンドリーなワークフローのために設計されています:

  • ステータス、カテゴリ、取引所、シンボル、日付で保存されたポンプイベントをブラウズおよびフィルタリングします。
  • スクリーンショット検出時間の中央にある1分または5分足のOHLCVチャートとともに、Telegram購読者の投票を検査します。チャートはローカル履歴が利用可能な場合はそれを使用し、それ以外の場合はイベントの公開BinanceまたはBybit APIから4時間ウィンドウをロードします。
  • 各イベントをウィックスパイク、弱いポンプ、持続的な動き、ボリュームのみ、流動性の低いノイズ、または不明瞭として分類します。オプションで信頼度とコメントを記録します。
  • キーボードショートカットで保存して次に進み、既存のラベルを再確認し、レビューの進捗を追跡し、ラベル付けされたデータセットをJSONまたはCSVとしてエクスポートします。

人間によるアノテーションは、元のポンプレコードとは別に保存されるため、レビューは検出器の出力を変更しません。ワークスペースは既存のTursoデータベースを使用し、ブラウザから取引所へのリクエストは行わず、簡単なHTTP Basic認証で保護できます。セットアップ、アクセス制御、デプロイメント、リリースチェックについては、pump review operator guideを参照してください。

PM2の日々の運用

pm2 status
pm2 logs                          # 全てのアプリ
pm2 logs pump-monitor             # ダウンロード + スキャンパイプライン
pm2 logs pump-bot                 # Telegramボット
pm2 logs pump-web                 # HTTPページ

pm2 restart ecosystem.config.cjs  # config.js またはコード変更後 (先にリビルド)
pm2 restart pump-monitor          # パイプラインのみ再起動
pm2 restart pump-bot              # ボットのみ再起動
pm2 restart pump-web              # HTTPページのみ再起動

pm2 stop ecosystem.config.cjs
pm2 delete ecosystem.config.cjs

config.jsを編集した後、影響を受けるプロセスを再起動します(pm2 restart pump-monitor、pump-bot、またはpump-web)。設定のみの変更で再起動する場合、PM2のリロードは不要です。

分類ボタンにはpump-botの実行が必要です — これはecosystem.config.cjsに含まれており、本番環境ではオプションではありません。

pump-monitorの動作

PM2で駆動される各実行は、エンドツーエンドのパイプラインです:

  1. ダウンロード — BinanceおよびBybitからの最後のpump.days分の1分/5分足ローソク足(アーカイブ + RESTフォールバック)。docs/fetch_all.mdを参照してください。
  2. スキャン — ポンプ/ダンプ検出。data/market_stats/reports/pump_events.ndjsonを出力します。
  3. 永続化 + アラート — ポンプエピソードをTursoにupsertします。新しい、現在のポンプごとにTelegramメッセージを送信します(coin|pump_start_utc)。前のモニターサイクルが開始される前に終了したエピソードは、履歴バックフィルです。これらは/reviewのために保存されますが、新しいアラートとしてはブロードキャストされません。

取引所のシンボルユニバースは、data/market_stats/reports/symbol_universe.jsonがpump.universeRefreshDays(デフォルト: 4日)古くなったときに再発見されます。これにより、新しいリストが追加され、上場廃止された銘柄が後続のフェッチとスキャンから削除されます。

ディスク上: data/market_stats/(archives/、api_fallback/raw/、reports/)。繰り返し実行ではキャッシュされたシリーズはスキップされます。何も自動的に削除されません — ディスク使用量と保持期間を参照してください。

購読者および分類者アラートには、Pump | Dump | None の投票ボタンと、設定された公開ディスカッショングループへのリンクがあります。分類チャットからの投票は、pumps.classificationも更新します。設定されたpublicTelegramChatIdは、ボタンなしで同じアラートを受け取ります。他の場所で投票が到着すると、そのメッセージは集計合計で更新されますが、読み取り専用のままです。

[画像: Telegram bot — pump alert with peak score, window, TradingView link, and /stats /runs /about commands]

Tursoブートストラップ(一度だけ):

turso db create screener
turso db show screener --url
turso db tokens create screener
pnpm db:bootstrap

Telegramの詳細: docs/telegram_setup.md。

スキャンキャッシュ

data/market_stats/reports/scan_cache/下のコインごとの結果(基になるCLIで--cache-dirで上書き可能)。エントリは、検出器のバージョン、スキャンパラメータ、ウィンドウ開始、および取引所ごとのロードされたローソク足のIDが変更されない場合に再利用されます — ファイルのmtimeではありません。新しい5分足バーは、増分テールスキャン(約400バー)をトリガーします。UTC深夜のウィンドウロールはフルスキャンをトリガーします。

キャッシュを無効にするには、config.jsでpump.scanCache: falseを設定するか、scan_cache/を削除してからpm2 restart pump-monitorを実行します。

スキャンはワーカー・スレッド・プール(CPUコアを自動検出)を使用します。本番環境のスキャンステップは、ネイティブ・ワーカー・スレッドを備えたコンパイル済みdist/cli.jsを使用します(Linux/VDSで必須)。

ディスク使用量と保持期間

市場ローソク足キャッシュと検出器実行ディレクトリは自動的に削除されません。長期間稼働するVDSでは、data/market_stats/は無制限に増加します(数ヶ月で100GB以上は普通です)。

| パス |
| --- | --- |
| archives/ | Binanceバルクアーカイブダウンロード、symbol=X/date=YYYY-MM-DD | 日数 × シンボル数 | はい |
| api_fallback/raw/ | RESTフォールバックローソク足、date=YYYY-MM-DD/symbol=X | 日数 × シンボル数 | はい |
| extracted/ | NDJSONに展開されたアーカイブ、date=YYYY-MM-DD/symbol=X | 日数 × シンボル数 | はい — 派生、archives/から再生成可能 |
| reports/archive_gaps.ndjson | 現在のフェッチ実行における欠落アーカイブURLの診断 | 現在の実行のみ | いいえ |
| reports/pump_detector/<runId>/ | オーケストレーターログ + コインごとの2つのファイル | 各実行(約50MB/個) | いいえ |
| reports/scan_cache/ | コインごとのスキャン結果 | シンボル数のみ(約6MB) | はい |

reports/pump_detector/が通常大部分を占めます。新しい実行ディレクトリは各スキャンで作成され、PM2はpump-monitorが終了するとすぐに再起動するため、コードパスが読み取らないデバッグ出力が1日あたり数GBになります。

スキャン自体はpump.days分のローソク足のみを必要とします。/review UIのために、archives/、api_fallback/、およびextracted/を読み込んで過去のエピソードのチャートを描画するためのより長い保持期間が存在します — 保持期間を下回る場合、チャートはTradingViewにフォールバックしますが、保存されたポンプ行はデータベースの保持カットオフまで利用可能です。

scripts/prune-market-data.shは、両方を年齢に基づいて削除します。デフォルトではドライランです:

./scripts/prune-market-data.sh            # プレビュー: マッチしたディレクトリとサイズ
./scripts/prune-market-data.sh --apply    # 削除

デフォルトでは60日分のローソク足と2日分の実行ディレクトリを保持します。RETAIN_DAYS、RUN_RETAIN_DAYS、DATA_DIRで上書きできます。pump-monitorが稼働中でも安全に実行できます — 実行ディレクトリのフロアは実行中の実行を保持し、パイプラインは当日の日付パーティションのみを書き込みます。

毎日cronで実行しないようにするには:

(crontab -l 2>/dev/null; echo "17 4 * * * cd /path/to/repo && ./scripts/prune-market-data.sh --apply >> /tmp/prune-market-data.log 2>&1") | crontab -
データベースイベント保持期間

本番環境の保持ポリシーは、Tursoに365日のポンプ/ダンプイベントを保持します。pumps.start_msがカットオフより古い行は、pump_annotations、Telegram投票、およびTelegramメッセージ参照とともに削除されます。保持する必要のあるレビュー済みラベルは/reviewからエクスポートし、削除を適用する前にデータベースバックアップを取得してください。

データベースコマンドもデフォルトではドライランであり、他のデータベースコマンドと同じTurso認証情報を読み取ります:

pnpm db:prune-pumps                                      # デフォルトの365日カットオフをプレビュー
PUMP_RETAIN_DAYS=180 pnpm db:prune-pumps                 # カスタムカットオフをプレビュー
PUMP_RETAIN_DAYS=365 pnpm db:prune-pumps -- --apply      # 1トランザクションで削除

プレビューはデプロイごとに実行してください。そのカウントが理解され、バックアップポリシーが確立されたら、applyコマンドを週に一度スケジュールします:

(crontab -l 2>/dev/null; echo "47 4 * * 0 cd /path/to/repo && PUMP_RETAIN_DAYS=365 pnpm db:prune-pumps -- --apply >> /tmp/prune-pumps.log 2>&1") | crontab -

削除コマンドは、行を検査する前に現在のスキーマを適用するため、既存のデータベースにも大文字小文字を区別しないleading_exchangeフィルターインデックスが適用されます。通常のデプロイ中に独立してpnpm db:bootstrapを実行して、Webプロセスが再起動される前にマイグレーションの失敗が可視化されるようにしてください。

PM2自体のログはdata/とは別に蓄積されます。du -sh ~/.pm2/logsで確認してください。pm2 flushでクリアし、pm2 install pm2-logrotateで再発を防ぎます。

一時的なCLIフラグ

パイプラインCLIは、単一の手動実行が必要な場合(デバッグのみ)にフラグを受け入れます:

pnpm pump:monitor -- --no-telegram --cache-dir /path/to/cache

通常の運用はPM2のままにしてください。

診断

ローカルキャッシュカバレッジ — ルックバックウィンドウに対するディスク上のデータの完全性:

pnpm report:coverage
pnpm report:coverage -- --exchanges binance --days 7
pnpm report:coverage -- --start 2026-06-03T00:00:00Z --end 2026-06-04T00:00:00Z --json

出力例:

Window: 2026-06-03 → 2026-06-04 (1 days), intervals 5m
For all coins present on exchange: Binance 82.9% cached (1133/1367), Bybit 80.0% cached (...)

便利なフラグ: --days、--exchanges、--quote-currencies、--discover、--json。

ワークスペースレイアウト

  • ecosystem.config.cjs — PM2プロセス定義(pump-monitor、pump-bot、pump-web)
  • config.js — Turso、Telegramボットトークン、pump.*、fetch.intervals(config.example.jsからコピー)
  • scripts/prune-market-data.sh — data/market_stats/の年齢ベースのクリーンアップ
  • pnpm db:prune-pumps — Tursoポンプイベントのドライラン優先の保持期間クリーンアップ
  • packages/core — HTTPクライアント、設定、プルウィンドウ
  • packages/exchanges — 取引所アダプター
  • packages/storage — NDJSON、ギャップ、マニフェストI/O
  • packages/universe — シンボルユニバースとタスク解決
  • packages/archive — アーカイブプランナーとダウンロードランナー
  • apps/fetch-market-archives — ユニバースアーカイブプルCLI(+カバレッジレポート)
  • packages/db — スクリーンショットデータベース(Turso/libSQL)
  • packages/pump-detector — ポンプ相場検出(PUMP_DETECTION_RULES.md)
  • apps/run-pump-detector — スキャンワーカープールとpump_events.ndjson
  • apps/pump-monitor — フェッチ + スキャン + Turso + Telegramアラート + HTTPポンプページ
  • apps/fetch-market-stats — RESTローソク足プルCLI(スタンドアロン、pump-monitorでは使用されない)

ライセンス

このプロジェクトはMIT Licenseの下でオープンソースです。