Show HN: Contrastive Language-Audio Pretraining を使用して機械的故障を分類する
Show HN: Classify mechanical faults using Contrastive Language-Audio Pretraining (github.com)
要約
cardiag は、車の故障音を YouTube や TikTok から収集し、音声処理と CLAP モデルによる埋め込みを経て、機械学習で故障を分類するエンドツーエンドのパイプラインです。このツールは、完全な診断ではなく、故障の有無、発生箇所、および可能性のある部品のリストを提示する「トリアージ補助」として機能します。特に、音声データが不十分な場合に「不確実」と正直に報告する点が特徴で、他の音声データセットにも応用可能なクリーニングと学習のレシピを提供します。
全文翻訳
cardiag は、エンドツーエンドのオーディオMLパイプラインです。YouTube/TikTokから故障音クリップをスクレイピングし、オーディオをクリーニング(機械音を音声や音楽、ノイズから分離)し、凍結されたCLAPモデルで埋め込み、故障をトリアージするための小さな線形ヘッドをトレーニングします。これはCLIとライブWebアプリとして提供されます。
cardiag-demo.mp4[動画]
これは概念実証であり、その意味するところを正直に示しています。電話録音から車の故障を診断するのは非常に困難であるため、cardiag は診断ツールではなく、調整されたトリアージ支援ツールとして構築されています。それは、何かが間違っているように聞こえるかどうか、車のどのあたりで発生しているか、そして可能性のある部品のランク付けされた短いリストを教えてくれます。オーディオが判断をサポートできない場合は、ごまかすのではなく「不確実」と表示します。
真の貢献は、クリーニングと正直なトレーニングのレシピであり、他のオーディオデータセットでも再利用可能です。ここでは控えめな精度ですが、これは粗い電話オーディオから問題を診断することの難しさを反映しています(文献の限界に達しました)。同じ方法で、クリーンなエンジンオーディオでは 0.93 の AUROC を達成します。詳細は docs/DEFENSE.md を参照してください。
インタラクティブデモ
2つのページがパイプラインの最初の2段階を可視化します。
- エンジンの音声を分離する — ノイズの多いYouTubeオーディオ(音声、音楽、ロードノイズ)から短い機械音の区間を抽出する
clean()カスケードのインタラクティブな表示です。 - CLAP、ステップバイステップ — 凍結されたCLAPモデルが、それらの区間を線形ヘッドが分類するための 512 次元の埋め込みにどのように変換するかを示します。
実際の成果
漏洩を防いだ(ビデオごとにグループ化された CV、1,031 ビデオグループで実施)、サンプル外で測定された結果です(順列検定 p = 0.0005)。これらはリーダーボードではなく、正直な数値です。
| 能力 | 結果 | 機会との比較 |
|---|---|---|
| 何か間違っているか?(故障/正常) | AUROC 0.79 [0.76, 0.83] | 0.50 |
| 車のどこか?(6ゾーン) | トップ3で正しいゾーン ≈ 75% | 2倍 |
| どの部品か?(12+ファミリー) | トップ3で正しい部品 ≈ 45–65% | 3–4倍 |
| わからないときにわかる | キャリブレーション済み(ECE ≈ 0.04)、UNCERTAIN を返す | — |
詳細と、サンプル外で失敗したために降格したヘッド(ノック)については、docs/MODEL_CARD.md を参照してください。
クイックスタート:クローンして推論
新規クローンですぐに使用できます。小さな事前トレーニング済みモデルが models/ に含まれており、合成デモクリップもバンドルされているため、何もダウンロードまたはスクレイピングする必要はありません。
git clone <this-repo> && cd car-diagnosis
uv venv && source .venv/bin/activate
uv pip install -e " .[scrape,web,dev,viz]" # Python 3.11
cardiag doctor # 事前チェック:インストールされているもの
cardiag train --fixtures # 約2秒でオフラインで動作するモデル(スクレイピングなし、2 GBダウンロードなし)
cardiag diagnose <clip.wav> # 判定 + 車のどこか + ランク付けされた部品
cardiag serve --model models # ライブWebアプリ:クリップをドロップ / リンクを貼り付け、「理由を説明」
隔離されたワークツリーで全体をエンドツーエンドで検証します: bash scripts/clone_verify.sh。
仕組み
audio ──► clean() cascade ──► CLAP embedding ──► linear heads ──► Diagnosis
(区間を分離) (凍結、512次元) (故障/領域/ (キャリブレーション済み、
部品/ノック) UNCERTAIN対応)
1つのセグメンテーションパスがあります。スクレイピングされたクリップ、独自の録音(cardiag ingest、任意の長さ)、および推論時のアップロードはすべて、短い機械音の区間を分離する同じ clean() カスケードを流れます。約10秒を超える区間はウィンドウに分割されるため、CLAPがサイレントに切り捨てることはありません。トレーニングとサービングは1つの埋め込み契約を共有するため、トレーニング/サービングのスキューはありません。
使用方法
cardiag diagnose clip.wav # フルモデル:判定 + 領域 + ランク付けされた部品
cardiag triage clip.wav # キャリブレーション済みのエンジン対走行ギア
cardiag clean clip.wav # 機械音を分離(モデル不要)
cardiag inspect clip.wav -o r.html # パイプラインを表示/聞く:区間、スペクトログラム、スコア
cardiag ingest ./my_audio --kind fault --cause wheel_bearing # 独自のオーディオを取り込む
cardiag scrape youtube|tiktok # コーパスを構築(Redditは非推奨 - ノイズが多すぎる)
cardiag train # コーパスでトレーニング
機械可読出力には、任意の推論コマンドに --json を追加します。
ドキュメント
- docs/DEFENSE.md — 意図的に粗い方法が実際のトリアージ結果を生み出すという、正直なケース。
- docs/MODEL_CARD.md — ヘッドごとのメトリクス、意図された使用法、制限事項。
- docs/architecture.md — パイプライン図。
- docs/scraping-guide.md — 最初から最後までコーパス構築。
スコープと正直さ
ソーシャルスタイル/ターゲットアップロードオーディオ(YouTube、TikTok、またはユーザーが意図的に録音した電話クリップ)に有効です。これは、安全クリティカルまたはスタンドアロンの診断ではありません。これは、どこを見るべきかを絞り込み、不確実性について正直であるトリアージアシスタントです。モデルファイルはjoblibアーティファクトです。信頼できるもののみをロードしてください。
ライセンス:LICENSE を参照してください。