Show HN: Bullshit Detector – 動画や記事をファクトチェックするエージェントスキル
Show HN: Bullshit Detector – agent skills that fact-check videos and articles (github.com)
要約
Bullshit Detectorは、インターネット上の情報、特に動画や記事をファクトチェックするためのエージェントスキルです。YouTube動画、記事、ツイート、PDFなどのURLを指定すると、主張ごとに検証レポートとBSスコア(0〜10)を生成します。このツールは、AIによって構築されたAIハイプをファクトチェックするツールであり、検証には外部ソースの使用を必須としています。
全文翻訳
Bullshit Detector
[画像: skills.sh] [画像: License: MIT] [画像: checks]
[画像: Launching soon on TinyLaunch]
[画像: BS REPORT — bullshit-detector. Point your agent at a video, article, tweet or PDF. Get every claim back, checked, scored, and sourced. Verdicts: confirmed, plausible, misleading, false, unverifiable. No source, no verdict — not even when the model is sure.] [画像: BS REPORT — bullshit-detector. Point your agent at a video, article, tweet or PDF. Get every claim back, checked, scored, and sourced. Verdicts: confirmed, plausible, misleading, false, unverifiable. No source, no verdict — not even when the model is sure.]
実際のレポートを読む → — 270万回再生された「AIバブルは弾けるのか」という動画からの60の主張を検証し、そのうち44件を個別に検索、各判定にソースをリンクしています。
インターネットをファクトチェックするエージェントスキル。バイラルなYouTube動画、記事、ツイート、またはPDFにエージェントを向け、主張ごとの検証レポートをソース付きで取得し、額面通りに「AIで稼ぐ10の方法🤯」を受け取るのではなく、BSスコア(0~10)を得られます。
ポータブルなAgent Skills — プレーンなMarkdownと自己完結型のPythonで構成されています。Claude Code, Codex, GitHub Copilot, Cursor, Gemini CLI, OpenCode, Zed、およびスキル形式をサポートし、ウェブ検索機能を持つあらゆるハーネスで動作します。ターミナルがない場合?Claude CoworkはGitHub URLからバンドル全体をインストールできます。
Claude Codeでオープンに構築されました — AIがAIの誇大広告をファクトチェックするツールを構築するのを助け、例のレポートは、そのツールが自身の仲間を監査している様子です。
インストールしましたか?GitHubが変更を通知してくれます。 新しいスキルやルール変更はすべてリリースとして出荷されます。このページの最上部にあるWatch → Custom → Releasesをクリックすると、GitHubが各リリースをメールで通知します。スターはサイレントブックマークであり、実際に通知を受けるための設定です。サインアップ不要、リスト登録不要、購読解除するものもありません。
他の方法をご希望ですか?@SerhiiFounderをフォローするか、ニュースレターに参加してください。
クイックスタート
-
uvをインストールします(まだインストールしていない場合)。フェッチスクリプトはこれを使用して依存関係を自己解決します。
-
skills.shインストーラーを実行し、必要なスキルとエージェントを選択します:
npx skills@latest add SerhiiKorniienko/bullshit-detector
- エージェントに次のように質問します:「is this bullshit? <url>」、「fact-check this video」、「summarize <url>」、「explain the part at 12:30」.
Claude Codeプラグインとしてインストール
自分でファイルを管理するのではなく、新しいバージョンが出荷されるたびに更新される管理されたバンドルを好みますか?Claude Code内で以下を実行します:
/plugin marketplace add SerhiiKorniienko/bullshit-detector
/plugin install bullshit-detector@serhii-korniienko
2つのインストール方法、2つの哲学:
- skills.sh はスキルをあなたのセットアップにコピーするため、自分でハックしてカスタマイズできます。あらゆるエージェント(Claude Code, Codex, Copilot, Cursor, Gemini CLI, OpenCode, …)で動作します。
- プラグインは、読み取り専用で常に最新の状態のバンドルとして保持します。これは、動作して進化に追従したい場合に最適です。Claude CodeおよびClaude Coworkで利用できます。
どちらか一方を選択してください — 両方をインストールすると、Claude Codeに各スキルのコピーが2つ存在することになります。
各アプリケーションでの動作
行は要求する内容、列は要求する場所です。アプリケーションごとのステップバイステップのセットアップはSETUP.mdにあります。
| 要求する内容… | Claude Code CLI / Codeタブ | Claude Cowork ターミナルなし | Claude Chat claude.ai / デスクトップ | コーディングエージェント Codex, Copilot, Cursor, Gemini, … |
|---|---|---|---|---|
| 「これはデマか?」 — YouTubeまたはTikTokのリンク | ✅ | ✅ (Chromeコネクタ使用時) | ⚠️ トランスクリプトを貼り付け | ✅ |
| — 記事、ツイート、またはPDF | ✅ | ✅ | ✅ サイトがClaudeをブロックする場合は貼り付けまたは添付 | ✅ |
| — 下書きまたは貼り付けた任意のテキスト | ✅ | ✅ | ✅ | ✅ |
| 要約または説明 | ✅ | ✅ | ✅ | ✅ |
| 送信可能なHTMLレポートカード | ✅ | ✅ (閉じる前にダウンロード) | ✅ (閉じる前にダウンロード) | ✅ |
| ソーシャル投稿 + 画像カルーセル | ✅ | ❌ (あなたのマシンが必要) | ❌ (あなたのマシンが必要) | ✅ |
Claude CodeおよびCoworkの列はフィールドテスト済み(2026年8月14日最新版での実実行)。Chatおよびコーディングエージェントの列は各プラットフォームのドキュメントがサポートするものです。もしセルの情報が間違っていたら、私に教えてください。コーディングエージェントはスクリプトを実行し、ウェブを検索できる必要があります — エージェントごとの詳細はSETUP.mdにあります。
アプリケーションごとのウォークスルー:Claude Code · Cowork · Chat · Codex · ChatGPT · Copilot · Cursor · Gemini CLI · その他すべて
なぜこれらのスキルが存在するのか
#1: バイラル ≠ 真実
100万回再生された金融系インフルエンサーが「AIで稼ぐための14の方法」を語っています。そのうちどれだけが真実でしょうか?再生回数、制作の質、自信は証拠ではありません。解決策は退屈です:すべての主張を抽出し、独立した情報源でそれぞれをチェックし、生き残ったものをスコアリングします。これはまさに、ウェブ検索機能を持つエージェントが得意とし、人間が決してやろうとしない作業です。
解決策: bullshit-detector — 主張ごとの判定(✅確認済み / 🟡もっともらしい / 🟠誤解を招く / ❌偽 / ❓検証不可能)、誇大広告シグナルスキャン、インセンティブ分析(「これを信じると誰が利益を得るか」)、そして0~10のBSスコアを提供します。判定にはソースが必要であり、スキルはモデルの記憶のみに基づいて確認または反論することを禁止しています。
#2: エージェントは動画を見られない
あなたのエージェントは27分間の動画を最後まで見ることができませんし、YouTubeの公式APIではあなたが所有していない動画のキャプションは取得できません。ツイートも同様で、公式APIは現在投稿ごとに課金され、有料記事も同様です。
解決策: fetch-content — APIキーなしで、任意のURLをクリーンなテキストとメタデータに変換する単一のスクリプトです。yt-dlp経由でYouTubeのトランスクリプトやTikTokのキャプション、readability抽出経由で記事、PDF、無料エンドポイント経由でツイートを取得できます。失敗した場合は、サイレントな推測ではなく、実行可能なヒント(ペイウォール→貼り付け、キャプションなし→Whisper)を生成します。
#3: 取得と判断の分離
コンテンツの取得と分析は異なる仕事です。スクリプトは決定論的な作業(取得、解析、正規化)を行い、エージェントは推論(主張の抽出、検索、判断)を行います。分析スキルは常に正規化されたテキストとメタデータのみを見るため、TikTokサポートを追加しても分析ロジックには一切触れません。そして、同じ検出器がツイートと3時間のポッドキャストの両方に機能します。
例
116万回再生された「AIで稼ぐ」動画に対する実際の実行結果:examples/0.4.x/report-14-ways-to-make-money-with-ai.md
BSスコア: 5/10 — 実際のツール、実際のトレンド、グルー数学、そして4分ごとのファネル。 12の主張が検証されました:4件確認済み、2件もっともらしい、3件誤解を招く、0件偽、3件検証不可能。注意点として、「Renaissance, D.E. Shaw, Two Sigmaは従業員の資金のみを取引している」(あるファームのあるファンドについては真実)や、マーケットプレイスの統計がそのマーケットプレイス自身の広報から引用されている、といったものがあります。
TikTokの実行例 — 55.2万回再生された「私たちの太陽には隠された双子がいる」という動画:examples/0.4.x/report-second-sun-binary-star.md(BSスコア: 9/10 — 実際の天文学用語が偽の宇宙論に縫い付けられている)
13.7万回再生された「1日1時間で100万ドルのYouTubeチャンネル」動画 — examples/0.5.0/report-1m-youtube-channel.md(BSスコア: 7/10)。アドバイスはまともで平凡ですが、見出しの「動画あたり76,000ドル」は、総事業収益を公開された動画数で割ったものであることが判明しました。すべての証明点は、販売者のみが見ることのできる数字であり、レポートはそれを監査したと偽るのではなく、その点を率直に述べています。
そして気まずいもの:AIの構築が崩壊寸前だと主張する4.3万回再生の動画を、Claudeで構築されたツールでチェックしました — examples/0.5.0/report-claude-situation-shitshow.md(BSスコア: 5/10)。報道は妥当ですが、見出しの数字の計算は実際より約2倍になっています。❌偽と判定された主張は、Anthropicに最も有利なものでもあるため、レポートには利益相反の開示が含まれ、チェックするためのすべてのソースへのリンクが記載されています。
Hacker Newsのあるユーザーが、当然のテストとして、このREADMEをこのツールで実行するように求めてきました。examples/0.4.x/report-own-readme.md(BSスコア: 3/10)。2年間古いAPI価格と、パッケージマネージャーのインストールから始まる「30秒セットアップ」を検出しましたが、これらはv0.4.2で修正されました。また、編集では修正できないことが1つあります。このツールが正確である唯一の証拠は、作者が選んだ動画について書かれたレポートであるということです。
公開前に自分の下書きをチェック
検出器は、あなたの下書きを含む任意のテキストで実行できます。投稿、README、または公開しようとしている発表文にそれを向け、「fact-check my draft」と指示すると、敵対的な読者が最初に攻撃する可能性のある主張を、それぞれを修正するためのソースとともにフラグ付けします。修正よりも安価です。
examples/0.4.x/report-own-readme.mdが存在するのもこのためです。Hacker Newsの誰かがライブでそれを要求し、より多くの人が発見する前に2年間古いAPI価格を発見しました。
できないこと
正直な限界、なぜならこのようなツールは過剰な宣伝で何も得られないからです:
- 前提をチェックしますが、推論はしません。 すべての主張がクリーンに検証できても、結論が論理的に導かれないことがあります。偽の事実は検出されますが、真実から導かれた誤った推論はそのまま通過します。事実ではなく議論を監査したい場合は、このツールは不適切です。
- 到達可能なものしか引用できません。 多くの高評価メディアはエージェントクローラーを完全にブロックしているため、結果に表示されません — SEOコンテンツマーケティングがそのギャップでランク付けされます。それらの報道は、集計者によって引用された形で二次的に再入力されることがあり、独立したソースのように見えますが、そうではありません。測定結果はこちらで、実行前の私の予想よりも悪い結果です。
- 測定されたスコアがあり、そのスコアは良くありません。 480の手動ラベリングされた主張からなる10ケースのコーパスで、キュレーションされた主張の70%を発見し、真実であることがわかっている主張の69%を95%の目標に対して確認し、偽であることがわかっている主張の69%を捕捉し、2つの真実の主張を偽と評価しました。同じコンテンツで3回実行すると、主張の半分が少なくとも1回判定を変更しました。各ケースの詳細な読み取り、およびそれが何を意味し、何を意味しないかは、
eval/RESULTS.mdにあります。ラベルはオーナーのレビュー待ちのドラフトであり、証拠ベースは凍結されていないため、判定列には取得ノイズが含まれます。これは、それ自体の自己監査で指摘された循環性を狭めます(ラベルはコンテンツを選択したのと同じ作者によって書かれています)。しかし、それは除去しません。 #3で追跡されています。 - 判定は実行ごとに異なります。 ウェブ検索は非決定論的です。数分間隔で同じクエリを実行しても、証拠ベースはほとんど異なる結果になる可能性があります。単一のレポートを1回の読み取りとして扱い、測定値として扱わないでください。
実験
検出器自体の動作テストは、結果がどうであれ公開されます — experiments/ を参照してください。最新:「信頼できる情報源を使用する」と指示すると役立つか?(Hacker Newsで質問されました。答えは「まだわからない、そして代わりに遭遇したより興味深いこと」です)。
TikTok動画
はい、TikTokも動作します — 同じように質問してください:「is this bullshit? https://vt.tiktok.com/…」
内部での動作方法:
-
組み込みキャプションを優先。 ほとんどのTikTokには、クリエイターまたは自動生成されたキャプションが付いています。
fetch-contentスクリプトはこれをネイティブに処理します — TikTok URL(vt.tiktok.comの短縮リンクを含む)は、タイムスタンプ付きのトランスクリプトと再生回数/いいね数/リポスト数を返します。動画のダウンロードは不要です。手動での同じ操作:uvx yt-dlp --list-subs <tiktok-url> # 利用可能なものを確認 uvx yt-dlp --write-subs --sub-langs "eng-US" --skip-download <tiktok-url> # .vttを取得 -
キャプションがない場合?Whisperフォールバック。 キャプションのないTikTokやReelsの場合、検証済みのローカル音声認識プロトタイプ(Apple Silicon上のmlx-whisper、システムffmpeg不要 — PyAVが音声をデコード)があり、skills/in-progressから
transcribeスキルとして移行中です。whisper-large-v3-turboを使用してください — 小さいモデルは単語をひどく誤読し、主張の抽出を妨げます。
分析側はどちらでも構いません — 検出器は、7分間のTikTokから取得したか3時間のポッドキャストから取得したかに関わらず、正規化されたテキストとメタデータを見ます(これは設計原則 #3です)。
リファレンス
すべてのスキルはモデルによって呼び出されます:明示的に呼び出すこともできますし、エージェントもあなたのリクエストが適合する場合にそれらにアクセスします(「これは本物か?」は検出器をトリガーします)。
分析
コンテンツについて推論します。ソースに依存しない — テキストがどこから来たかを知ることはありません。
- bullshit-detector — すべての主張を抽出し、ウェブ検索経由で独立したソースに対してそれぞれを検証し、誇大広告シグナルをスキャンし、主張ごとの判定と0~10のBSスコアを含むレポートカードを生成します。
- summarize — タイムスタンプ付きの主要ポイント、注目すべき引用、および正直な「見る価値あり?」の呼びかけを含む構造化されたTLDRを提供します。
- explain — ELI5(5歳児にもわかるように)から、コンテンツまたはその中の任意の概念の深い説明まで、専門用語集と元の内容が前提とする前提条件を含めて提供します。
取得
任意のソースをクリーンなテキストとメタデータに変換します。
- fetch-content — YouTubeトランスクリプト、TikTokキャプション、記事、PDF、ツイート、ローカルファイル。単一のスクリプトで、ソースを自動検出、APIキー不要。
- coverage-check — 主張に対するニュース報道の独立した情報源の数を数え、再版や通信社の記事を単一のソースにまとめます。「40のメディアが確認した」を「1つのプレスリリースが40回再版された」に変換します。GDELT、APIキー不要。
公開
レポートを共有可能な出力に変換します。
- report-card — レポートを、Markdownテーブルを読まない人にも送信できる自己完結型HTMLページとして提供します:スコアヒーロー、❌と🟠のみにフィルタリング、電話用のカードとしての主張、きれいな印刷用PDF。標準ライブラリのみ — 依存関係なし、インストールステップなし。
- share — X(スレッド/シングル)、LinkedIn、Facebook、Reddit、Hacker News、またはニュースレター向けのすぐに貼り付けられる投稿 — さらに、ブランド画像カルーセル:X/Instagram用の1080×1350 PNGと、LinkedInドキュメント投稿に必要なPDF。
ロードマップ
skills/in-progressを参照してください:compare(ソース間での同じトピック — どちらが正しいか?)、transcribe(キャプションなしTikTok/Reels用のWhisper — mlx-whisperプロトタイプが動作し、SKILL.mdは保留中)、Xスレッドウォーク。
連絡を取り合う
これらのスキルをオープンに構築しています — 新しい検出器、アダプター、および実際のファクトチェックレポートが着陸次第、公開します。
- Watch → Custom → Releases:GitHubが各バージョンをメールで通知します。すでにクローンしたリポジトリから直接送信されます。サインアップは不要です。
- Xで@SerhiiFounderをフォロー
- ニュースレターに参加する:新しいスキルと、それを構築する際に何がうまくいかなかったかについて、おおよそ月1回発信します。
ライセンス
MIT