HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Claude-real-video - どんなLLMでもビデオを見ることができる

Claude-real-video - any LLM can watch a video (github.com)

142 pointsby cortexosmain46 コメント

要約

claude-real-videoは、LLM(大規模言語モデル)がビデオを「見る」ことを可能にするツールです。従来のツールが動画のトランスクリプトを読み取るだけだったり、固定間隔でフレームをサンプリングして重要なシーンを見逃したりするのに対し、このツールはシーンチェンジ検出や重複フレームの削除をローカルで行い、LLMが解釈しやすい形式で出力します。これにより、LLMはビデオの内容をより正確に理解できるようになります。

全文翻訳

claude-real-video

[画像: PyPI] [画像: Python 3.10+] [画像: License: MIT] [画像: HN front page]

[画像: Can Claude watch a video? Same question to ChatGPT, Gemini and Claude]

▶ 100秒デモ: ChatGPTとGeminiは動画を見ることができますが、Claudeはできません。crvが動画をフレームとタイムスタンプ付きトランスクリプトに変換した後のClaudeの回答をご覧ください。

[画像: LLM Real Video — Give Your LLM Eyes (60-second film)]

▶ 60秒ピクセルフィルム — 音声オン (GitHub上のmp4) · AIエージェントが「LLMはどのように動画を真に理解できるか?」を検索し、鍵を見つけ、ビジョンを解き放ちます。

[画像: crv 60s demo]

60秒のリアルデモ — 実際のインストール、実行、視聴者。

Claude — または任意のLLM — に実際に動画を見せましょう。

pip install "claude-real-video[whisper]"
npx skills add HUANGCHIHHUNGLeo/claude-real-video   # ワンコマンドで、Claude Code, Cursor, Codex, Copilot, Gemini CLI & 50以上のエージェントホストにスキルをインストール

Claude Code プラグインマーケットプレイス(自動更新を有効にするには /plugin → Marketplaces で設定):

/plugin marketplace add HUANGCHIHHUNGLeo/claude-real-video
/plugin install claude-real-video@claude-real-video

その後、エージェントに動画リンクを貼り付けて質問してください。(CLIのみの使用の場合? crv "<url>" は pip インストールだけで動作します。)

命名: crv は claude-real-video(PyPIパッケージ)の短縮名です。有料アドオンの crv Pro は、Capafyで「llm-real-video Pro」というリスト名で販売されています。

[画像: demo]

▶ 新着: 40秒フィルム — 私のAIエージェントは動画を見ることを学び(そして動作しなくなりました)

同じ58秒クリップ:1 fpsサンプリングを修正 = 58フレーム。crvは実際に変化する26フレームを保持し、--gridで3つのコンタクトシートにパックします。トークンは少なく、何も見逃しません。

この無料版では、AIが動画を見ることができます。 crv Pro では、動画がどのように撮影されたか(カットのリズム、カメラの動き)と、フレームだけでは示せないタイムスタンプ付きのタイムライン:ジェスチャー、表情、声のピッチの変化、感情、音声イベントを理解することができます。買い切り価格29ドル — Capafyで購入 または Lemon Squeezy経由でカードで購入

Codex CLIをご利用ですか? ▶ 36秒デモ · Real Video for Codex は、Codex向けのスタンドアロンビルドです。Codexに動画について質問すると、1つのコマンドが実行され、章、タイムコード付きトランスクリプト、画面上のテキストを含むSUMMARY.mdが読み込まれます。この無料版では、画面上のテキストは省略されます。そのため、12時40分のスライドにある設定ブロックを引用でき、それについて話者が言ったことだけでなく、hh:mm:ss形式で回答します。ダウンロード、フレーム、文字起こし、テキスト認識はすべてお使いのマシンで実行され、ツール自体はAPIキーやアカウントを必要としません。Codexスキルとcrv-easy doctorセルフチェックが付属します。Python 3.10〜3.14、macOSまたはWindows 11ネイティブ。買い切り9.90ドル:Capafyで購入 または Lemon Squeezyでカード購入

ほとんどのAIツールは、実際には動画を見ていません。ChatGPTにYouTubeリンクを貼り付けても、画像ではなくトランスクリプトを読み取ります。Claudeは動画ファイルをまったく受け付けません。ネイティブで動画を読み取れるGeminiでさえ、Googleにアップロードする必要があり、フレームを固定間隔(デフォルトで1fps)でサンプリングするため、速いカットはすり抜けてしまいます。

claude-real-videoは異なり、処理はローカルで実行されます。URLまたはファイルを指定すると、実際に重要なフレーム(シーン変更ごと、固定クォータではない)を取得し、ほぼ重複するものを破棄し、音声を文字起こしして、どのLLMでも読み取れるきれいなフォルダを提供します。すべての処理はお使いのマシンで実行されます — 後でLLMに貼り付けるフレーム/テキストのみがどこかに送信されます。

crv "https://www.youtube.com/watch?v=..."
# → crv-out/frames/*.jpg  +  frames.json (フレームごとのタイムスタンプ)  +  transcript.txt/.json  +  MANIFEST.txt

その後、フレームとMANIFEST.txtをClaude / ChatGPT / Geminiにドロップして質問してください。

ターミナルは不要 — crv-webを実行するとローカルページが開きます(繁体字中国語 / 簡体字中国語 / 英語)。YouTubeまたはReelsのリンクまたはファイルパスを貼り付け、「Analyze」をクリックし、結果ビューアを開きます。動画分析と出力生成はすべてお使いのマシンで実行されます — ソース動画はアップロードされません。(その後、抽出されたフレームやトランスクリプトをクラウドLLMに貼り付けた場合、そのデータはそのプロバイダーに送信されます。)

モデルが最初に何を見るか確認したいですか? --viewer を追加 — ローカルの viewer.html(動画 + キーフレームグリッド + トランスクリプト)が書き出され、ダブルクリックで開けます。ネットワーク不要、追加インストール不要。

動画の一部のみが重要(90分間の通話内の10分間の画面共有):--from 28:00 --to 43:00。ffmpegはファイル全体をデコードせずにシークし、Whisperはそのウィンドウのみを聞き、フレーム予算はそのウィンドウ内で消費されます — しかし、crvが報告するすべてのタイムスタンプは、同僚に引用できるソースタイムコードのままです。

意味は小さなテキスト(ターミナル、スプレッドシート、IDE):--frame-width 1600。フレーム選択が難しい部分であり、crvはすでにそれを処理しています。1920ピクセル幅の画面録画で640ピクセルだと、重要な瞬間が見つかり、その価値があった詳細が失われます。

ゆっくり変化するコンテンツ(アニメーションチュートリアル、段階的なモーフィング、スローパン):--adaptive を追加 — フレームは固定しきい値ではなく、ローリング近傍と比較して選択されるため、単一フレームで決してスパイクしない2〜3秒のスクワッシュ&ストレッチもキャプチャされます。

テキストが多いコンテンツ(講義スライド、画面録画、顔出し解説):--text-anchors を追加 — 字幕キューのタイムスタンプで追加フレームが強制され、シーンがほとんど変化しない場合でも、各音声セグメントに対応するビジュアルが得られます。サイドカーの.srt/.vttまたは埋め込み字幕トラックが必要です — ピクセルに焼き付けられたキャプションは検出できません。1秒あたり最大1つの強制フレーム。シーン検出は変更されません。

複数話者コンテンツ(インタビュー、ポッドキャスト、会議):--speakers を追加 — すべてのトランスクリプト行に話者ラベル([SPEAKER_00]、[SPEAKER_01]…)が付与され、モデルが誰が何を言ったかを追跡できるようになります。ローカルの話し手分離モデル(45MB、一度ダウンロード、アカウントやトークン不要)を実行します。pip install "claude-real-video[speakers]" でインストールします。

LLM作業をしていませんか? 汎用動画キーフレーム抽出ツールとしても機能します — シーン変更検出 + 重複排除、ダウンロード不要のMLモデル。

Claude Code — または任意のコーディングエージェントをご利用ですか? ワンコマンドでスキルをインストールできます(Claude Code、Cursor、Codex、Copilot、Gemini CLI、およびその他のagentskills.io互換ホストで動作します)。

pip install "claude-real-video[whisper]"
npx skills add HUANGCHIHHUNGLeo/claude-real-video

その後、動画リンクをエージェントに貼り付けて質問するだけです。

手動インストール(クローン + コピー)

git clone https://github.com/HUANGCHIHHUNGLeo/claude-real-video.git
mkdir -p ~/.claude/skills && cp -r claude-real-video/skills/claude-real-video ~/.claude/skills/

視聴理由を伝え、見つけたものを保持しましょう:

crv "https://youtu.be/..." --why "find the pricing strategy" --kb ~/notes

--why は分析を、一般的な要約ではなく、あなたが気にかけていることに焦点を当てさせます。--kb は結果を日付付きのノートとしてあなた自身のノートフォルダに保存するため、crv-outで死蔵されません。

0.10.xの新機能 — 重要な部分のみを分析:

crv long-meeting.mp4 --from 28:00 --to 43:00

--from / --to は長い動画からウィンドウを切り出します:ffmpegはファイル全体をデコードせずにシークし、トランスクリプトとフレーム予算はウィンドウに従い、報告されるすべてのタイムスタンプは元のソースタイムコードのままです。そして、フレーム予算とトランスクリプトはファイル全体ではなくウィンドウに従います。


測定値

3分間の640x360動画(benchmark/jfk-rice.mp4)、Mac mini M4、ローカルCPU、フレーム+重複排除のみ(--no-transcribe)での実行。画像トークンはAnthropicの(width x height) / 750で推定 — 640x360で307トークン/フレーム。

モード保持フレーム数実測時間推定画像トークン数
default (シーン変更 + 1秒フロア)170 (抽出180から)23.5秒約52k
--max-frames 808023.4秒約25k
--adaptive (スローモーフィングを検出)27036.8秒約83k

Dedup v0.7.16 — 小さな被写体の速い動きが消えなくなりました。 パーセンテージ比較器は、フレームの1%未満をカバーする被写体に対して構造的に盲目です(ピクセルの8%を決して変更できません)。ユーザーの2,181動画バッチ実行で見つかりました。3番目の「アクションチャンネル」で修正されました。合成再現 — 静止1280x720ショット、40x90 pxの被写体(フレームの0.4%)が65フレームの最後の10フレームでのみ速く動きます:

保持フレーム数アクションフレームの生存数
v0.7.1521 / 10
v0.7.161110 / 10 — 完全な軌跡

なぜフレームをサンプリングするだけではダメなのか?

ほとんどの「LLMに動画を見せる」スクリプト(およびGemini自身のパイプライン)は、固定間隔でフレームを取得します — 例えば1秒に1回。これは静止画面録画を過剰にサンプリングし、速いカットのリールを過小評価します。claude-real-videoはより賢く、以下のようになります:

固定間隔サンプリングclaude-real-video
フレーム選択N秒ごとシーン変更検出 + 密度フロア
繰り返しショット(A-B-Aカット)その都度再送信スライディングウィンドウ重複排除で各ショットを一度だけ送信
静止スライド(10分)約600のほぼ同一のフレーム1に圧縮(重複排除)
速いカットのリールサンプル間にフレームをスキップ各視覚的変化を捉える
音声しばしば無視される言語検出付きWhisperトランスクリプト
処理場所しばしば誰かのクラウドお使いのマシン上(後でLLMと共有するものを選択)
入力通常ローカルファイルのみURL(yt-dlp)またはローカルファイル

モデルに少なく、より意味のあるフレームを供給 — より安価なコンテキスト、より良い理解。


インストール

pip install "claude-real-video[whisper]"   # 推奨:フレーム + 重複排除 + 音声文字起こし
pip install claude-real-video              # コアのみ(フレーム + 重複排除)

pipのextrasは自己インストールされません — [whisper]がない場合、音声認識はありません(動画自体に字幕が含まれている場合でもトランスクリプトは生成されます)。

システム要件: ffmpeg

ffmpeg / ffprobe はフレーム抽出と音声に使用され、pipではインストールできません。一度インストールしてください:

OSコマンド
macOSbrew install ffmpeg
Linuxsudo apt install ffmpeg (またはディストリビューションのパッケージマネージャー)
Windowswinget install Gyan.FFmpeg — または choco install ffmpeg — または ビルドをダウンロード して bin フォルダをPATHに追加

PATHに含まれていることを確認してください:

ffmpeg -version

文字起こしはwhisper CLIを使用します([whisper] extraによってインストールされるか、pip install openai-whisper)。Whisperもffmpegに依存します。

より高速で幻覚のないトランスクリプト(推奨): [fast] extraをインストールすると、crvは自動的にfaster-whisperに切り替わります — 同じモデル、同じ出力ファイル、数倍高速、Silero VAD(音声活動検出)でゲートされています。音楽のみまたは無音の音声は、whisperの典型的な創作キャプションではなく、正直な「音声なし」という注記を生成します。学習する新しいフラグはありません:

pip install 'claude-real-video[fast]'

両方がインストールされている場合、faster-whisperが優先されます。もし失敗した場合、crvは自動的にwhisper CLIにフォールバックします。

Apple Silicon (M1–M4): GPU文字起こし。 [mlx] extraをインストールすると、crvはMacのGPU上でWhisperをmlx-whisper経由で実行します — 6分かかる21分間の講演がM4では約1分で完了し、トランスクリプトは同じです。Silero VADゲートは最初に実行されるため、音楽や無音は創作キャプションに変わることはありません。ゲートまたはmlxが実行できない場合、crvはfaster-whisperにフォールバックし、次にCLIにフォールバックします。@blazejp83(#28)による貢献。

pip install 'claude-real-video[mlx]'

macOS、Windows、Linuxで動作 — Python 3.10+。


使用方法

# YouTube / Instagram / TikTok / ... のリンク
crv "https://www.instagram.com/reel/XXXX/"

# ローカルファイル、英語トランスクリプト、./outに出力
crv lecture.mp4 -o out --lang en

# フレームのみ、文字起こしなし
crv clip.mp4 --no-transcribe

# ログインが必要な動画(ご自身の/許可された使用): Netscape cookieファイルを渡す
crv "https://..." --cookies cookies.txt

python -m claude_real_video ... も crv のエイリアスとして機能します。

オプション
フラグデフォルト意味
-o, --outcrv-out出力ディレクトリ
--overwriteオフ出力ディレクトリにある以前の分析を上書き(これがない場合、空でない出力ディレクトリは動画の混同を避けるために拒否されます)
--scene0.30シーン変更感度(低いほどフレーム数が多い)
--fps-floor1.0少なくともN秒ごとに1フレーム
--from / --toファイル全体動画の一部のみを分析(90、1:30、0:01:30.5)。報告されるタイムスタンプはソースタイムコードのままです — ウィンドウはクロックではなく分析をシフトさせます — そしてフレーム予算とトランスクリプトはファイル全体ではなくウィンドウに従います
--frame-width640抽出されたフレームの幅、アスペクト比は維持。意味が小さなテキスト(ターミナル、スプレッドシート、密なダッシュボード)である場合は値を上げてください。大きなフレームは出力サイズとモデルコストを倍増させます
--max-frames自動: clamp(150, window×1.5, 600)総フレーム数のハードキャップ(明示的な値が常に優先されます)
--adaptiveオフ適応型シーン検出:固定しきい値では見逃すスローモーフィング(2〜3秒のスクワッシュ/ストレッチ、段階的なパン)を、各フレームをローリング近傍と比較することで捉えます
--text-anchorsオフ字幕キューのタイムスタンプで追加フレームを強制(サイドカー .srt/.vtt または埋め込みトラック) — 意味がピクセルよりも速く変化する動画向け。1秒あたり最大1つの強制フレーム
--speakersオフ各トランスクリプト行に話者ラベル([SPEAKER_00] …)を付与(ローカル話し手分離を使用) — pip install "claude-real-video[speakers]" が必要、45MBのモデルが一度ダウンロードされます
--langautoWhisperの言語(en、zh、auto…)
--whisper-modelbase文字起こし用Whisperモデル(tiny/base/small/medium/large/turbo — baseは高速です。よりシャープなトランスクリプトが必要ですか? --whisper-model turbo はワンフラグで利用可能:pruned large-v3 — largeよりはるかに高速で品質のトレードオフはわずか、一度の1.6GBダウンロード、約6GBメモリ)
--dedup-threshold8新しいフレームとカウントされるために変更が必要なピクセルの割合。高いほどフレーム数が少なくなる(安定ローカル検出器のゲートもこれに連動します)
--dedup-window4直近のN個の保持フレームと比較 — モデルがすでに見たショットはカットバック後に再送信されません(1 = 連続のみ)
--reportオフドロップされたフレームを./droppedに保持し、各キープ/ドロップ決定を視覚化するreport.htmlを書き出す
--no-transcribeオフ音声スキップ
--keep-audioオフ完全なサウンドトラック(audio.m4a)も保存(モデルが聞くことができるように、音声モデル用)
--viewerオフviewer.htmlも書き出す — 動画、キーフレーム、トランスクリプトを1つのローカルページで閲覧(ダブルクリックで開く)
--gridオフ保持フレームを9x9のコンタクトシート(./grids)にタイル状に配置 — 隣接するフレームを並べて表示することで、モデルが動きと進行を追跡するのを助けます
--why–視聴理由、例:--why "find the pricing strategy" — モデルが一般的な要約ではなく、そのレンズで分析するようにMANIFEST.txtに書き込まれます
--kb–分析結果を日付付きのMarkdownノートとしてこのフォルダ(Obsidianボルト、ノートフォルダなど)に保存 — crv-outで死蔵されるのではなく、知識ベースに参加します
--cookies–ログインが必要なソース用のNetscape cookieファイル
--cookies-from-browser–ブラウザから直接ログインCookieを読み取る — chrome、safari、firefox、またはedge(ご自身のカウントのみ)

--grid 出力例

1つのコンタクトシート = 9個の連続したキーフレーム、順序通り、各セルにファイル名 — モデルは散らばった静止画ではなくシーケンスを読み取ります:

[画像: contact sheet example]

メモリ — 視聴したすべてのものに質問する

すべての分析はローカルでインデックス化されるため(タイムスタンプ付きのトランスクリプト行 + 画面上のテキスト)、質問は1つの出力フォルダではなく、ライブラリ全体にまたがることができます:

crv-ask "pricing strategy"   # → どの動画、何秒、正確な行
crv-ask 定價                  # CJK対応 — 部分一致フォールバック付きトライグラムFTS
crv-ask --list               # 視聴したすべて、新しい順
crv-ask --stats              # インデックスの場所、サイズ
crv-ask --prune 200          # 最新の200動画を保持し、スペースを解放

同じソースを同じオプションで再実行しても再処理されません — crvは「すでに視聴済み」と表示し、既存の分析を指します(0.04秒 vs 数秒)。異なるオプション、または--overwriteは通常通り再分析します。

すべてローカルに留まります:~/.crv/memory.dbにある1つのSQLiteファイル(CRV_MEMORY_DBで上書き可能)、ユーザーのみの権限、埋め込みなし、ネットワークなし。初めてインデックス化される際、crvはそれを知らせる1行を出力します。まったく不要な場合? CRV_NO_MEMORY=1。

MCPサーバー (Claude Desktop / Cursor / 任意のMCPクライアント)

crvはMCPサーバーとしても提供されるため、MCPクライアントは動画の視聴を直接要求できます — 同じローカルパイプライン、クラウドなし。5つのツール:watch_video、get_frames、search_memory(視聴したすべての動画に質問)、list_watched(再視聴前に確認)、get_transcript(単語のみ — フレームなし、そのため長い講演は画像トークンを消費しません)。

pip install 'claude-real-video[mcp]'

Claude Code:

claude mcp add crv -- crv-mcp

Claude Desktop — claude_desktop_config.jsonに追加:

{ "mcpServers": { "crv": { "command": "crv-mcp" } } }

ツール:watch_video(source, max_frames, language, transcribe)はタイムスタンプ付きトランスクリプトと最初のキーフレームバッチを画像として返します;get_frames(source, start_index, count)は残りをページングします。分析は~/.cache/crv-mcpの下にキャッシュされるため、同じ動画に関する後続の質問は即座に行われます。

mcp-name: io.github.HUANGCHIHHUNGLeo/claude-real-video

Claude Codeでエンドツーエンドで検証済み(モデルはツールを通じてテスト動画のフレームを正しく説明しました)。Claude DesktopとCursorは同じMCP stdioプロトコルを使用します — 上記の設定;何か問題があればIssueを開いてください。

Pythonから使用する

from claude_real_video import process

r = process("https://youtu.be/...", "out", lang="en")
print(r.frame_count, r.transcript_path)

仕組み

  1. 取得 — URLの場合はyt-dlp(オプションのCookie)、またはローカルファイルをコピー。
  2. 抽出 — 1回の時系列ffmpeg selectパスで、すべてのシーン変更と密度フロア(少なくとも--fps-floor秒ごとに1フレーム)を取得し、速いカットとスローな画面録画の両方をカバーします。
  3. 重複排除 — 直近の--dedup-window個の保持フレームのスライディングウィンドウに対する3つのチャンネルで、A-B-Aカットアウェイでモデルがすでに見たショットを再送信しないようにします。グローバルチャンネルは実際のピクセル差(ダウンサンプリングされたRGB、知覚ハッシュではない — ハッシュは平坦な色や等輝度色相変化で盲目になる)を測定します;--dedup-thresholdは変更されるピクセルの割合です。安定ローカルチャンネル(v0.7.4)は、グローバルチャンネルが見えないものを捉えます:薄いペンストローク、キャプション/テキストカードの入れ替え、およびグローバルで約0%に平均化される小さなUI更新。より細かいシグネチャで、最近のすべての保持フレームから強く異なる(1ピクセルシフト許容、フィルムグレインやフレームジッターがトリガーされないように)かつもはや変化していない領域 — 動いている最中ではなく、安定した新しい状態 — を探します。連続した動きが毎秒一時停止する(手を振る、煙が漂う)場合、再トリガーしないようにクールダウンがあります。最後のフレームは、まだ動いていても評価されます(動画の終了状態が決して失われないように)が、他のフレームと同様に両方のコントラストゲートをクリアする必要があります。--reportはキープ/ドロップ決定とその差分パーセンテージ(安定ローカルキープはラベル付けされる)を視覚化するreport.htmlを書き出します。チューニング用。
  4. テキスト — 動画にすでに字幕がある場合(ローカルファイルに隣接するサイドカー.srt/.vtt、または埋め込み字幕トラック)、それらがトランスクリプトとして使用されます — 再文字起こしよりも高速で正確です。字幕がない場合にのみ、音声に対するWhisperにフォールバックします(音声がない場合はクリーンにスキップされます)。
  5. 音声(オプション、--keep-audio) — 完全な元のサウンドトラック(audio.m4a:音楽 + 音声 + 効果、可能な場合はロスレスでコピー)を保存します。トランスクリプトには単語のみが含まれます;音声ファイルにより、聞くことができるモデル(Gemini、GPT-4oなど)が音楽とトーンを実際に聞くことができます。
  6. タイムスタンプ — 保持された各フレームのソース動画時間は、パイプライン全体(抽出 → 重複排除 → --max-framesの間引き → 名前変更)を生き残り、frames.json(file / timestamp_sec / timestamp / selection_reason)に書き込まれます。視覚的証拠を frame_012 @ 00:03:41 として引用し、フレームをtranscript.jsonセグメントと照合するか、マップを動画RAGパイプラインに供給します。viewer.htmlでは、任意のキーフレームをクリックすると「ここから動画を再生」できます。
  7. マニフェスト — MANIFEST.txtは、モデルのためにすべてを要約します。

これにより、モデルは動画を見ること(キーフレーム)、読むこと(トランスクリプト)、そして — --keep-audio を使用すれば — 聞くこと(完全なサウンドトラック)ができます。トランスクリプトはどのモデルでも読めるプレーンテキストです;ツールは動画に字幕を焼き付けません — 焼き付けはプレゼンテーションの選択であり、動画をAIで読み取り可能にするために必要なものではありません。


注意事項

  • 権利のあるコンテンツのみをダウンロードしてください。--cookiesオプションはご自身の、許可されたアクセス用です — クレデンシャルをリポジトリに含めないでください。
  • 動画ごとに1つの出力フォルダを使用してください。分析結果がすでにあるフォルダに再実行すると拒否されます(そのため、2つの動画が混ざることはありません);上書きするには--overwriteを渡してください。

crv Pro — 動画の撮影方法を理解する

無料ツールはAIにキーフレームとトランスクリプトを提供します — 動画の内容を知るのに十分です。crv Pro はそれ以外のすべてを追加します:撮影方法、編集方法、話し方、感情。 すべてお使いのマシンで計算され、どのLLMでも読めるプレーンテキストとして書き出されます。

  • カメラとペース配分(--motion) — 各ショットを自動ラベル付け:静止、パン、チルト、ズーム、ハンドヘルド。完全なショットテーブル:ショットごとの持続時間、1分あたりのカット数、オープン/ミドル/クローズのペース。高モーションショットには0.2秒間隔のバーストフレームが提供されます。
  • 音声と感情(--senses) — 音声感情、トーンカーブ、音声イベント(笑い、SFX、アンビエンス)をセグメントごとにタイムスタンプ付け。ボーカルと音楽は自動分離:感情はクリーンな音声から読み取られ、音楽は独自のBPM + エネルギー トラックを持ちます。対話のない映像(MV、映画)は、色と光からムードを読み取ることにフォールバックします。
  • インタラクティブビューア(--viewer) — 分析ごとに1つのスタンドアロンWebページ:動画、クリック可能なイベントタイムライン(秒単位でジャンプ)、再生に合わせてハイライトされるトランスクリプト。EN / 繁中 / 簡中。
  • 2つのレポート、1つのフラグ(--ai-report) — ご自身のAPIキーを使用:撮影方法に関するレポート1つ、内容に関するレポート1つ。
  • 内訳レポート(--breakdown) — 分析、ペースカーブ、カメラ言語、およびご自身のLLMが完成させるルーブリックをフックして、完全な分解レポートを作成します。
  • ライブラリ全体でのメモリ(crv-pro-ask) — カメラと音声が行ったことによって、Proが視聴したすべてを検索:--camera zoom(視聴したすべてのズーム)、--track emotion --label angry、--rhythm(カット/分でランク付け)。無料のcrv-askは単語を検索しますが、これらは無料版では決して測定されないものを検索します。

買い切り価格29ドル:


ビルドを追っていますか? オープンソースツールから最初の有料顧客への道のりを公開で文書化しています — X上の@LeoAidoAI。

FAQ

LLMに動画を見せたり分析させたりするのに最適なツールは何ですか?

「見る」が何を意味するかによります。単一のクリップに関する1つの回答が必要で、アップロードしても構わない場合は、ホストされているマルチモーダルモデル(例:Gemini)が最も簡単な方法です。任意のLLM — Claude、GPT、Gemini、またはローカルモデル — に動画を再現可能かつローカルに分析させたい場合は、プリプロセッシングパイプラインが必要です:シーン認識キーフレーム + タイムスタンプ付きトランスクリプトを、証拠としてモデルに渡します。そのパイプラインがまさにclaude-real-videoがワンコマンドで実行するもので、何もマシンから離れません。均一なフレームサンプリング(1fps)はカットを見逃すか、コンテキストウィンドウを洪水させます;シーン認識抽出は情報を持つフレームを保持します。

Claudeに動画を理解させるにはどうすればよいですか?

Claudeは動画ファイルを直接取り込むことができません。実用的なアプローチは以下の通りです:

pip install "claude-real-video[fast]"
npx skills add HUANGCHIHHUNGLeo/claude-real-video   # またはClaude Codeのプラグインマーケットプレイスからインストール

その後、Claude Codeで:Analyze this video: /path/to/video.mp4。このスキルはシーン認識キーフレーム、タイムスタンプ付きトランスクリプト(transcript.json)、フレーム→タイムスタンプマップ(frames.json)、そしてモデルにフォルダの読み取り方を指示するMANIFEST.txtを抽出します — これにより、Claudeは推測する代わりに frame_012 @ 00:03:41 を引用できます。

claude-real-videoとは何ですか?

MITライセンスのPython CLI(crv)で、動画をLLMが実際に読み取れる形式に変換します:シーン認識キーフレーム(重複排除と名前変更を生き残る実際のソースタイムスタンプ付き)、小さな被写体の動きが捨てられないようにするスライディングウィンドウ重複排除、およびオプションで話者ラベル付きのローカルWhisper文字起こし。YouTube URLまたはローカルファイルで動作し、100%ローカルで実行されます。字幕だけでは動画を見ていないという理由で存在します — トランスクリプトのみを読むモデルは、視覚的なすべてを幻覚します。

これを作ったのは誰か

Leo Huangによって構築されました — AIで運営される個人企業です。この種のツールを構築しながら、実際に壊れるものと機能するものを投稿しています:https://x.com/LeoAidoAI

ライセンス

MIT