HN 日本語サマリー

← 一覧へ戻る
プログラミング

Show HN: macOS上のあらゆる写真と動画の全フレームを対象としたAI検索

Show HN: AI search for every photo and every frame of video on macOS (github.com)

149 pointsby allenleee67 コメント

要約

macOS向けのローカルファーストなAI検索ツール「SCM」が紹介されています。このツールは、写真や動画のフレーム全体、テキスト、さらには動画内の音声まで、ローカル環境でAIを用いて検索できます。プライバシーを重視し、データはユーザーのMacから外部に送信されません。

全文翻訳

SCM — Screen Memories

macOS上のあらゆるフォルダにある写真と動画の全フレームを対象とした、ディープAI検索。ローカルファースト — アカウント不要、クラウド不要、アップロード不要。推論はあなたのMacで実行されます。

[画像: SCM デモ — ライブラリグリッド] [画像: SCM デモ — シーン検索]

何が違うのか

  • 思考のように検索 — 平易な言葉で記憶を記述するだけで、ローカルのビジョンモデルが残りを処理します。
  • 動画、瞬間まで — シーンはセグメント化され埋め込まれるため、ファイルだけでなく、そのショットに直接たどり着けます。
  • テキストと対話も — 可視テキストのOCR;Whisperによる正確な発話検索、それぞれが独立したモードとして機能します。
  • あなたのタブ、あなたのプロンプト — 任意のクエリをタブとして保存可能;スクリーンショットとメールのタブは切り替え可能です。
  • 自己維持ライブラリ — ウォッチフォルダは自動インポート、コンテンツハッシュはリネームを重複排除し、モデル切り替えは検索をブロックせずにバックグラウンドで再埋め込みを行います。
  • 真にプライベート — あなたのメディアはマシンから離れることはありません。ウェイトは一度ダウンロードするだけ;それ以降はすべてオフラインで動作します。

5つの検索方法

[画像: 検索モード:ファイル、シーン、対話、OCR、LLM]

モード見つけるもの
ファイル意味による写真/動画全体 — ビジョンランクにファイル名とフレーズブーストを適用
シーン動画内の瞬間 — ショットを検索し、そのタイムコードにジャンプ
OCR画像やフレーム内に表示されるテキスト、文字通りの一致(Tesseract;eng + 35言語切り替え)
対話動画内の正確な発話(Whisper)、階層化された正確性
LLM (オプトイン)対話、OCR、Macが既に抽出したファイル名に関するローカルチャット — 引用付き回答

要件

  • macOS(electron-builderでパッケージ化;メニューバー/トレイ機能はmacOSのみ)
  • Bun — プロジェクトはパッケージマネージャーおよびランナーとしてbunを使用
  • Nodeモジュールをインストール済み: bun install
  • 初回使用時にモデルのウェイトをダウンロード(デフォルトのCLIPで約435MB);それ以降は完全にオフライン。

ダウンロード

最も簡単なインストール方法はHomebrew(Apple Silicon, macOS 12+)です。タップのCaskは、インストールおよびアップグレードのたびにmacOSのクォーランティンフラグを自動的にクリアするため、アプリは手動のGatekeeper手順なしで起動します:

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm

アップグレードも同様の動作を維持します:

brew upgrade --cask allenv0/scm/scm

タップはallenv0/homebrew-scmにあります。

開発

bun run dev     # レンダラーバンドルをビルドし、Electronアプリを起動
bun start       # 再ビルドせずにElectronアプリを起動
bun run build   # レンダラーバンドルのみをdist/にビルド

アプリパッケージ(DMG / ZIP)のビルド

bun run dist            # キーチェーンにIDがあれば署名済み
bun run dist:unsigned   # コードサイン検出をスキップ

これは2つのステップを順に実行します:

  1. vite build — Reactレンダラーをdist/にコンパイルします(src/以下のすべての変更を拾います)。
  2. electron-builder --mac — アプリをパッケージ化します。これは、最新のdist/バンドルをmain.js、preload.js、main-lib/、indexer/(ファイルリストはpackage.jsonのbuild.filesで設定)と共にバンドルし、インストーラーを生成します。

出力: インストーラーはdist-app/(package.jsonのbuild.directories.outputを参照)に着陸します — SCM-0.2.4.dmgとSCM-0.2.4.zipを探してください。


機能

ファイル

入力すると、即座にファイル名キーワードの事前チェックが開始され、その後ビジョンモデルが引き継がれます。結果は、画像埋め込みに対するコサイン類似度でスコアリングされ、フレーズとファイル名のブーストが適用され、モデルごとに調整された信頼度フロアと、ニアデュプリケートの多様性フィルターが適用されます。各タイルには「なぜ一致したか」のバッジ(視覚的一致 / ファイル名一致 / …)と、コンポーネントごとのスコアの内訳を示すホバーツールチップが表示されます。CJKクエリはオーバーラップするバイグラムとして検索されます(「台北車站」は「台北」、「車站」にも一致します)。

シーン

すべての動画の各シーンセグメントがスコアリングされるため、ヒットすると正確なショットにたどり着きます。タイルにはシーンのポスターとタイムコードバッジが表示され、動画を開くとその瞬間にジャンプします。ノイズゲートにより、「シーン一致なし」が返され、グリッドがガベージで氾濫するのを防ぎ、各動画は最大3つのシーンを提供します。

OCR

クエリトークンのフラグメントが各画像のOCRテキスト内に文字通り表示されているものと一致します — ファイル名は無視され、ビジョンモデルは関与しないため、AIエンジンがウォームアップ中またはオフラインでも機能します。一致した単語は、タイル上およびライトボックス内でアンバー色で囲まれます。

対話

Whisperトランスクリプトに対する正確な文字通りの検索 — 埋め込みなし、しきい値なし、AIエンジンがダウンしていても機能します。結果は3つのティアで表示されます:正確なフレーズ(1つの発話内の連続したフレーズ)、正確な単語(1つの発話内または≤8秒のウィンドウ内のすべての単語)、発話された単語(同じ動画内のすべての単語)。一致した単語はスピーチスニペットでハイライト表示され、結果を開くとその行に直接シークします。

LLM (Ask)

オプトイン — 設定 → LLMチャットで有効にするまで、何もダウンロードまたは実行されません。ループバックにバインドされたllama.cppサイドカーが、アプリが既に抽出した証拠(対話ライン、OCRテキスト、ファイル名キーワードヒット)から、クリック可能な番号付き引用付きで、トークンごとにストリーミングされる回答を返します。先頭に/screenshots、/videos、/emailと入力するとコーパスが絞り込まれます;Stopは部分的な回答を保持します;証拠がない場合はモデルが実行される前にショートサーキットします。

チャットモデルサイズ注記
Qwen3 1.7B (デフォルト)~1.1GB高速な日常チャット;8GB Macに適合
Llama 3.2 3B~2GBより強力な長文回答;ヘッドルームが必要

タブとライブラリビュー

  • 内蔵ブラウズタブ:すべて、動画、さらにスクリーンショットとメール — 後者の2つは設定 → スマートタブで切り替え可能です。動画を選択するとシーンモードが自動的に有効になります。
  • 任意のクエリをタブとして保存:検索バー下のピンピルは、現在のプロンプトをモード(ファイル/シーン/OCR/対話)と共に保存します — 最大20タブ、名前変更可能、それぞれが保存されたとおりに正確に復元されます。
  • 再マッピング可能なショートカット(デフォルトで⌘1–⌘5)の背後にある5つのセマンティックビュー、さらに⌘Iでインポート/AIインサイト、⌘,で設定。
  • 検索は選択されたタブに留まります:スクリーンショット、メール、動画、または保存されたタブのいずれかを選択すると、結果はそのタブにフィルタリングされます — まずスコープを設定し、次に検索します。LLMチャットでは、同じアイデアが明示的です:先頭に/screenshots、/videos、/emailと入力すると、モデルが実行される前にコーパスが絞り込まれます。

メールタブ

表示されるOCRテキストにメールアドレスが含まれる写真をサーフェス表示します — オーバーラップするビュー(写真はそのカテゴリも保持します)。検出はOCRに耐性があります:Tesseractが単語ボックス間で分割したアドレスを再構築し、コンマ区切りドットノイズ("gmail,com")、分割されたTLD("gmail. com")、括弧で囲まれた難読化("allen [at] gmail [dot] com")、および口述されたアドレス("allen at gmail dot com")を処理します。タイルには連絡先ストリップが表示され、それを展開してコピーまたは作成できます。

スクリーンショットタブ

スクリーンショットの分類はリネーム耐性があります。4つのシグナル、優先順位順:手動オーバーライド(タイルを右クリック)→ファイル名語彙(20以上の言語で30以上のローカライズされたOSスクリーンショット名)→PNG/JPEGメタデータプローブ(PNGテキストチャンク/EXIF UserCommentから「screenshot」を読み取るため、リネームされたBildschirmfotoも分類されます)→ソースフォルダのヒント。それ以外はすべてプロジェクトに格納されます。

ビジョンモデル

ONNX Runtimeを介して切り替え可能な4つのモデル;アクティブなモデルはライブラリごとに選択されます:

モデル役割速度(CPU)ダウンロード
CLIP ViT-L/14@336 (デフォルト)最良のリアルワールド動画シーン検索~480–570ms/img~435MB
SigLIP-2-L/16@256高詳細(1024次元) — 小さなオブジェクト、看板、画面上のテキスト~200ms/img~850MB
EmbeddingGemma-2多言語(100以上の言語)+コードスペシャリスト;オプトイン代替SigLIPより遅い~509MB

モデルを切り替えるとライブラリ全体が再埋め込みされます:切り替えは即座に完了し、残りはバックグラウンドで処理されます。検索は、完了するまでファイル名キーワードにフォールバックします。モデルごとのテキスト平均センタリングにより、テキスト埋め込みのバイアスが除去され、モデル間での類似性スコアが正確に保たれます。このリストから引退したモデル(MobileCLIP, SigLIP-2-B/16, SigLIP-B/16@384)は、アップグレード時に自動的に移行されます — ライブラリはデフォルトモデルに一度、バックグラウンドで再埋め込みされます。

動画検索パイプライン

ffmpegが各動画のショット境界をスキャンし、設定 → 動画検索で選択した密度にサンプリングされたセグメントプランを構築します — 各プリセットは、コミットする前に測定された時間とディスクコストを表示します:

プリセット秒あたりのポイントセグメント予算
Eco604–32
Balanced (デフォルト)308–128
Detailed1512–256
Ultra516–1024
Ultra Pro2.524–2048 (確認必須)

各セグメントは中間フレームを埋め込み、ポスターを保持します;ショットプランはファイルごとにキャッシュされます(パス + サイズ + mtime + 設定フィンガープリント)、そのため再インポートは検出を完全にスキップします。

対話文字起こし: Whisper tiny.en(~150MB、デフォルト)またはbase.en(~300MB) — 切り替えるとすべての動画が再文字起こしされます。動画全体は3つのフレーム(20/50/80%)を平均化して埋め込みます;GIFは中央フレームの平均を埋め込みます。

OCR

Tesseractはビジョンモデルとは別の独自のワーカーで実行されます。英語は常にオンです;さらに35言語は設定 → 写真検索で切り替え可能です(デフォルト:簡体字・繁体字中国語、日本語、韓国語)。各言語パックは一度ダウンロードされ(~2.4–5MB;デフォルトセットで約17MB)、その後すべてオフラインになります。単語ボックスはテキストと共に保存されるため、一致は元の場所にハイライト表示されます;CJKテキストはスペースなしで結合され、単語ボックスをまたいで分割されたメールフラグメントは再構築されます。

インポートとライブラリ管理

  • インポートは⌘I、ドラッグ&ドロップ、またはウォッチフォルダ経由で行います — フォルダをインポートすると、そのフォルダの監視が開始されます(ライブfs.watchに加え、起動ごとに再同期)。問題のあるファイルは最大3回リトライされ、その後変更がない限りウォッチ同期から除外されます。
  • リネーム耐性のある重複排除:コピー前に各ファイルはコンテンツハッシュ(SHA-256)化され、偽の拡張子はMIMEスニッフィングによって正規化されます。
  • 名前付き埋め込みバージョン(設定 → ライブラリ):検索可能な状態全体の時点スナップショット — インデックス、各モデルの埋め込みビン、シーンおよびトランスクリプトサイドカー — リストア(自動バックアップを最初に実行)と、Fresh Startの危険ゾーンを備えています。キャップ:10。
  • すべては~/Library/Application Support/scm(MEMORIES_DATA_DIRで上書き可能)の下に配置されます:インデックスJSON、モデルごとのFloat32埋め込みビン、シーンおよびトランスクリプトサイドカー、サムネイル、ポスター。

構築によるプライバシー

  • レンダラーはサンドボックス化されたapp://バンドルです — contextIsolation、OSサンドボックス、および'self'にピン留めされたCSP(表示タイプにはGoogle Fonts CDN、オフライン時にはモノスペースフォールバック付き)。
  • メインプロセスワーカーのみがダウンロードを行います、1つのものにつき1回:ビジョンウェイト(Hugging Face)、OCR言語パック(Tesseract CDN)、Whisperウェイト、そして — オプトインした場合のみ — llama.cppサイドカーとGGUFチャットモデル(GitHub + Hugging Face)、ダウンロード時にsha256検証済み。
  • メディアはアプリ管理ライブラリにコピーされ、ディスクからストリーミングされます。テレメトリなし、アカウントなし、アップロードなし。

設定とポリッシュ

10パネル(ライブラリ、外観、グリッド、スマートタブ、写真検索、動画検索、LLMチャット、グローバルショートカット、キーボード、メニューバー)を備えたmacOSスタイルの設定シート。コアの周り:ライト/ダーク/システムテーマ、ライトボックス用のCRTスクリーンエフェクト、6つの代替アプリアイコン、メニューバーのみモード、記録可能なグローバルショートカット、初回実行オンボーディングツアー、バックグラウンド作業トレイ(シーン/トランスクリプト/OCR)とグローバルポーズ、ステータスバー(バージョンとインデックス化された動画数付き)。

注記
  • 初回ビルドは遅い: electron-builderはElectronバイナリとffmpegを初回実行時に一度ダウンロードします;それ以降のビルドははるかに高速です。
  • コード署名: キーチェーンにApple Developer IDが設定されていない場合、DMGビルドは署名されません。アプリはローカルで実行されますが、macOSは初回起動時に右クリック→「開く」を要求する場合があります。
  • 再ビルドは変更を自動的に反映: main.js、preload.js、main-lib/、indexer/はソースからパッケージ化されるため(キャッシュされない)、それらを編集した後にbun run distを実行すると、新しいパッケージが生成されます。

テスト

bun run test:all         # 完全な検証バッテリー(ユニット+スモークスイート)
bun run smoke:indexer    # CLIPインデクサーのヘッドレススモークテスト
bun test test/           # ユニットテスト(ピュアモジュール、Electron不要)
bun run lint             # eslint
bun run format:check     # prettier
  • ユニットテストはピュアコアをカバーします:ランキング、対話の正確一致、CJKトークン、Whisperモデルラダー、MIMEスニッフィング、トランスクリプト融合など(package.jsonのtest:*スクリプトを参照)。
  • E2EスモークテストはELECTRON_SMOKE_*環境変数経由でElectronアプリ内で実行されます — ブート/プロトコルチェックから検索マトリックス、モデル移行、Askモードまでの一ダース以上のシナリオ(scripts/e2e/のドライバー、main.jsでディスパッチ;例: bun run smoke:ask, smoke:deep, smoke:grid)。
  • ベンチマーク: bun run bench:inference, bench:gates(検索モデルの品質/速度ゲート)、bench:enrich、bench:detectはMDs/bench-*にJSONレポートを書き込みます。

プロジェクトレイアウト

main.js             Electronメインプロセス:ライブラリ、IPC、インデクサーワーカープール、app://プロトコル
preload.js          contextBridge — window.memoriesをレンダラーに公開
main-lib/           main.jsから分割されたメインプロセスモジュール(設定、ライブラリストア、
                    ランク検索、Ask取得、LLMサイドカー設定、埋め込みバージョン、…)
indexer/            ビジョン/OCR/ASRワーカー(ユーティリティプロセス)+動画ユーティリティ+モデルレジストリ
src/                Reactレンダラー(グリッド、検索モード、ライトボックス、タブ、設定、オンボーディング)
scripts/            ベンチマークスクリプト、E2Eドライバー、スモークバッテリー(smoke-all.sh)
test/               ユニット+統合テスト
MDs/                設計ドキュメント、ベンチマークレポート、計画
dist/               viteビルド出力(レンダラーバンドル)
dist-app/           electron-builder出力(DMG / ZIP)