HN 日本語サマリー

← 一覧へ戻る
Web開発

OCR It – コピーできないドキュメントからLLMのためにテキストを抽出する

OCR It – pull text out of un-copyable documents for your LLM (github.com)

102 pointsby thiagolima26 コメント

要約

OCR Itは、コピーできないドキュメントからテキストを抽出するためのChrome拡張機能です。ユーザーが定義した領域を自動的にOCR処理し、ページめくり機能と連携して書籍やPDFなどのドキュメント全体をテキスト化します。ローカルで動作し、プライバシーに配慮されています。

全文翻訳

OCR It

領域を一度ピン留め。すべてのページでホットキーを押すだけ。本全体をテキストとして取得。

[画像: Chrome Web Store] [画像: Firefox Add-ons] [画像: Manifest V3] [画像: Chrome 116+] [画像: Firefox 140+] [画像: Runs offline] [画像: No install-time site access] [画像: MIT] [画像: OCR benchmark]

[画像: 自動実行中の様子:ページ上部の実行インジケーターと、コーナーのページごとの確認トースト]

Chrome および Firefox 拡張機能で、ビューアに閉じ込められたページ単位のドキュメントを読み取るためのものです — スキャンされた書籍、スライドデッキ、PDF、テキストを選択できないリーダーなど。

キャプチャ領域を一度だけドラッグします。その後、ホットキーを押すたびにその正確な四角形がスクリーンショットされ、OCR処理され、実行中のトランスクリプトに追加されます。あるいは、すべてを自動化することもできます:⌥⇧A を押すと、キャプチャ、ページめくり、そしてドキュメントの終わりまで繰り返す実行が開始されます。

結果は、それが役立つ場所に貼り付けます — LLM が最も明白な用途でしょう。選択できなかった数百ページが、Claude や ChatGPT に要約、検索、質問をさせるためのテキストファイルになります。

OCR はバンドルされた Tesseract ビルドでローカルで実行されます。API キー不要、ネットワーク不要、画像はあなたのマシンから離れません — 拡張機能は一切外部リクエストを行いません。


インストール

ブラウザのストアからインストールしてください — ワンクリックで、自動更新されます:

Chrome 116+Chrome Web Store
Firefox 140+Firefox Add-ons

Chrome にインストールした後、chrome://extensions/shortcuts を確認してください:Chrome は、他のものが既に占有しているホットキーをサイレントに空白のままにします。Firefox にはナビゲーション可能なショートカットエディタがないため、ポップアップのホットキーボタンは about:addons → 歯車アイコン → 拡張機能のショートカットを管理 を指し示します。

自分でビルドしたい場合 — ソースツリーは1つ、ターゲットは2つです。npm run build はブラウザごとにロード可能なディレクトリを build/ に書き出します:

git clone https://github.com/thiagotigaz/ocr-it.git
cd ocr-it
npm run build          # -> build/chrome, build/firefox

Chrome (116+)

  1. chrome://extensions を開き、開発者モードをオンにします
  2. ** unpacked を読み込む** → build/chrome を選択します(またはリポジトリのルート — チェックインされた状態でも有効な Chrome 拡張機能なので、ビルドステップは厳密には不要です)
  3. 拡張機能をピン留めします — ツールバーのアイコンがページカウンターとしても機能します

Firefox (140+)

  1. about:debugging#/runtime/this-firefox を開きます
  2. 一時的なアドオンを読み込む… → build/firefox/manifest.json を選択します
  3. ツールバーのオーバーフローメニューから拡張機能をピン留めします

または、Mozilla のツールを使えば、npm run start:firefox は拡張機能が既にインストールされた一時的なプロファイルを起動し、編集ごとにリロードします。

一時的なアドオンは Firefox が終了するとアンロードされます — Firefox に永続的にインストールされるのは Mozilla 署名済みアドオンのみで、上記のストアリストはそのためのものです。このルートはコードの作業用です。

必要なものはすべてコミットされています — npm install はテスト、Firefox リンター、または Tesseract の再バンドルにのみ必要です。

インストール時にサイトアクセスは一切要求しません。 シングルキャプチャは activeTab を利用し、これはホットキーを押すかポップアップを開いたときにブラウザが提供します。自動実行(ページロードを超えて持続する)と、クロスオリジン iframe 内でのページめくりには、永続的な許可が必要です。ポップアップは、それが重要なときに、現在いるサイトの 許可 ボタンを提供します。Firefox は、about:addons → OCR It → 権限 の下にも同様の許可を公開しています。

⌥⇧S領域を一度キャプチャ
⌥⇧A自動実行を開始/停止
⌥⇧R領域を描画または再描画

使用方法

1. 領域をピン留めする

[画像: 領域ピッカー:暗くなったページに明るい選択ボックス、リサイズハンドル、ライブサイズ表示、ヒントバー]

⌥⇧R を押し、次にテキストの上にボックスをドラッグします。保存する前に、ドラッグして位置を変えたり、ハンドルを引っ張ったり、矢印キーで1ピクセルずつ微調整したり(⇧ を押しながらリサイズ)できます。Enter で確定します。

テキストのマージンより少し内側に描画してください — 四角形内のすべてが読み取られます。ページ番号やヘッダーも含まれます。

2. キャプチャする

ページごとに ⌥⇧A を一度押します。スクリーンショットは即座に撮られ、OCR はバックグラウンドで実行されるため、ページ間の待ち時間は発生しません — キャプチャはキューイングされ、バッジはまだ読み取り中のものをカウントします。

3. あるいは自動実行させる

次のページコントロール(下記参照)を設定し、⌥⇧A を押せば完全に自動化されます:キャプチャ、ページめくり、キャプチャ、ページめくり、ドキュメントの終わりまで。
ページ上で Esc を押すと停止します。

4. エクスポートする

[画像: キャプチャされたページをサムネイル、文字数、OCR信頼度とともにリスト表示するポップアップ]

各ページは、切り取られた正確な部分のサムネイルとともにリスト表示されるため、領域がずれていても一目でわかります。テキストはインプレースで編集可能で、読み取り間違いは単独で再実行できます。

すべてコピーとダウンロード .txt は、ページを順序通りに --- page N --- の区切り文字とともにエミットします。

DUPLICATE とマークされたページは、前のページと同一のテキストでした — ほとんどの場合、ドキュメントが実際にはめくれなかったためです。


ページめくりを自動化する

[画像: 設定パネル:言語、レイアウト、シャープネス、自動送り、自動実行オプション]

キャプチャ後に自動的にページをめくるを有効にし、次に以下を行います:

  • コントロールをクリック — コントロールを選択 を押し、ビューアの次のページボタンをクリックします。保存されるのはポイントであり、CSSセレクタではありません。
  • キーを押す — キーボードイベント(デフォルトは ArrowRight)を、キャプチャ領域の中央を所有するフレームにディスパッチします。これにより、リーダーがイベントを受け取り、ホストページではなくなります。

今すぐテスト は、キャプチャなしで即座に進み、結果を報告します — 長い実行を開始する前に使用する価値があります。

なぜセレクタではなくポイントなのか

保存されたポイントは、CSSセレクタを無効にするDOM再レンダリングを生き残ります。また、セレクタでは到達できない2つの場所に到達できます:

  • クロスオリジン iframe。ほとんどの埋め込みリーダーは iframe であり、トップフレームから表現できるものは何もその内部の要素をアドレスできません。
  • Shadow DOM。document.querySelector はシャドウルートを覗くことができません。

進む際、ポイントはすべてのフレームに提供され、実際にそれを所有するフレームがアクションを実行します。フレームは、同じオリジンの親をたどって、トップレベルビューポート内の自分の位置を把握します。オリジン境界を越えると、親は postMessage によってオフセットを渡します。(window.screenX は役に立ちません — iframe 内ではブラウザウィンドウを報告しますが、フレームは報告しません。)所有フレームは、シャドウルートを介してポイントを解決し、最も近い実際のコントロールまでたどり着き、完全な pointerdown → mousedown → pointerup → mouseup → click シーケンスを発行します。これにより、pointerdown でページをめくるビューアは、click をリッスンするビューアと同様に動作します。

めくれない場合

すべての試行は、ポップアップとページ上のトーストに表示される結果を記録します:

結果意味
no next-page control picked yet自動送りはオンですが、何も選択されていません
an embedded viewer owns that pointChrome の PDF ビューアまたはプラグイン — どの拡張機能からも到達できません
only the page background is at that pointコントロールが移動しました。再度選択してください
a nested frame owns that point注入できなかったフレーム

ターゲットは画面上の固定ポイントであるため、実行中にウィンドウサイズを変更したりズームを変更したりすると、キャプチャ領域が壊れるのと同じように、これも壊れます。


ハンズオフ実行

⌥⇧A — または 自動実行を開始 — は、キャプチャ、ページめくり、繰り返しを自動的に行います。

各サイクルは、ページめくりを始める前にそのページの OCR 結果を待ちます。これは実際には何もコストがかかりません(OCR はページめくりより高速です)が、 unattended ループに必要な唯一のもの、つまり信頼性の高い終了検出を提供します。タイマーでスクリーンショットを撮るだけの実行は、最後のページを通り過ぎて、それをコピーしたものでトランスクリプトを埋めてしまうでしょう。

ページ上の Esc、ホットキー、またはポップアップで停止します。また、以下の条件で自動的に停止します:

条件デフォルト
テキストの変更が停止したとき2ページ連続で同一の場合 — 終わりに到達しました
ページがめくれないとき即座に、理由を引用して
OCR が失敗または停止したとき即座に
ページ上限に達したとき300ページ
タブが閉じられた、または Chrome が再起動したとき即座に

終了した原因はポップアップで報告されるため、放置した実行が謎のまま終わることはありません。実行は、機能する次のページコントロールがない場合は開始を拒否し、1ページでスピンするのではなく、それを回避します。


PDF

Chrome の組み込み PDF ビューアは機能します — テキストは直接抽出されます。ページ領域(サムネイルサイドバーではなく)の上に領域を描画し、独自の ↓ / PageDown でページをめくってください。

自動送りは、どちらのモードでも PDF ビューア内では機能しません:ビューアは拡張機能が注入できないプラグインであるため、クリックは <embed> に着地し、そのページめくりはネイティブスクロールであり、合成キーイベントでは駆動できません。ページごとにホットキーを押しているため、独自のページダウンキーを押すことは何もコストがかかりません。

ディスク上の PDF (file:///…) の場合、chrome://extensions → OCR It の 詳細 → ファイル URL へのアクセスを許可 をオンにしてください。Chrome はこれをオンにするまで、すべての拡張機能から file:// を抑制します。


設定

設定説明
言語英語、ポルトガル語、スペイン語が同梱されています — 追加方法は下記参照
レイアウトTesseract のページセグメンテーション。「自動」のままにしてください — 特に理由がない限り — 下記参照
OCR 前にクロップをシャープにするクロップを約2倍にアップスケールし、ストレッチされたグレイスケールランプに平坦化します。非網膜ディスプレイで非常に役立ちます。オンのままにしてください
前のページと同一のページをフラグ付けする繰り返しを DUPLICATE としてマークし、実行中は終了させます
自動実行ページ間のポーズ、実行を終了する繰り返しの回数、ハードページキャップ
レイアウトは「自動」のままにする

自動は Tesseract のレイアウト解析を実行し、列を自動的に検出し、読み取り順に返します。他のモードはこのステップをスキップし、単一のテキストブロック以外のものに対しては最悪の形で失敗します — サイレントに。

2列ページの Single block を指し示すと、2つの列が交互に、行ごとにインターリーブされて返され、意味のないテキストになります。それでも約95%の信頼度を報告します。2列クロップで測定すると、Auto では 0.0% のエラー率に対し、52.9% の文字エラー率になります — ベンチマーク に表があります。

モード名は間違いを誘います:書籍のページは本文の1列であるため、Single column と Single block は慎重な選択のように聞こえます。それらはそうではありません。領域が実際に中断のない1つのブロックのみを含み、Auto がそれを誤ってセグメント化している場合にのみ使用してください — キャプション、単一行、コードスニペットなど。

Auto が処理できないレイアウト(ガターをまたぐ図、見開きページ)の場合は、代わりに各列を個別の領域としてキャプチャしてください。ページごとに2回のキャプチャは完璧に読み取れますが、1つの間違ったレイアウト設定はそうではありません。

言語の追加

拡張機能には3つの言語(英語、ポルトガル語、スペイン語)が同梱されています。Tesseract の他の約100言語を追加できますが、実行時に何もフェッチされないため、モデルは拡張機能にバンドルする必要があります。

npm install                    # 一度だけ、ツールのために
npm run vendor -- fra deu jpn  # Tesseract の言語コード(複数可)

これにより、各 <code>.traineddata.gz が vendor/lang/ にプルされます。次に、ポップアップのドロップダウンに表示されるように、src/shared.js の LANGUAGES にコードを追加します:

export const LANGUAGES = [
  { code: 'eng', label: 'English' },
  { code: 'por', label: 'Portuguese' },
  { code: 'spa', label: 'Spanish' },
  { code: 'fra', label: 'French' },       // 追加
];

chrome://extensions で拡張機能をリロードすると、新しいエントリが表示されます。

コードは Tesseract が使用する3文字コードです:fra フランス語、deu ドイツ語、ita イタリア語、nld オランダ語、rus ロシア語、jpn 日本語、chi_sim 簡体字中国語、ara アラビア語。完全なリストは tessdata リポジトリ にあります。

一度に2つの言語も可能です — eng+por のコードを与えると、Tesseract は両方のモデルを1つのワーカーにロードし、それらを混合したページを読み取ります:

{ code: 'eng+por', label: 'English + Portuguese' },

速度と精度がわずかに低下するため、ドキュメントに1つの言語しかない場合は単一言語を優先してください。

サイズ。各言語は拡張機能に約 0.7〜3 MB を追加します — 英語が最大で 2.9 MB、フランス語が最小クラスで 0.7 MB です。モデルは @tesseract.js-data/<code>/4.0.0_best_int から取得されます — 「best」モデルは整数に量子化されており、「fast」バリアントよりも大幅に高精度です。

言語を削除するには、vendor/lang/ からその .gz ファイルを削除し、LANGUAGES からそのエントリを削除します。


仕組み

クロッピングにはキャンバスが必要で、Tesseract には実際の Worker が必要です。それらが配置できる場所は、2つのブラウザが実際に異なる唯一の場所であり、コードが分岐する唯一の場所です — src/ocr/host.js、ビルド時に選択されます:

  • Chrome。MV3 バックグラウンドはサービスワーカーであり、DOM も Worker も持ちません。エンジンはオフスクリーン ドキュメントに配置され、メッセージでアクセスされます。
  • Firefox。オフスクリーン API はなく、その必要もありません:MV3 バックグラウンドはイベントページ、つまり実際のドキュメントであり、エンジンはそこに直接インポートされ、インプロセスで呼び出されます。
実行ループ ─┐                        (⌥⇧A: キャプチャ → ページめくり → 繰り返し)
ホットキー ───┴▶ background.js ─▶ 独自の HUD を非表示にし、ペイントを待つ
                            ─▶ tabs.captureVisibleTab          (ビューポート全体)
                            ─▶ ocr host: 領域にクロップ、アップスケール、グレースケール化
                            ─▶ ページ + サムネイルを保存、ページをめくる
                            ─▶ キュー ─▶ ocr host: Tesseract ─▶ ストレージにテキストを格納
パス役割
src/background.jsホットキー、キャプチャパイプライン、シリアル OCR キュー、自動送り、実行ループ
src/ocr/engine.jsキャンバスクロッピングと Tesseract ワーカー — ブラウザ非依存
src/ocr/host.jsエンジンが実行される場所。チェックインされた状態の Chrome のオフスクリーンシム。Firefox はビルドで host.firefox.js で置き換える
src/offscreen/エンジンをホストする Chrome 専用のオフスクリーン ドキュメント。Firefox は代わりに Tesseract と background.js を background.scripts としてリストする
src/content/overlay.js領域ピッカー、ポイントピッカー、ページ上の HUD、クロスフレームオフセットカスケード
src/popup/ページリスト、編集、設定、エクスポート
src/viewer/保存されたキャプチャのフルサイズビュー
src/shared.jsバックグラウンドとポップアップで共有されるストレージスキーマとヘルパー
vendor/Tesseract ランタイム + .traineddata、ビルド不要でコミット済み
tools/ブラウザごとのビルド、アイコンジェネレーター、バンドル、スクリーンショット、エンドツーエンドテスト

重要な詳細:

  • 領域はビューポートに対するCSS ピクセルで保存されます。キャプチャ時に、スクリーンショット自体の幅をライブ innerWidth で割るため、ズームの変更や Retina/非 Retina の違いは、保存された DPR に依存せずに正しく処理されます。
  • HUD は非表示にされ、スクリーンショットの前に消えるための2つのアニメーションフレームが与えられるため、拡張機能自体のトーストがクロップ内に収まることは決してありません。
  • キャプチャはシリアライズされ、OCR は一度に1つのジョブを実行するため、ホットキーを連打してもページリストが破損することなく、作業がキューイングされます。
  • フルサイズのクロップは、ページが正常に読み取られるまで保持され、その後破棄されます。サムネイルは検証のために残ります。
  • 実行は、ループが各 await で再チェックするトークンをバンプすることでキャンセルされるため、停止は書き込み中にではなくチェックポイントで着地します。ループ内のストレージ読み取りは、バックグラウンドのキープアライブとしても機能し、1分間のアラームは、ループがリサイクルされた場合にそれを再起動します — 両方のブラウザがアイドルアウトします。
  • その他すべてはそのまま共有されます。chrome.* よりも browser.* が優先されるのは、両方が存在する場所では、Firefox の chrome エイリアスはコールバックスタイルであり、このコードベースのすべての await はそれに対して undefined で解決されるためです。

テスト

npm install
npm test            # -- --headed を追加して監視する
npm run lint:firefox   # Firefox 用のアドオンバリデーター(build/firefox に対して)
npm run shots       # docs/ のスクリーンショットを再生成する

スイートは、DevTools プロトコルを介して実際のヘッドレス Chrome に解凍された拡張機能をインストールし、フィクスチャ ドキュメントを提供し、実際の製品を駆動します:合成マウスイベントで領域をドラッグし、キャプチャを発火させ、OCR テキストをレンダリングされたものと比較し、領域外のものが漏れなかったことを確認し、出荷されたマニフェストがホストアクセスを要求しないこと、およびツールバーのクリック1回で通常のキャプチャが可能であることを確認し、重複検出を実行し、3つの DOM 形状(プレーンページ、クロスオリジン iframe、開いたシャドウルート)に対して自動送りを行い、設定ミスした自動送りがサイレントに失敗するのではなく、自身を報告することを確認し、有限ドキュメントの終端までアンアテンデッド ループを実行し、すべてのページが順序通りに停止したことをアサートし、要求に応じて実行が即座に停止することを確認します。

Chrome 137+ は --load-extension を無視するため、ハーネスは CDP で Extensions.loadUnpacked と --enable-unsafe-extension-debugging を使用してインストールします。ヘッドレス Chrome は権限プロンプトを表示できないため、動作テストでは許可をクリックしたユーザーの状態である拡張機能のコピーをインストールします。権限セクションは実際のマニフェストをチェックし、付与されていないパスが Extensions.triggerAction(実際のツールバークリック)を介してまだ機能することを証明します。

動作スイートは Chrome のみを駆動します — Firefox 用の同等の CDP ハーネスはありません。2つのビルドはロジックを運ぶすべてのファイルを共有します。それらの間の違いは、1つの6行モジュールとマニフェストです。

Firefox ビルドのテスト

Chrome スイートがアサートするのと同じフィクスチャ ドキュメントを単独で提供できるため、手動パスは既知の正しいテキストに対してチェックされます(「大体合っている」ではなく):

npm run lint:firefox   # Mozilla のバリデーター — AMO が実行するもの。エラーゼロが基準。
npm run fixture        # テスト ドキュメントを提供し、期待される OCR 出力を表示します
npm run start:firefox  # 拡張機能がロードされた一時的なプロファイル、編集時にリロードします

npm run start:firefox は高速ループです。代わりに独自のプロファイルを使用するには、about:debugging#/runtime/this-firefox → 一時的なアドオンを読み込む… に移動し、build/firefox/manifest.json を選択します(パッケージ化された zip もそこで機能します)。

同じページからバックグラウンド ページのコンソールを開きます — OCR It の隣にある Inspect。エンジンのロードに失敗した場合、そこにのみ表示されます。

この順序でウォークスルーする価値があります — 各ステップは Chrome と異なる点です:

チェック証明するもの
ロード時にバックグラウンド コンソールがクリーンであることイベントページが Tesseract とエンジン モジュールを見つけたこと
⌥⇧R、白いボックスをドラッグ、キャプチャコンテンツ スクリプトの注入とキャプチャ全体のパス
テキストが示された章と一致することエンジンがイベントページで実際に実行されていること
「この行は…の外にあります」が決して表示されないことクロップジオメトリが DPR 数学に耐えたこと
サムネイルをクリックビューアページ(Firefox が開くことを拒否する data: URL を置き換えたもの)
ポップアップのいずれかのホットキー ボタン無効な tabs.create の代わりに、書き込み済みの指示にフォールバックする
このサイトで許可する、次に /iframeoptional_host_permissions とクロスオリジン フレーム
/finite で自動実行し、その後1分間アイドル状態にするChrome のオフスクリーン ドキュメントとは異なり、イベントページはアイドルアウトします — ポートにおける唯一の実際の動作上のリスク

制限事項

  • ブラウザ内部ページ — chrome://、about:、拡張機能ストア、他の拡張機能のページ — は、この拡張機能を含むすべての拡張機能からアクセスできません。
  • 表示されているビューポートのみをキャプチャできます — 領域は画面上にある必要があります。
  • スクリーンショットは毎秒数枚に制限されています。キャプチャはバックオフして再試行するため、高速な連打はキューイングされるだけです。
  • 精度はソースに依存します。鮮明にレンダリングされたテキストは 90% 以上の信頼度で読み取れます。低解像度のスキャンや手書き文字は修正が必要になります。
  • ローカル file:/// ドキュメントには、Chrome では ファイル URL へのアクセスを許可 をオンにするか、Firefox ではポップアップから file:// オリジンを付与する必要があります。
  • activeTab はクロスオリジン iframe には到達しません。リーダーが iframe 内にある場合は、自動送りを行う前にポップアップからサイトへのアクセスを許可してください。

ライセンス

MIT — LICENSE を参照してください。バンドルされた Tesseract コンポーネントは独自のライセンスを保持します:vendor/LICENSE.tesseract-core および vendor/tesseract.min.js.LICENSE.txt。

tesseract.js 上に構築されています。