HN 日本語サマリー

← 一覧へ戻る
その他

ドキュメントの山を検索可能で使いやすい知識ベースに変換する

Turning a pile of documents into a searchable useable knowledge base (github.com)

177 pointsby linuxrebe136 コメント

要約

DocuBrowseは、PDF、Word、EPUBなどの様々な形式のドキュメント群を、キーワード検索とAIによる意味理解を組み合わせた強力な知識ベースに変換するローカルアプリケーションです。ユーザーは、ファイルに保存されている正確な単語を使わなくても、自然言語で情報を検索でき、検索結果からはAIによる要約を即座に確認できます。インターネット接続やAPIキーは不要で、プライバシーとセキュリティが重視されています。

全文翻訳

ドキュメントの山を検索可能で利用可能なナレッジベースに変換する

言語: English | 日本語 | 한국어 | 简体中文 | 繁體中文

DocuBrowse v1.5.2

製品ウェブサイト

[画像: DocuBrowser - Finally search your files by meaning. 100% local, 100% yours | Product Hunt]

Linux (RPM, DEB, tarball), Windows (zip), および macOS (dmg) 向けにパッケージ化されています。
インターフェースは安定しており、可能な限り破壊的な変更は回避されます。

DocuBrowse は、散らかったドキュメントの山を、実際に検索できるものに変えます。 PDF、電子書籍、Word文書、メモなど、お使いのファイルを指定するだけで、キーワードだけでなく意味も理解するスマートなインデックスを構築します。「リース更新に関するあの契約」のように検索すれば、その言葉が正確に含まれていなくても見つけることができます。結果をクリックすると、ファイルを開く前に瞬時にAIによる要約が表示されます。PII(個人識別情報)にも配慮し、複数のドキュメントディレクトリに対応しています。

DocuBrowse は、ローカルAIモデルのみを使用して完全に自分のマシン上で実行されます — インターネット接続、アカウント、APIキー、トークン予算を消費するクエリごとのコストは一切不要です。あなたのデータ。あなたのAI。

内部では: SQLite FTS5 キーワード検索に加え、AIによるセマンティック類似性および要約生成(Ollama + nomic-embed-text + dolphin3)を使用します。複数のドキュメントおよびソースコードタイプをサポートします。

Docker (実験的 — まだ推奨されません): docker-experiment ブランチでコンテナ化されたデプロイメントが試行されています。Docker/OSの制限とDocuBrowseのセキュリティモデルのため、完全に動作するモデルはまだ達成されていません — 特に、ブラウザベースのコンテナからデスクトップアプリでドキュメントを開くことはできません(サーバーはヘッドレスで、ブラウザはサンドボックス化されています)。実験したい方のためにそのブランチで利用可能ですが、使用は推奨されません。ブランチの docker/README.md を参照してください。


ナビゲーション


機能

↑ トップ

🔍 デュアル検索モード
  • キーワード検索 — SQLite FTS5 による高速全文検索(タイトル、著者、件名、タグ、スニペット)
  • セマンティック検索 — Ollama の埋め込み(nomic-embed-text:latest)によるAI駆動の類似性検索。セマンティック検索は、どのドキュメントがクエリに関連しているかを特定します。ディープリンク(下記)は、ドキュメント内のどこに一致があるかを特定します。
  • ハイブリッドモード(デフォルト、「両方」) — キーワードとセマンティックをマージ:各ドキュメントは、両方がヒットした場合に小さなブーストを伴う、2つのスコアのうちより高い方を採用します。キーワードヒットまたはセマンティックフロアをクリアする必要があります。詳細は検索のヒントとコツを参照してください。
🎯 ディープリンク — ドキュメント内パッセージ検索
  • キーワードまたはセマンティック検索の結果から、ディープリンクをクリックすると、そのドキュメント内の該当するパッセージが見つかります — オンデマンドで、再インデックス不要、スキーマ変更不要。
  • 各パッセージには短いサンプルと場所ラベル(ページ、行、またはセクション)が表示されます。クリックすると、一致したテキストがハイライトされた状態でパッセージが開きます。
  • モードは検索に追従します:セマンティック検索は意味でパッセージを見つけ、キーワード(またはハイブリッド)検索は用語で見つけます。
  • テキスト形式:PDF、TXT、HTML、Markdown、DOCX、RTF、ODT、電子書籍(EPUB、MOBI、AZW3)、DjVu、さらにSGML/XMLファミリー(XHTML、XML、DocBook、RSS/Atom、OPML)およびその他のテキスト/マークアップ形式(reST、AsciiDoc、LaTeX、設定ファイル、JSON/YAML、メール、ソースコード)。非テキスト形式(スプレッドシート、プレゼンテーション、図)は、リーダーで開くようにフォールバックします。
  • ディープリンクが「見つかりません」と表示される場合、それはドキュメントタイプがまだ処理コードに追加されていない可能性が高いです。ドキュメントに既に割り当てられているキーワードは取得しましたが、ドキュメントを実際に読み取ってディープリンクを作成することはまだできません。可能な限り拡張に取り組んでおり、価値がある場合に提供します(モナリザの画像であるPDFのディープ検索は、この方法では検索されない可能性が高いです)。
📖 AI要約
  • 任意のドキュメントタイトルをクリックすると、Kindleスタイルのブックジャケット要約が表示されます。これはOllama(dolphin3:latest)経由でオンデマンドで生成され、初回生成後にデータベースにキャッシュされます。最初の要約生成には、最小限のハードウェア(CPUのみ、GPUなし)では時間がかかる場合があります — 結果はキャッシュされるため、後続のリクエストは瞬時に行われます。セマンティック検索の埋め込みは、2番目のローカルモデル(nomic-embed-text:latest)によって生成されます。
📚 ドキュメントインデックス作成
  • 形式: PDF、DOCX、PPTX、XLSX、ODT、ODS、ODP、OTT/OTS/OTP(ODFテンプレート)、VSDX/VSDM、VSD/VSS/VST(レガシーVisio)、VDX(Visio 2003 XML)、draw.io/diagrams.net (.drawio/.dio)、PlantUML (.puml/.plantuml)、Mermaid (.mmd)、SGML/XMLファミリー (.xml/.xhtml/.sgml/.sgm)、DocBook (.docbook/.dbk)、SVG、フィード (.rss/.atom/.opml)、reStructuredText (.rst)、AsciiDoc (.adoc/.asciidoc)、LaTeX (.tex/.latex)、Email (.eml)、RTF (.rtf)、CSV / TSV、EPUB、MOBI、AZW3、AZW、DjVu (.djvu/.djv)、HTML、TXT、Markdown、および設定ファイル風のプレーンテキスト (.ini/.conf/.cfg/.log/.lst)
  • PDFインテリジェンス: pdfplumber(推奨)、pypdf(オブジェクトが多いファイル用のフォールバック)を使用。複雑なレイアウトの場合は layout=False で再試行。スキャンされた(画像のみの)PDFは検出され、ocr_list_pdfs.txt にルーティングされます。
  • Word文書: python-docx が段落、テーブル、およびコアプロパティ(タイトル、著者、件名)を抽出します。
  • プレゼンテーション: python-pptx がスライドテキスト、ノート、およびコアプロパティを抽出します。
  • スプレッドシート: openpyxl がセル値とシート名を抽出します。
  • OpenDocument: ODFテキストドキュメント(.odt)、スプレッドシート(.ods)、プレゼンテーション(.odp)、およびそれらのテンプレートバリアント(.ott/.ots/.otp) — Python標準ライブラリ(zipfile + xml.etree.ElementTree)を介して、段落、見出し、リスト、テーブル、セル値、スライドテキストを抽出します。テンプレートはMIMEタイププレフィックスによって対応する抽出器にルーティングされます。メタデータ(タイトル、著者、件名、説明、キーワード)は meta.xml から読み取られます。追加の依存関係は不要です。
  • Visioおよび図:
    • 最新のVisio(.vsdx/.vsdm) — 標準ライブラリでOOXML zipを解析。シェイプテキスト、ページ名、コアプロパティ(タイトル/著者/件名/キーワード)をサードパーティ依存なしで抽出します。
    • レガシーVisio(.vsd/.vss/.vst) — バイナリ複合ドキュメント。オプションの vsd2xml ツール(libvisio-tools から)が必要です(sudo dnf install libvisio-tools / sudo apt install libvisio-tools)。これがない場合、ファイルはメタデータのみでインデックス化され(ファイル名をタイトルとし、本文なし)、パスは visio_legacy_missing.txt に追加されるため、インストール後に再スキャンすると検出されます。
    • draw.io / diagrams.net(.drawio/.dio) — 平文の mxfile XMLと圧縮された(deflate + base64 + URLエンコード)図の両方をサポート。すべての mxCell ラベルと object ラベル、およびページ名を抽出します。標準ライブラリのみを使用します。
    • テキストベースの図 — PlantUML(.puml/.plantuml)とMermaid(.mmd)のソースはプレーンテキストとしてインデックス化され、diagram タグが付けられます。
  • マークアップファミリー(すべて標準ライブラリ、追加依存なし):
    • XML/SGML(.xml/.xhtml/.sgml/.sgm)、DocBook(.docbook/.dbk)、SVG(diagram タグも付与)、フィード(.rss/.atom/.opml)はタグストリップ処理されます — DOCTYPE、コメント、CDATAラッパー、<script> および <style> ブロックは削除され、残りのタグは破棄されます。エンティティはエスケープ解除されます。タイトル/著者/件名は、ストリップ前に既知の要素(<title>、<dc:title>、<author>、<dc:creator>)からスニッフィングされるため、DocBook、Atom、RSS、SVGはすべて有用なメタデータを表面化します。
    • reStructuredText(.rst)、AsciiDoc(.adoc/.asciidoc)、LaTeX(.tex/.latex)はそのまま(すべてのマークアップが検索可能なテキストになります)インデックス化され、フォーマットごとのタイトルヒューリスティックが適用されます:reSTのアンダーラインスタイルのタイトル、AsciiDocのレベル0 = Title、LaTeXの itle{} / exorpdfstring{}。LaTeXの itle{} はキャプチャされ、行末 % コメントは削除されます。すべてのマークアップファイルには、ブラウズ/フィルターの利便性のために markup タグが付けられます。.vdx(Visio 2003 XML)にも diagram タグが付与されます。
  • メール、RTF、表形式、設定ファイル風テキスト:
    • メール(.eml) — 標準ライブラリの email パッケージで解析されます。件名はタイトルに、送信者は著者になり、宛先/CC/日付、およびプレーンテキスト本文(またはHTML本文のタグをストリップしたもの)が検索可能なコンテンツになります。添付ファイルのファイル名が追加されるため、名前検索でもヒットします。
    • RTF(.rtf) — striprtf(純粋なPython、MITライセンス)でデコードされます。これがない場合、ファイルはメタデータのみでインデックス化され、パスは rtf_missing_striprtf.txt に追加されます。striprtf をインストールして再スキャンすると本文が取得されます。
    • CSV / TSV — 最初の約500行がパイプ区切りの行レンダリングでインデックス化されます。ヘッダー行は description フィールドに配置されるため、列名がキーワード検索に影響します。標準ライブラリのみを使用。区切り文字は自動検出されます。
    • 設定ファイル風プレーンテキスト — .ini、.conf、.cfg、.log、.lst は、同じ200KBの読み取り制限で標準テキストパスを通過します。
  • 電子書籍: EPUBの場合はebooklib、MOBI/AZW3のテキスト抽出の場合はmobipackage + Calibreの ebook-convert フォールバック、DRMで暗号化されたAZWファイルはメタデータのみでインデックス化されます(タイトル/著者のみ表示、本文は検索不可)。
  • DjVu: .djvu/.djv のテキストレイヤーは DjVuLibre(djvutxt/djvused、外部非pipツール)を介して抽出されます。これがない場合、DjVuファイルはメタデータのみでインデックス化され、パスは djvu_missing_djvulibre.txt に追加されます。DjVuLibreをインストールして再スキャンすると本文テキストが取得されます。テキストレイヤーのない画像のみのDjVuは、メタデータのみでインデックス化されます(OCRは実行されず、スキャンされたPDFと同様)。
  • プラットフォーム: すべての抽出ライブラリは純粋なPythonであるか、x86_64とARM64の両方のホイールを提供しています。32ビットシステムはサポートされていません。
  • メタデータ: ドキュメントのメタデータフィールドから抽出されたタイトル、著者、件名。ディレクトリ構造とコンテンツキーワードからの自動生成タグ。
  • PII保護: 投稿後のスキャナーがSSN、クレジットカード、銀行ルーティング/口座番号、生年月日、MRN、運転免許証、パスポートのパターンを検出します。一致したドキュメントを削除し、永久にブラックリストに登録します。
🎨 ユーザーインターフェース
  • ダーク/ライトテーマ切り替え
  • ページネーションされた結果(1ページあたり50ドキュメント)と前/次のコントロール
  • アルファベットインデックスバー(A–Z、0–9)によるクイックナビゲーション。状態はページロード間で保持されます。ホームボタンでリセットします。
  • トピックによるフィルタリングのためのタグクラウド
  • すべての結果に表示される関連性スコアバッジ(0–100%)
  • 各結果のオープンボタン — ファイルをデフォルトのアプリで xdg-open 経由で起動します。
  • ドキュメントタイトルをクリックするとAI要約が表示されます。📋 はパスをクリップボードにコピーします。🗑 はファイルを確認後にディスクとインデックスから削除します。
  • 移動/削除されたドキュメント:ファイルが存在しなくなったドキュメントをクリックすると、ファイルシステムがマウントされている場合はモーダルが表示され、キャンセルするとインデックスから削除されます。マウントされていない場合はトーストが表示されます(インデックス変更なし)。
⚙️ 設定 (/settings)
  • 一般パネル:ドキュメントディレクトリ(ライブディレクトリブラウザ付き)、任意の数の追加スキャンディレクトリ(同じパネルの下に追加/削除 — scan/rescan に自動的に含まれ、追加コマンドは不要)、作業ディレクトリ、ポート。
  • 除外ディレクトリパネル:ignore_dirs.txt にディレクトリを追加するためにブラウズします。削除前に確認プロンプトが表示され、その下のインデックス化済みドキュメントがパージされます。
⚡ パフォーマンス
  • 検索レイテンシ:典型的に150ms未満
  • 並列PDF抽出(ProcessPoolExecutor、物理コア数に基づくワーカー数)
  • メモリセーフ:カーネル強制RLIMIT_AS(6 GB/ワーカー)+ RAM空き容量閾値での一時停止/再開

検索のヒントとコツ

↑ トップ

DocuBrowse には3つの検索モードがあります(右上トグル):キーワード、セマンティック、両方(デフォルトのハイブリッド)。検索は Enter キーを押すと実行されます — ボックスをクリアするとすべてのドキュメントが再度表示されます。ドキュメント内でディープリンクをクリックした場合も同じルールが適用されます。ディープリンクは、検索に使用したモードに従います。

3つのモード
  • キーワード — SQLite FTS5 によるリテラルテキスト。各単語はプレフィックスマッチされ、単語は OR で結合されます。したがって、budget report は budget… または report… を含むドキュメントを見つけます(両方が含まれるとは限りません)。ヒットがどこに着地したかでランク付けされます — タイトルと著者での一致は、本文やタグでの一致よりも優先されます。ドキュメント内に実際に存在する単語、名前、またはコードを知っている場合に最適です。
  • セマンティック — AI埋め込みによる意味。正確な単語が含まれていなくても、クエリの内容に関連するドキュメントを見つけます。概念的な近さでランク付けされます。正確な単語を知らない場合に、「Xに関するドキュメント」を探すのに最適です。
  • 両方(デフォルト) — 両方を実行し、ドキュメントごとに、2つのスコアのうちより高い方を保持します(両方がヒットした場合は小さなブースト付き)。ドキュメントはキーワードヒットまたは意味のあるセマンティックスコアを獲得する必要があるため、弱いセマンティックノイズが堅実なキーワード一致を埋もれさせることはありません。
単語の組み合わせで何が起こるか
入力する単語キーワードモードセマンティックモード
budget reportbudget… または report… を含むドキュメント(プレフィックス、どちらか一方)予算/財務報告に関するドキュメント、意味で検索
`