HN 日本語サマリー

← 一覧へ戻る
プログラミング

レイアウト、テーブル、数式、バウンディングボックスを備えた軽量PDFパーサー

Lightweight PDF parser with layout, tables, formulas and bounding boxes (github.com)

88 pointsby beatrizalmeidaf7 コメント

要約

Papero-PDF-Text-Extractorは、軽量なスタックでPDFの構造を抽出するツールです。テキストだけでなく、読み取り順序、テーブル、数式、各ブロックの位置情報まで、Markdown、JSON、Word、Excel形式で出力できます。CPUのみで動作し、MLモデルは使用しません。ブラウザ、Python、APIとして利用可能です。

全文翻訳

軽量なPDFパーサー:レイアウト、テーブル、数式、バウンディングボックス対応

[画像: papero]

重たいスタックなしでドキュメント構造を抽出。

PDF → Markdown · JSON · Word · Excel — 読み取り順序、テーブル、数式、図、および各ブロックの位置情報付き。
CPUのみ。MLモデル不使用。ブラウザ、Python、またはAPIとして実行可能。

[画像: CI] [画像: Python 3.10–3.13] [画像: MIT license] [画像: No ML models]

▶ ブラウザで試す  ·  クイックスタート  ·  ベンチマーク

[画像: papero デモ:PDFをロードし、ページ上の各ブロックをアウトライン表示、テーブルをクリックして検査、テーブルとLaTeX数式を表示、Wordにエクスポート]
ブラウザアプリでの30秒デモ:PDFをロードし、任意のブロックを検査し、テーブルと数式を確認し、Wordにエクスポートします。あなたのPDFはあなたのマシンから離れません。(MP4)


なぜpaperoなのか

PDFからテキストを抽出するのは簡単です。しかし、その構造を復元すること — どの列が最初に来るか、どの行がテーブルか、数式はどこにあるか — が、RAG、検索、LLMで出力を使用可能にする鍵となります。paperoはプレーンなジオメトリでこれを実現するため、ラップトップのCPUでも高速に動作します。

📖 読み取り順序 2段組や3段組の論文を列ごとに読み取ります。ヘッダー、フッター、ページ番号、繰り返し表示されるロゴは除外されます。▦ 実際のテーブル 罫線あり、罫線なし、LaTeXのbooktabs形式のテーブルを、複数行セルを含めて行と列として復元します。CSVまたはExcelにエクスポート可能です。∑ 数式 指数、添え字、積み重ねられた分数、描画されたルート記号を数学として読み取ります — 5/12、10√2、CO₂(g) — そしてLaTeX(\frac{5}{12}、\sqrt{2})として書き出し、数式のクロップ画像も提供します。
📍 全ての要素の位置 各ブロックにはバウンディングボックスがあります — RAGの回答で正確な場所を参照したり、ページ上に描画したり、クロップしたりできます。🖼 図とグラフ 画像とベクターグラフはPNGにクロップされ、キャプション、軸ラベル、凡例がまとめて保持されます。📝 Wordへの復元 列、配置、インデント、行間、太字の範囲、フォントが保持されるため、.docxまたはHTMLエクスポートは元のページのように見えます — 2段組は2段組のままです。

その他:LaTeX PDFで描画されたアクセント(Computa¸ca˜o → Computação)、フォームジェネレーターが使用する不可視の白文字は削除、スキャンされたページはOCR処理、DOCX/PPTX/XLSX/EPUB/HTMLはApache Tika経由で読み取ります。

クイックスタート

pip install papero-extract
from papero_extract import extract

doc = extract("paper.pdf")
print(doc.to_markdown())

またはインストールをスキップ:ブラウザアプリを開く、PDFをドロップして、必要な形式にエクスポートします。

さらにPythonで — テーブル、数式、位置、画像、オプション

from papero_extract import extract, extract_text

doc = extract("paper.pdf", images=True)

doc.tables[0].rows  # [["Model", "Accuracy"], ["Base", "0.81"], ...]
doc.formulas[0].latex  # "E = mc^{2}"
doc.figures[0].image.data  # PNGバイトデータ

for block in doc.pages[0].blocks:  # 読み取り順序、位置情報付き
    print(block.type, block.bbox, block.text[:60])

doc.to_html()  # 配置とインデントを保持
doc.to_dict()  # 完全なJSON

# 段落内の数式をLaTeX形式で、Markdownまたはプレーンテキストで — それが何でできているか(演算子、関数、指数、ルート)によって検出され、テキストフォントで設定されている場合でも検出されます:
doc.to_markdown(math="latex")  # "Se $\operatorname{tg} x - \operatorname{cotg} x = 1$, então…"
doc.to_text(math="latex")  # "a) $1{,}035\cdot 10^{9}$ e $5{,}5\cdot 10^{7}$"

extract("slides.pptx").to_markdown()  # Apache Tikaが読み取る任意の形式
extract_text("contract.pdf").text  # 最速:テキストのみ
オプションデフォルト
pagesall"1-3,5,10-"
imagesFalse図、テーブル、数式をPNGにクロップ
tables / formulasTrue検出のオン/オフ
ocr"auto""auto"(スキャンされたページのみ)、"force"、"off"
ocr_language"por+eng"Tesseractの言語
tikaTrueFalseはレイアウトエンジンのみを実行(Java不要)
workers1長いドキュメント用のプロセス数

CLI

papero-extract extract paper.pdf -o paper.md --images   # Markdown + images/フォルダ
papero-extract extract paper.pdf -o paper.json          # 拡張子から形式を推測
papero-extract extract paper.pdf -f csv -o tables.csv   # テーブルのみ
papero-extract extract paper.pdf -p 1-5 -f html
papero-extract extract paper.pdf --math latex -o p.md   # テキスト内の数式を $…$ 形式で
papero-extract extract paper.pdf --fast                 # クリーンなテキストのみ
papero-extract batch ./documents -o ./dataset           # RAG用のフォルダ全体
papero-extract serve --port 8000                        # API + ブラウザアプリ

バッチ処理と忠実度レポート — PDFフォルダをRAGデータセットに変換し、レビューが必要なものを特定

papero-extract batch ./documents -o ./dataset
dataset/
├── documents/        PDFごとに1つの.mdと1つの.json(同じサブフォルダ構造)
├── chunks.jsonl      見出しで区切られた各チャンク、テーブルはそのまま保持
├── manifest.json     ドキュメントごと:ページ数、テーブル数、チャンク数、忠実度スコア
└── fidelity/
    ├── report.json   合計、シグナル、各ドキュメントの問題点
    ├── summary.html  同じ内容をブラウザで開く
    └── problematic/  警告またはエラーのあるドキュメントごとの.json

各チャンクはどこから来たかを知っているため、検索ヒットをページ上に表示できます:

{"id": "paper.pdf#12", "type": "table", "headings": ["4 Results"], "pages": [6, 6],
 "blocks": ["p6-b3"], "text": "Table 2: Accuracy per model.\n\n| Model | Top-1 | …"}

レポートは各ドキュメントをそのPDFと比較します — 正解データはないため、どこを見るべきかの指標として読み、精度としては見ないでください:

シグナルチェック内容
textPDFiumが各ページで読み取る単語がすべて出力に含まれているか
reading_order同じ列内の下にあるブロックより後に読まれるブロックがないか
tables各 "Table N" キャプションに対応するテーブルがあるか;各テーブルがきれいにグリッド化されているか
figures各 "Figure N" キャプションに対応する図があるか
formulas各数式にLaTeXがあり、マッピングされていないグリフがないか

ページがまだ間違って出力される場合、Compareタブでその場で修正できます:各ブロックはPDF上にアウトライン表示されます — ブロックをドラッグして移動したり、ハンドルを引いてサイズを変更したり、空の場所をドラッグして新しいブロックを描画したりできます。フローティングツールバーでブロックのタイプを変更したり(段落がテーブルであるべき場合など)、複数のブロックをマージしたり、再読み取りしたり、読み取り順序を変更したり、削除したりできます。出力のダブルクリックでテキストをその場で修正できます。すべてのアンドゥ/リドゥが可能です。ドラッグ中、横にあるpaperoの出力は追従し、そのボックスが現在何を持っているかを表示します — その内容は抽出処理と同じようにPDFから読み取られます — そしてすべてのビューとエクスポート(Markdown、Word、Excel、JSON…)は修正された状態で出力されます。

from papero_extract import extract
from papero_extract.batch import run_batch
from papero_extract.chunks import chunk_document
from papero_extract.fidelity import assess, reference_text

run_batch("./documents", "./dataset", workers=8)["totals"]   # {"documents": …, "ok": …, "warning": …, "error": …}

doc = extract("paper.pdf")
chunk_document(doc, document="paper.pdf", max_chars=1500)
assess(doc, reference_text("paper.pdf")).issues              # [Issue(code="table_not_detected", pages=[5], …)]

REST API & Docker

docker compose up        # API + Apache Tika + Tesseract + ブラウザアプリを :8000 で起動
curl -F "file=@paper.pdf" "localhost:8000/v1/extract?format=markdown"
curl -F "file=@paper.pdf" "localhost:8000/v1/extract?format=zip&images=true" -o paper.zip
curl -F "file=@paper.pdf" "localhost:8000/v1/extract?per_page=true"     # ブロック + 位置情報付きJSON

エンドポイントは1つ、POST /v1/extractです。インタラクティブなドキュメントは /docs で確認できます。

パラメータデフォルト
modestructuredstructured(レイアウト + Tika)または fast(テキストのみ)
formatjsonjson、markdown、text、html、csv、zip
pagesall1-3,5,10-
per_pagefalseJSONにページ、ブロック、位置情報を含めるか
imagesfalse図、テーブル、数式をクロップするか
ocrautoauto、force、off

環境変数による設定 — .env.example を参照してください。

出力内容

各ブロックはそれが何であり、どこにあるかを知っています:

{
  "type": "table",
  "bbox": [56.7, 294.8, 481.9, 374.2],
  "rows": [["Model", "Accuracy"], ["Base", "0.81"]],
  "caption": "Table 1: Comparison between models."
}
出力Python · CLI · APIブラウザアプリ
Markdown、プレーンテキスト、JSON✓✓
HTML(配置とインデントを保持)✓✓
テーブルのCSV、画像付きZIP✓✓
ページの見た目を保持するWord .docx—✓
Excel .xlsx(テーブルごとに1シート)—✓

完全なJSONスキーマとブロックタイプ

{
  "schema": "pdf-text-api/document@1",
  "engine": "tika+pdfium",
  "page_count": 12,
  "metadata": { "title": "...", "author": "...", "language": "en" },
  "pages": [{
    "number": 1, "width": 595.3, "height": 841.9,
    "blocks": [{
      "id": "p1-b4", "type": "paragraph", "bbox": [74.0, 217.0, 522.0, 275.0],
      "text": "Atestamos que a estudante ...",
      "style": { "pt": 11.0, "font": "Arial", "bold": false },
      "format": { "align": "justify", "first_line": 42.7, "line_spacing": 1.8 },
      "runs": [{ "text": "FULANA DE TAL", "bold": true, "italic": false, "script": null }]
    }]
  }]
}

ブロックタイプ:heading(level付き)、paragraph、list_item(marker付き)、table(rows付き)、figure、formula(latex付き)、caption、code、そして — テキストとは別に — header、footer、page_number。バウンディングボックスはページ左上を原点としたポイント単位の [x0, y0, x1, y1] です。

ベンチマーク

[画像: PDFあたりの平均抽出時間(対数スケール):PyMuPDF 97 ms、papero fast 136 ms、papero structured 543 ms、pypdf 1.52 s、pdfplumber 3.56 s、Docling 82.9 s]

高密度なarXiv論文(マルチカラム、数式、テーブル、図)を単一ラップトップCPUで、GPUなしで実行。papero · fast はクリーンなテキストを返します;papero · structured は読み取り順序、テーブル、数式、図も再構築します — 54論文で0失敗、1ページあたり39 ms(中央値)。benchmarks/ で再現可能です。

paperoPyMuPDFpdfplumberpypdfDoclingMarker
ライセンスMITAGPLMITBSDMITGPL
MLモデル / PyTorchが必要かいいえいいえいいえいいえはいはい
マルチカラム読み取り順序✓部分的——✓✓
構造化テーブル✓✓✓—✓✓
数式グリフからのLaTeX + 画像———✓✓
バウンディングボックス✓✓✓—✓✓
DOCX / PPTX / XLSX / EPUB✓部分的——✓部分的
ブラウザで完全に実行可能✓—————

MLベースのツールは、非常に不規則なレイアウトや複雑な数式(行列、アラインメントされたシステム)では依然として優れています — paperoは数式を近似LaTeXと画像として提供するため、何も失われません。

仕組み

2つのエンジンが同じファイルに対して同時に実行されます:

  • PDFium上のレイアウトエンジンは、各グリフをその位置、フォント、サイズとともに、すべての罫線と画像を読み取り、カラム、テーブル、数式、リスト、図をカラムを認識するXYカットで再構築します。
  • Apache Tikaは、メタデータ、タグ付きPDFヘッダー、OCR(Tesseract)、およびPDF以外のすべての形式を追加します。

ブラウザアプリは、pdf.js上でJavaScriptに移植された同じアルゴリズムを実行し、CIはブロックごとに両方のエンジンが一致しているかを確認します。

制限事項

  • 数式: グリフとストロークから再構築されます。分数、ルート、指数、添え字は認識されます;行列、アラインメントされたシステム、ネストされた構造は線形に出力されます(クロップされた画像は常に存在します)。数学フォントのグリフ番号がプロデューサーによって再番号付けされたPDFでは、Pythonエンジンがブラウザエンジンがグリフ名で読み取るシンボルを見逃す可能性があります。
  • Wordエクスポートは各ページを個別のページに保持します;Wordが行を異なって折り返す場合、密なページは追加のページに数行オーバーフローすることがあります。
  • 罫線なしテーブルで列間の間隔が非常に狭い場合、テキストとして読み取られることがあります。
  • スキャンされたPDFにはOCRが必要です。これはサーバーパスで実行されます(TesseractはDockerイメージに含まれています)。
  • Word/Excelエクスポートは現在のところブラウザアプリでのみ利用可能です。

開発

git clone https://github.com/beatrizalmeidaf/papero-pdf-text-extractor.git && cd papero-pdf-text-extractor
pip install -e ".[dev]"
pytest -q                                   # 実世界の回帰テストを含む
ruff check src tests && ruff format --check src tests
npm install --prefix tests/js && python tests/js/expected.py tests/js/out && node tests/js/parity.mjs tests/js/out
python -m http.server -d web                # ブラウザアプリは http://localhost:8000 で利用可能

src/papero_extract/ はPythonエンジン、API、CLIです · web/ はブラウザアプリ(GitHub Pages)です · tests/js/ は2つのエンジンが一致しているかを確認します · benchmarks/ はデータセットをダウンロードしてチャートを描画します。

貢献

Paperoが間違って処理するPDFを見つけましたか?それが最も役立つIssueです — ファイル(またはその一部)を添付し、期待した結果を教えてください。読み取り順序、テーブル、数式、エンコーディング、OCR、ブラウザ/サーバーの違いなど、すべて対象となります。

Paperoがあなたの時間を節約したなら、⭐ をクリックすると他の人が見つけやすくなります。

キーワード: PDFからMarkdownへ · PDFからJSONへ · PDFからWordへ · PDFからExcelへ · PDFテーブル抽出 · PDFパーサー · ドキュメント解析 · レイアウト解析 · 読み取り順序 · マルチカラムPDF · 数式抽出 · LaTeX · バウンディングボックス · OCR · Apache Tika · PDFium · pdf.js · RAG前処理 · LLMドキュメントローダー · Docling代替 · PyMuPDF代替 · converter PDF para Markdown, Word e Excel · extrair tabelas de PDF · extrair texto de PDF mantendo a formatação · OCR de PDF escaneado

MIT © Beatriz Almeida · pip install papero-extract · import papero_extract