HN 日本語サマリー

← 一覧へ戻る
プログラミング

Show HN: Draco – Rust製のシングルバイナリでセルフホスト可能なFirecrawl代替ツール

Show HN: Draco – A single-binary, self-hostable Firecrawl alternative in Rust (github.com)

10 pointsby ccheshirecat2 コメント

要約

現代のウェブサイトのスクレイピングは困難で高コストになりがちですが、DracoはRustで書かれた高速なシングルバイナリWebスクレイパーとして登場しました。これは、カスタムTLS/JA4フィンガープリントによるステルスフェッチ、V8アイソレートによるSPAレンダリング、そして最終手段としてのブラウザフォールバックという多層的なアプローチで、Cloudflareのような保護を回避し、低リソースで動作します。Firecrawl互換のREST APIやMCPサーバー機能も備え、セルフホスト可能なオープンソースソリューションを提供します。

全文翻訳

現代のウェブサイトのスクレイピングは、非常に厄介な問題となっています。選択肢は主に2つです。FirecrawlやBrowserbaseのような高価なAPIを利用するか、ページごとに1GBのRAMを消費し、それでもCloudflareにブロックされるヘッドレスChromeインスタンスの群れを実行するかです。

私はこの問題を解決するためにDracoを開発しました。これはRustで書かれた、高速なシングルバイナリWebスクレイパーです。URLを指定すると、完璧にクリーンなMarkdownまたはLLM向けの構造化JSONを出力します。

その秘訣は、リクエストごとにブラウザを起動するだけではないことです。Dracoは段階的なエスカレーションエンジンを使用しています。

ティア1(ステルスフェッチ):DracoはカスタムTLS/JA4フィンガープリントを使用し、パケットレベルで実際のブラウザのネットワークシグネチャを完全に模倣します。多くのボット対策ウォールは、ハンドシェイクが正しければ通過させてくれることが判明しました。CloudflareやTargetのようなサイトに対する私のベンチマークでは、Playwrightは約500MBのRAMを消費しタイムアウトしましたが、Dracoはわずか20MBのRAMで1秒未満でそれらをバイパスしました。

ティア2(V8アイソレート):React/Next.js SPAでレンダリングが必要な場合、Dracoはミリ秒単位でインプロセスV8エンジンを起動します。DOMをハイドレートし、ページが呼び出している隠されたJSON APIをインターセプトすることで、グラフィカルブラウザのオーバーヘッドなしに生のデータを提供します。

ティア3(リアルブラウザ):どうしても壁にぶつかった場合、ローカルマシン上の実際のブラウザを検出し、それをシームレスに操作します。

また、ホスト型サービスと完全に互換性のあるドロップイン代替品にするためのすべてのツールを組み込みました。

デーモンモード:draco serveを実行すると、Firecrawl互換のREST APIを備えた永続的なHTTPサーバーが得られます。APIキーを置き換えて、すぐにセルフホストできます。

組み込みMCPサーバー:Model Context Protocolサーバーをネイティブに公開するため、Claude DesktopやAIエージェントに直接接続できます。

Web検索:組み込みの並列マルチエンジンWeb検索(Google Search APIキーの必要性を回避します)。

インタラクトモード:開発者ツールコンソールのようにページの状態を管理し、ナビゲーション間でCookieを永続化します(主にLLM向け)。

完全にオープンソース(MIT/Apache-2.0)です。ヘッドレスChromiumとの戦いや、ページごとのスクレイピングコストにうんざりしているすべての人々のために、これを公開しました。バイナリをダウンロードして、難しいURLを試してみてください。

まだWIP(作業中)であるため、一般的でないサイトで予期しない問題が発生する可能性がありますが、ほとんどの場合、非常に有能であり、CF保護されたサイトや重いSPAを処理できます。他のツールは、より長く、より多くのリソースを消費しながら、部分的にまたは完全に失敗します(example.com、hackernews、cloudflare、glassdoor、bluff.com、target.com、stake.com、thrill.comでテスト済み)。

<table><thead><tr><td>Rank</td><td>Tool</td><td>Score</td><td>Pass</td><td>Avg Time</td><td>Avg RAM</td></tr></thead><tbody><tr><td>#1</td><td>Draco</td><td>769.7</td><td>8/8</td><td>3.45</td><td>216.50</td></tr><tr><td>#2</td><td>Obscura</td><td>384.5</td><td>4/8</td><td>2.68</td><td>87.59</td></tr><tr><td>#3</td><td>BrowserOxide</td><td>373.4</td><td>4/8</td><td>6.42</td><td>105.95</td></tr><tr><td>#4</td><td>Playwright</td><td>342.2</td><td>4/8</td><td>1.71</td><td>535.07</td></tr><tr><td>#5</td><td>Bouncy</td><td>196.6</td><td>2/8</td><td>0.59</td><td>19.38</td></tr></tbody></table>

リポジトリ:Draco