HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: Pulpie – Webをクリーニングするためのモデル

Show HN: Pulpie – Models for Cleaning the Web (usefeyn.com)

42 pointsby snyy10 コメント

要約

Feyn社は、Webページから広告やフッターなどの不要な要素を剥がし、主要なコンテンツのみをHTMLまたはMarkdown形式で抽出する「Pulpie」を発表しました。Pulpieは、最先端の抽出品質を維持しつつ、従来のモデルと比較して20倍安価で、特に大規模なWebページ処理においてコスト効率が高いのが特徴です。このモデルはエンコーダーアーキテクチャを採用しており、計算効率に優れています。

全文翻訳

皆さん、こんにちは。Feynの創業者であるShreyashです。私たちは、Webをクリーニングするためのパレート最適モデル群であるPulpieを開発しました。Pulpieは、生のHTMLからボイラープレート(広告、フッター、サイドバー)を剥ぎ取り、主要コンテンツのみをHTMLまたはMarkdown形式で返します。

抽出品質はSOTA(State-of-the-Art)に匹敵しながら、コストは20倍安価です。10億ページのクリーニングにかかる費用は、Pulpieでは7,900ドルですが、現在の主要な抽出ツールであるDripperでは159,000ドルです。

この性能向上はアーキテクチャに由来します。現在主流の抽出ツールは、一度に1トークンずつ出力を生成するデコーダーです。各ステップでモデル全体がメモリから読み込まれ、単一のトークンが生成されます。対照的に、Pulpieのモデルはエンコーダーです。入力されたHTML全体に対して1回のフォワードパスを実行し、各ブロックをボイラープレートかコンテンツかに分類します。その結果、Pulpieはコンピュートバウンド(計算能力に依存)である一方、デコーダーはメモリバウンド(メモリ帯域幅に依存)です。安価なGPUは、メモリ帯域幅と比較してコンピュート能力が相対的に高いため、Pulpieは最適に実行しやすいのです。

PulpieとDripperが同じページをクリーニングしている様子をサイドバイサイドでご覧ください: 動画: https://www.youtube.com/watch?v=ibd-tIiQECo。ご自身でもサイドバイサイド比較を試すことができます: https://huggingface.co/spaces/feyninc/pulpie

Pulpieを開発するきっかけとなったのは、ディープリサーチハーネスを構築していた際のことです。あらゆる検索APIは、広告、ナビゲーション要素、サイドバーを含むノイズの多いコンテンツを返します。ある時、「Gemini on Pixel」の広告が私たちの検索結果に紛れ込み、LLMのコンテキストに渡され、最終的にユーザーに提供される回答に含まれてしまいました。私たちにとって非常に恥ずかしい瞬間でしたが、データが不十分だとモデルの知性が損なわれるということを痛感させられました。私たちは、クリーンなデータを安価に取得するためにPulpieを開発しました。

すべてのモデルはHugging Faceでオープンソースとして公開されています。トレーニングプロセスやPulpieの使用方法については、こちらをご覧ください: https://usefeyn.com/blog/pulpie-pareto-optimal-models-for-cleaning-the-web/#get-started

ご質問があれば、喜んでお答えします!