Show HN: Pulpie – Webをクリーニングするためのモデル

皆さん、こんにちは、Feynの創設者であるShreyashです。 私たちは、Webをクリーニングするためのパレート最適モデルのファミリーであるPulpieを開発しました。 Pulpieは、生のHTMLからボイラープレート（広告、フッター、サイドバー）を剥がし、主要なコンテンツのみをHTMLまたはMarkdownとして返します。 私たちは、SOTA（State-of-the-Art）の抽出品質に匹敵しながら、20倍安価です。 Pulpieを使用した場合、10億ページのWebページをクリーニングするコストは7,900ドルですが、現在の主要な抽出ツールであるDripperでは159,000ドルかかります。 この利点はアーキテクチャに由来します。 今日の主要な抽出ツールは、一度に1つのトークンを生成するデコーダーです。 各ステップで、単一のトークンを生成するためにモデル全体がメモリから読み込まれます。 逆に、Pulpieモデルはエンコーダーです。 これらは、完全な入力HTMLに対して1回のフォワードパスを実行し、各ブロックをボイラープレートまたはコンテンツとしてラベル付けします。 その結果、Pulpieは計算バウンドであり、デコーダーはメモリバウンドです。 安価なGPUは、メモリ帯域幅よりも計算能力が相対的に高くなっています。 これにより、Pulpieは最適に実行するのが容易になります。 PulpieとDripperが同じページをサイドバイサイドでクリーニングする様子はこちらです： https://www.youtube.com/watch?v=ibd-tIiQECo ご自身でサイドバイサイド比較を試すこともできます： https://huggingface.co/spaces/feyninc/pulpie Pulpieを開発した動機は、深いリサーチハーネスを構築していたことにあります。 あらゆる検索APIは、広告、ナビゲーション要素、サイドバーを含むノイズの多いコンテンツを返します。 ある事例では、「Gemini on Pixel」の広告が検索結果に紛れ込み、LLMコンテキストに渡され、最終的にユーザーに提供される回答に含まれてしまいました。 私たちにとって非常に恥ずかしい瞬間でしたが、悪いデータがいかにモデルの知能を殺すかを理解するのに役立ちました。 私たちは、クリーンなデータを安価に入手するためにPulpieを開発しました。 すべてのモデルはHugging Faceでオープンソース化されています。 トレーニングプロセスとPulpieの使用方法については、こちらをお読みください： https://usefeyn.com/blog/pulpie-pareto-optimal-models-for-cleaning-the-web/#get-started ご質問があれば喜んでお答えします！