HN 日本語サマリー

← 一覧へ戻る
プログラミング

週末に10ドルでメイカー向け50万ドメイン検索エンジンを構築した話

I Built a 500k-Domain Search Engine for Makers in a Weekend for $10 (alexmorleyfinch.github.io)

137 pointsby dreamforever72 コメント

要約

筆者は、企業サイトやSEOスライムに埋もれがちなメイカーのポートフォリオやアートプロジェクトなどを発見するための検索エンジンを、週末にわずか10ドルで構築しました。この検索エンジンは、約50万ドメインのホームページをクロールし、ローカルの小規模言語モデル(Gemma 4B)を使用してメタデータ(名前、要約、カテゴリ、タグ)を抽出し、ディスク容量1GB未満で個人利用可能な検索インデックスを作成しました。

全文翻訳

週末に10ドルでメイカー向けの50万ドメイン検索エンジンを構築した方法

marlin

日曜日の午前2時。眠れず、また検索エンジンにうんざりしていました。私が本当に気にかけているクエリ、つまりポートフォリオ、ジン、奇妙な小さなアートプロジェクト、一人で作られたソフトウェアなどは、企業のドキュメントやSEOスライムの山に埋もれてしまっていました。そこで、午前2時にすることといえば、ターミナルを開いて計画を書き出すことでした。

「自分だけのための検索エンジンを作りたい。ドメインは4000万ほどある。それぞれのドメインについて少しのメタデータを保存できる。たとえ1KBずつでも40GBになり、これは実現可能だ。」

水曜日の昼までには、560,183個のホームページをカタログ化し、次に取得する価値のあるものはすべて空のキューになり、そして停止するという決断を下しました。これはその週末の物語です。私が何を構築し、何が壊れ、何が費用がかかり、そしてもしあなたが自分で作りたいと言われたら何を伝えるかです。

もし1つの段落しか読まないなら、見出しはこうです: 約10ドル、一晩のGPUレンタル、そして実行中に数時間だけそれを操縦するだけで、数百サイトの個人用検索インデックスを、ディスク上で1ギガバイト未満で手に入れることができます。これが全てのピッチです。それ以下の全ては、私がそこに至った方法と、鋭いエッジがどこにあるかです。

完全な技術的詳細は別途提供されています。

[画像: Search UI — query “Research”]

実際に作りたかったもの

「ウェブ全体をインデックス化する」のではなく、ただ「活動している人々、アート、コード、ハードウェア、詩、小さな劇場を見つける」ことで、docs.company.com に溺れないようにすることでした。個人用、単一ユーザー、アカウントなし。ホームページだけを見るクローラー、それぞれを読み込み、名前、2〜3文の要約、カテゴリ、そしていくつかのタグを書き出す小さなローカル言語モデル。そして、半分の単語を入力しても正しいサイトを見つけられるように、ファジーマッチングを備えた小さな検索UI。

私は、特に構築していないものを書き留めました。これは、手伝ってくれるエージェントがそれを悄悄と「単純化」して、もっと大きなものに変えてしまうのを防ぐためでした。IPスキャンなし、Redisなし、完全なページHTMLの保存なし、再クロールスケジューラなし、マルチテナントなし。無視はカテゴリのチェックボックスに過ぎず、検索時に適用されました。クローラーはまだeコマースサイトを要約していましたが、私はそれらを見る必要がありませんでした。

ナプキン計算では、数千万のドメインにそれぞれ約1KBのメタデータが必要で、これはPostgresボックスにとっては本当に何でもありませんでした。ページテキスト自体が決してコーパスになることはなく、モデルが処理を終えた瞬間に捨てられるスクラッチバッファに過ぎませんでした。

マシン

4つのプロセスがあり、そのうち3つは私のPC上で実行され、1つはデータベースに直接触れることのないレンタルGPUでした。

  • フェッチャー。 保留中のドメインを取得し、HTTPS、次にHTTPを試行し、単純なHTMLパーサーでタイトル、本文、および外部リンクを取得します。JavaScriptは実行しません。行を「準備完了」に設定します。
  • ワーカー。 準備完了のドメインを取得し、ページが空、駐車中、またはボットチャレンジウォールの場合、モデルを完全にスキップします。そうでなければ、小さなローカルモデル(Gemma、4Bパラメータ)に1つの構造化されたリクエストを送信し、名前、要約、カテゴリ、タグを取得します。スクラッチテキストを消去し、外部リンクを送信元のページのタイプに基づいて優先順位を付けてキューに入れます。
  • スチュワード。 これはメインキューには一切触れません。疑わしいほど多くのページを生成しているホストからドメインをサンプリングし、モデルに「ブロック、維持、または不確か」と尋ね、ブロックリストを静かに維持します。なぜこれが必要だったかについては後ほど詳しく説明します。
  • APIと小さなWeb UI。 フィルタリング付きの検索、非表示にするカテゴリを切り替えるページ、そしてログを凝視する代わりに工場の様子を実際に確認できるダッシュボード。

[画像: Dashboard — pipeline, categories, Postgres size]

フェッチャーが取得するすべてのものは、ドメインのデータベース行に直接「進行中」として保存されます。モデルがそれを処理し終えると、そのテキストは消去されます。これは思った以上に重要です。なぜなら、実際の規模では、生のページテキストを永遠に積み上げておくことはできないからです。4000万行に数キロバイトを掛けるとすぐに積み上がりますが、私はモデルが読んでいる数秒間だけそのテキストを必要としていました。

ウェブは実際には90%が企業のもの

最初のバージョンは数時間で動作しました。ドメインのサンプルにポイントを当て、要約が進むのを見て、それらを検索しました。素晴らしい。その後、日曜日の午後に、実際にカタログ化されたものを見ると、それは間違ったウェブでした。90%以上が企業のサイトとドキュメントでした。私のシードリストは偏っており、クローラーは次に何を追いかけるかについて意見を持っていませんでした。

修正は何もブロックすることではありませんでした。ブロックすることは魅力的でしたが、間違っていると感じました。なぜなら、退屈な企業のドキュメントページでも個人のブログへのリンクを貼っている可能性があり、それを失いたくなかったからです。代わりに、キューに重みを付けました。「ポートフォリオ」や「ジン」、「ソフトウェア」と分類されたページは、その外部リンクを優先リストのずっと上に押し上げ、「企業」や「ドキュメント」と分類されたページはそれらを下に押し下げました。1つのテキストファイル、category-priority.txtが、週末の残りの部分のステアリングホイールになりました。数値を調整し、次の1時間で何が入ってくるかを見て、再び調整しました。

その同じ午後、品質が悪すぎて最初からやり直す必要があったため、データベースを2回ワイプしました。2つのバグが際立っていました。

あるサイトの要約フィールドは単に「academic-profile」となっていました。これは、モデルが間違ったスロットに押し込んだカテゴリラベルでした。修正:疑わしいほど短い要約を失敗とみなし、より厳格なプロンプトで一度再試行します。

別のサイト、実質的にHTMLがないGoDaddyのドメインパーキングページは、モデルによって「ファーコミュニティ向け」と要約されました。しかし、それはホスト名で「furry」という単語を見ただけで、本文は空で、何もかもからファンタムサイトをでっち上げていました。それは私に実際のルールを教えました:タイトルの代わりに表示されているテキストを信頼し、ドメイン名から推測されたものよりもタイトルを信頼し、ページがほぼ空か明らかに駐車中であれば、モデルに尋ねる必要さえなく、マークして先に進むだけです。

日曜の夜:タンブラーはウェブではない

夕方までに、クロールは新しい問題を抱えていました。タンブラーとNeocitiesのブログが大量に表示され、インデックス全体を占めるようになりそうでした。私の最初の本能はそれらをブロックすることでしたが、それは間違っていると感じました。なぜなら、Neocitiesは特に私が探していた美学そのものだったからです。実際の修正はキャップでした:メインドメインは常に許可しますが、特定のルートドメインが100以上のサブドメインを生成したら、それ以上キューに入れるのを停止します。そのルールの一回の適用で、45,000ページ以上のキューが即座に削除されました。タンブラーは最終インデックスに9,000ページ以上を貢献しましたが、キャップは今後のみ適用されるため、それは物語全体ではなくなりました。

この夜、実際の目的も明確になりました。「すべてをインデックス化する」というよりは、「コミュニティのために何かを作っている人々を見つける」ことです。私は約10個の意図的に選ばれたドアでクロールを再シードしました:チルダコミュニティ、小さな独立系ブログプラットフォーム、いくつかのウェブリング。最終インデックスのほぼ全体は、シードリスト自体からではなく、それら10個のシードから見つかったリンクに遡ります。

[画像: Family share over time — Tumblr / Neocities / Blogspot]

月曜日の朝には、同じ問題の関連するバリエーションが現れました:フォーラムファームと中国のB2Bベンダーのマイクロサイトが、「フォーラム」カテゴリのブーストに乗って、ほぼ同一のページのブラックホールに突入しました。同じ教訓、異なるカテゴリ。「フォーラム」をハードに降格させ、既知のミル(自動生成サイト)の明示的なブロックリストファイルを維持し始めました。

GPUのレンタル、まずく、そしてうまく

私の個人的なGPU、コンシューマーカードでは、ローカルで実行して約1秒に1ページを要約できました。プロンプト作成には十分ですが、インデックスを埋めるには役に立ちません。そこで、同じ小さなモデルを実際の並行処理で実行するためにクラウドGPUをレンタルしました。そして、ここで私の実際のデバッグ時間のほとんどが費やされました。AI自体に関するものではありませんでした。

短いバージョン:私の最初のレンタルセットアップは、単一GPUでも分散コンピューティングフレームワークを起動することを主張するラッパーライブラリを使用しており、そのフレームワークはホストマシンとCPU時間を奪い合っていました。GPUの料金を払っていましたが、求めていないCPU競合によってスロットリングされていました。それを捨て、生のオープンソース推論サーバーを代わりに実行しました。ラッパーなしです。高並行処理でのコールドスタート時にクラッシュが発生しましたが、それは定常状態の問題ではなく、最初のバッチ中のメモリスパイクであることが判明しました。フルスピードでのコールドスタートではなく、並行処理を徐々に上げていくことで修正されました。

実際に仕事をしたマシンは、フルで共有されていないCPUコアが付属したミッドレンジワークステーションGPUでした。その区別、つまり専用のCPUスライスと、印象的な名前だが共有されているものとの違いは、GPUモデル自体よりも重要だったかもしれません。そのボックスでの持続的なスループットは約1分あたり600要約で、レンタルコストは約35セント/時でした。これは約10万サイトをカタログ化するのに約1ドルです。

それらのレートでの大まかなナプキン計算では、GPUに供給を続け、それらがほぼ線形にスケールすると仮定します。2〜3台のGPUをレンタルしても、各GPUの実行時間が短くなるため、マイルストーンあたりのコストはほぼ同じです。ほとんどの場合、日数を買い戻します。

サイト数おおよその費用GPU 1台GPU 2台GPU 3台
10k~$0.10~17分~8分~6分
100k~$1~3時間~1.5時間~1時間
1M~$10~1.2日~14時間~9時間
10M~$100~12日~6日~4日

これらの数値は、実際に試した3つのセットアップの中で最も良いものに基づいています。それら全体の持続的なスループットは次のようでした。

[画像: Observed throughput across three GPU setups]

  • 4090の実行はVast.ai / vLLMラッパーとCPU固定を使用しました — GPUは十分に活用されていませんでした。PRO 4500の数値は、専用CPUスライスを備えたプレーンvLLMセットアップです。

GPU/CPU使用率データはサーバー自身の管理UIから取得しました。そこではCPUが+90%である一方、GPUは30-50%の間でした。PRO 4500 RTXのGPU/CPUは、優先キューをクリアして作業を完了するための夜間実行だったため、ベンチマークしませんでした。トークンスループット値はサーバーログから取得しました。時間単位で見ると、週末のほとんどは月曜日と火曜日で静かでしたが、良いボックスはキューが空になるまで1分あたり約600ページを維持しました。

[画像: Weekend completion rate — done pages per minute]

深夜に2番目のワーカーを発明する

月曜日の夜遅く、まだ実行中のクロールを見つめながら、私は自問しました。「この規模では、悪いスパイラルを手動で監視することはできない。疑わしいほど多くのページを生成しているドメインから、完了した5ページ、次に10ページをサンプリングし、それをブロックすべきかどうかをモデル自身に尋ねる2番目の小さなプロセスを持てるだろうか?」

それがスチュワードになり、インデックスを埋めるレンタルGPUと競合することなく、インデックスを約65,000ページから560,000ページに成長させた唯一の追加機能となりました。それはプロンプト作業に使用したのと同じローカルカードとLM Studioにあり、スパイラル判断がレンタルGPUと競合することはありませんでした。実行中、それは主にホテルや予約ミルである177個の問題のあるドメインを自分でブロックし、多くのサブドメインを持つ大学や正当な大規模プラットフォームなどを正しく放置しました。

数字が実際に見えたもの

[画像: Index snapshots — Sunday evening through Wednesday noon (UTC)]

4日間これを見るのは本当に楽しい部分でした。初期には、ブログや個人サイトがインデックスの半分以上を占めていました。それは主にタンブラーとNeocitiesが流入したためでした。終わりには、そのシェアは約12%に低下しました。より少ない個人サイトを見つけたからではありません。私はあらゆる種類のサイトをより多く見つけましたが、クロールはより幅広いミックスに成熟しました:非営利団体、コミュニティサイト、ソフトウェアプロジェクト、雑誌、美術館、ポッドキャスト。

非営利カテゴリだけでも約27,000の実際の組織で終了しました。サンプルをチェックしたところ、フードバンク、野生生物保護団体、市民グループなどが本当に含まれていました。それは週末を価値あるものにするような結果であり、開始時にはほとんど考えなかったカテゴリが、インデックスの最も強力な部分の1つになりました。

最終的に、優先カテゴリが枯渇し、クローラーはゼロ優先度のバックログ、つまりずっとキューに入っていたが決して浮上しなかったものをクリアし始めました。そのバックログは、キュレーションなしの生のインターネットの公正な断面です。したがって、予定通り、優先するものがないと、モデルはアダルトサイトの波をカタログ化し始めました。

クロールされたものの約15%が「空」として終了しました。これは、ページが単純なHTMLパーサーでは解析できない純粋なJavaScriptシェルであったか、またはボット検出ウォールであったことを意味します。意図的に、JavaScriptをレンダリングするフォールバックを構築しませんでした。なぜなら、それは大規模で実行するフルブラウザを意味し、それは別の、そしてはるかに高価なプロジェクトになるからです。私が探していたものにとって美学的に最も完璧なサイトのいくつかは、現在その空のバケットにありますが、それは少し痛いですが、週末の予算にとっては正しいトレードオフでした。

スケールで実際にあなたを悩ませる部分

自分でこれを試す場合、クロールとGPUのレンタルは楽しく満足のいく部分です。静かに混乱になるのは、カテゴリとタグの処理です。モデルにカテゴリとタグの名前を自由に発明させることにしました。それは、事前に推測するのではなく、モデルが私に分類法を教えるだろうという理論に基づいています。それはすぐに始めるための正しい判断でした。また、671個の異なるカテゴリ(多くはちょうど1回使用)、121,000以上のタグ(半数以上が1回だけ使用)という結果になりました。これは主に、モデルが呼び出しごとにわずかに異なるスペルを使用するためです。最悪の部分を手動でクリーンアップするために、手動マージツールを作成しました。これはホビープロジェクトを超えるとスケールしません。週末のインデックスよりも大きなものを構築している場合は、モデルを固定カテゴリリストに制約するか、クリーンアップのための実際の時間を予算に入れるかを事前に決定してください。なぜなら、「モデルに自由にやらせる」ことはすぐに追いついてくるからです。

もう一つの真のスケーリングの問題は、プロンプトとクロールのステアリング自体です。上記の修正のいずれも、巧妙なワンショットプロンプトから来たものではありませんでした。それらは、週末のいくつかの時点で本番データを観察し、クロールが実際に行っていることに基づいて、1つのファイル、数個の数値を調整することから生まれました。そのループ、実際の出力を確認し、1つのレバーを調整し、再び確認するというプロセスは、事前の計画よりも多くの作業を行いました。

では、構築すべきか

あなたが探しているものだけを返す検索エンジンが欲しいなら、はい、これは週末に非常に実現可能だと思います。そして、GPUの請求が試さない理由にならないほど安価です。私にとってうまくいった大まかな形は次のとおりです:遅いネットワーク接続が、高価なGPUをアイドル状態にしないように、フェッチと要約を分割する。望まないカテゴリをハードブロックするのではなく、クロールキューに重みを付ける。プラットフォーム全体を禁止するのではなく、サブドメインをキャップする。空または駐車中のページではモデルを完全にスキップする。そして、あなたが入力ページを目で確認できるサイズを超えたら、自動シンク検出器を構築する。

私は自分のプロダクションデータベースをホストまたはリリースする予定はありません、少なくとも今のところは。そのため、560,000サイトを直接お渡しすることはできません。しかし、コードはオープンソースとして公開されるので、あなたの好奇心が導くどこへでも独自のクロールをポイントできます。

リポジトリ: Marlin - ファインディング・ニモから、海を越えた検索へ

[画像: Search UI — query “Art”]