HN 日本語サマリー

← 一覧へ戻る
プログラミング

RustによるSearXNG

SearXNG in Rust (github.com)

54 pointsby dluuuu19 コメント

要約

SearXNGスタイルのメタ検索エンジン「SearXNG in Rust」は、Rustで開発されています。このプロジェクトは、複数の検索エンジンに同時にクエリを送信し、HTML結果をスクレイピングし、正規化されたURLで重複を除去し、Reciprocal Rank Fusion (RRF) を使用してランキングを行います。ライブラリとしてもサーバーとしても利用可能で、Rust 1.75以降が必要です。

全文翻訳

SearXNG風のメタデータ検索エンジンをRustで記述したものです。クエリを複数の検索エンジンに並行してファンアウトし、HTMLの結果をスクレイピングし、正規化されたURLで重複を除去し、Reciprocal Rank Fusion (RRF) を使用してランキングします。専用の/imagesエンドポイントを介した画像検索もサポートしています。

仕組み

  1. 検索リクエストがGET /search?q=<query>に到着します。
  2. クエリはreqwestを介してDuckDuckGo、Brave、Startpage、Yahooに並行して送信されます。
  3. 各エンジンはscraper(Mozillaのhtml5ever上のCSSセレクタ)を使用してHTMLレスポンスをパースします。
  4. 結果は正規化されたURL(トラッキングパラメータを削除、ロケールプレフィックスを削除、クエリパラメータをソート)によって重複排除されます。
  5. 重複URLはマージされ、RRF(エンジン間のscore = Σ 1/(60 + rank))でスコアリングされます — 複数のエンジンによって返されたページが高くランク付けされます。
  6. トップの結果がJSONとして返されます。

画像検索はGET /images?q=<query>で同様のパイプラインに従います。クエリは画像エンジン(Bing Imagesは/images/asyncエンドポイント経由、Google Imagesは内部async=_fmt:json API経由、Sogou Imagesは埋め込み__INITIAL_STATE__ JSON経由)にファンアウトされ、結果はホスティングページURL、フル画像URL、サムネイルプレビューを運び、RRFランキングの前に正規化されたページURL + 画像URLで重複排除されます。

要件

  • Rust 1.85+(クレートはedition 2024を使用)
  • Cargo

インストール

ライブラリとして
cargo add metadata-search-engine-rs

または、Cargo.tomlに手動で追加します。

[dependencies]
metadata-search-engine-rs = "0.3"
サーバーとして(ソースから)
git clone https://github.com/MikeLuu99/metasearch-rust
cd metadata-search-engine-rs
cargo build --release

実行

cargo run
PORT=8080 MAX_RESULTS=20 cargo run --release

デバッグログを有効にするには:

RUST_LOG=debug cargo run

例

Cargo.tomlに追加します。

[dependencies]
metadata-search-engine-rs = "0.3"
tokio = { version = "1", features = ["full"] }
単一エンジンへのクエリ
use std::sync::Arc;
use metadata_search_engine_rs::engines::{DuckDuckGoEngine, SearchEngine, build_http_client};

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    let client = Arc::new(build_http_client()?);
    let engine = DuckDuckGoEngine::new(client);

    let results = engine.search("rust programming", 5).await?;
    for r in results {
        println!("{}\n  {}", r.title, r.url);
    }
    Ok(())
}
全エンジンへのファンアウトとRRFランキング結果の取得
use std::sync::Arc;
use metadata_search_engine_rs::{
    aggregator::{aggregate, query_all_engines},
    cache::EngineLimits,
    engines::{BraveEngine, DuckDuckGoEngine, SearchEngine, StartpageEngine, YahooEngine, build_http_client},
};

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    let client = Arc::new(build_http_client()?);
    let engines: Vec<Arc<dyn SearchEngine>> = vec![
        Arc::new(DuckDuckGoEngine::new(Arc::clone(&client))),
        Arc::new(BraveEngine::new(Arc::clone(&client))),
        Arc::new(StartpageEngine::new(Arc::clone(&client))),
        Arc::new(YahooEngine::new(Arc::clone(&client))),
    ];

    let (successes, failures) = 
        query_all_engines(&engines, &EngineLimits::default(), "rust programming", 10).await;
    for (name, err) in &failures {
        eprintln!("engine {name} failed: {err}");
    }

    let results = aggregate(successes, 10);
    for r in &results {
        println!("[{:.3}] ({}) {}", r.score, r.engines.join(", "), r.title);
        println!("        {}", r.url);
    }
    Ok(())
}
特定エンジンの使用
use std::sync::Arc;
use metadata_search_engine_rs::{
    aggregator::{aggregate, query_all_engines},
    cache::EngineLimits,
    engines::{BraveEngine, DuckDuckGoEngine, SearchEngine, build_http_client},
};

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    let client = Arc::new(build_http_client()?);
    let engines: Vec<Arc<dyn SearchEngine>> = vec![
        Arc::new(DuckDuckGoEngine::new(Arc::clone(&client))),
        Arc::new(BraveEngine::new(Arc::clone(&client))),
    ];

    let (successes, _) = query_all_engines(&engines, &EngineLimits::default(), "tokio async rust", 5).await;
    for r in aggregate(successes, 5) {
        println!("{} — {}", r.title, r.url);
        if let Some(snippet) = r.snippet {
            println!("  {snippet}");
        }
    }
    Ok(())
}

API

GET /health
curl http://localhost:3000/health
{ "status": "ok" }
GET /search?q=<query>
curl "http://localhost:3000/search?q=rust"
{
  "query": "rust",
  "results": [
    {
      "title": "Rust Programming Language",
      "url": "https://rust-lang.org/",
      "snippet": "A language empowering everyone to build reliable and efficient software.",
      "engines": ["duckduckgo", "brave", "startpage", "yahoo"],
      "score": 0.049
    }
  ],
  "engines_queried": ["duckduckgo", "brave", "startpage", "yahoo"],
  "engines_failed": []
}

エラーレスポンス:

ケースステータスボディ
q の欠落400{"error": "invalid query parameters"}
空の q400{"error": "query parameter 'q' cannot be empty"}
全エンジン失敗503{"error": "all engines failed to respond"}
GET /images?q=<query>
curl "http://localhost:3000/images?q=rust%20logo"
{
  "query": "rust logo",
  "results": [
    {
      "title": "Rust Logo",
      "url": "https://rust-lang.org/",
      "img_src": "https://cdn.rust-lang.org/logo.png",
      "thumbnail_src": "https://cdn.rust-lang.org/thumb.png",
      "source": "rust-lang.org",
      "resolution": "3840x2160",
      "engines": ["bing", "google", "sogou"],
      "score": 0.049
    }
  ],
  "engines_queried": ["bing", "google", "sogou"],
  "engines_failed": []
}

urlは画像をホストしているページ、img_srcはフル解像度の画像ファイル、thumbnail_srcはより小さなプレビューです。画像結果は、SearXNGのtemplate|url|img_src画像結果ハッシュをミラーリングして、正規化されたホスティングページURL + img_srcで重複排除されます。

エラーレスポンス: /searchと同様のセマンティクスに加え、画像エンジンが配線されていない場合に503 {"error": "no image engines configured"}が発生します。

ロードテスト

Locustのロードテストがloadtest/(公開クレートからは除外)にあります。uvが依存関係を管理します。

⚠️ /searchと/imagesは実際のアップストリームエンジンにヒットします — IPのアドレスがレート制限されないように、ユーザー数を控えめにしてください。レスポンスキャッシュ(CACHE_TTL_MS)とENGINE_MAX_CONCURRENCYはアップストリームの負荷を軽減します。

cargo run --release                     # 1. サーバーを起動
cd loadtest && uv sync && cd ..         # 2. 依存関係をインストール(初回)

# 3. Web UI (localhost:8089)、またはヘッドレスモード:
uv run --directory loadtest locust -f locustfile.py --config locust.conf
uv run --directory loadtest locust -f locustfile.py --headless \
    --host http://localhost:3000 --users 50 --spawn-rate 5 --run-time 2m

タスクミックスは、/searchが70%、/imagesが20%、/healthが10%です。クエリプールはloadtest/locustfile.py(_QUERIES)に埋め込まれています。CSV出力には--csv resultsを追加してください。

テスト

# 全ての単体テスト
cargo test

# 特定モジュール
cargo test normalizer
cargo test aggregator
cargo test engines::duckduckgo
cargo test engines::brave
cargo test engines::startpage
cargo test engines::yahoo
cargo test server::handlers

# ライブテスト(実際の検索エンジンにヒット — インターネット接続が必要)
cargo test -- --ignored test_live

ライブテストはCIでデフォルトで実行されないように#[ignore]でマークされています。実際のサイトに対してHTMLセレクタがまだ機能するかどうかを確認するために手動で実行してください。

ターミナルUI

ratatuiベースのTUIがcrateとして利用可能で、ここでインストールできます。コードにはgithubからアクセスできます。

[画像: stx TUI]

新しい検索エンジンの追加

  1. src/engines/<name>.rsを作成します。
  2. Arc<reqwest::Client>を保持する構造体を定義します。
  3. SearchEngineトレイトを実装します。
impl SearchEngine for MyEngine {
    fn name(&self) -> &'static str { "myengine" } 

    fn search<'a>(
        &'a self,
        query: &'a str,
        max_results: usize,
    ) -> BoxFuture<'a, Result<Vec<SearchResult>, EngineError>> {
        Box::pin(async move {
            // HTMLを取得し、scraperでパースし、Vec<SearchResult>を返す
        })
    }
}

engines/mod.rsに追加し、main.rsで配線します。構造体にtimeout: Durationフィールドと、組み込みエンジンと同様のnew()/with_timeout()コンストラクタペアを持たせ、タイムアウトをモジュールのsearch関数に渡します。