HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Manticore Search 27.1.5: 認証、シャーディング、対話型、高速ベクトル検索

Manticore Search 27.1.5: Auth, sharding, conversational and faster vector search (manticoresearch.com)

13 pointsby snikolaev0 コメント

要約

Manticore Search 27.1.5がリリースされ、25.0.1から現在までの多くの新機能と改善が統合されました。このバージョンでは、組み込みの認証・認可機能、シャーディングされたテーブルのサポート、そして対話型検索が導入されています。さらに、HNSWビルドの高速化や、ファセット・アグリゲーションの強化、多数のバグ修正も含まれており、より堅牢で機能豊富な検索エンジンとなっています。

全文翻訳

Manticore Search 27.1.5: 認証、シャーディング、対話型検索、および高速なベクトル検索

Manticore Search 27.1.5 がリリースされました。このリリースでは、組み込みの認証と認可、シャーディングテーブル、対話型検索、高速なHNSWビルド、改善されたファセットと集計機能、そしてKNN、レプリケーション、プロトコル互換性などの多くの領域における修正が含まれています。

この記事は、25.0.1から27.1.5までのすべての変更点をまとめたものです。


アップグレードに関する注意点

アップグレード前に、以下の点をご確認ください。

  • 27.0.0では組み込みの認証/認可が追加され、これを有効にするとアクセスに関する前提条件が変更されます。 認証はデフォルトでは有効になっていませんが、一度有効にすると匿名アクセスは機能しなくなります。段階的に展開してください。まずリモートエージェントとレプリケーションピアをアップグレードし、次にそれらをクエリまたは管理するマスターをアップグレードし、トポロジー全体が新バージョンになった後にのみ認証を有効にしてください。分散リモートエージェントおよびレプリケーション関連の操作では、参加するデーモン間で一致する保存済み認証データが必要です。成功した JOIN CLUSTER は、参加ノードのローカル認証データをドナークラスタの認証データで置き換えます。(Issue #2833 , PR #3648 )
  • 26.0.0ではレプリケーションストレージのレイアウトが変更されました。 受信したレプリケートテーブルは、クラスタの path ではなく、通常の data_dir/<table> レイアウトの下に配置されるようになりました。カスタム path でレプリケーションクラスタを実行している場合、アップグレード後にレプリケートテーブルを移動または再同期する必要があるかもしれません。新レイアウトが採用される前であれば、ダウングレードは安全です。(Issue #4431 , PR #4598 )
  • デーモンとは別にMCLを管理している場合は、Manticoreと一緒にアップグレードしてください。 このリリースラインでは、ベクトルパフォーマンスの作業からマルチスレッドHNSWビルド、そしてその後の安定性修正まで、いくつかのMCLアップデートが含まれています。古いライブラリと新しいデーモンを混在させることは推奨されません。(25.2.0 , 25.15.0 , 26.0.3 , 26.3.2 , 27.1.0 )

ハイライト

組み込みの認証と認可

Manticoreは、MySQL、HTTP/HTTPS、分散リモートエージェント、およびレプリケーション関連の操作全体で、ユーザー、パスワード、ベアラートークン、および詳細な権限をサポートするようになりました。これにより、アクセス制御が製品の第一級の機能となり、データベースの外部で常に処理する必要がなくなりました。

シャーディングテーブル

Manticoreは、シャーディングテーブルの作成と管理、シャード全体への挿入の分散、および関連するライフサイクルのより多くの部分を1か所で処理できるようになりました。これにより、大規模な書き込み負荷の高いデプロイメントの運用が容易になり、エンジン外部に存在するシャーディング固有のロジックの量が削減されます。

対話型検索

このリリースでは、Manticore Searchに対話型検索が追加されました。これはCREATE CHAT MODELとCALL CHATを通じて公開されているため、同じデータセットの周りに個別の検索レイヤーを構築するのではなく、既存のベクトル化されたテーブルに対して質問を行うことができます。

内部的には、Manticore Searchは FLOAT_VECTOR フィールドでKNNを実行し、そのフィールドの from='...' ソース列からLLMコンテキストを構築し、conversation_uuid によって会話履歴を保持し、回答とサポートする sources の両方を返します。既にManticoreに埋め込みを保持している場合、ドキュメントQ&Aやサポートスタイルのアシスタントの連携が大幅に容易になります。

より高速なベクトルビルドとKNNの改善

このサイクルを通じて、ベクトル検索は改善され続けました。

ManticoreはKNNパフォーマンスを向上させ、ローカルONNX埋め込みサポートを追加し、ONNX推論を高速化し、その後、マルチスレッドインデックス構築によりHNSWビルドと再ビルドを大幅に高速化しました。

その作業におけるいくつかの重要なステップ:

  • 25.1.0 は、KNN距離計算とAVX-512ロードを改善しました。
  • 25.2.0 は、MCLでローカルONNX埋め込みサポートを追加し、ベクトル検索パフォーマンスをさらに向上させました。
  • 25.14.0 および 25.15.0 は、必要なライブラリサポートとともにマルチスレッドHNSWビルドを追加しました。

ここでの最大の実際的な改善は、自動埋め込みが大幅に高速化され、大規模なベクトルテーブルのビルドおよび再ビルド時間が短縮されたことです。初期KNNビルド、チャンクマージ、および ALTER TABLE ... REBUILD KNN がすべて影響を受けます。

より良いファセットと集計

ファセットと集計もより有用になりました。

facet_filter_mode は、アクティブなフィルタリングの下で選択済み、利用可能、および利用不可能なバケットを保持するeコマーススタイルのフィルターの構築を容易にします。

分析側では:

  • date_histogram() は time_zone と offset をサポートしました。
  • Opensearch dashboardsのサポート。
  • Manticoreは、percentiles、percentile_ranks、およびmadなどの統計集計を追加しました。

その他の注目すべき改善点

このリリースラインには、他にもいくつかの小さくも有用な追加が含まれています。

  • searchd --check は、副作用なしに起動前に設定を検証します。
  • EXIT CLUSTER は、ノードが再起動なしでオンラインのままレプリケーションクラスタを離れることを可能にします。
  • dict=keywords_32k は、サイレントな切り捨てなしに、ハッシュやメッセージIDのような非常に長い機械生成トークンをインデックス化することを可能にします。
  • 組み込みのウクライナ語レンマタイザー は、ウクライナ語テキスト検索のネイティブ形態素解析サポートを拡張します。
  • Systemd Type=notify は、起動とシャットダウンの監視を改善します。
  • systemd管理下の searchd プロセスは、systemd ジャーナルにログを記録するようになりました。
  • JOIN クエリは、明示的な左テーブルのカラムプレフィックスをサポートするようになりました。
  • manticore-load はマルチクエリサポートを獲得しました。

バグ修正

このリリースラインには、65件の変更ログに記載された修正も含まれています。最新のフォローアップリリースでは、さらに注目すべき修正がいくつか追加されました。

  • 27.1.5では、カラム型 float_vector 属性の取得時のクラッシュが修正されました。
  • 27.1.4では、dict='keywords' から dict=keywords_32k へのワンウェイアップグレードにおける ALTER TABLE ... RECONFIGURE と SHOW CREATE TABLE の問題が修正されました。
  • 27.1.3では、Buddyを4.0.1に更新し、認証下でのQueue-pluginミューテーション権限処理を強化しました。
  • doc_id によるKNNクエリは、offset と max_matches を正しく保持するようになりました。
  • KNNのリスコアリング順序が修正され、明示的な ORDER BY のタイブレーカーが再び機能するようになりました。
  • カラム型テーブルでの GROUP BY を伴うハイブリッド融合クエリのクラッシュが停止しました。
  • レプリケーションとノードの再参加時のクラッシュパスがさらに整理されました。
  • バイナリMySQLプロトコルの動作が25.12.1で修正され、実際のクライアント互換性を期待する統合にとって重要です。
  • Fluent Bitバルクインジェストとの相互運用性が修正され、成功した応答が重複挿入として再再生されるのを防ぎました。
  • 27.1.2では、複数の source ブロックから構築されたプレーンインデックスの sql_attr_multi 処理が修正されました。

完全なリストについては、変更ログ を参照してください。


ヘルプが必要ですか、それとも連絡を取りたいですか?

  • Slack に参加する
  • フォーラム を訪れる
  • GitHub で問題を報告したり、機能を提案したりする
  • [[email protected]](https://manticoresearch.com/cdn-cgi/l/email-protection) までメールする

この記事を楽しんでいただけましたか?

新しい記事を見逃さないように — Manticoreのリリースと詳細な解説を直接受信トレイに届けましょう。

購読