Show HN: Scry、輻輳課金付きプログラマブルインターネット検索
Show HN: Scry, programmable internet search w/ congestion pricing (scry.io)
要約
Scryは、ClickHouse上に構築された500TBのNVMeインターネットインデックスであり、SQLやDatalogクエリを実行できる。このサービスは、輻輳ベースのマイクロオークション価格設定によりリソース競合の問題を解決しており、容量がある場合は非商用利用は無料である。従来の検索エンジンが提供するブラックボックス的な自然言語インターフェースとは異なり、ユーザーはより詳細な制御とカスタマイズが可能になる。
全文翻訳
Scryをご紹介します。ClickHouse上で動作する500TBのNVMeインターネットインデックスで、ほぼ任意の読み取り専用SQLや一部のDatalogクエリを実行できます。リソース競合の問題は、混雑度に基づいたマイクロオークション課金で対処しています。容量がある場合、非商用利用は無料です。
こんにちは。2026年、私たちはシミュレートされたショウジョウバエの脳にBeat Saberをプレイさせるトレーニングをしていますが、インターネットの(再)検索は、自然言語から何もできないブラックボックスを経て、ランキングされたリストや要約にマッピングされるという、依然としてこの状態に留まっているのでしょうか?
リレーショナルデータベースや少量のSQLで実現される非常に高度なことを試みる人々には長い歴史があります。それは、汎用的な機械学習トレーニング手法のスケーリングと同様に、重力があり、苦い教訓があります。つまり、多くの情報プロダクトは、基本的に巨大なリアルタイムOLAPデータベースと、優れたSQL+Datalog+ベクトル+Jevなどのクエリを作成する最先端のLLMから構築できるということです。
Google検索、Tavily、Exaは、本質的に、あなたが提供を許容するエージェントのコンテキストを、それらのインデックスの小さなサブセットにマッピングするという問題を抱えています。あなたは非常に困難な問題に対して固定コストを支払いますが、その問題には難易度の分布があり、つまり、彼らがあなたを助けるための予算化されたコンピューティングリソースを使い果たしたとき、そのダウンサイドをあなたが被ることになります。
それらのアルゴリズムは呼び出し元には不透明であり、ユーザー制御はほとんどなく、レキシカル+Jevレシピのように検索レシピを共同で改善する真剣な機会もありません。あなたは最先端のAIビルダーを選択するためにそれらのレシピを信頼しています。
さらに、検索企業はテキストからSQLへの変換(text-to-SQL)さえ追求していません(何社かが私に話してくれました)...彼らは2024年のトラウマ的なtext-to-SQL時代に決断を下しました。彼らはただ早すぎたのです。
お楽しみいただければ幸いです。私はこのパラダイムを、より多くのデータに対して差別化されたハードウェア上でスケーリングすることに専念していますので、私が披露できるような説得力のあるユースケースやクエリがあれば、大いに感謝いたします!