Context.dev (YC S26) – 任意のウェブサイトから構造化データを取得するAPIのローンチ
Launch HN: Context.dev (YC S26) – API to get structured data from any website (context.dev)
要約
Context.devは、ウェブサイトから構造化データを簡単に抽出できるAPIサービスです。URLやドメインを入力すると、Markdown、HTML、画像、企業情報などを取得でき、カスタムスキーマによるデータ抽出も可能です。開発者が求める形式(Markdown、JSONなど)でデータを提供し、ウェブサイトへの配慮も行いながら、チャットボットやエージェント開発などを支援します。
全文翻訳
Hacker Newsの皆さん、Yahiaです。Context.dev (https://www.context.dev/) を開発しました。これは、ウェブデータを製品やエージェントに簡単に統合できるようにするものです。
デモ動画はこちらです: https://tella.tv/video/build-faster-with-context-dev-api...
APIなので、ドキュメントはこちらです: https://docs.context.dev/quickstart。
URLを送信すると、きれいなMarkdown、レンダリングされたHTML、スクリーンショット、抽出された画像などを取得できます。ドメインを送信すると、企業やブランドのコンテキスト(名前、説明、ロゴ、色、フォント、ソーシャルリンク、スクリーンショット、スタイル情報、関連メタデータなど)を取得できます。よりカスタムなユースケースでは、URLとJSON Schemaを送信して、サイトからその形式に構造化されたデータを抽出するように依頼できます。例えば、料金プラン、製品カテゴリ、オフィス所在地、サポートリンク、連携パートナーなど、公開サイトに表示されているあらゆるものを抽出できます。
目標は、開発者が実際に必要とする出力を提供することです。生のHTMLが有用なことは稀で、通常有用なのは、モデル用のMarkdown、アプリケーション用のJSON、UI用のロゴ、あるいはエージェント用の構造化された企業プロフィールです。
以前はAmazonとSunrunで働き、StockAlarm.ioとessense.ioという両方とも買収されたスタートアップを共同設立しました。また、knifegeek.ioを開発しました。これはインターネット上のポケットナイフをスクレイピングして簡単にリスト化するものでした。このプロジェクトは現在古くなっていますが(近日中に復活予定)、当時はHacker Newsのフロントページに掲載され、人々はそれを気に入ってくれたようでした: https://news.ycombinator.com/item?id=34604281。
Context.devの直前に、Brand.devを開発しました。このアイデアは、顧客が法人メールでサインアップした場合、あなたのソフトウェア製品は自動的に顧客について知っているべきだというものでした。APIは、ロゴ、バナー、名前、説明、業界などのブランドデータを公開ウェブからプルし、オンボーディング体験の一部として統合できるように製品に提示しました。これはやる価値がありました。なぜなら、「すべての情報を入力する」から「すべての情報を確認する」に変わると、オンボーディングのコンバージョン率が劇的に向上するからです(プライバシーの懸念は一切ありませんでした。すべての情報は公開されていました)。
それはニッチな分野でしたが、顧客がそれを使うにつれて、「ブランドデータ」はより大きなニーズの一つのスライスに過ぎないことが明らかになりました。スクリーンショット、構造化抽出、LLM対応データなどの要求が増え始めたのです。そこでContext.devに拡張し、YCに応募しました(面接後に不合格になりました)。その後も継続し、再応募した結果、ソロファウンダーとして合格しました。
Context.devは私がリストアップできる以上に多くの方法で利用されていますが、その一部を挙げます。チャットボットのために顧客ウェブサイトのコンテキストを最新の状態に保つこと、顧客向けの美しいブランドアセット/広告の構築、eve.devのようなエージェントハーネスを使用したエンリッチメントフロー、顧客ウェブサイトをチャットボットのナレッジベースにクロールすること、GitHubリポジトリをブランド化されたドキュメントサイトに変換すること、学術ジャーナルやPDFのクロールなどです。さらに多くの例がhttps://www.context.dev/customersにあります。
多くのクローラーが良い市民としてウェブ上で振る舞っていないことは承知しており、その結果、この分野全体が悪評を得ています。同時に、顧客は通常「スクレイピング」を購入しようとしているわけではありません。彼らはサポートボットを機能させたい、オンボーディングをパーソナライズしたい、CRMレコードをエンリッチしたい、ドキュメントを生成したい、リードを監視したい、あるいはエージェントに企業を調査させたいのです。合法的なユースケースはたくさんあります。私たちは、関係者全員を尊重しながら、それらを満たしたいと考えています。
私たちはキャッシングレイヤーを維持し、ウェブサイトに過負荷をかけないようにしています。顧客はキャッシュを設定できますが、一定時間内にURLに送信するリクエストが多すぎると判断した場合、介入してトーンダウンします。ウェブサイトは私たちのサービスをオプトアウトでき、私たちはこれらの要求を尊重し、ブロックリストに追加します。
私たちは、ユーザーのためにクールなものを作りたい顧客に焦点を当てています。オンボーディングのエンリッチメントは人気のあるユースケースです。また、自身のウェブサイト(サポートボットなど)に関するコンテキストの統合や、インターネットを伴う複雑なタスクを自動的に推論できるエージェントの構築も人気です。
ブランドデータの使用は、特定の顧客をソフトウェアで識別するためにのみ許可しており、独自の資料に使用したり、承認を暗示するために使用したりすることはできません。
コメントで製品に関するフィードバックをいただけると嬉しいです。ありがとうございます!