Web開発
Context.dev (YC S26) – 任意のウェブサイトから構造化データを取得するAPIのローンチ
Launch HN: Context.dev (YC S26) – API to get structured data from any website (context.dev)
要約
Context.devは、ウェブサイトから構造化データを簡単に抽出できるAPIサービスです。URLやドメインを入力すると、Markdown、HTML、画像、企業情報などを取得でき、カスタムスキーマによるデータ抽出も可能です。開発者が求める形式(Markdown、JSONなど)でデータを提供し、ウェブサイトへの配慮も行いながら、チャットボットやエージェント開発などを支援します。
全文翻訳
皆さん、こんにちは、Yahiaです。Context.dev (<a href="https://www.context.dev/">https://www.context.dev/</a>) は、ウェブデータを製品やエージェントに簡単に統合できるようにするために開発しました。
デモ動画はこちらです: <a href="https://www.tella.tv/video/build-faster-with-context-dev-apis-2cgl" rel="nofollow">https://www.tella.tv/video/build-faster-with-context-dev-api...</a>
APIなので、ドキュメントはこちらです: <a href="https://docs.context.dev/quickstart">https://docs.context.dev/quickstart</a>.
URLを送信すると、クリーンなMarkdown、レンダリングされたHTML、スクリーンショット、抽出された画像などを取得できます。また、ドメインを送信すると、企業やブランドのコンテキスト(名前、説明、ロゴ、色、フォント、ソーシャルリンク、スクリーンショット、スタイル情報、関連メタデータなど)を取得できます。よりカスタムなユースケースでは、URLとJSONスキーマを送信して、サイトからその形式に構造化されたデータを抽出するように依頼できます。例えば、公開されているサイト上の価格プラン、製品カテゴリ、オフィス所在地、サポートリンク、インテグレーションパートナーなどを抽出できます。
目標は、開発者が実際に求める出力を提供することです。生のHTMLはほとんどの場合有用ではなく、有用なのは通常、モデル用のMarkdown、アプリケーション用のJSON、UI用のロゴ、またはエージェント用の構造化された企業プロフィールです。
以前はAmazonやSunrunで働き、StockAlarm.io & essense.ioを共同設立して両社とも買収されました。また、knifegeek.ioを構築し、インターネット上のポケットナイフをスクレイピングして簡単にリスト化しました。このプロジェクトは現在古くなっていますが(近日中に復活予定)、当時はHacker Newsのフロントページに掲載され、人々はそれを気に入ってくれたようでした: <a href="https://news.ycombinator.com/item?id=34604281">https://news.ycombinator.com/item?id=34604281</a>.
Context.devの直前に、Brand.devを構築しました。そのアイデアは、顧客が法人メールでサインアップした場合、ソフトウェア製品が自動的に顧客について知っているべきだというものでした。APIは、ロゴ、背景画像、名前、説明、業界などのブランドデータを公開ウェブからプルし、オンボーディング体験の一部として製品に提示しました。これは価値のあることで、オンボーディングでのコンバージョン率は、「すべての情報を入力する」から「すべての情報を確認する」に変わると劇的に改善します(プライバシーの懸念は一切なく、すべての情報は公開されています)。
それはニッチな分野でしたが、より多くの顧客がそれを使用するにつれて、「ブランドデータ」はより大きなニーズの一部分に過ぎないことが明らかになりました。スクリーンショット、構造化抽出、LLM対応データなどの要求が寄せられるようになりました。そこでContext.devに拡張し、YCに応募しました(面接後に不合格になりました)。その後も継続し、再応募した結果、ソロファウンダーとして合格しました。
Context.devは私がリストアップできる以上の方法で利用されていますが、いくつか例を挙げます。チャットボットのために顧客ウェブサイトのコンテキストを最新の状態に保つこと、顧客向けの美しいブランドアセット/広告の構築、eve.devのようなエージェントハーネスを使用したエンリッチメントフロー、顧客ウェブサイトをチャットボットのナレッジベースにクロールすること、GitHubリポジトリをブランド化されたドキュメントサイトに変換すること、学術ジャーナルやPDFのクロールなどです。さらに多くの例は <a href="https://www.context.dev/customers">https://www.context.dev/customers</a> にあります。
多くのクローラーが良い市民としてウェブ上で振る舞っていないことを認識しており、その結果、この分野全体が悪評を得ています。同時に、顧客は通常「スクレイピング」を購入しようとしているわけではありません。彼らはサポートボットを機能させたい、オンボーディングをパーソナライズしたい、CRMレコードをエンリッチしたい、ドキュメントを生成したい、リードを監視したい、またはエージェントに企業を調査させたいと考えています。正当なユースケースはたくさんあります。私たちは、関係者全員を尊重しながら、それらを満たしたいと考えています。
キャッシュレイヤーを維持し、ウェブサイトに過負荷をかけないようにしています。顧客はキャッシュを設定できますが、一定時間内にURLに送信しすぎるリクエストが見つかった場合、介入してペースを落とします。ウェブサイトは私たちのサービスをオプトアウトでき、私たちはこれらの要求を尊重し、ブロックリストに追加します。
私たちは、ユーザーのためにクールなものを作りたい顧客に焦点を当てています。オンボーディングのエンリッチメントは人気のあるユースケースです。また、自身のウェブサイト(サポートボットなど)に関するコンテキストの統合や、インターネットを伴う複雑なタスクを自動的に推論できるエージェントの構築も人気です。
ブランドデータは、ソフトウェアでお客様を特定するためにのみ使用を許可しており、独自の資料に使用したり、承認を暗示したりすることはできません。
製品に関するフィードバックをコメントでいただけると嬉しいです。ありがとうございます!