オープンソース
Show HN: 2つのコマンドでライブオープンデータをストリーミング
Show HN: Stream live open data in two commands (docs.hypermass.io)
要約
このサービスとオープンソースツールは、サインアップ不要で2つのコマンドを実行するだけで、オープンデータのライブストリームを購読できます。太陽の画像や災害データなどのストリームが提供されており、ファイルはローカルフォルダに到着し、ULID形式のファイル名で時系列に並べられます。CLIツールは、データの順序、再試行、ハッシュ検証、再接続などの複雑なロジックを処理します。
全文翻訳
サインアップ不要で、2つのコマンドでオープンデータストリームを取得できるサービスとオープンソースツールです。
試せるストリーム:
- 太陽の極端紫外線画像 (SOHOより) - ビジュアルデータ
- GDACSライブ災害データ (進行中のアイテムのみフィルタリング)
CLI (Apache 2.0, ) ツールを使用すると、複数のライブファイルストリームを購読でき、ファイルはローカルフォルダに到着します。ファイル名はULIDなので、スクリプトやコードで簡単に時系列順に並べることができます。公開も同様で、フォルダにファイルをドロップすると、それらが読み込まれ、公開され、ローカルで削除されます。このアイデアは、データの形状(ファイル、シーケンスで配信、リアルタイム)について非常に意見を強く持つことで、ロジックやエッジケースの多くが一箇所でうまく処理される(順序付け、再試行、ハッシュ検証、再接続など)というものです。これは、各購読者がソースごとに自分で実装する必要があるよりも優れています。
出発案内板や列車の位置情報のようなもの向けの高速バージョンも開発中です。
背景: 約10年前に、英国鉄道オープンデータシステムのサポートと開発に数年間携わりました。開発者として、オープンデータ空間の断片化と、すべてのオープンデータシステムが白紙の演習として設計されていることに不満を感じていました。多くのデータが奇妙な中間領域に分類されることに気づきました。大規模に経済的にポーリングするには頻度が低すぎ、メッセージングプロトコルには大きすぎますが、ある意味ではまだリアルタイムです。例えば、交通機関のスケジュール、周期的な太陽画像、災害アラートなど、リアルタイムですが頻度は低いです。
見つけたソリューションが静的なカタログでリアルタイム利用への配慮がなく、カスタムAPI、分析システムなど、必要のないものであったため、私はしばしば「とにかくデータが欲しい」というオプションを求めていました。データの強み(シンプルなファイル、順序通りに配信、公開されたとき/ときに配信)を活かしたシンプルなアプローチが見つからなかったので、自分で構築しました。
私について: 英国を拠点とするソロ創業者で、1年以上フルタイムで取り組んでいます。
持続可能性: 当初は「ヘビーユーザーはより多くのデータ割り当てに対して支払いを行う」モデルで、かなりの無料ティアがありました。理想的には、後で機関発行者がストリームの無料ダウンロードを維持するために支払うように移行したいと考えています。有料データマーケットプレイスもコストをサポートする可能性がありますが、主な焦点は常に無料かつオープンなデータであり続けるでしょう。
知りたいこと:
- CLIアプローチは、あなたにとって実際の問題を解決しますか?
- 技術的なアプローチは妥当ですか?
- このようなサービスを使用してデータを公開しますか?
- ユーザー(特に発行者)をブートストラップするための推奨事項はありますか?