HN 日本語サマリー

← 一覧へ戻る
Web開発

ブラウザで1GBのGMLファイルを読み込もうとしたユーザーから学んだこと

What we learned when a user tried to load a 1 GB GML file in a browser (geodataviewer.com)

18 pointsby twainyoung5 コメント

要約

1GBもの巨大なGMLファイルがブラウザで読み込めない問題は、メモリ飽和、解析の遅延、レンダリングの限界に起因します。この問題を解決するため、ベクトルタイルは現在の表示範囲とズームレベルに必要なデータのみを読み込むことで、メモリ使用量とパフォーマンスを劇的に改善します。これは、Web上の地理空間データを扱う上で、フラットファイルからタイル化されたアーキテクチャへの移行が不可欠であることを示しています。

全文翻訳

なぜ大規模GISデータにベクタータイルを使うのか? MVT & PMTiles

簡単な答え: 大規模なGISデータセットが単一のフラットファイルとして読み込むには遅すぎる場合、MVTやPMTilesのようなベクタータイルを使用してください。ソースデータをタイル化し、各ズームレベルに合わせて簡略化し、ブラウザが可視な部分のみをリクエストするようにします。

[画像: GMLからベクタータイルへのパイプライン図]


これが始まった問題

数週間前、GeoDataViewerのユーザーから、大きなGMLファイルがブラウザで読み込めない理由を尋ねられました。そのファイルは、ある国の地質調査による地質図で、サイズは約1GB、数百万ものマッピングされたフィーチャが含まれていました。ユーザーはオープンデータをダウンロードし、解凍し、ウェブマップにドラッグ&ドロップしましたが、何も起こりませんでした。

これはバグレポートではありません。これはフォーマットの問題です。

そして、これはこの一人のユーザーだけの問題ではありません。毎日、GISプロフェッショナル、地質調査員、都市計画家、ホビイストが同じ壁にぶつかっています。彼らは完璧なオープンデータを取得し、モダンなウェブブラウザで表示しようとしますが、ブラウザはただ…諦めてしまうのです。

解決策は存在します。10年以上前から存在しています。しかし、ほとんどのエンドユーザーはそれを知りません。この記事では、ベクタータイルがなぜ答えなのか、部分的な解決策がなぜ不十分なのか、そして「自分のデスクトップGISでは動作する」と「ブラウザで動作する」の間のギャップが、業界で最も過小評価されているUXの問題であり続ける理由について説明します。


パートI:なぜブラウザは大規模ベクトルデータを扱えないのか

ブラウザはQGISではありません。ArcGIS Proでもありません。それは、厳格なメモリ予算、単一スレッド(に近い)DOM、ディスクへのアクセス権を持たないサンドボックス化されたランタイムです。

約1GBのGMLファイルをウェブマップにドラッグした場合に何が起こるかを見てみましょう。

ステップ1:メモリ飽和

ブラウザはファイル全体をメモリに読み込む必要があります。GMLは、すべてのXML派生フォーマットと同様に、悪名高いほど冗長です。約1GBのGMLファイルは、約1GBのXMLテキストに解凍されます。これをDOMツリーにパースすると、単純なパーサーではピークメモリが3〜5GBになります。ストリーミングパーサーがGeoJSONを出力する場合でも、レンダリングが開始される前に、そのデータをメモリ内のデータ構造に具体化する必要があります。結果として得られるGeoJSONでも、ブラウザは完全なデータセットをメモリに保持する必要があります。

8GBのRAMを搭載した典型的なラップトップ上のChromeはクラッシュするか、スワップで死ぬか、Out of Memoryエラーを発生させます。

ステップ2:解析のボトルネック

JavaScriptでのXML解析は遅いです。DOMParserは、数百メガバイトのドキュメント用に最適化されていません。ブラウザのメインスレッドは、ドキュメントツリーの構築を試みている間、数十秒から数分間ブロックされます。yieldも、進捗バーもありません。ただフリーズしたタブと回転するカーソルがあるだけです。

ステップ3:レンダリングの崩壊

データがGeoJSONとしてメモリに格納されたとしても、数百万ものフィーチャをレンダリングすること自体が課題です。各フィーチャは、キャンバスレンダリングパイプライン内のDOM要素になります。パンやズームのたびに、可視性が再評価され、座標が再投影され(事前に再投影するのを忘れた場合 - 2番目のブロッキング操作)、再描画されます。タイリングがない場合、レンダラーはフレームごとにすべてのフィーチャを考慮する必要があります。フレームレートは1 FPSを下回ります。ユーザーは諦めます。

なぜこれがすべてのフラットフォーマットに影響するのか

これはGMLの問題ではありません。すべての非タイリングされたベクトルフォーマットに共通する問題です。

フォーマットブラウザの問題大規模データセットのメモリ使用量
GMLXML解析は遅くメモリを大量に消費する; ネイティブブラウザサポートなし約3〜5GB (DOM)
Shapefile (.shp)バイナリパーサーが必要; レンダリング前に完全にロードする必要がある約600MB〜1GB (非圧縮)
GeoJSON事実上の標準だが、ストリーミングではない; 最初の描画前にファイル全体を解析する必要がある約700MB+
GeoJSON Lines (.geojsonl)行ごとにストリーミング可能だが、単一レイヤーとしてメモリに保持する必要がある約700MB (ロード中のピークメモリは削減)
GeoParquet列指向で分析に効率的; ブラウザでWASMまたはDuckDBが必要; ネイティブレンダリングサポートなしクエリによる - より良いが、複雑なツールが必要

これらのフォーマットはすべて、同じ根本的な制限を共有しています:クライアントは、レンダリングを開始する前にデータセット全体をロードする必要があります。

「しかし、デスクトップGISはそれを扱える」 — いいえ、扱えません

この時点での一般的な反応は次のとおりです:「ブラウザは弱い。QGISかArcGISを使えばいい。これらはそのために作られている。」

不快な真実:それらも苦労します。

約1GBのGMLファイルをQGISに読み込むには、最新のラップトップで5〜10分かかることがあります。その間、アプリケーションはフリーズしたままです — パンもズームも、属性テーブルも、ステータスバーのあいまいな「読み込み中…」以上の進捗表示もありません。ArcGIS Proはフィーチャ数では優れていますが、数百万ものフィーチャと完全なジオメトリに対するメモリフットプリントは1.5〜2.5GBです — これは属性テーブルを開いたり、シンボロジー分類を適用したり、マップをエクスポートしようとする前のことです。お使いのマシンに8GBのRAMしかない場合、スワップ領域に入ることになります。

これはブラウザ対デスクトップの問題ではありません。これはデータモデルの問題です。フォーマットが「画面へのレンダリング」または「空間クエリの実行」のいずれかの操作の前にすべてのジオメトリをメモリにロードする必要がある場合、ボトルネックは同じです。デスクトップGISはより大きな予算(より多くのRAM、直接ディスクアクセス、ネイティブスレッド)を持っていますが、異なるアーキテクチャを持っているわけではありません。データセット全体がメモリにロードされます。

違いは程度です。デスクトップアプリケーションはクラッシュする代わりに5分かかるかもしれません。しかし、ユーザーはまだ待っています。そして、そのデータを同僚とウェブで共有する必要が生じた瞬間、彼らは結局ブラウザの壁にぶつかるのです。


パートII:ベクタータイルの解決策

ベクタータイルは、 deceptively simple な洞察でこのサイクルを断ち切ります:すべてをロードしない。現在のズームレベルで表示されるものだけをロードする。

Aベクタータイルは、事前にタイル化され、事前にクリップされたデータチャンクです — 通常、特定のズームレベルで256×256または512×512ピクセルで、コンパクトなバイナリフォーマット(Mapbox Vector Tile / MVT、PBF)でエンコードされています。ブラウザは、ユーザーがパンやズームをするにつれて、オンデマンドでタイルをリクエストします。各タイルは通常10〜100KBです。全国規模のデータセットを表示するセッションでは、完全なGeoJSONペイロードの代わりに、数百のタイル — 合計数メガバイト — しか取得しないかもしれません。

仕組み
生データ (GML, Shapefile, GeoJSON)
        │
        ▼
  [ETL / 変換パイプライン]
        │
        ├── WebフレンドリーなCRSへの再投影
        ├── ジオメトリの簡略化 (Douglas-Peucker, Visvalingam)
        ├── タイル境界へのクリッピング
        ├── MVT (Protocol Buffers) としてエンコード
        └── タイルピラミッドの書き込み (MBTiles / PMTiles / ディレクトリ)
        │
        ▼
  タイルサーバー / ストレージ
        │
        ├── CDNまたはS3上の静的ファイル
        ├── PMTiles (単一ファイルアーカイブ)
        └── タイルサーバー (Tegola, Martin, TileServer GL)
        │
        ▼
  クライアント (MapLibre GL / Mapbox GL / Leaflet)
        │
        ├── ビューポート+ズームでのタイルのリクエスト
        ├── MVT → WebGLジオメトリのデコード
        ├── オンザフライでのスタイル設定 (ペイント、塗りつぶし、ラベル)
        └── 60 FPSでのレンダリング
なぜうまくいくのか

クリッピング。 各タイルには、その境界ボックスと交差するフィーチャ(またはフィーチャの一部)のみが含まれます。100kmにまたがるフィーチャは、数十のタイルに分割されます — しかし、ズーム10では、各タイルには単純化されたセグメントが数個しか含まれないかもしれません。

簡略化。 低いズームレベルでは、ジオメトリは積極的に簡略化されます。半島のとある海岸線の1,000頂点の線が、10頂点の線になります。簡略化は、ピクセルが小さすぎて気づかないため、ユーザーには見えません — しかし、タイルサイズを桁違いに削減します。

ズームレベル選択。 フィーチャはズームレベルごとにフィルタリングできます。主要道路はズーム12+で表示されます。市境はズーム8+で表示されます。レンダラーは表示できないデータを受け取りません。

オンデマンドロード。 ブラウザは現在のビューポートのタイルのみをロードします。ストックホルム中心部を調査しているユーザーは、国全体ではなく、その地域のタイルをロードします。

実世界の数値

上記で説明したタイプのデータセット(数百万のフィーチャ、約1GBのGML)の場合:

アプローチサイズメモリロード時間パン/ズーム
生GMLドラッグ&ドロップ約1GB3〜5GB (クラッシュ)数分 (ブロック)N/A
GeoJSON (事前変換)約750MB約750MB約10秒解析約5 FPS
GeoJSON + geojson-vt約750MB約750MB約10秒解析約30 FPS
ベクタータイル (MVT)合計約50〜150MB<100MB (ビューポートのみ)初期ロード<1秒60 FPS

ズームレベル0〜14の全国地質図のベクタータイルピラミッドは、適切な簡略化を施すと、約100MBのMVTデータに圧縮されます — そして、ほとんどのセッションで10MBを超えるデータはダウンロードされません。


パートIII:geojson-vtだけでは不十分な理由

MapLibre GLとMapbox GLには、geojson-vtという組み込み機能があります — これはクライアントサイドのベクタータイリングを実行するJavaScriptライブラリです。GeoJSONオブジェクトを渡すと、ブラウザ上でオンザフライでタイルを生成します。

これは銀の弾丸のように聞こえます。しかし、そうではありません。

根本的な問題

geojson-vtは、プリプロセスステップで行われるべきことをブラウザ内で行います。それは:

  1. 完全なGeoJSONをメモリにロードする(約750MBすべて)
  2. 内部タイルインデックスを構築する — すべてのフィーチャに対するクワッドツリー
  3. パン/ズーム中にオンデマンドでタイルを生成する

ステップ1が致命的です。データセット全体をメモリに保持する必要があります。タイリングが開始される前に、GeoJSONは完全に解析され、格納されている必要があります。約1GBのGMLからGeoJSONへのパイプラインの場合、ブラウザは最初のポリゴンを描画する前に、ほぼ1GBのRAMを消費しています。

geojson-vtが適している場合

geojson-vtは、小〜中規模のデータセット — 例えば、50,000フィーチャまで、または100MBのGeoJSON — には優れています。プロトタイピング中にタイルパイプラインの必要性を排除します。都市の建物や単一郡の道路であれば、完璧に動作します。

壊れる場所

その閾値を超えると、以下に遭遇します:

  • メモリ上限: ブラウザは、単一のJavaScriptオブジェクトに約750MBを割り当てることができません。たとえ成功したとしても、ガベージコレクタが激しく動作し、目に見える遅延を引き起こします。
  • 解析時間のブロック: 数百万ものフィーチャからクワッドツリーを構築するには、高速なマシンでも2〜5秒かかり、UIがフリーズします。
  • 簡略化なし: geojson-vtはクリッピングは行いますが、簡略化は行いません。低いズームレベルでは、タイルには不要に詳細なジオメトリが含まれます。
  • 再投影なし: データが投影CRSにある場合、ブラウザで各座標を再投影する必要があります — 数千万のポイントに対するブロッキングO(n)操作です。

要するに:geojson-vtは、タイルパイプラインの回避策であり、その代替ではありません。サーバーサイドの前計算とクライアントサイドの計算およびメモリを交換しますが、これはスケールが大きくなると維持できなくなります。


パートIV:ベクタータイルパイプライン、エンドツーエンド

大規模な地質図をベクタータイルとして提供するには、実際には何が必要でしょうか?ここでは、実際のパフォーマンス数値とともにパイプラインを示します。

ステップ1:解析と再投影 (GML → GeoJSONL)

GMLファイルは、ストリーミングパーサーを使用してGeoJSONLに変換されます。このステップだけが、約1GBのファイル全体に触れます。

メトリック値
入力約1GB GML
フィーチャ数百万
座標数千万
解析時間約65秒
ピークメモリ約19MB (ストリーミング)
出力約750MB GeoJSONL
再投影投影CRSからEPSG:4326へ
ステップ2:ベクタータイルの生成 (GeoJSONL → MVT)

GeoJSONLはTippecanoe(または同様のタイルジェネレーター)にフィードされ、MBTilesまたはPMTilesアーカイブを生成します。

tippecanoe -o output.pmtiles \
  --layer=features \
  --maximum-zoom=14 \
  --minimum-zoom=5 \
  --simplification=10 \
  --coalesce-smallest-tiles \
  input.geojsonl

主要なパラメータ:

  • ズーム範囲 5–14: ズームレベル5未満は詳細な地質を必要としません。ズームレベル14を超えるものは、このデータスケールでは収穫逓減に達します。
  • 簡略化: 公差10メートルのDouglas-Peuckerは、タイルサイズを60〜80%削減しながら、視覚的な忠実度を維持します。
  • ドロップドット: Tippecanoeは、各ズームレベルで表示するには小さすぎるフィーチャを削除します — 無料の圧縮メリットです。
ステップ3:デプロイと提供

PMTiles(単一ファイルタイルアーカイブ)は、任意の静的ファイルサーバーまたはCDNに配置されます。MapLibre GLはPMTilesプロトコル拡張を介してそれをロードします。

{
  "sources": {
    "map": {
      "type": "vector",
      "url": "https://cdn.example.com/output.pmtiles"
    }
  }
}

PMTilesアーカイブの合計サイズ:約85MB(圧縮後)、1GBのGMLから削減 — 約12倍の圧縮率です。

ステップ4:クライアントレンダリング

ブラウザは、現在のビューポートのタイルのみをリクエストします。初期ロード時には、通常4〜12タイル(約200KB〜1MBのデータ)です。最初のレンダリングまでの時間:4G接続で500ミリ秒未満。


パートV:より多くのものを約束したフォーマット

他のモダンなフォーマットもなぜ不十分なのかを検討する価値があります。

GeoParquet

GeoParquetは、Apache Parquetに基づいた列指向ストレージフォーマットです。サーバーサイドの分析クエリ — 「位置精度が10メートル未満のマッピングされたフィーチャをすべて見つける」 — には優れており、圧縮率は印象的です。

しかし、GeoParquetはレンダリングフォーマットではありません。ブラウザで表示するには、以下が必要です。

  1. WASMでのParquetリーダー(例: parquet-wasm)
  2. DuckDBなどのクエリ実行エンジン
  3. 結果セットのGeoJSONへの変換
  4. その後、レンダラーに渡す(そして、やはりタイルが必要になる)

これはクエリ駆動型の可視化には強力です(「面積で上位1%を教えて」)。しかし、データセット全体をブラウジングする — ある地域から別の地域へパンする — には、コアレンダリング問題を解決せずに複雑さを増します。サーバーは依然としてフィーチャを選択し、ブラウザは結果セットをメモリに保持し、さらにタイリングが必要になります。

FlatGeoBuf

FlatGeoBufは、GeoJSONのコンパクトなバイナリエンコーディングです。解析が速く、ディスク上でも小さいです。しかし、これもレンダリング前に完全にロードされる必要があります。これは転送の最適化であり、レンダリングアーキテクチャの変更ではありません。

共通のテーマ

これらのフォーマットはすべて、ストレージまたは転送レイヤーを最適化しています。どれもレンダリングレイヤーに対処していません。ベクタータイルは、レンダリング問題のために最適化されている点でユニークです:ジオメトリだけでなく、マップレンダラーが必要とする空間インデックスとレベル・オブ・ディテール階層をエンコードしています。


パートVI:採用のギャップ — なぜもっと多くのユーザーがこれを知らないのか?

ここで sobering な考えがあります:ベクタータイルは10年以上前に標準として提案されました。 Mapbox Vector Tile Specification 1.0は2014年に公開されました。OpenGIS® Vector Tile Specificationは2021年に公式標準になりました。主要なタイル生成ツールであるTippecanoeは2016年からオープンソースです。

しかし、問い合わせてきたユーザー — 地質調査からデータパッケージをダウンロードして解凍できる、比較的技術に詳しい人物 — は、この概念に遭遇したことがありませんでした。彼は約1GBのXMLファイルをブラウザにロードしようとしました。なぜなら、それがダウンロードボタンが提供したものだったからです。

ギャップが続く理由

データ発行者は、知っているものを発行する。 地質調査所は、相互運用性指令が義務付けているためGMLを発行します。ArcGISがエクスポートするためShapefileを発行します。彼らはウェブマップ最適化のビジネスではなく、地質データというビジネスをしています。

タイル生成はエンドユーザーには見えない。 ほとんどのデータポータルには、「PMTilesとしてダウンロード」ボタンはありません。「MapLibreで表示」オプションもありません。ユーザーはGMLをダウンロードします。なぜなら、それが唯一の選択肢だからです。

デスクトップGISがワークフローを支配しているが、それも速くない。 QGISとArcGISは、最終的には約1GBのGMLファイルをロードできます。最新のラップトップで数分かかり、数GBのRAMを消費し、ロード中はアプリケーションが応答しません。しかし、ユーザーはデスクトップ分析の代替ワークフローがないため、これを受け入れています。本当の苦痛は、同じデータをウェブで共有しようとしたときに訪れます — そのとき、「技術的には自分のマシンで動作する」と「実際に他者によって使用可能である」の間のギャップは無視できないほど大きくなります。

ツールチェーンが馴染みがない。 ベクタータイルを採用したい開発者にとっても、パイプラインは daunting になる可能性があります。

  1. RustまたはNodeをインストールする
  2. Tippecanoe / Tilemaker / Martinを見つけて設定する
  3. ズームレベル、簡略化の許容範囲、タイルサイズの制限を理解する
  4. MBTiles、PMTiles、またはタイルサーバーを選択する
  5. CDNまたはサーバーデプロイメントを設定する
  6. MapLibre GLを正しいスタイルJSONで配線する

これは「ドラッグ&ドロップ」と比較して多くのステップです。

変わるべきこと

データポータルは、事前にタイル化されたダウンロードを提供するべきです。 従来のGMLおよびShapefileのダウンロードと並んで、「PMTilesとしてダウンロード」オプションがあれば、それは transformative でしょう。技術は存在します — それが提供される必要があるだけです。

タイル生成はワンクリックサービスであるべきです。 GeoDataViewerやFeltのようなツールがこれを開始しています。ギャップは狭まっています。

標準教育には「ウェブでの公開方法」を含めるべきです。 すべてのGISカリキュラムは、座標系とマップ投影法を教えます。ベクタータイルもその会話の一部であるべきです。


パートVII:約1GBから80GB超へ — 惑星規模での同じ問題

約1GBのGMLファイルがブラウザをひざまずかせるなら、OpenStreetMapはどうなるでしょうか?

OSMの完全なプラネットファイル(planet.osm.pbf)は絶えず成長しています。2026年初頭現在、スナップショットは約92GBです — 約80GBの圧縮されたProtobufで、100億以上のノード、10億のウェイ、1,000万のリレーションを表します。地球上のすべての道路、建物、歩道、土地利用ポリゴン、POIが、単一のファイルに詰め込まれています。

どのブラウザもこれをロードできません。どのデスクトップGISもこれをロードできません。64GBのワークステーション上のQGISでさえ、プラネットファイルを直接開こうとすると、つまずくかクラッシュします。

しかし、何百万もの人々が毎日、シームレスに東京からサンパウロまでパンしながらOSMデータを閲覧しています。その理由は:ベクタータイルです。

OSMタイルエコシステム

OpenStreetMapコミュニティは、この問題を解決するために、過去10年間で驚異的なツールのセットを構築してきました。それらは、惑星規模のベクタータイリングの最先端を表しており、同じ原則が他の大規模な地理空間データセットにも適用されるため、研究する価値があります。

ここでは、最も速いものから最も意見の強いものまで、現在の状況を示します。

1. Planetiler — スピードキング

Planetilerは、単一マシンで惑星規模のベクタータイルを生成するために特別に作られたJavaツールです。データベースをスキップします:.osm.pbfを直接読み込み、要素を構成可能なプロファイルで処理し、フィーチャリストにフラット化し、タイルIDでソートし、MBTilesまたはPMTilesを書き込みます。PostgreSQL不要。imposm3不要。Java 21+以外の外部依存関係も不要です。

パフォーマンス数値は驚異的です。

Planet.osm.pbfマシン時間出力
92GB192 CPU, 720GB RAM19分81GB PMTiles
73GB64 CPU, 128GB RAM42分69GB PMTiles
69GB64 CPU, 128GB RAM39分79GB MBTiles

より控えめなハードウェア — 8コア搭載の16GBラップトップ — でも、Planetilerはドイツ(3.5GB PBF)のような国の抽出を約9分で処理できます。複数の組み込みプロファイルをサポートしています。

  • OpenMapTiles — 最も広く使用されているベクタータイルスキーマで、交通、土地利用、水、建物、POIなどの標準化されたレイヤーを定義します。
  • Protomaps Basemaps — PMTiles配信に最適化された軽量スキーマで、Protomapsサービスで使用されています。
  • Shortbread — クイックカスタムマップ用に設計されたシンプルなスキーマ。
  • カスタムYAMLまたはJavaプロファイル — ユーザーはデータベーススキーマやSQLを記述せずに独自のスキーマを定義できます。

Planetilerのアーキテクチャ上の洞察は、従来のデータベースを介したアプローチ(PostGISへのインポート、その後タイルのクエリ)は、事前レンダリングされたタイルが目標である場合、不要なオーバーヘッドであるということです。フィーチャをタイルIDでソートして順次書き込むことで、ランダムアクセスクエリよりも劇的に高速なディスクI/Oパターンを実現します。

2. Tilemaker — スタックフリーベクタータイル

Tilemakerは、Planetilerと同じ「データベース不要」の哲学を共有していますが、異なる技術的アプローチを取っています。Luaスクリプティングによるタグ処理を備えたC++で書かれており、依存関係のない単一バイナリとして設計されています。

tilemaker --input planet.osm.pbf --output planet.mbtiles \
  --config openmaptiles.config.json --process process.lua

Luaスクリプティングシステムにより、ユーザーはOSMタグがベクタータイルレイヤーや属性にどのようにマッピングされるかを、Javaコードをコンパイルすることなく、細かく制御できます。Tilemakerは、地域抽出やカスタムスキーマに特に適しており、最近のベンチマークでは、適切にプロビジョニングされたマシンで24時間未満でプラネット全体を処理できることが示されています。

3. OpenMapTiles (クラシック) — リファレンス実装

オリジナルのOpenMapTilesパイプラインは、より伝統的なスタックを使用します:imposm3 → PostgreSQL/PostGIS → PostGISのST_AsMVT()関数を使用したSQLベースのタイル生成。このアプローチは、生の速度と柔軟性を交換します。

  • 継続的な更新をサポートします — diffをデータベースに適用して、最初からタイルを再構築することなく。
  • 動的なクエリを可能にします — データベースからオンデマンドでタイルを生成し、リアルタイムの編集を組み込むことができます。
  • しかし、完全なプラネットのインポートには1日以上かかり、すべてのタイルの事前生成はクラスターなしでは100日以上かかる可能性があります。

OpenMapTilesプロジェクトは、PlanetilerとTilemakerの両方が実装しているスキーマ標準も維持しており、エコシステムの共通言語となっています。

4. Tippecanoe — GeoJSON → タイル、生OSM用ではない

Tippecanoeは、異なるワークフローのために設計されています:事前に処理されたGeoJSONを受け取り、簡略化、フィーチャの削除、ズームレベル選択を細かく制御してベクタータイルを生成します。これは、すべてのズームレベルで全フィーチャを可視化するのに優れています — 私たちのパイプラインがまさにこの理由で使用しています。しかし、生OSM PBFの取り込みには設計されていません。それはタイルパイプラインの「ラストマイル」を占めています:ソースフォーマットをGeoJSONに変換し、それをタイル化します。

5. Osm2pgsql + Mapnik / ModTile — レガシーラスターパイプライン

OSMツールの議論は、openstreetmap.orgを動かしているレンダリングスタックに言及せずに完了しません:Osm2pgsqlはOSMデータをPostgreSQLにインポートし、MapnikまたはModTileはオンデマンドでラスタータイルをレンダリングします。これは、実証済みで、大規模にスケーラブルなアプローチです — しかし、それはラスタータイル(PNG画像)を提供し、ベクタータイルではありません。ラスターアプローチは、ベクタータイルのインタラクティビティ、スタイルの柔軟性、帯域幅効率を欠いています。ほとんどのモダンなOSMベースのサービスは、クライアントサイドレンダリングのためにベクタータイルに移行しています。

6. マネージドサービス

独自のパイプラインを実行したくない人のために、いくつかのサービスがOSMから事前に生成されたベクタータイルを提供しています。

  • Mapbox — MVT仕様の創始者であり、リッチなスタイリングAPIを備えたグローバルタイルセットを提供しています。
  • MapTiler — OpenMapTilesスキーマの作成者であり、ホストされたタイルとセルフホストオプションを提供しています。
  • Stadia Maps — 手頃な価格のOpenMapTilesベースのホスティング。
  • OpenFreeMap — Planetilerで構築され、毎週更新される無料のコミュニティ運営タイルサービス。
  • Protomaps — Planetilerを内部で使用するPMTilesネイティブサービスで、無料ティアとシンプルな価格設定があります。
これが大規模データから学ぶこと

OSMエコシステムは、重要な教訓を検証しています:データセットが数メガバイトを超えると、唯一実行可能なレンダリング戦略は事前計算されたタイリングです。 「すべてをロードする」アプローチ — ブラウザ、デスクトップGIS、またはデータベースのいずれであっても — 惑星規模では崩壊します。

驚くべきは、ツールの進歩がいかに進んでいるかということです。2015年には、地球全体のベクタータイルを構築するには、データベースクラスター、数日間の処理、PostGISチューニングに関する深い専門知識が必要でした。2026年には、単一のjava -jarコマンドで1時間未満で単一のマシンで実行できます。

もはや技術的な障壁ではありません。それは認識です。


問い合わせてきたユーザーは間違っていませんでした。彼はすべて正しく行いました:オープンデータを見つけ、ダウンロードし、表示しようとしました。失敗は彼のせいではありませんでした — それは業界がデータ配布フォーマットとウェブレンダリングフォーマットの間のギャップを埋めることに失敗したのです。

このギャップはスケールします。約1GBのGMLファイルと80GB超のOSMプラネットファイルは、異なる規模での同じ問題です。地質図を持つユーザーとopenmaptiles.orgを維持するチームは、同じ根本的な課題に直面しています:メモリにロードするには大きすぎるベクトルデータセットは、タイリングなしではインタラクティブにブラウジングできません。

GML、Shapefile、GeoJSON、Parquet、PBF — これらはすべて、データライフサイクルのさまざまな部分に最適なフォーマットです。しかし、ウェブ上で大規模なベクトルデータセットをブラウジングするためには、適切に構築されたベクタータイルピラミッドにかなうものはありません。

geojson-vtのようなブラウザ内タイリングソリューションでさえ、巧妙ですが、アーキテクチャ上の妥協です。中規模データには機能しますが、スケールすると壊れます。それらは橋であり、目的地ではありません。

本当の目的地は、CDNから提供され、オンデマンドでロードされ、60 FPSでレンダリングされる事前計算されたベクタータイルです。技術は10年間準備ができていました。データも準備できています。欠けているのはラストマイルです:ベクタータイルをShapefileと同じくらい簡単にダウンロードして使用できるようにすることです。

次に空間データを公開する際は、PMTilesのダウンロードを提供することを検討してください。次にウェブマップを構築する際は、500MBのGeoJSONをスキップしてタイルパイプラインをセットアップしてください。ユーザー — 1GBのファイルをブラウザにドラッグして何も起こらないことに疑問を抱いている人々 — はあなたに感謝するでしょう。


GMLをGeoJSONLに変換するRustパーサー、MapLibre GLビューア、およびエンドツーエンドパイプライン構成はオープンソースであり、GitHubで入手できます。また、GeoDataViewerでブラウザで直接独自のGMLファイルをテストすることもできます。