HN 日本語サマリー

← 一覧へ戻る
その他

開発者向けデータツールランドスケープガイド

Guide to data tools landscape for developers (sinja.io)

90 pointsby OlegWock28 コメント

要約

データプロジェクトに参加したものの、専門用語に戸惑う開発者向けに、データツールの世界を概観するガイドです。データアナリスト、データサイエンティスト、データエンジニアといった職種の違いや、データの抽出・変換・ロード(ETL)を中心としたデータライフサイクルにおける各ツールの役割を解説します。この記事は、データチームの会話を理解したい開発者を対象としており、ツールの詳細な設定方法や比較には踏み込みません。

全文翻訳

開発者向けデータツールランドスケープガイド

データプロジェクトに参加したものの、皆が何を話しているのかさっぱり分からない?オフィスのキッチンでの楽しい会話から疎外されていると感じていませんか?もし、すべての概念とバズワードを網羅した巨大なガイドがあればいいのに…

しばらく前に、私はDeepnoteにソフトウェアエンジニアとして入社しました。Deepnoteはデータチーム向けのクラウドノートブックを作成しています。しかし、私はデータに関するバックグラウンドを一切持っていませんでした。ノートブックが何であるかは知っていましたが、このようなプロジェクトに携わるのは面白いだろうと思いました。データ分野はソフトウェアエンジニアリングからそれほど遠いものではないと思っていましたし、常に隣接する分野だと考えていました。

入社してすぐに、自分が何も知らないことに気づきました!ノートブック以外にもデータツールは数多く存在し、それらが何に使われているのか、データサイエンスにおける一般的なワークフローはどうなっているのか、全く分かりませんでした。そして、様々なデータツールがどのように使われ、ノートブックとどのように連携するのかを知らなければ、ノートブックの良い機能提案や、問題のあるUIフローの特定はできません。

しかし、数え切れないほどの記事を読み、同僚やインターネット上の見知らぬ人々に質問をぶつけ、クライアントのワークフローや苦労を研究し、そして新しい知識を自分自身に落とし込むための時間を費やすことで、状況は改善しました。残念ながら、データ会社にいて、これらの言葉の意味が全く分からないソフトウェアエンジニア向けの便利な「データツールのガイド」はありませんでした。あるいは、見つけられなかっただけかもしれません。

私はもうノートブックには携わっていませんが、データに魅了されたため、次の仕事もこの分野で行いました。今回は科学的なタイプではなく、分析的なタイプ(次の章で説明します!)向けのツールで働いていますが、データツールやプロセスに関する一般的な知識は依然として非常に役立ちます!そこで、それを読みやすい記事に凝縮しようと試みました。迷子のソフトウェアエンジニアが少しでも快適に感じられることを願っています。

この記事は誰向けか

ご想像の通り、私はデータスペシャリストになること自体にはあまり興味がありません。そのため、この記事では、例えばMetabaseでダッシュボードを作成する方法、統計学の基本、Sparkクラスターの管理方法などは扱いません。データチームの連中が一体何を言っているのか、何らかの理由で知る必要がある開発者を対象としています。

この記事では、データライフサイクルを簡単に見ていきます。データはどこから来て、どのように処理され、どのように保存され、どのように表示されるのか。各ツールがどの段階に属し、データに関わる人々にとってどのようなタスクを解決するのかを理解できるでしょう。

各ツールのセットアップ方法や、同じクラス内のツールを詳細に比較することには踏み込みません。信じてください、この記事はこれらの詳細を省いても十分に長くなります。

データ専門職のタイプ

データの世界には、かなりの数の異なるポジションがありますが、それらがどのように違うのかを正確に理解するのは常に容易ではありません。特に小規模な会社やチームでは、線引きは非常に曖昧です。しかし、この記事の目的のために、大まかに4つのタイプのデータ専門職がいることを理解しておけば十分です。

分析タイプ

これはデータを解釈し、そこから洞察を得ようとし、それを提示する人物です。多くの場合、これはデータアナリストまたはBIアナリストのポジションになります。彼らは通常、SQLとスプレッドシートに精通しています。Tableauのような様々なビジネスインテリジェンス(BI)ツールや、Excelのようなスプレッドシートソフトウェアを使用します。

日々のタスクの例としては、SQLを使って顧客データを抽出し、地域ごとの解約率を計算することです。その後、解約トレンドを示すTableauダッシュボードを作成し、マーケティング部門に結果を提示して、リテンションキャンペーンの提案を行います。

科学タイプ

これは表面的なレポートよりも深く掘り下げる人物です。彼らは統計を適用し、モデルを構築し、実験を実行して、あまり明白でない質問に答えたり、予測を行ったりします。多くの場合、これはデータサイエンティストのポジションになります。彼らは通常、Pythonとその科学スタック(pandas、scikit-learnなど)に精通しており、ノートブックで作業することがよくあります。

日々のタスクの例としては、同じ顧客データを使用して、どの要因が解約と相関しているかを調査し、各顧客が解約する可能性を推定する統計モデルを構築することです。その後、リテンションキャンペーンのためのA/Bテストを設計し、それが実際に効果があったかどうかを分析します。

エンジニアリングタイプ

これはデータのインフラストラクチャに関心を持つ人物です。彼らの主な仕事は、そもそもデータを分析可能にすることです。様々なソースからデータを抽出し、クリーニング・標準化して、分析タイプや科学タイプが実際に作業できるようにデータウェアハウスやデータレイクにロードするパイプラインを構築・維持します。また、データベースや組織で使用される可能性のある他のデータツールの管理も担当することがよくあります。通常、このポジションはデータエンジニアと呼ばれます。

彼らの仕事のもう一つの側面はスケーリングです。科学タイプや分析タイプが作成した特定の作業をスケーリングする必要がある場合があります。例えば、アナリストからの簡単な分析は、リバースETLパイプライン(心配しないでください、これらの用語は後で説明します)に変換される必要があり、それは信頼性高く繰り返し実行される必要があります。

彼らはしばしばPythonを使用し、Apache Spark、様々なデータベースやウェアハウスのようなツールを使い、これらのツールをホストするためにクラウドプロバイダーを利用します。

日々のタスクの例としては、複数のソースから顧客トランザクションデータを摂取するデータパイプラインを維持し、スキーマを標準化してウェアハウスにロードすることです。その後、アナリストが効率的に顧客データを抽出できるようにクエリを最適化し、欠落している顧客レコードをフラグ付けするためにデータ品質チェックを追加します。

機械学習タイプ

このタイプの専門家は、様々な問題を解決するために使用できるAIモデルの構築と維持に焦点を当てています。それは、例えばウェブサイトのボットトラフィックを検出するのに役立つ小規模な分類モデルかもしれませんが、会社によってトレーニングまたはファインチューニングされた、より一般的な大規模言語モデルである可能性もあります。

一般的な説明を見ると、このタイプは前のタイプと非常に交差しているように見えるかもしれませんが(彼らもデータを分析し、パイプラインを構築します)、私が学んだことから、彼らはしばしば非常に異なるツールのセットを使用しており、それが上記のタイプから彼らを分離しています。

ここでは複数のタイプの専門家を1つのグループにまとめていますが(MLには独自の科学者とエンジニアがいます)、この記事ではML関連のトピックは扱いません(私自身にとってあまり関連性がなく、この分野については知識が限られているためです)。しかし、それは依然としてデータランドスケープの一部なので、完全に省略したくはありませんでした。

このタイプの一例は、オンラインショップ向けの製品レコメンデーションモデルの構築です。ウェアハウスからトレーニングデータを収集し、モデルをトレーニング・チューニングしてから、ウェブサイトがリアルタイムでパーソナライズされたレコメンデーションをリクエストできるようにAPIの背後にデプロイします。デプロイ後もモデルの予測を監視し続け、顧客行動の変化に合わせて定期的に再トレーニングして、パフォーマンスを維持します。

データライフサイクル

データ分野はデータ(驚くことではありません)を中心に展開しています。大小、醜いの美しのデータ。すべてはどこかから取得し、何らかの方法で処理し、結果をどこかに配置することから始まります。それがすべてです、TEDトークはこれで終わりです。

もちろん冗談ですが、これはETLを説明しています。ETLはExtract-Transform-Loadの略で、生データをソースから抽出し、変換(例:クリーニング、他のデータとの結合)し、結果をさらなる使用のために最終的な宛先にロードするという、一般的なデータ処理プロセスを表します。

非常に一般的なアプローチですが、これは固定されたものではありません。ステップの順序を変更したり、繰り返したり、重複させたりすることができます。例えば、代替(そして非常に人気のある)アプローチはELTです。これを使用すると、データを抽出し、直接ウェアハウスに配置し、その後ウェアハウス内で直接変換します(結果は異なるテーブルセットに保存されます)。これはコストがかかります(追加のストレージとコンピューティングのため)が、元のデータを保持できるため、必要に応じて異なる方法で処理できます。

データの保存方法

各ETLステップの詳細に入る前に、データがどのように、どこに保存されるかを学ぶことは有益でしょう。

ファイル形式

多くのデータはファイルに存在します。会計チームから受け取るExcelファイルや、サプライヤーがウェブサイトにアップロードする在庫の巨大なJSONファイルなどです。

ファイル形式に関しては、CSVファイル(またはExcelのような他の表形式)やApache Parquetをよく見かけるでしょう。

CSVは少量のデータを転送するのに便利で、ほぼすべてのオフィスソフトウェアで開くことができ、技術的スキルの低いユーザーでも簡単に使用できます。これは、四半期の取引を分析するように依頼されたときに、営業チームから受け取る可能性のある形式です。

Parquetは技術的なユーザーによく使用されます。これはカラムナフォーマットであり、データは行ごとではなく列ごとに配置されるため、優れた圧縮が可能になり、より大量のデータを効率的に転送または保存できます。これはほとんどのデータツールで読み書きでき、データツールの共通言語となっています。同様の問題を解決する別の形式はApache ORCです。Apache Avroもバイナリ形式ですが、行指向であり、レコードの受け渡し、特にストリーミング処理に使用されます。そして、データの世界の多くのものはApache Foundation製です。

メモリフォーマット

データは異なる形式で保存できます。ファイル形式はすでにカバーしましたが、データはメモリに保存することもできます。最も一般的なインメモリフォーマットはApache Arrowです。

Parquetは(とりわけ)圧縮とファイルサイズの小ささに最適化されたファイル形式ですが、Arrowは処理とゼロコピー転送に最適化されたインメモリフォーマットです。これは、Arrow形式で保存されたデータはより多くのスペースを占有しますが、ツール間(例:PythonのpandasからRustのDataFusionへ)で非常に効率的に転送できることを意味します。

両方のフォーマットは分析とデータロードに最適化されていますが、Parquetはスキャン(つまり、関連するエントリをメモリにロードする)に焦点を当てているのに対し、Arrowは実際の処理(例:CPU/GPU命令とキャッシュを効率的に使用して計算を実行する)に焦点を当てています。

Arrowは広く採用されており、事実上の標準インメモリフォーマットです。ソースからArrow形式でデータを受け取る可能性は低いですが、既にロードされたデータを異なるデータツール間で交換するために使用されます。pandasのような人気のあるDataFrameライブラリは、オプションのバックエンドとしてArrowを使用でき、Arrowから直接構築されたプロジェクト(例:Polars、DataFusion)もあります。次のセクションでDataFrameについて詳しく説明します。

データウェアハウス

データを分析する際、多くの場合、異なるソースからの大量のデータを扱います。分析したいたびにソースからデータをプルするのは非常に非効率的であり、ソースシステムに不必要な負荷をかける可能性があります。この目的のために、通常、処理の前にデータは中央集権的なストレージにインジェストされます。ストレージにはさまざまな種類があり、それぞれが異なるユースケースに最適化されています。

データウェアハウスは、PostgreSQLやMySQLのようなデータベースに似ていますが、分析負荷に最適化されています。MySQLはOLTPデータベースであり、行単位の操作に最適化されています。例えば、OLTPデータベースの典型的なクエリは、IDでユーザーレコード(行)を取得することです。一方、データウェアハウスはOLAPデータベースであり、列単位の操作に最適化されています。これは、「昨年の地域ごとの総売上を計算する」といったクエリが、従来のデータベース1よりもデータウェアハウスで実行される方がはるかに高速になることを意味します。

ウェアハウスは構造化されクリーニングされたデータに最適化されているため、従来はインジェスト後の最初の停止地点ではなく、処理済みデータの最終的なストレージとして使用されてきました。ELTアプローチでは、ウェアハウスを生のデータのランディングゾーンとしても使用し、そこで直接変換することが一般的になっています。

データウェアハウスは、ディスク上のデータの保存方法とクエリ方法の両方を管理します。独自のクエリエンジンを提供し、それに密接に結合されています。主にMySQLやMongoのようなデータベースで作業してきた場合、これは奇妙に聞こえるかもしれませんが、他のタイプのデータストレージでは常にそうとは限りません。

構造化データと最適化されたクエリエンジンを使用することで、優れたクエリ速度を提供できます。これは、クエリが遅いとユーザーエクスペリエンスが悪化する可能性のある様々なBIおよびレポートツールとうまく連携します。

データウェアハウスは、私たちがカバーする3つのストレージタイプの中で最も高価です。パフォーマンスと利便性の両方に料金を支払うからです。人気のあるデータウェアハウスは、Snowflake(ウェアハウスは彼らのプラットフォームの一部に過ぎませんが、独立した製品としては提供していないようです)、GoogleのBigQuery、AmazonのRedshiftです。人気のあるオープンソース/セルフホスト型オプションは、ClickHouse、Apache Doris、StarRocksです。

データレイク

構造化されたデータウェアハウスの反対がデータレイクです。そこでは、CSV、Parquet、JSONなどのすべてのファイルを、最小限(または全く)の処理でダンプできます。簡単に言えば、データレイクは単なる大きなクラウドフォルダにいくつかの追加機能が付いたものです。そのため、データの構造に制限はありません。構造化データ(Parquet)、非構造化データ(メール)、半構造化データ(CSV)、または完全にバイナリデータ(画像)を保存できます。

データレイクを構築するには、Amazon S3、Google Cloud Storage、またはAzure Blob Storageのような安価なストレージシステムから始めます。命名規則とパーティショニング規則を設定し、いくつかのParquetファイルをそこにダンプし、アクセスポリシーを設定します。メタデータカタログ(後述)とクエリエンジンを追加すれば、データレイクの完成です。それを適切に管理しないと、データスワンプ(データの沼)になってしまいます。

すべてを自分でやりたくない場合は、主要なクラウドプロバイダーのマネージドサービスを利用できます。Azure Data LakeやSnowflake(はい、彼らもデータレイクを提供しています)。

適切なデータレイクは、クラウドオブジェクトストレージに加えて、もう少し付加機能が必要です。つまり、メタデータカタログ(メタストアとも呼ばれることがあります)とクエリエンジンです。これらは、レイク内のデータを実際にクエリできるようにするために必要です。そのため、スクリプトでCSVファイルを手動で検索し、ダウンロードし、解析/メモリにロードする代わりに、それをクエリできます。

クエリエンジンはクエリ部分を支援し、SQL(または他のクエリ言語)を受け取り、データレイク内のデータに対して実行できます。しかし、そのためにはメタデータカタログの助けが必要です。メタデータカタログは、レイクにどのようなデータがあるかを記述します。テーブル名、スキーマ、ファイルへのマッピングなどです。これを使用して、クエリエンジンは関連するファイルをロードし、提供されたクエリをデータに対して実行できます。

人気のあるメタデータカタログソリューションは、Hive Metastore、AWS Glue Data Catalog、DatabricksのUnity Catalogです。

クエリエンジンとしては、例えばApache Spark、Trino、またはAmazon Athenaを使用できます。

データレイクハウス

はい、はい、レイク+ウェアハウスです。両者の長所を組み合わせるという考え方です。

データレイクハウスはデータレイクの上に構築され、結果の製品をデータウェアハウスに近づける追加機能を提供するいくつかのブロックが追加されています。これらのブロックの中で最も重要なのは、クエリエンジンと生データの間に位置し、データの保存方法を管理するテーブルフォーマットです。これにより、データレイクハウスはデータレイクよりも従来のデータベースに近くなります。

テーブルフォーマットが追加する最も注目すべき機能の1つはACIDです。これにより、複数のアプリケーションが、データを破損させるリスクなしに、同時に同じデータで作業できます。これは、レイクハウスが同時書き込みの管理、書き込み中のエラー処理などを担当することを意味します。

レイクハウスはデータレイクよりもスキーマに対して厳格です。半構造化データを保存することは依然として可能ですが、その構造(例:JSONが持つべきフィールド)を定義する必要があり、レイクハウスがそれを強制します。完全に非構造化データはレイクハウス向けではありません2。スキーマは時間とともに変更される可能性があり(スキーマ進化)、レイクハウスはその変更を時間とともに追跡します(スキーマバージョニング)。

データとスキーマに対する制御が増えることで、データレイクハウスはインデックスを作成し、パーティショニングを最適化することで、クエリを高速化できます。

一部のレイクハウスはタイムトラベルもサポートしており、特定の時点のデータのスナップショットに対してクエリを実行できます。

コスト面では、データレイクハウスはウェアハウスよりも依然として安価です。なぜなら、安価なストレージの上に構築されたデータレイク上で動作するからです。データウェアハウスとは異なり、レイクハウスは特定のクエリエンジンに縛られないため、コストを1対1で比較することはできません。しかし、タスクやワークロードによっては、個別のレイクハウス+コンピューティング(クエリエンジン用)がウェアハウスよりも大幅に安価になる可能性があります。

データレイクハウスで最も人気のあるテーブルフォーマットは、Apache Iceberg、Delta Lake、Apache Hudiです。

レイクハウスを自分で構築したくない場合は、GoogleのLakehouse for Apache Iceberg(旧BigLake)、Databricks(Delta Lakeを使用)、IBMのwatsonx.data(Iceberg)のようなマネージドソリューションが多数あります。

データの出所

どこからでも、本当に。

データはPostgreSQLやMongoのような従来のデータベースから来る可能性があります。例えば、オンラインショップの場合、後で分析したり他のデータと組み合わせたりするために、アプリデータベースから注文履歴データをプルすることができます。

同様に、データはサードパーティサービスから来ることもあります。支払い失敗を分析したいですか?StripeのAPIを使ってそのデータを取得します。

場合によっては、データはユーザー自身から来ることもあります。例えば、ユーザーのブラウザから直接送信される分析イベントや、IoTデバイスから送信されるイベントなどです。

データが抽出されたら、すぐに処理することもできますし、ELTの場合は生のデータを保存して後で処理することもできます。この場合、データの形状、サイズ、および会社/プロジェクト全体のデータインフラストラクチャに応じて、データレイクhttps://sinja.io/blog/data-landscape-guide-for-developers#data-lake、レイクハウスhttps://sinja.io/blog/data-landscape-guide-for-developers#data-lakehouse、あるいはデータウェアハウスhttps://sinja.io/blog/data-landscape-guide-for-developers#data-warehouseに保存される可能性が高いです。

インジェストツール

ソースからデータレイクやウェアハウスにデータをプルするために、サードパーティAPIを呼び出したり、PostgreSQLをクエリしたりするカスタムスクリプトを作成できます。もちろん、これにより柔軟性が得られますが、多くの場合、すでに何百回(あるいは何千回?)も書かれたコードを書くことを余儀なくされます。StripeのデータをプルしてBigQueryに投入するPythonスクリプトがいくつあるか想像してみてください。

カスタムメイドのものが不要な場合は、データインジェストツールを使用できます。これは、さまざまなデータソースと宛先を接続できます。認証、ページネーション、エラー処理をカバーする繰り返しコードを書く代わりに、ソースと宛先のコネクタを設定し、ツールに任せます。ただし、このアプローチは通常、抽出されたデータが処理される前にどこかに着地する必要があるため、ELTアプローチに移行します。

このタイプの最も人気のあるツールは、Fivetran、Airbyte、dltです。

特にデータベースからデータをプルする場合、チェンジデータキャプチャ(CDC)についてよく耳にするでしょう。新しいデータを繰り返しクエリする代わりに、ツールはデータベースのレプリケーションログを読み取り、挿入、更新、削除が発生したときにキャプチャします。インジェストツールはデータベースソースに対してCDCを内部で使用しており、CDCをスタンドアロンのビルディングブロックとして必要とする場合は、Debeziumが人気のあるオープンソースソリューションです。

データの処理方法

さて、この記事の最も興味深い部分にやってきました。データの変換方法と、そのプロセスで使用されるツールについて学びましょう。もちろん、データでできることには無限の可能性がありますし、それを支援するツールもほぼ無限にあります。可能な限り多くのことをカバーしようとしますが、これは決定的なガイドではないことを念頭に置いてください。

言語

汎用プログラミング言語に関しては、Pythonが王様であり、データ作業の事実上の標準言語です。大きなコミュニティと、データ用の素晴らしいネイティブライブラリがたくさんあります。異なる言語で書かれたデータツールやライブラリでさえ、しばしばPythonバインディングを持っています(例:Rust用に作られたApache DataFusionにはPythonバインディングがあります)。

最も人気のあるPythonライブラリの1つはnumpyで、多次元配列の高性能な実装を提供し、多くの他のライブラリの基盤となります。そのようなライブラリの1つ(そして最も人気のあるものの一つ)がpandasで、Series(一次元配列)とDataFrame(二次元配列)を操作できます。Pandas自体は事実上の標準であり、他のほとんどのデータライブラリは、何らかの形でそれをサポートまたは統合します。例えば、seabornやPlotlyでpandas DataFrameをチャート化したり、streamlitでインタラクティブなアプリを構築したり、DuckDBを使ってSQLでDataFrameをクエリしたり、scikit-learnでpandas DataFrameに機械学習アルゴリズムを適用したりできます。

言及する価値のある他のプログラミング言語は、R、Java/Scala、Julia、そしてRustです。これらはすべてデータ作業で使用されており、一部は特定の分野(例:学術界のR)や特定のツールのエコシステム(例:Java/ScalaはSparkのようなビッグデータフレームワークで人気)でより一般的ですが、その人気はPythonには遠く及びません。

もう一つ言及すべき言語はSQLです。クエリ言語として非常に人気があり、ウェアハウスからデータをクエリするためにも、またデータを変換するためにも使用できます。ほとんどのユーザーが使用する標準インタープリターを持つPythonとは異なり、SQLは実行される場所によってわずかに異なります。

バッチ vs リアルタイム

一部のツールの目的をよりよく理解するために、まずデータ処理のさまざまな方法を理解する必要があります。

最初の方法はバッチ処理です。これは、大量のデータを、多くの場合定期的に処理する方法です。例えば、次の月の開始時に前月の売上データを集計するなどです。このプロセスは時間的制約がなく(結果を得るために数時間または数日待つことができます)、大量のデータを扱います。

バッチ処理とは対照的に、リアルタイム処理があります。このアプローチでは、データは到着後すぐに処理されるか(ストリーム処理)、または小さなバッチにまとめられます(例:20秒ごとに処理)。通常、速度が非常に重要なパイプラインで見られます。例えば、ウェブサイトユーザーの行動を監視してボットを検出する場合、できるだけ早く(そしてブロックするために)それらを検出するためにリアルタイム処理を使用します。

SQL

データを変換する方法は数え切れないほどあります。その一つは、クエリエンジンに作業を行わせることです。これはデータウェアハウスとの組み合わせでよく使用されますが、データレイクやレイクハウスでも機能させることができます。

この種の処理で最も人気のあるツールはdbtとSQLMeshです。これらのツールを使用すると、SQL selectステートメントとして変換を記述し、ツールがそれらを直接エンジンで実行されるクエリにコンパイルします(dbtまたはSQLMeshはデータを直接処理しません)。

月ごとの地域別収益モデルを生成するdbt変換の例は次のようになります。

select
    date_trunc('month', o.order_date) as order_month,
    c.region,
    count(distinct o.order_id) as orders,
    sum(o.amount) as revenue
from {{ ref('stg_orders') }} as o
join {{ ref('stg_customers') }} as c
    on o.customer_id = c.customer_id
where o.status = 'completed'
group by 1, 2

dbtやSQLMeshのようなツールを使用することには、カスタムPythonスクリプトからクエリエンジンを呼び出すことと比較して、いくつかの利点があります。標準化(これはすでに大きな利点です)に加えて、依存関係をサポートする、管理しやすい小さな部分に複雑な変換を分割できます。dbtはハードコードされたテーブル名の代わりにモデルを参照できます(上記のスニペットのrefを参照)。変換を実行する際には、依存関係グラフを作成し、すべてを正しい順序で処理します。

dbt/SQLMeshはこのセットアップですべてのオーケストレーションを行いますが、最終的にはデータと連携するのはクエリエンジンです。通常、処理されたデータは、それが由来したのと同じウェアハウス/レイクハウス/レイクに着地しますが、セットアップによっては、クエリエンジンが完全に異なる宛先にデータをプッシュする可能性があります(ただし、これはdbt/SQLMeshの範囲外になります)。

ローカルDataFrame

汎用プログラミング言語でデータを処理する際、最も一般的な方法の1つはDataFrameです。簡単に言えば、DataFrameは二次元配列の抽象化であり、表形式のデータを扱う際に役立ちます。最も人気のあるのはpandasで、前述したように、Pythonでのローカル処理の事実上の標準です。pandasでデータを処理する様子は次のとおりです。

import pandas as pd
 
sales = pd.read_csv("sales.csv")
 
summary = (
    sales
    .assign(order_date=lambda df: pd.to_datetime(df["order_date"]))
    .query("status == 'completed'")
    .groupby([pd.Grouper(key="order_date", freq="ME"), "region"])
    .agg(
        orders=("order_id", "nunique"),
        revenue=("revenue", "sum"),
        avg_order_value=("revenue", "mean"),
    )
    .sort_values("revenue", ascending=False)
)
 
print(summary.head(10))

pandasは最も人気がありますが、唯一のものではありません。Pythonでもう一つよく知られているライブラリはPolarsです(ただし、その採用はまだpandasには遠く及びません)。他の言語用のDataFrameライブラリもあります。Rustには前述のPolars(Rustで書かれており、Pythonバインディングを提供しています)とDataFusionがあります。JuliaにはDataFrames.jl、Rにはdata.frame、Javaにはtablesawがあります。

DataFrameライブラリは、データの扱い方によって分類できます。Pandas、data.frame、tablesawはEager(即時実行)です。これは、df.groupby("region")["revenue"].sum()を呼び出すと、pandasがすぐにグループ化と集計を実行することを意味します。しかし、一部のライブラリは異なる動作をします。DataFusionとPolarsのLazyFrame(PolarsはEagerとLazy(遅延実行)の両方のインターフェースを提供します)は、手動でコレクションをトリガーするまで操作を実行しません。すべてのLazy DataFrameは、生データではなく論理プランとして表されます。このプランは、どこからデータを取得し、どのような操作を適用するかを記述します。.group_by(...)や.agg(...)のようなメソッドを呼び出すたびに、Polarsは更新されたプランを持つ新しいDataFrameを生成するだけです。そして.collect()を呼び出したときにのみ、実行されます。これにより、Polarsは実行前にプランを最適化する機会が得られ、潜在的に高速化されます。

これらのライブラリの一般的な制限は、データがマシン上に存在し、ローカルで処理されることです。これは、利用可能なメモリとCPUによって制限されることを意味します。pandasの場合、すべてのデータがメモリに保存および操作されるため、RAMによって制限されます。Polarsのような一部のライブラリはストリーム処理をサポートしているため、利用可能なRAMよりも大きいデータセットを扱うことができますが、一部の操作ではワーキングセットをメモリにロードする必要があるため、普遍的な解決策ではありません。そして、CPUによってまだ制限されています。

ローカル処理の話をしている間、DuckDBは特別な言及に値します。これはインプロセスOLAPデータベースであり、「分析のためのSQLite」とよく説明されます。それ自体はDataFrameライブラリではありませんが、同じニッチを占めており、最近非常に人気があります。これにより、インフラストラクチャを設定することなく、ローカルマシンでCSVやParquetファイル(さらにはpandas DataFrame)をSQLでクエリできます。

大規模分散処理

データが単一のマシンを超えると、その作業を複数のマシンに分散させる方法があります。1台のコンピュータがデータセット全体を処理する代わりに、データをチャンクに分割し、各チャンクをクラスタ内の別のマシンに渡し、並列で処理させます。このようにして、処理する必要のあるデータの量に応じて、パイプラインを水平にスケーリングできます。

このアイデアは新しいものではありません。分散処理のOGの1つはApache Hadoopです。現在ではレガシーと見なされていますが、古いセットアップで見かけるかもしれません。現在、事実上の標準はApache Sparkです。

Sparkは、データのロードと変換の実行、必要に応じた並列化と最適化を担当します。ユーザーは、Sparkのバインディングのいずれかを使用し、データに対して正確に何を行うかを指示するスクリプトを作成します。

Pythonバインディングを使用した概念的な例を次に示します。

from pyspark.sql import SparkSession
import pyspark.sql.functions as F
 
spark = SparkSession.builder.appName("monthly-revenue").getOrCreate()
 
orders = spark.read.parquet("s3://my-lake/silver/orders/")
customers = spark.read.parquet("s3://my-lake/silver/customers/")
 
summary = (
    orders
    .filter(F.col("status") == "completed")
    .join(customers, "customer_id")
    .groupBy(F.date_trunc("month", "order_date").alias("order_month"), "region")
    .agg(
        F.countDistinct("order_id").alias("orders"),
        F.sum("amount").alias("revenue"),
    )
)
 
summary.write.mode("overwrite").parquet("s3://my-lake/gold/monthly_revenue/")

Sparkは複数のプログラミング言語用のバインディングを提供しています。Pythonには、DataFrame API(およびSpark上でpandas APIをエミュレートする互換性レイヤーさえも)を持つPySparkがあります。Rには最近非推奨になったSparkRがあり、もちろんJavaとScala**バインディングもあります(Spark自体はScalaで書かれています)。これは、私たちがカバーしたほぼすべてのストレージから読み書きでき、データレイクのクエリエンジンとしても、重い変換のワークホースとしても使用されているのを見る理由です。

Spark以外にもツールはあります。Daskは、使い慣れたpandasやnumpy APIに非常に近い状態を保ちながら、Pythonコードをクラスタ全体にスケーリングします。Rayはより汎用的な分散コンピューティングフレームワークであり、特にモデルトレーニングのようなMLワークロードで人気があります。そしてApache Flinkもバッチ処理を行えますが、その専門はストリーム処理です。これは都合よく次のトピックです。

ストリーム処理

プロジェクトのニーズによっては、ストリーム処理を選択したい場合があります。これは、データ処理の結果が重要であるため、できるだけ早く取得したいという理由によるかもしれません。典型的な例は、クレジットカード取引の不正検出です。ストリーミング処理は、リソース効率が高い場合や、データに適している場合もあります。例えば、ウェブサイトの分析イベントが到着次第(またはマイクロバッチで)処理し、その形状を検証し、IPに基づいてジオロケーションデータをリッチ化し、処理されたイベントをClickHouseに配置したい場合があります。リアルタイム分析が単に優れたユーザーエクスペリエンスであるという事実を省略したとしても、イベントが到着次第処理することで、バッチ変換の次の実行で処理される前に「生の」ペイロードをどこかに保存する必要がなくなります。

ストリーミング処理について話すとき、Apache Kafkaについてよく耳にするでしょう。元々はLinkedInで開発され、現在はオープンソースで非常に人気があります。簡単に言えば、プロデューサーからイベントを受け取り、それらを保存し、コンシューマーがそれらを読み取れるようにする役割を担っています。メッセージキューを使ったことがあるなら、これは似ているように聞こえるかもしれません。Kafka(および一般的にイベントストリーミングプラットフォーム)とメッセージキューの重要な違いは、イベントはコンシューマーのいずれかが確認しても破棄されないことです。イベントはログに残り、他のコンシューマー(または同じコンシューマー)は、イベントが保持ルールに従って期限切れになるまで、何度でも読み取ることができます。

比較的単純に聞こえますが、Kafkaも分散型で耐障害性があり、ストリームデータ処理パイプラインの優れたビルディングブロックとなっています。ただし、Kafka自体はデータ処理を行わないことに注意することが重要です。通常、それは別のワーカーによって行われ、Kafkaの観点からは、それは単なる別のコンシューマーです。

少し混乱させるために、Kafkaソフトウェアに加えて、似た名前の2つのAPI/ライブラリがあります。Kafka Connectは、Apache Kafkaを他のシステム(データベースなど)に接続するためのもので、Kafka Streamsは、Kafka上にパイプラインを構築するためのJava/Scalaストリーム処理ライブラリです。ステートフル変換、ウィンドウ集計、結合などをカバーしており、Flinkと精神的に似ていますが、アプリに組み込まれて実行され、Kafkaでのみ動作します。

他のイベントストリーミングプラットフォームには、Apache Pulsar、Redpanda、AWS Kinesis Data Streamsなどがあります。

前述したように、イベントストリーミングプラットフォーム自体は処理を行わず、それは別のワーカーによって行われます。これはカスタムスクリプト(Kafkaは多くのプログラミング言語のバインディングを持っているため)である可能性がありますが、多くの場合、ストリーム処理専用のソフトウェアになります。そのようなソリューションの1つがApache Flinkです。これは、処理パイプラインを構成するためのビルディングブロックを提供し、その後、実行、スケーリング、および障害処理を担当します。

ストリーム処理では、イベントの発生元と処理方法を記述します。これには、イベントのフィルタリング、フィールドのマッピング、ウィンドウでの集計、イベントの重複排除、および結果の宛先への書き込み(別のKafkaトピック、データベース、または完全に別のものになる可能性があります)が含まれます。そして、この定義をFlinkに与えると、Flinkはそれをクラスタにデプロイし、継続的に実行して、到着する新しいイベントを処理します。

Flinkに加えて、ストリーム処理の他のオプションがあります。Spark Structured Streaming、Google Cloud Dataflow、Azure Stream Analyticsです。

オーケストレーション

dbt変換、Sparkジョブ、カスタムスクリプト、そして神のみぞ知るその他の多数の要素からなる大規模なシステムを持つと、すべてを追跡し、すべてがスムーズに実行されるようにすることがますます困難になります。幸いなことに、それを支援するために、オーケストレーターがあります。

オーケストレーターを使用すると、個別のステップから複雑なデータ処理パイプラインを構築できます。各タスクが何を行うか、およびどのタスクに依存するかを定義すると、オーケストレーターはタスクの有向非巡回グラフ(DAG)を構築します。通常、これはコード(主にPython)で行われます。オーケストレーター自体はデータを処理しませんが、Sparkスクリプトを実行したり、dbt変換をトリガーしたり、HTTPエンドポイントを呼び出したりして、実際の作業を行います。

そして、パイプラインを定義したら、スケジュールに基づいて、Kafkaからのイベントに基づいて、UIから手動で、HTTPリクエストで、などを実行できます。提供されているプラグインAPIを使用して、すでに利用可能な幅広いトリガーがありますが、独自のトリガーを作成することもできます。

作業を独立したタスクに分割することで、オーケストレーターは、例えば互いに依存しないタスクを並列で実行するなど、実行を最適化できます。また、障害が発生したタスクを再試行し、パイプライン全体を再起動するのではなく、そこからパイプラインを再開することもできます。

オーケストレーターはバッチ処理のものです。パイプラインを開始から終了まで実行し、次のトリガーまで停止します。これは、パイプラインが継続的に実行され、決して「終了」しないことを意図しているストリーム処理にはあまり適合しません。したがって、ストリーミングセットアップでは、オーケストレーターではなく、ストリームプロセッサ自体(Flinkなど)に依存します。

最も人気のあるオーケストレーターは、広範なエコシステムを持つApache Airflowですが、Dagster、Prefect、Luigi(これは古く、現在はあまり人気がありません)のような他のオプションもあります。

データオブザーバビリティとモニタリング

ソフトウェア開発と同様に、ユーザーから障害について知ることを望まないように、データにおいても、パイプラインが5日間失敗していたことを上司から知ることを望まないでしょう(そのせいで重要なダッシュボードが壊れた場合)。ソフトウェア開発と同様に、データにも、そのような運命を避けるのに役立つ専用のモニタリングおよびオブザーバビリティツールがあります。

これは2つのカテゴリに分けることができます。1つはパイプラインモニタリングです。ジョブが実行されたか、失敗したか、どれくらい時間がかかったかなどです。そして、データ自体のモニタリングがあります。それは最新か、ボリュームに異常はないか、スキーマが静かに変更されたか、などです。両方とも重要です。

パイプラインモニタリングの場合、スタックは平均的なWebアプリで見られるものと似ています。Prometheus、Grafana、ELKなどです。さらに、一部のモニタリングはオーケストレーター自体でカバーできます。データ品質モニタリングについては、データがどのように見えるべきかを定義する手動ソリューションがあります。例えば、Great Expectationsやdbtテストです。しかし、データを監視してそれがどのように見えるべきかを学習し、異常が発生したときにフラグを立てる自動ソリューションもあります。自動ソリューションの例は、Monte Carlo、Bigeye、Metaplaneです。

データが着地する場所

ついに、ETLのL(Load)に到達しました。データが抽出・変換された後、人々やツールが実際に使用できるようにどこかに着地する必要があります。しかし、どこに?それは良い質問です。

それが着地するストレージシステムは、すでにカバーしたウェアハウス、レイク、レイクハウスと同じです。話す価値があるのは、データは一度だけ、最終的に着地するわけではないということです。通常、途中で、異なる形状で複数回着地します。

メダリオンアーキテクチャ

データパイプラインを扱う際、同じデータが異なる精製レベルで複数回保存されることがよくあります。ELThttps://sinja.io/blog/data-landscape-guide-for-developers#data-lifecycleで、まずストレージに生データをダンプし、後で変換することを覚えていますか?生のデータと処理済みデータの両方をどこかに保存する必要があります。そして、それらのための別々のストレージを持つことも可能ですが(例:生データはレイク、処理済みデータはウェアハウス)、多くの場合、パイプラインのすべてのステージで同じストレージが再利用されます。

これを整理する一般的な方法はメダリオンアーキテクチャで、データを3つのレイヤーに分割します。

  • ブロンズ - ソースから直接の生データ。
  • シルバー - クリーニングされ、統合されたデータ。これには、型の修正、重複の削除、場合によっては別々のソースを単一テーブルに結合することが含まれる場合があります。
  • ゴールド - 特定のユースケース(ダッシュボードやレポートなど)のために集計、モデリング、整形されたデータ。

これは同じストレージシステムですが、データのライフサイクルの異なるステージです。アナリストは通常ゴールドテーブルをクエリしますが、パイプラインのデバッグを行っているエンジニアはブロンズを掘り下げるかもしれません。

次元モデリング

メダリオンアーキテクチャはデータの精製度を伝えますが、その形状については何も語りません。形状に関しては、遅かれ早かれアナリストが「ファクトテーブル」や「粒度(grain)」のような言葉に言及するのを聞くでしょう。この語彙は、Ralph Kimballが著書「The Data Warehouse Toolkit」で普及させた、ウェアハウスのテーブルを整理するアプローチである次元モデリングに由来します。

アイデアは、データを2種類のテーブルに分割することです。ファクトテーブルはイベントや測定値を格納します。注文ごと、支払いごと、ページビューごとに1行です。これらは長く細く、ほとんどが数値とディメンションテーブルへの外部キーで構成され、常に成長し続けます。ディメンションテーブルは、これらのファクトが発生したコンテキストを格納します。顧客ごと、製品ごと、カレンダー日付ごとに1行です。これらは幅広く、あまり頻繁に変更されません。ファクトテーブルを中央に配置し、その周りにディメンションを配置すると、スタースキーマが得られます(より正規化されたバリアントであるスノーフレークスキーマもあります。そして、いいえ、それはSnowflakeウェアハウスとは関係ありません)。

さらに遭遇する可能性のある用語が2つあります。粒度(Grain)とは、テーブルの1行が何を表すか(1つの注文?1つの注文明細?1日の顧客あたりの注文?)。そしてデータマートとは、1つのチームまたは主題のためにモデリングされたウェアハウスのスライスです。マーケティングマート、ファイナンスマートなどです。これらは通常、ゴールドレイヤーに存在します。

しかし、すべてのチームがこれを厳密に守っているわけではないことに注意する必要があります。最新のウェアハウスは高速でストレージは比較的安価であるため、多くのチームは特定のユースケースのために幅広く正規化されていないテーブル(「巨大な単一テーブル」アプローチと呼ばれることもあります)を構築しています。

アプリへのデータ提供

ゴールドテーブルは多くの場合ウェアハウス内に直接存在し、これは内部ダッシュボードやレポートには完全に適しています。しかし、ウェアハウスのクエリレイテンシとクエリごとのコストが十分でない場合もあります。特に、データが多数のユーザーに同時に提供され、ミリ秒単位で応答する必要がある場合です。例えば、ユーザー向けの分析を提供する製品です。製品はイベントストリームをインジェストし、ユーザーがそれをクエリしてカスタムチャートに集計できるようにします。これは、内部リアルタイムモニタリングや、重い集計(リーダーボード、「トレンド」など、使用状況メーター)でバックアップされたアプリ機能と同様です。

これらの場合、処理されたデータはリアルタイムOLAPデータベース(Apache DruidやApache Pinotなど)にロードされます。これらは、高い同時実行性でのサブ秒クエリのために特別に構築されています。ウェアハウスセクションでClickHouseとApache Dorisにすでに言及しましたが、これらはリアルタイムOLAPデータベースとしても機能できます(そしてClickHouseはこのケースで非常に人気のある選択肢です)。

リバースETL

通常、データは運用ソースからウェアハウスに流れますが、その逆も可能です!例えば、Stripeからデータをプルし、顧客の生涯価値を計算してから、そのデータをHubSpotにアップロードして、営業チームが高価値顧客を簡単に見れるようにすることができます。これは運用分析として知られており、後でユースケースとして説明します。処理済みデータを運用ツールにロードするプロセス自体はリバースETLと呼ばれます。

インジェストツールと同様に、リバースETLを支援するソフトウェアもあります。この場合、ウェアハウスを指定し、特定のテーブル/列をどこに同期させるかを指示します。ツールは、障害や再試行、レート制限、アラート、増分同期の処理のような退屈なタスクを処理します。

一部のインジェストツールはリバースETLのソリューションを提供しています。具体的には、Airbyte Data activationとFivetran Activations(買収前はCensusという名前でした)です。もちろん、スタンドアロンツールもあります。具体的には、HightouchとRudderStackです。

セマンティックレイヤーとデータカタログ

データウェアハウス内のテーブルと列の数が増えるにつれて、データを追跡することはますます困難になります。もちろん、この問題は見過ごされておらず、それを解決しようとするさまざまな製品があります。

まずデータカタログについて話しましょう。これは、データレイクセクションで説明したメタストアに似ていますが、クエリエンジンではなく人間が使用することを目的としています。主にドキュメントとして機能し、データにビジネスコンテキストを追加します。どこから来たのか、誰が所有しているのか、アクセスポリシーはどうなっているのか、データは検索可能で人間が理解できるものになります。データカタログの例としては、前述のDatabricksのUnity Catalog、DataHub、OpenMetadataがあります。

別のクラスのツールはセマンティックレイヤーです。セマンティックレイヤーの役割は、ビジネスエンティティ、その関係、メトリクスなどの正規の定義を保持することです。地域と顧客年齢別の収益レポートを作成するタスクを想像してください。それは簡単そうですが、注文を追跡するテーブルが4つ、顧客テーブルがさらに3つあり、どれを使用すべきか全く分からないことに気づくまでです。そして、地域を正確にどのように定義しますか?どのような年齢層を使用しますか?合理的な仮定を立てることはできますが、このレポートを作成した人が地域境界について同じ考えを持っていたという保証はありません。セマンティックレイヤーは、顧客モデルにはテーブルXとYから来る列A、B、Cがあり、EMEA地域はこれこれこれこれの市場で構成され、収益計算に払い戻しを含めるかどうか、などという定義を提供することでこれを解決します。そして最も重要なこととして、セマンティックレイヤーはスタック内の他のツール(主にビジネスインテリジェンスおよびAIエージェント)と統合されているため、UIで正しいエンティティとメトリックを選択でき、セマンティックレイヤーはそれを必要なクエリに変換する(または少なくともツールがクエリ自体を生成するために必要な情報を提供する)役割を担います。セマンティックレイヤーの一般的なソリューションは、LookerのLookML、Cube、dbt Semantic Layer、そして前述のUnity Catalogもセマンティックレイヤー機能を持っています。

データリネージ

データカタログに非常に密接に関連しており(そしてしばしば1つのソフトウェアソリューションに統合されている)のがデータリネージです。カタログはどのようなデータを持っているかを記述しますが、データリネージはデータがパイプラインを通過する際にどのように変換されるかを追跡します。通常、オーケストレーターDAGから、変換のSQLを解析することによって、またはデータワーカー自体から放出されるイベント/メタデータから自動的に収集されます。

データリネージは、さまざまな精度で追跡できます。より基本的なセットアップでは、テーブルレベルのリネージ(例:gold.ordersはsilver.ordersとsilver.customersから構築される)がありますが、より高度なセットアップでは、列レベルのリネージ(例:customers.life_time_valueはorders.totalとsubscription_payments.amountから計算される)まで到達できます。

リネージは、下流への影響の評価(例:この一見重要でない列を削除すると何かが壊れるか?)、根本原因分析(このメトリックにどのデータが供給されているのか、なぜならそれはおかしく見えるから)、コンプライアンス(ユーザーのどの個人識別可能なデータを使用しており、どこで使用しているか)に使用できます。

前述したように、リネージ追跡はしばしばデータカタログの一部として提供されます。Unity Catalog、DataHub、OpenMetadataはすべてデータリネージの表示をサポートしています。しかし、より重要なのは、パイプライン全体がこの追跡データを作成するために協力する必要があることです。これは、自動的にデータを放出するコネクタを介して、またはデータ処理の一部として手動でイベントを放出することによって行われます。

このデータはベンダー固有の形式(例:DataHubは独自の形式を持ち、Unity Catalogは異なる形式を持つ)である可能性がありますが、OpenLineage形式である可能性もあります。これは新兴の標準であり、すでに多くのデータカタログでサポートされており、人気のある処理ツールの多くのコネクタがあります。

データの消費方法

ついに、ここまで来ました。インジェストの把握、さまざまな種類のストレージの学習、データの処理方法、そしてその後の行き先を理解した後、ついにそれを使用できます。しかし、待ってください、どこで使用できるのでしょうか?良い質問です!

ダッシュボードとレポート

「データ」という言葉を聞いて最初に思い浮かべるのがチャートの集まりである場合、それは偶然ではありません。ダッシュボード(および一般的なレポート作成)は、データパイプラインが最終的に供給する最も一般的なものです。特にデータ量が少なく、複雑なユースケースがない小規模な企業では、レポート作成以外にはほとんどありません。

これらのためのツールは通常、ビジネスインテリジェンス(BI)ツールと呼ばれます。これらはウェアハウス(またはレイクハウス、あるいはアプリデータベースに直接)に接続し、コードを書かずにデータからチャートを作成できます。これらのツールは、多くの場合、幅広い種類のチャートタイプを備えており、チャートの正確な外観を微調整するための多くのオプションがあります。その後、チャートはダッシュボードに構成できます。主なセールスポイントはセルフサービスです。先週のサインアップをリクエストするたびにアナリストに連絡する代わりに、技術的スキルの低い人々は、SQLを手書きすることなく、UIを通じて自分でチャートを作成(または少なくとも探索)できます。

多くのツールは、チャート作成を超えています。スケジュールされたレポート(ダッシュボードをスケジュールでメールやSlackに配信する)や、メトリックがしきい値を超えたときに通知するアラートなどの機能がよく見られます。

市場にはかなりの数のツールがあり、しばしばわずかに異なるポジショニングを持っています。例えば、TableauとPower BIは、特に大企業で非常に人気があり、強力で柔軟なビジュアライゼーションに重点を置いています。Looker3は独自のセマンティックレイヤー(LookML)を中心に構築されており、より技術的なチームに向いています。Metabaseは、セットアップが迅速かつ簡単であること(セルフホスティングを含む)、および非技術的なユーザーにとって親しみやすいことに焦点を当てています。他にもたくさんありますが、要点は掴めたでしょう。

運用分析

データのもう一つの人気のあるユースケースは運用分析です。リバースETLセクションで触れましたが、それは単に配信方法であり、ここではユースケース自体に焦点を当てます。アイデアは、アナリストではない人々が日常業務で使用するアプリに役立つデータをもたらすことです。

より伝統的なデータアプローチでは、データは収集、集計され、その後、より上位の人が正しい戦略的決定を下すのに役立つレポートにコンパイルされます。運用分析では逆です。データは、会社のさまざまな部門の人々が日常業務を行うのに役立ちます。

  • 営業チームが適切な顧客にアップセルできるように、Hubspotに同期された集計済み使用状況データ。
  • カスタマーサポートチームのためにZendeskに同期された顧客の最近の注文、最近のサポートチケット、プランなど。
  • カスタマーサクセスチームのために、顧客の製品採用状況を示す社内アプリ。

yada yada yada、アイデアは掴めたでしょう。リバースETLは、運用分析をその消費者に(営業、カスタマーサポートなど)もたらすための非常に人気のあるアプローチですが、唯一の方法ではありません。サポートチームのために、ウェアハウスからすべてのデータをプルする社内カスタマー360アプリを作成する場合、これも運用分析です。

アドホックおよび探索的分析

すべての質問に独自のダッシュボードやパイプラインが必要なわけではありません。時にはアナリストやデータサイエンティストが、特定の、しばしば一度きりの質問に答えるために、データを使って調査する必要があります。先週のサインアップが減少したのはなぜか、どのコホートが返金の原因となっているのか、この奇妙なスパイクは本当に現実なのか。私たちはバッチ処理とリアルタイム処理をカバーしましたが、これはどちらでもありません。これはアドホック分析です。この場合、自動化されたデータ処理パイプラインはありませんが、質問があり、既存のデータから回答を得ようとするアナリストがいます。アドホック分析と同様に、探索的分析もあります。今回はアナリストに質問はありませんが、データがあり、そこから洞察を得たいという強い願望があります。

単純なチャートとの違いは、処理が単純なフィルタリングと集計よりも複雑になることが多く、レポートツールはこの種のジョブにはすぐに役に立たなくなることです。アナリストは、異常を見つけるためにある操作セットを適用し、その結果に応じて別の操作セットを適用し、ということを繰り返す可能性があります。

アドホック/探索的分析を行う方法はいくつかあります。お気に入りのテキストエディタでPythonスクリプトを書き(おそらく以前に会ったpandasやPolarsのDataFrameを使用)、ターミナルから実行することもできます。あるいは、ウェアハウス自体が提供するUIで直接SQLを記述することもできます。データ作業用に作られたIDE、例えばSpyderやRStudioを使用しているかもしれません。これらの環境についてはあまり言うことはありません。開発者であれば、これらすべてに慣れている可能性が高いです。

特に強調したい環境はノートブックです。Markdownとコード(そしてしばしばSQLセルなどの他のセルタイプ)を1つの「ファイル」であるノートブックに組み合わせることができます。コードセルは、画像、インタラクティブチャート、テーブルなど、幅広い出力を生成できます。これは探索的分析に非常に役立ちます。実行結果をコードの横で見ることができ、視覚的にデータを探索し、段階的に分析できます。また、作業を発表するのにも適しています。

人気のあるスタンドアロンノートブックはJupyter(OGであり、依然として最も人気のある選択肢)、Google Colab、Deepnote、marimoです。ただし、多くのベンダーはプラットフォームの一部としてノートブックを提供しています(例:DatabricksやSnowflake)。

MLはそれ自体が1つの分野です。独自のストレージ(フィーチャストア)、独自のトレーニング、トラッキング、デプロイツール、独自の科学者とエンジニアなどです。そのため、ここではあまり詳しく説明しませんが、機械学習は非常に多くのデータを消費するため(おそらく最も飢えている)、省略することはできません。

機械学習は、幅広いタスクに使用できます。過去数年間ニュースを賑わせている大規模言語モデルに加えて、より小さく、より専門化されたモデルもたくさんあります。これらは、解約予測モデル、レコメンデーションモデル、需要予測モデル、または顧客セグメンテーションモデルである可能性があります。共通しているのは、本番環境で使用される前に、トレーニングするためのクリーンなデータが必要であるということです。

これらのモデルのために、データサイエンティストまたはMLエンジニアはまず、「過去30日間の注文数」や「最終ログインからの日数」のような特徴量と呼ばれる入力信号のセットをウェアハウスからプルし、それらでモデルをトレーニングし、新しいデータで予測を行うためにデプロイします。これらの予測は、CRMに同期された解約スコア(運用分析)や、ユーザーに提供される製品レコメンデーションなど、すでに見たことのあるものにループバックします。

組み込み分析

データは、アプリの特定の機能を(前の章で言及した製品レコメンデーションなど)強化することができます。これはアプリによって大きく異なりますが、ここで議論したい顕著なユースケースの1つは組み込み分析です。

人がショップを作成して販売を開始できるマーケットプレイス(EtsyやShopifyのようなもの)を実行していると想像してください。そしてもちろん、何が最も売れているかを知りたいでしょう。あるいは、顧客がどこから最も来ているか。あるいは、どの検索クエリで製品が最も上位にランクされているか。そしてあなた、プラットフォームとして、このすべてのデータを持っており、ユーザーに見せたいと考えています。

単純なケース、例えば5つの事前定義されたチャートと限定的なフィルタリングの場合、自分で構築できます。クエリを書き、フィルタリング用のUIをコーディングし、チャートを描画するためにチャートライブラリを配線します。しかし、ユーザーが複雑なクエリを実行したい可能性がある複雑なケースでは、専用ツールに手を伸ばす方が良いでしょう。以前に言及したレポートソフトウェア(Metabase、Looker、Tableau)はすべて組み込み分析にも使用できます。さらに、SisenseやLuzmoのような組み込み専用ソリューションもあります。

これらのツールはアプリと統合され、アプリ内に直接表示されます(UIのカスタマイズ性は様々です)。この共生関係では、アプリが認証と認可を処理し、組み込み分析ソリューションがクエリ(および関連UI)とチャートの描画を処理します。

データ製品

データが製品の特定の機能を強化するだけでなく、データ自体が製品になることもあります。顧客が特定のデータにアクセスするために大金を支払う用意がある市場は複数あります。

例えば、あなたの会社はさまざまな暗号通貨ブロックチェーンからデータをインジェスト、変換、インデックス化し、それをアナリストに販売する可能性があります。あるいは、Googleの検索結果をスクレイピングして、そのデータをSEOスペシャリストに販売するかもしれません。

これらのシナリオの両方で、データ(およびそれをクエリするアクセス)が販売されるものなので、タイムリーにインジェストし、それを効率的にクエリできるようにするための堅牢なパイプラインが必要になります。

データガバナンス

そして、このガイドをデータガバナンスというセクションで締めくくります。このセクションは、おそらく技術との関連性が最も低い(他のセクションと比較して)でしょう。それにもかかわらず、非常に重要なセクションです。

今日、企業は大量のデータ(そしてさらにそれ以上)を収集しています。多くの場合、個人識別情報、健康データ、および誰もが読めるべきではないその他の種類のデータが含まれています。ガバナンスは、誰がデータにアクセスできるか、誰がデータにアクセスしたかをどのように追跡するか、誰が所有者であるか、プライバシーに関する懸念(例:忘れられる権利)がどのように処理されるか、データが物理的にどこに保存されているか、どれくらいの期間保持されるか、などを制御します。

技術はこれらの一部を支援できますが、例えば役割とアクセス制御はデータウェアハウスのレベルで設定でき、データカタログには所有者情報を含めることができ、リネージはPIIの使用状況を追跡するために使用できますが、それははるかに人々やプロセスに関するものであり、法務/コンプライアンスおよびセキュリティチームに近いものです。


そしてこれが地図です。データがどこから来て、どのように保存され、処理され、最終的に使用されるかを見てきました。各ボックスの下にはさらに多くのものがあります(ここに挙げた各ツールはそれ自体が記事になり得ますし、新しいものも次々と登場しています)。そして、時折いくつかの詳細を省略しなければなりませんでしたが、このガイドを読んだ後、あなたのデータチームが使う言葉が少しでも理解しやすくなったことを願っています。

注釈

  1. それでも、従来のデータベースは驚くほど遠くまで到達でき、小規模なプロジェクトには十分かもしれません。

    ↩

  2. レイクハウスはデータレイクの上に構築されているため、非構造化データを保存することは依然として可能ですが、テーブルフォーマットの利点は得られません。

    ↩

  3. Looker Studio(最近GoogleによってData Studioに名称変更されました)という別の製品もあります。これもデータをチャート化するために使用されますが、LookMLを使用せず、Lookerよりも機能ははるかに少ないです。

    ↩