HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

データインテリジェンスエンジニアの夜明け

The Dawn of the Data Intelligence Engineer (motherduck.com)

109 pointsby jonbaer70 コメント

要約

AIの進化により、データチームの役割は劇的に変化しています。従来のデータエンジニアやアナリストの仕事の多くはAIエージェントが担うようになり、人間はデータモデルの設計、コンテキストの整備、品質保証、そして最終的な説明責任といった、より高度な知見と判断が求められる「データインテリジェンスエンジニア」という新しい役割に移行しています。この変化は、ビジネス意思決定の迅速化と精度向上に貢献し、データチームのバックログを解消する一方で、新たな責任と機会を生み出しています。

全文翻訳

データインテリジェンスエンジニアの夜明け

AIが私の仕事にどう影響したかを、リードデータエンジニア(兼MotherDuck共同創業者)のニック・アーサに尋ねました。彼の答えはこうでした。「キャリアで初めて、バックログがゼロになったよ」。

それは彼に手持ち無沙汰な時間をもたらすと思われがちですが、彼はこれまで以上に忙しいのです。バックログはなくなりましたが、回答の正確さは依然として重要であり、人間が品質管理の度合いを決定する必要があります。かつて彼の仕事は、計算した数値が正しいことを確認することでしたが、今ではLLMやエージェントが生み出す数値が正しいことを確認することが仕事になっています。

これはチケットキューを処理する仕事とは異なります。11月4日のData Outpostで、私はこの新しい役割に名前を提案しました。「データインテリジェンスエンジニア」です。AIを活用したデータチームにおける、新たな主要な役割だと考えており、その理由を共有したいと思います。

データチームの目的とは?

データチームの仕事は一つだけです。それは、ビジネスが良い意思決定を行えるようにすることです。その意思決定が、現状のより正確な姿に基づいているほど、より迅速に行えるほど、その意思決定はより良いものになります。

[画像: 01-why-do-answers-take-so-long.png]

難しいのは、質問が回答になるまでの経路でした。それはリレーのように進みます。マーケティングリーダーが月曜日に出社し、先週のチャーン率の急増に気づきます。「なぜそうなったのか?」彼らは調査のためにデータチームにチケットを起票します。アナリストがそのチケットを受け取り、調査を進めるうちに、ある重要なデータがデータソースの一つからエクスポートされていないことに気づきます。彼らはデータエンジニアに調査を依頼するチケットを起票します。それにはデータパイプラインの変更が必要なので、データエンジニアが変更を加え、テストし、バックフィルを実行し、バックフィルをテストし、チケットを解決します。その後、ボールはアナリストのコートに戻り、彼らは必要とされていたダッシュボードを構築できます。それが完成する頃には、マーケティング担当者はなぜ最初に質問したのかを思い出せなくなっています。チャーン率は2週間後に自然に回復していました。

これは、誰も効果的または緊急に機能していないことを非難するものではありません。リレーの誰も間違ったことはしていません。しかし、すべての引き継ぎは待機を意味し、コンテキストが失われ、質問への回答を効果的に実行する能力の半減期はゆっくりと減衰していきます。

余談ですが、AIを活用したツールが実際にはあまり役に立たなかった世代がいたことに注意すべきです。コパイロット時代は一部のターンアラウンドを速くしましたが、問題は、迅速に行動するには引き継ぎが多すぎたことでした。

今回は何が違うのか

2025年12月以前は、アナリティクスにおけるAIに対する反論は容易でした。LLMは悪いSQLを書きました。ビジネスロジックは不明でした。この状況ではうまくいくはずがないというのが、賢明な結論でした。実際、私はデータチームが他のソフトウェア分野で起こっている破壊的変化から、多かれ少なかれ免除されていると話していました。

それから突然、状況が変わりました。新しいモデルはSQLが得意になりました。ビジネスロジックは、エージェントが適切なコンテキストがあれば理解できることが判明しました。そしてエージェントはマルチターンになり、一度で正解を出す必要がなくなりました。人間のアナリストと同じように、クエリを実行し、結果を見て、再度試すことができます。これらを組み合わせると…うまくいきます。

セルフサービスBIは何十年も前からすぐそこにあると言われてきましたが、何が違うのでしょうか?まあ、存在証明として、ここに例があります。Data Outpostで発表したプレゼンテーションは、PowerPointデッキやGoogle Slidesとして作成されたものではなく、私がMotherDuckとClaudeを使って構築したアプリでした。4つの異なるデータソースからのライブデータセットを使用し、多くのインタラクティブでアニメーション化されたビジュアライゼーションを構築しました。私がやったことは、ほぼ誰でも実行可能でした。私はコードやSQLの一行も見ていません。

これは単にダッシュボード構築を自動化する方法ではないことを強調することが重要です。BIは通常かなり静的で、せいぜい数回のドリルダウンしかできません。しかし、AIを使えば、よりリッチなビジュアライゼーションを構築できます。さらに、プロンプトでダッシュボードを構築できるなら、それにとどまらず、本格的なアプリも構築できます。

ビジネスステークホルダーがデータを使って自分で質問に答えられるようにすることは、データチームのバックログを短縮するという、さらに広範なメリットがあります。それは実際に、彼らがより良い意思決定を行えるようにします。所要時間と引き継ぎの回数を削減することで、より多くの質問をすることができます。文脈がまだ頭に残っている間に、フォローアップの質問をすることができます。これは、彼らがより迅速に自信を持って意思決定できることを意味します。

[画像: 02-feedback-loop.png]

これらの仕事のうち、どれがプロンプトになりうるか?

AIは情報労働者が行う仕事を劇的に変えています。ソフトウェアエンジニアは、Claudeセッションの監視やエージェントが書いたコードの承認に時間を費やすことがよくあります。データチームの従来の役割はどうでしょうか?それらの仕事のうち、挑発的に言えば、どれがプロンプトになりうるのでしょうか?

[画像: 03-which-can-be-a-prompt.png]

答えがどれほど不快であっても、かなりの部分がプロンプトを通じて実行できます。遠くない未来では、SQLクエリの作成、ダッシュボードの作成、dbtパイプラインの構築は、専門知識を必要とするものではなくなるでしょう。エージェントはすでにこれらのタスクにおいて人間よりも優れている可能性が高く、さらに改善されていくでしょう。私たちのデータエンジニア、ニックは、かつて1週間かかっていた作業を、最小限の監督で週末にAirflowのバージョンを移行しました。

しかし、コードやSQLを書いたり、ダッシュボードを構築したりすることが、仕事のすべてではありませんでした。正確なデータとそれを理解する能力の必要性は消えません。そして、誰かが説明責任を負い、「はい、これは正しいです」と署名できる必要があります。それには人間の介入が必要です。ニックはこう言います。「データエンジニアリングは、ツールや誰がそれを行うかに関わらず、説明責任を果たす機能です」。

人間が必要なもの

エージェントがコードを書くようになったら、データの世界には何が残るのでしょうか?驚くほど多くのことが残ります。人間は、タイトルのどこにも「データ」という言葉がない他のステークホルダーが、データを使って問題を解決できるようにする必要があります。それは、適切なコンテキストと注釈を備えたクリーンなデータモデル、用語や概念が一貫して適用されていることを保証するための明確なオントロジー、そして物事が引き続き機能することを保証する必要があることを意味します。

これらは、モデルがデータや履歴から直感的に理解できるものではありません。モデルはSQLを知っています。あなたの会社がどのように収益をカウントするか、あるいは似たようなテーブルの中からどれが本物か(それはrevenue_cpx_new_revised_v2_use_this_oneです)は知りません。モデルは、営業チームが収益について話すときにコミッション対象収益を意味し、財務チームが異なるものを使用することを知りません。

コンテキストは維持が難しい松葉杖です。さらに良いのは、最初からクリーンなデータモデルを構築することです。ソフトウェアとの良い類似性があります。ユーザーがマニュアルを読む必要がある場合はいつでも、それはユーザーエクスペリエンスの失敗だと私は考えています。よりクリーンな設計であれば、彼らがやろうとしていたことは明らかになるでしょう。コンテキストはエージェントのためのマニュアルにすぎません。データモデルを十分にシンプルで明確にできれば、彼らの時間とエネルギー(そしてトークン)を大幅に節約できます。

データインテリジェンスエンジニアに会う

AI時代のデータ担当者の「やるべきこと」は、他のデータチームメンバーの典型的な責任とは実際には一致しません。私はそれが新しいタイトルに値するほど異なると考えており、ここに「データインテリジェンスエンジニア」と名付けます。

データインテリジェンスエンジニアは、ソフトウェアエージェントを作成・実行することで、データエンジニアの仕事(取り込み)とアナリティクスエンジニアの仕事(変換とモデリング)を自動化します。彼らはシステムの知識を、他のエージェントが組織に関する質問に答えるために使用できる共有コンテキストにエンコードします。これには、どのフィールドが結合可能かだけでなく、社内で誰かが「ARR」と言うときに何を意味するかも含まれます。

評価(Evals)も彼らの責任の大きな部分です。これらは、既知の回答を持つ質問をしたときに、その回答が正しいことを検証するシステムテストです。優れた評価スイートは、ユーザーがシステムに尋ねる質問の種類がエージェントによって正しく回答されるという信頼を与えます。評価は、何かが壊れたことを知る方法でもあります。

データインテリジェンスエンジニアの目標は、セルフサービスを可能にすることです。つまり、組織内の誰もがClaudeやChatGPT、あるいは他のエージェントを開いて、ビジネスに関する質問に正しく答え、それを使ってアプリやビジュアライゼーションを構築し、最終的にはデータによる恩恵を受けて高品質な意思決定を行えるようになるべきです。データインテリジェンスエンジニアが仕事をうまくこなせば、質問するすべての人が、社内で最も賢いアナリストと仕事をしているような体験を得られます。

[画像: 04-data-intelligence-engineer.png]

日々の業務としては、フレームワークの構築、データモデルの構築、コンテキストのキュレーション、問題の発生防止、発生した場合の修正、評価の実行、そしてビジネスが依存するサーフェスの説明責任を負うことになります。私たちはこれを職務記述書としてまとめました。なぜなら、これが今後の方向性であると信じており、名前を付ける時が来たからです。

データエンジニア、アナリティクスエンジニア、またはアナリストであれば、この中のいくつかは認識できるでしょう。これらの役割はすでに互いに融合し、新しいものへと変化していました。これは、あなたの肩書が何であれ、あなたが担う役割です。

これは混乱にならないか?

もっともな質問です。より多くの人が構築すれば、監視が少なくなり、間違いを犯す可能性も高まります。間違ったデータに基づいて行動することによる、途方もなく愚かな間違いを犯す可能性があります。途方もなく愚かな間違いが新しいものかどうかは、読者の判断に委ねます。恐ろしいのは、データチームがそれらの間違いに対して責任を問われる可能性があることです。

助けとなることが二つあります。一つ目は、問題に近ければ近いほど、エラーを見つけやすくなるということです。チャーン率と日々接している人は、それがおかしいときに気づきます。経験上、ビジネスオーナーが自分の分野に指先で触れるような感覚を持っているため、結果は実際には向上することがわかりました。彼らは何かが間違っているときに気づき、ソースデータの間違いさえも発見できることがよくあります。

もう一つの助けは、すべてのものを同じレベルの警戒心で監視する必要はないということです。友人のニックからのもう一つの引用は、「エージェントは、その爆発半径に比例した監督を必要とする」というものです。つまり、重要なレポートや意思決定に使用されるものであれば、細心の注意を払うべきです。ランチのサンドイッチの数を決めようとしている場合、Claudeがハバネロマスタードが非常に美味しいと想像したとしても、それを注文しすぎても暴動が起こることはないでしょう。

これを3つの監督の円として考えることができます。外側はワイルドウェストです。誰でも構築できます。彼らは合理的な基盤の上に構築することを期待していますが、データチームは手を出しません。次のティアはキュレーションセットです。これは、何らかの形でビジネスにとって重要なダッシュボード、ビジュアライゼーション、アプリ、およびメトリックのセットです。これらのダッシュボードで何かが壊れた場合、データチームは最善を尽くして修正すべきです。最後に内側の円、コアがあります。これには、組織にとって重要な、正確であることが重要な主要メトリックが含まれます。データチームは、これらが常に高品質で予測可能であることを保証すべきです。取締役会の数字はコアにあります。

[画像: 05-three-tiers.png]

これらすべてはMotherDuckとどのような関係があるのか?

MotherDuckでは、AIを活用したデータチームを強化するためのメカニズムを構築しています。フライト(Flights)は、データをウェアハウスに取り込み、健全なモデルに変換できる、バイブコード可能なパイプラインです。コンテキストはガイド(Guides)に格納されており、これらはデータモデルとビジネスを説明するマークダウンファイルです。ガイドはプライベートとして開始されますが、管理者は組織全体に適用するために昇格させることができ、すべてのユーザーとエージェントが同じ定義から作業できるようになります。エージェントが作成できるデータビジュアライゼーションをダイブ(Dives)と呼んでいます。すべてのユーザーとエージェントは、独自のダックリング(Duckling)、つまり専用のDuckDBインスタンスを取得します。これらすべてがSQLからアクセス可能であるため、1人のユーザーまたはエージェントは、引き継ぎなしに、取り込み、変換、コンテキスト、およびアプリ全体の問題に取り組むことができます。

唯一の道は前進すること

私たちは混沌とした瞬間にいます。混沌は最大の機会を生み出します。そして、ツールは、それらを拾い上げる意思があれば、真の超能力を与えてくれます。私たちは皆、一緒にこれを学ぶところです。

データチームはどこにも行きません。データモデルを所有し、コンテキストをキュレーションし、物事を機能させ続け、結果に責任を負う誰かがまだ必要です。バックログのないニックは、これまで以上にやるべきことがありますが、仕事は変化しており、元には戻りません。

では、あなたの会社では誰がこれを担当しており、彼らを何と呼んでいますか?

追伸 - 話のプレゼン資料を見たい場合は、Dive Galleryをご覧ください。