アンディ・パブロ氏がClickHouseに参加し、ClickHouse Labsを設立

アンディ・パブロ氏がClickHouseに参加し、ClickHouse Labsを設立 私はClickHouseに参加し、ClickHouse Labsという新しい研究チームを設立・主導することになりました。その経緯と計画について共有したいと思います。 どのように始まったか 私は2013年にカーネギーメロン大学のコンピュータサイエンス学科の教授としてキャリアをスタートしました。私は、現代のデータベース管理システム（DBMS）の内部構造の科学を理解することにキャリアを捧げてきました。業界と学術界の両方で登場するすべての新しいシステムを追跡し、それらの実装を理解することを優先しています。私は、ClickHouse DBMSが2016年6月にオープンソースソフトウェアとして発表された当初から知っていました。このニュースを聞いたときの私の最初の反応は、あまりにも良すぎて信じられないように思えたため、ベーパーウェア（開発中止された製品）に違いないというものでした。ClickHouseは、当時、クローズドソースの商用分析DBMSの数えるほどしかないものにしか見られない機能を備えていました。例えば、ClickHouseはC++で書かれており、2016年にはSIMDを使用したベクトル化クエリ実行をサポートしていました。2016年当時の最も著名なオープンソース分析DBMSはJVMベースであり、数年後までSIMD最適化をサポートしていませんでした。 それ以来、私はClickHouseの開発を密接に追ってきました。それは常に、私たちの学術研究プロジェクトに非常に関連性の高い、最先端のシステムでした。パンデミックによりデータベースコースをオンラインに移行せざるを得なかった2020年の最初の遠隔講義で、私がオリジナルのClickHouseシャツを着ているのを見かけることさえできるでしょう。この歴史を踏まえると、ClickHouseの共同創設者からこの新しい研究グループをClickHouseで設立するよう招待されたとき、私は光栄に思いました。最も強力なエンジニアリングチームの1つと協力して次世代のデータベース技術に取り組む機会は、見過ごすことのできないものでした。これは、Killer MikeがEl-Pと組んでヒップホップのスーパーグループを結成したときのような、次のレベルのコラボレーションになるでしょう。 ClickHouse Labsとは？ ClickHouse Labsの目標は、データベースに特化したクラス最高の業界研究組織を設立することです。それは、アイデアをエンジニアリングに投げ渡すような孤立した研究組織としては運営されません。代わりに、ClickHouseエンジニア、顧客、協力者、業界パートナーと緊密に連携し、ClickHouseを最先端に保つ新しいアイデアを開発・普及させていきます。また、ClickHouseのPostgreSQLチームとも協力し、その勃興期にあるマネージドサービスをパフォーマンスと信頼性の市場リーダーとして確立するのを支援します。PostgreSQLとClickHouseは異なるワークロード要件に対応しますが、この組み合わせにより、トランザクションおよび分析データベースの問題の両方を調査するための広範な基盤が得られます。私たちの目標は率直かつ野心的です。科学的価値のある研究を行い、そして最高のアイデアをユーザーにとって重要なテクノロジーに変革することです。私は、IBM ResearchやMicrosoft Researchのような先駆的な業界研究組織と関連付けられているのと同じレベルの影響を達成したいと考えています。これらのグループは、業界の研究室が基本的なコンピュータサイエンスを進歩させ、商業製品に影響を与え、そしてデータベース研究者の世代を訓練することを同時に実証しました。それが私たちが続けたい伝統です。 次は何ですか？ ClickHouseチームはすでに、その作業に関する深い技術資料を公開するという卓越した実績を持っています。2021年の会社設立以来、そのエンジニアはDBMSの実装を説明する詳細な記事を作成してきました。また、ClickHouseのコアアーキテクチャを説明する2024年のVLDB論文もあります。これらの作品は非常に徹底しているため、私はカーネギーメロンの学生に読書課題として割り当てています。同時に、ClickHouseエンジニアリングチームが検討したが、まだ完全に検証して本番に投入する時間がなかった興味深いアイデアや最適化のバックログがあります。私の当面の優先事項の1つは、このプロセスを加速させるのを助けることです。その後、それを足がかりとして、ClickHouseをさらに前進させる新しいアイデアを探求します。 私たちが調査するより大きな問題の1つは、ClickHouseやPostgreSQLのようなDBMSが、新興のAIおよびエージェント技術にどのように適合するかということです。この問題には2つの側面があります。最初の側面は、エージェントをより良くサポートするためにDBMSがどのようになるべきかを決定することです。2番目の側面は、エージェントがDBMS自体の開発をどのように改善および自動化できるかを決定することです。すべてが検討対象です。新しいハードウェア、新しいアルゴリズム、新しいデータ構造、新しい実行戦略、そしてDBMSソフトウェアの構築および運用方法。これらの問題に対する答えはまだありません（だからこそ研究なのです）が、私が確信していることは1つだけです。それは、ClickHouseの堅固なリレーショナルモデルの基盤が、これらのデータ集約型のワークロードとともに進化するための良い位置にあるということです。私はキャリアを通じて、データベースシステムがどのように構築されているかを研究し、それらを構築する人々を訓練するのを助けてきました。ClickHouse Labsにより、私たちは両方を前進させる組織を創造する機会を得ました。