HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

アンディ・パブロ氏がClickHouseに参加し、ClickHouse Labsを設立

Andy Pavlo Joins ClickHouse to Establish ClickHouse Labs (clickhouse.com)

309 pointsby nikolay_sivko65 コメント

要約

カーネギーメロン大学のデータベース研究者であるアンディ・パブロ氏が、ClickHouse社に新設される研究チーム「ClickHouse Labs」のリーダーとして参加しました。ClickHouse Labsは、データベース分野における最先端の研究開発を行い、その成果をClickHouseの製品や業界全体に貢献することを目指します。特に、AIやエージェント技術とデータベースの連携についても探求する予定です。

全文翻訳

Andy Pavlo氏、ClickHouse Labs設立のためClickHouseに入社

この度、ClickHouse Labsという新しい研究チームを設立し、そのリーダーを務めるためにClickHouseに入社したことを発表できることを嬉しく思います。その経緯と、私たちが計画していることについて共有したいと思います。

始まり

私は2013年にカーネギーメロン大学のコンピュータサイエンス学科の教授としてキャリアをスタートさせました。以来、現代のデータベース管理システム(DBMS)の内部構造に関する科学を理解することにキャリアを捧げてきました。業界および学術界で登場する新しいシステムをすべて追跡し、その実装を理解することを優先しています。

ClickHouse DBMSについては、2016年6月にオープンソースソフトウェアとして初めて発表された時から知っていました。このニュースを聞いたときの私の最初の反応は、あまりにも良すぎて信じられない、これは vapourware(開発中止・未発表の製品)に違いない、というものでした。ClickHouseは当時、数えるほどしかないクローズドソースの商用分析DBMSにしか見られない機能を備えていました。例えば、ClickHouseはC++で書かれており、2016年にはSIMDを使用したベクトル化クエリ実行をサポートしていました。2016年当時の最も著名なオープンソース分析DBMSはJVMベースであり、数年後までSIMD最適化をサポートしていませんでした。

それ以来、私はClickHouseの開発を綿密に追ってきました。それは常に、私たちの学術研究プロジェクトにとって非常に重要な、最先端のシステムでした。パンデミックによりデータベースコースをオンラインに移行せざるを得なくなった2020年の最初のオンライン講義で、私がオリジナルのClickHouseシャツを着ている姿を見ることができるでしょう。

このような経緯から、ClickHouseの共同創設者からClickHouseにこの新しい研究グループを設立するよう招待されたとき、私は光栄に思いました。最も強力なエンジニアリングチームの一つと協力して次世代のデータベース技術を開発する機会は、見過ごすことのできないものでした。これは、Killer MikeがEl-Pと組んでヒップホップのスーパーグループを結成したような、次のレベルのコラボレーションになるでしょう。

ClickHouse Labsとは?

ClickHouse Labsの目標は、データベースに焦点を当てたクラス最高の業界研究組織を確立することです。これは、アイデアをエンジニアリングに投げ渡すような孤立した研究組織としては運営されません。代わりに、私たちはClickHouseエンジニア、顧客、協力者、業界パートナーと緊密に連携し、ClickHouseを最先端に保つ新しいアイデアを開発・普及させていきます。

また、ClickHouseのPostgreSQLチームとも協力し、その勃興しつつあるマネージドサービスをパフォーマンスと信頼性の市場リーダーとして確立するのを支援します。PostgreSQLとClickHouseは異なるワークロード要件に対応しますが、この組み合わせにより、トランザクションおよび分析データベースの両方の問題調査のための広範な基盤が得られます。

私たちの目標は、率直かつ野心的です。科学的価値のある研究を行い、そして最良のアイデアをユーザーにとって重要なテクノロジーに変革するのを支援することです。私は、IBM ResearchやMicrosoft Researchのような先駆的な業界研究組織と関連付けられているのと同じレベルの影響を達成したいと考えています。これらのグループは、業界の研究室が同時に基礎的なコンピュータサイエンスを進歩させ、商用製品に影響を与え、世代のデータベース研究者を育成できることを実証しました。それが私たちが継続したい伝統です。

次は何をするか?

ClickHouseチームはすでに、その仕事に関する深い技術資料を公開するという卓越した実績を持っています。2021年の会社設立以来、そのエンジニアはDBMSの実装を説明する詳細な記事を作成してきました。また、ClickHouseのコアアーキテクチャを説明する2024年のVLDB論文もあります。これらの作品は非常に徹底しているため、私はカーネギーメロンの学生に読書として割り当てています。同時に、ClickHouseエンジニアリングチームが調査してきたものの、まだ完全に検証して本番環境に投入する時間がなかった興味深いアイデアや最適化のバックログがあります。私の当面の優先事項の1つは、このプロセスを加速させるのを支援することです。その後、それを足がかりとして、ClickHouseをさらに前進させる新しいアイデアを探求します。

私たちが調査する大きな問題の1つは、ClickHouseやPostgreSQLのようなDBMSが、新興のAIおよびエージェンティック技術にどのように適合するかということです。この問題には2つの側面があります。最初の側面は、エージェントをより良くサポートするためにDBMSがどのようになるべきかを決定することです。2番目の側面は、エージェントがDBMS自体の開発をどのように改善および自動化できるかを決定することです。新しいハードウェア、新しいアルゴリズム、新しいデータ構造、新しい実行戦略、そしてDBMSソフトウェアの構築と運用方法など、すべてが検討対象です。これらの問題に対する答えはまだありませんが(だからこそ研究なのです)、私が確信している唯一のことは、ClickHouseの堅固なリレーショナルモデルの基盤が、これらのデータ集約型のワークロードと共に進化するための良い位置にあるということです。

私はデータベースシステムがどのように構築されているかを研究し、それらを構築する人々を訓練するのにキャリアを費やしてきました。ClickHouse Labsにより、私たちは両方を前進させることに専念する組織を創造する機会を得ました。