Show HN: SQLでニューラルネットワークを実装しました
Show HN: I implemented a neural network in SQL (github.com)
要約
著者は、配列データベースライブラリXarray-SQLを用いて、SQLでニューラルネットワークを実装したことを発表しています。当初は地理空間データのベンチマークをリレーショナル演算として捉え直すことから始まり、最終的にSQLで線形代数や微積分、自動微分を可能にし、ニューラルネットワークの構築へと至りました。
全文翻訳
2週間前、私はギリシャのコルフ島でベビームーン(出産前の夫婦旅行)をしていました。移動中に、私の配列データベースライブラリであるXarray-SQLに重要な機能を追加したGSoC(Google Summer of Code)のインターンを監督していました。彼はto_dataset()を追加し、配列データを表形式モデルとグリッド化されたラスターとして同時に考えるというプロジェクトの前提(すべてのNd配列は2Dにマッピングでき、Nd配列の直交次元は表形式表現の主キーにすぎない)のラウンドトリップを完了させました。チャットで、この機能ができた今、このデータモデルが機能することを証明できるデモは何があるだろうかと話し合いました。
熱波の中、暖かいビーチで過ごす自由時間、冷たい海水が私に新しいアイデアをもたらし、私はある考えに至りました。Coiledの地理空間ベンチマークの議論を、地理および気候クエリの包括的な概要として利用できないだろうか?これらの一般的な操作はすべて、単に間違ったデータモデルを持つリレーショナルなものではないのだろうか?ビーチでClaude Codeを使い、それがそうであるらしいことを確認できました。Claudeと私は、地理および気候科学におけるすべての一般的な操作(100 TBの範囲)が、実際にはリレーショナル操作であったことを示すベンチマークを発表しました:https://github.com/xqlsystems/xarray-sql/blob/main/docs/geospatial.md。
これらの例の中で最も驚くべきことは、コア操作であるリグリッド化が、スパース行列ベクトル積にすぎなかったことです。Claudeは、このデータモデルでは、行列積(matmul)は単なるSUM(val * val) ... JOIN .. GROUP BYにすぎないと指摘してくれました。これはeinsum表記と直接的な並列性がありますが、(議論の余地はあるものの)エレガントなSQL構文で表現できます!この機能は、その部分の合計以上のもののように思えました。
イオニア海の冷たい水に戻り、私はこの意味合いについてより深く考えました。Coiledのベンチマークがすべて、根本的には数値/配列コードで行われるシミュレーションの_後処理_であったことを反芻しました。SQLで行列積ができるなら、これらの物理計算をデータベースにプッシュダウンできないだろうか?そしてひらめきました。もしSQLが微積分もできれば、それは可能かもしれない!https://bsky.app/profile/al.merose.com/post/3mpbods7wts2y
その後、DataFusionのビジターパターンに基づき、JAXの実装を参考に、自動微分(autograd)を実装しました。私の単純化された配列モデルでは、ヤコビアンの対角線上の偏微分のみを気にするだけでよく、grad()、jvp、vjpは行ごとの操作にすぎないことがわかりました!次に、勾配を必要とするCoiledベンチマークからの一般的な物理計算を実装しました。ここから、データベースで自動微分ができるなら、なぜニューラルネットワークを作成できないのだろうか、と気づきました。
帰宅後、スライドを作成し、DataFusionの最初のショーケースでこの作業を発表しました:https://www.youtube.com/watch?t=1511&v=5o-4hL8vGPw&feature=youtu.be この統合で、SQLは必ずしもニューラルネットワークを書くためのトイ言語ではなく、実際には、リレーショナルデータベースの基本原則により、将来的に非常に望ましいものになるかもしれないと気づきました。論理層は物理層から独立しているべきです。そのプロパティが成り立つなら、ニューラルネットワークは一連のリレーションであるとすれば、より簡単にトレーニングのためのSOTA(State-Of-The-Art)分散システムを作成できるでしょうか?例えば、グローバルなデータフローの論理計画があれば、1000以上のGPUで作業をより良く分散できるでしょうか?
数人の科学者やエンジニアと一緒に、https://xql.systems(参加したい場合は下部にあるDiscordリンク)で、この奇妙なリレーショナル配列の世界を探求しています。