HN 日本語サマリー

← 一覧へ戻る
プログラミング

ORMから学んだこと:SQLを学ぶべきだ (2014年)

What ORMs have taught me: just learn SQL (2014) (wozniak.ca)

140 pointsby ciconia182 コメント

要約

この記事は、著者がORM(Object-Relational Mapper)の使用経験から、SQLを直接学ぶことの重要性を説いています。ORMはSQLを補完するツールとしては有用ですが、SQLに取って代わるべきではないと主張しています。特に、属性の増加(attribute creep)や過剰な外部キー結合によるパフォーマンス低下、スキーマ定義の二重管理、エンティティIDの扱いの複雑さなど、ORMが引き起こす問題点を具体的に解説しています。

全文翻訳

ORMから学んだこと:SQLを学ぶべきである

私は、ORMは私にとって、利益よりも害の方が大きいという結論に至りました。要するに、ORMはプログラム内でSQLを扱う作業をうまく補強するために使用できますが、SQLに取って代わるべきではありません。

背景:過去30ヶ月間、私はPostgres、そしてある程度SQLiteと連携する必要のあるコードに取り組んできました。そのほとんどはSQLAlchemy(これはかなり気に入っています)とHibernate(これは気に入っていません)を使用しました。既存のコードとデータモデルで作業したこともあれば、独自のモデルを設計したこともあります。データの多くはイベントベースのストレージ(「タイムライン」)であり、レポート作成に重点が置かれています。

オブジェクト/リレーショナルインピーダンスミスマッチについては、多くのことが書かれています。それを経験しないと、なかなか理解するのは難しいものです。Newardは、彼の有名なエッセイで、ORMがどのように泥沼化するかについての多くの説得力のある理由を挙げています。私の経験では、それらの問題のいくつかに直接対処しなければなりませんでした:エンティティIDの問題、二重スキーマ問題、データ取得メカニズムの懸念、そして部分オブジェクト問題です。これらの問題に関する私の経験について簡単に触れ、さらに私自身の経験を一つ追加したいと思います。

部分オブジェクト、属性の肥大化、外部キー

おそらく私がORMで経験した最も巧妙な問題は、「属性の肥大化」または「ワイドテーブル」です。つまり、属性がどんどん追加されていくテーブルのことです。避けたいと思っても、時には必要になることがあります(ただし、Postgresのhstoreのようなものは役立つことがあります)。例えば、クライアントが多くのデータを提供し、それを様々なビジネスロジックに基づいたレポートに添付したい場合があります。さらに、そのデータに関する洞察はあまりなく、単にそれを運び回しているだけです。

これ自体はデータベースにおいてはそれほどひどいことではありません。ORMでは、それは本当の痛い点になります。具体的には、エンティティを直接クエリの作成に使用する際に問題が現れ始めます。プロジェクトの初期段階では、以下のようなHibernateクエリを使用しているかもしれません。

query(Foo.class).add(Restriction.eq("x", value))

Fooに5つの属性しかない場合はこれで問題ないかもしれませんが、100個あるとデータの大洪水になります。これはSELECT *を使用するのと同等であり、通常は意図以上のものを取得しています。しかし、ORMはこの使用を奨励しており、正確な射影(projection)を作成することをSQLで書くのと同じくらい面倒にすることがよくあります。(私は適切な射影を追加してそのようなクエリを最適化し、実行時間を数分から数秒に短縮しました。すべての時間は、データベースの行をJavaオブジェクトに変換するのに費やされました。)

これが別の悪い経験につながります:外部キーの有害な使用です。私が使用したORMでは、クラス間のリンクはデータモデルで外部キーとして表現されますが、注意深く設定しないと、オブジェクトを取得する際に多数のJOINが発生します。(私の作業でそのようなテーブルの最近のカウントでは、600以上の属性があり、推奨されるクエリ方法を使用して単一のオブジェクトにアクセスするために14回のJOINが必要でした。)

属性の肥大化と外部キーの過剰な使用は、ORMを効果的に使用するためには、やはりSQLを知る必要があることを示しています。ORMに対する私の主張は、SQLを知る必要があるなら、SQLを使えば良いということです。なぜなら、SQL以外のものがSQLにどのように変換されるかを知る必要がなくなるからです。

データ取得

ORMを使用して実際にクエリを作成しようとすると、SQLの知識がさらに重要になります。これは、効率が懸念される場合に特に重要です。

私の見たところでは、本当に単純なデータモデル(つまり、JOINを一切行わない場合)でない限り、ORMに効率的なSQLを実行させる方法を見つけるために、非常に苦労することになります。ほとんどの場合、それは実際のSQLよりも分かりにくいものです。

そして、クエリを単純に保つことを選択すると、データベースでより速く行える多くの作業をコード内で行うことになります。Window関数は比較的高度なSQLであり、ORMで書くのは困難です。それらをクエリに含めないということは、アプリケーションに大量の余分なデータをデータベースから転送することを意味する可能性が高いです。

これらの場合、私はテンプレートシステムを使用してクエリを記述し、ORMを使用してテーブルを記述することを選択しました。アプリケーションレベルでのテーブルの記述の利便性を得ながら、SQLを直接使用できます。これは、これまで使用したどの方法よりも手間がかかりません。

二重スキーマの危険性

これは避けられない冗長性の一つであるように思われます。これを排除しようとすると、さらに問題が増えるか、過剰な複雑さが加わるだけです。

問題は、データ定義が2つの場所に存在することになることです:データベースとアプリケーションです。定義を完全にアプリケーション内に保持すると、ORMコードと共にSQLデータ定義言語(DDL)を記述することになり、ORMで高度なクエリを記述するのと同じ複雑さになります。データベース内に保持すると、利便性のためにアプリケーション内に表現を設け、過剰な「文字列タイピング」を防ぎたくなるでしょう。

私は、データ定義をデータベース内に保持し、それをアプリケーションに読み込むことを好みます。これは問題を解決しませんが、より管理しやすくします。データ定義を取得するためのリフレクション技術は価値がなく、2つの場所にデータ定義の冗長性を管理することに甘んじています。

しかし、厄介なマイグレーション問題は本当に痛いところです:アプリケーションでのモデルの変更はたいしたことではありませんが、データベースでは本当に面倒です。結局のところ、データベースは永続的ですが、アプリケーションデータはそうではありません。ORMは、データマイグレーションをまったく支援しないため、ここでは単に邪魔になります。私は、データベースのデータ定義はアプリケーションで操作すべきものではないという原則で作業しています。代わりに、クエリの結果を操作します。つまり、クエリがデータベースへのAPIなのです。したがって、オブジェクトについて考えるのではなく、戻り値の型を持つ関数について考えます。

これにより、クエリ作成の利便性以外にORMを使用すべきかどうかを問わざるを得なくなります。

ID

エンティティIDの扱いは、ORMで作業する際に常に念頭に置かなければならないことの一つであり、1つの表現力しか持たないシステムのために2つのシステムで記述することを余儀なくされます。

外部キーがある場合、関連するIDを参照するには識別子を使用します。アプリケーションでは、「識別子」はさまざまな意味を持ちますが、通常はメモリ上の位置(ポインタ)です。データベースでは、それはオブジェクト自体の状態です。これら2つは実際にはうまく調和しません。なぜなら、あなたが作業しているデータの最終的な宛先であるデータベース内では、データベースの識別子しか本当に使用できないからです。

これにより、キャッシュを手動でフラッシュしたり、部分的なコミットを行って実際のデータベースIDを取得したりするために、ORMを操作する必要が生じます。

これを「漏洩した抽象化」と呼ぶことさえできません。「漏洩」という言葉は、ソースと比較して内容のごく一部が逃げ出すことを意味します。

トランザクション

Newardが示唆していることの一つは、開発者がトランザクションを処理する必要があるということです。トランザクションは動的にスコープされるもので、強力ですが、過剰に使用すると混乱を招くため、プログラミング言語ではほとんど無視されている概念です。これは、例外ハンドラを持つ多くのボイラープレートコードと、トランザクションの境界がどこに発生すべきかについての慎重な検討につながります。また、データベースと通信する可能性のある任意の関数/メソッドにセッションオブジェクトを渡す必要もあります。

トランザクションの概念は、時間に基づいたコンテキストへの依存のため、アプリケーションにはうまく翻訳されません。前述のように、動的スコープはこの概念をプログラムで使用する1つの方法ですが、主流のパラダイムであるレキシカルスコープとは対立します。したがって、データベースと連携するコードを書く際には、トランザクションの「いつ」について十分に注意する必要があり、モジュール性を複雑にする可能性があります(「特定のコンテキストでのみ機能する便利な関数」)。

私はどこに向かっているのか?

この時点で、私はストアドプロシージャを完全に拒否することの賢明さを疑問視し始めています。それは冒涜的に聞こえますが、私のユースケースには役立つかもしれません。(そして、「DevOps」の出現により、開発者とデータベース管理者の間の隔たりは基本的に存在しなくなりました。)

私は、データベースを単なるAPI(クエリ)を持つ別のデータ型として考えるようになっています。クエリは、プログラム内の何らかのオブジェクトとして表現される、ある型の値を返します。私のアプリケーション内のオブジェクトをデータベースに格納されるもの(ORMの存在理由)として考えることから離れ、代わりにデータベースを(大きく複雑な)データ型として考えることで、アプリケーションからデータベースを操作することがはるかに簡単になりました。そして、なぜもっと早く気づかなかったのかと思っています。

(これは、すべてのアプリケーションがデータベースをこのように扱うべきだと主張しているわけではないことを明確にしておくべきです。私が言っているのは、これは私が扱っているデータに基づいた私のユースケースに合致するということです。)

ストアドプロシージャが実際にはそれほど悪くないと判明するか、テンプレート化されたSQLを使い続けるかどうかにかかわらず、一つだけ確かなことがあります:私は「ORMは簡単にしてくれる」という罠に陥ることはありません。データ定義を表す方法としては許容できますが、クエリを書く方法としては劣っており、オブジェクトの状態を保存する方法としては悪い方法です。RDBMSを使用しているなら、歯を食いしばってSQLを学びましょう。