Spring Petclinicの解剖(パート2 – パーシステンスの曲げ方)
Dissecting Spring petclinic (Part 2 – Bending the persistence) (hannomalie.github.io)
要約
この記事は、Spring Petclinicプロジェクトのパーシステンス層をJDBIに置き換える試みを詳述した技術ブログです。筆者は、Spring DataとHibernate/JPAの抽象化が提供する利便性と引き換えに、テストの可読性やコードの明瞭さが失われるという問題点を指摘しています。JDBIへの移行は、コードの複雑さを増し、多くの課題に直面しましたが、データフローの可視化という点で貴重な学びがあったと結論付けています。
全文翻訳
Spring Petclinicの解剖(パート2)
2024-11-29
パーシステンスの曲げ方
[画像: Spring Petclinicのロゴ]
これはSpringに関する一連のブログ記事の2番目のエントリです。このエントリを読む前に、私のエントリ投稿と以前のエントリをお読みください。
今回は、Spring DataをJDBIに置き換えました。これはほぼ純粋なSQLと、永続化されたデータを表す簡単なPOJOを使用するものです。
TLDR
- Spring DataとHibernate(またはJPAも)は、多くの必要な作業をあなたのために行ってくれます。その要件に満足している場合は、非常に優れています。
- パーシステンスに関して、純粋でシンプル、かつデータ中心であり続けることは、思ったほど簡単ではありません。少なくとも、多くのデータ作成を必要とするアプリケーションにとってはそうです。
- 最新の変更によって、プロジェクトがより良くなったとは思いません。それらは、より大きな目標への必要な一歩としてのみ見ることができます。
始まり
Petclinicプロジェクトを調査した際、ほとんどのテストで、何がテストされているのかすぐに理解できないことに気づきました。この問題は、パート1で書いた内容で対処しました。また、既存のテストはいくつかの理由から特に良いものではないと考えています。それらの懸念点のいくつかについては改善しましたが、まだ残っているものもあります。例えば、良いテストは、準備されたデータ、トリガーされた機能、期待される動作を明確にする必要があります。データの準備は、推論の局所性を高く保ち、テストが互いに独立するように、理想的にはテスト内で直接行われます。既存のテストを見てみましょう。
こちらにOwnerControllerTestがあります。テストがあります。
@Test
void testShowOwner() throws Exception {
var httpResponse = get("http://localhost:" + port + "/owners/" + TEST_OWNER_ID);
assertEquals(200, httpResponse.statusCode());
assertThat(httpResponse.body().toString()).containsSubsequence("<tr>","<th>","Name","</th>","<td>","<b>","George Franklin", ...
assertThat(httpResponse.body().toString()).containsSubsequence("<thead>","<tr>","<th>","Visit Date","</th>","<th>","Description","</th>","</tr>","</thead>","<tr>","<td>","2024-10-10", ....
}
実際の表明(Petclinicの作者ではなく、私が書いたもの)がより明確で簡潔になる可能性は一旦無視しましょう。このテストのgetリクエストが、なぜGeorge Franklinがオーナーページに表示されることになるのでしょうか?参照されている「TEST_OWNER_ID」を見つけようとすることができます。しかし、それはさらなる情報なしにトップレベルの宣言にしかたどり着きません。起こったことは、私がこのクラスのコードを悪化させたということです。なぜなら、以前は、各テストの前に実際に初期化されたデータが何であるかを明確にするクラススコープの初期化コードがあったからです。良い点としては、多くのボイラープレートを削除したことです。さて。プロジェクトに最初の変更を加えたときに、このようなものを念頭に置いていたので、すべてのテストを実際のデータベースを使用するように変換しました。そして、sqlファイルにすでにデフォルトデータセットが存在することに気づきました。これはSpringがあなたのために行う、魔法のような、探求できないものの1つです。このデータがテストのために作成される理由を、テストのどこにも見つけることはできません。こちらは、トピックに関する良い読み物で、明示的にオーバーライドする方法などが説明されていますが、要点は変わりません。つまり、実際の可読性と探求性を犠牲にして利便性を優先する機能です。
注意: この声明はSpringに限ったものではありません。多くのツールが同様のメカニズムを持っています。ファイル名を少し変えたり、別の場所に配置したりします。
これはSpring Data特にに対する一般的な批判であるだけでなく、多くのSpringプロジェクトで私が遭遇したことでもあります。デフォルトでは、ほとんどのプロジェクトはSpring Dataの使用から始まります。そして、ほとんどすべてがそれを維持しています。その後、私たち全員が、データの状態、組織化、アクセス方法の暗黙性によって、何度も苦労してきました。多くのプロジェクトで、エンティティがお互いを参照している場合に、Eager/Lazyローディングの問題を解決するために創造的になる必要がありました。
では、これが単なる「スキル不足」なのかどうかを確認し、もっと簡単なアプローチがあるかどうかを見つけましょう。Spring Dataを完全に削除し、JDBIのような非常にシンプルなマッピングライブラリに置き換えてみましょう。
進め方
さて、これらのテストで理想的なソリューションと考えるものに近づくために、古いコードのいくつかの側面を取り戻す必要があります。ローカルリポジトリ参照と、それに要素を追加したりクリアしたりする機能です。目標は既存の実装を置き換えることなので、ここでインターフェースレイヤーを追加し、Springに依存しない(まあ、ほぼ、PageableImplクラスは便利ですが)すべての既存エンティティタイプのレポジトリクラスを作成しました。
デフォルト実装の無効化
最初のつまずきは、古いコードでは非常に簡単だったであろうことです。既存のパーシステンスを完全に無効にし、新しいインメモリ実装に切り替えるにはどうすればよいでしょうか? val ownerRepository = SpringDataOwnerRepository()の代わりにval ownerRepository = InMemoryRepository()とすることができるかもしれません。しかし、後者は存在しません。インターフェースしかなく、実装はコンテナによって、私たちの制御外で作成されます。こちらには、この一見簡単なプロジェクトの変更に対して、壁のようなテキストで説明されているStack Overflowの投稿があります。さて、実際の П実装が無効になると、テストはBean定義が見つからないと不平を言うので、新しい実装を何らかの方法で提供する必要があります。こちらは、Springが関わってくる場合にこのトピックについて言える壁のようなテキストです。私は単に数行上のコードを参照します。理想的なソリューションがどのようになるかです。
さらに、データベースをローカルで手間なく起動するためのヘルパーがあります。単一のmainメソッドで: MysqlTestApplication.java。これはテストソースにあり、Testcontainersを使用してデータベースを実行できます。Beanをオーバーライドすると、この@Configurationアノテーション付きクラスで、これらの定義はソースセット全体に影響します。例えば、Spring Dataのものを無効にして、@Bean宣言でインメモリ実装を定義しようとしたところ、突然OwnerControllerTestが重複Bean定義エラーで失敗しました。はい、技術的にはなぜこれが起こるのかわかります。しかし、これは自然に完全に独立して機能するはずのものの、不必要な絡み合いのもう一つの例です。再び、シンプルさと堅牢性の点でバニラバージョンと比較しましょう。
続けます。この@TestConfigurationと新しいリポジトリをスーパークラスに移動したいと考えています。これにより、すべてのテストがそれらを再利用できるようになり、Javaの冗長性に対抗するためにその部分を抽象化できるようになります。そしてもちろん、リポジトリを注入することもできるので、すべてのテストがそれらを自由に利用できるようになります。ブーム。実行時にUnsatisfied dependencyエラーが発生します。わかりました、わかりました、フィールド宣言をテストに移動します。妥協します。ブーム。うまくいきません。わかりました、わかりました、別のクラスを作成し、ベーステストで@Importを使用します。そうすれば、ベーステストでそれらを注入できるようになります。ふう。
次に少し驚いたのは、ダミーデータ初期化の重複です。これらの単純なものはコアSQLを使用し、すべてのデータベース実装に同じスクリプトを適用することを期待していました。しかしそうではありませんでした。3つの異なる実装がありました。これはデモンストレーション目的である可能性が非常に高いです。PetclinicはPostgresやMySQLなど複数のデータベース実装をサポートしているため、まだ統一しようとはしていません。
レコード:失望
エンティティクラスのコードの肥大化を完全に削除し、Javaレコードに置き換えることを楽しみにしていたのですが、これは不可能です。なぜなら、レコードは不変であり、エンティティは変更可能である必要があるからです。そうでなければ、JPAやビューのモデルバインディング全体で機能しません。知ってはいましたが、それでもそれにぶつかってしまいました。エンティティを置き換えた新しいクエリにレコードを使用するという方向で進みましたが、マッピングと変換の肥大化のために、それはひどいものとなりました。現時点では、すべてをデータ中心ではなく、状態中心に変換することはできません。おそらく、後で別のイテレーションで。Kotlinのデータクラスと比較して、レコードは人間工学が悪いです。言わざるを得ません。そして、データモデリングのような重要なものの使い勝手の悪さが、(私の)コーディングにどれほどの影響を与えるかに驚いています。
エンティティの実際の削除
前述のように、古いエンティティクラスを置き換えませんでした。しかし、すべてのJPAアノテーションを削除し、POJOにすることができました。これは実際には非常に困難でした。なぜなら、プロジェクト全体がその構造に依存していたからです。あるビューにはオーナーのリストがあり、それぞれにペットのリストがあり、それぞれに獣医の訪問リストがありました。ペットから訪問リストを削除すると、ビューは単純にnull値を受け取ります。Thymeleafでは静的型付けがありません。これらのケースは、モデルの複数のパラメータと、例えばオーナーまたはペットIDでインデックス付けできるマップに置き換える必要がありました。
JDBIへの切り替え
上記で言及した接続の問題を除けば、JDBIへの切り替えは多かれ少なかれ簡単でした。Springが新しいデータベースクラスに注入する既存のデータソースを簡単に再利用し、そこからJDBIインスタンスをインスタンス化できます。テストではすべて問題なく動作しますが、通常のセットアップでは、追跡できない接続拒否エラーが発生します。何も役に立たないようです。しかし、最大の労力は、Hibernateクエリ言語をSQLに翻訳することでした。プラットフォームの独立性と利便性を提供するHibernateクエリ言語を維持したかったのですが、SQLに変換することでそれを悪化させました。しかし残念ながら、Hibernateはエンティティの使用に厳密に依存しており、データベーステーブルを直接使用するわけではありません。エンティティレイヤーなしでHibernateクエリ言語を使用できればよかったのですが、それは不可能だと思います。ちなみに、Hibernateドキュメントは素晴らしいです。非常に推奨される読み物です。
変換により、JPA、Hibernate、さらにはSpring Dataがバックグラウンドでどれだけのことをしてくれるかがわかりました。それが最良の方法だとは言いませんが、少なくとも一部は自分で手作業で行う必要があることです。例えばupsertです。純粋なSQLでそれを実行したことがありますか?知っておくべきことがたくさんあります。例えば、オーナーデータがある場合。JPAでは、エンティティは常にデータベースコンテキストに接続されており、クエリを実行し、単純なメソッドを呼び出すだけでデータを保存できます。それが新しいかどうかにかかわらず、それはあなたのために保存されます。そのようなツールなしでは、多くの選択肢があります。例えば、まず、指定されたIDを持つ行が存在するかどうかを確認するステートメントを実行することです。または、updateステートメントを実行して、影響を受けた行数を確認し、 none の場合にのみinsertステートメントを実行することです。そして、どのデータベース実装が結果としてデータを提供できるか、それが実際にどのように返されるかに注意する必要があります。ある場合では、生成されたIDに対してIntの代わりにBigIntegerが返されました。Longである可能性もあります。誰が知っているでしょうか?そして、実際のデータベース実装で実行したときに、実行時にのみわかります。さらに、upsertを実行したいすべてのテーブルでこれらの2つのステートメントが必要だったため、プロパティリストを重複させる必要がありました。見栄えが悪く、新しいプロパティをテーブルに追加するのを忘れるとエラーが発生しやすくなります。
upsertのために作成したコードの肥大化を見てください。以前は単純なowner.save()でした。
public Owner save(Owner owner) {
jdbi.inTransaction(handle -> {
var updatedRowsCount = owner.getId() == null ? 0 : handle.createUpdate(""
update owners
set first_name = :firstName, last_name = :lastName, address = :address, city = :city, telephone = :telephone
where id = :id
RETURNING *
""")
.bindBean(owner)
.execute();
if(updatedRowsCount == 0) {
Map<String, Object> id = handle.createUpdate(""
insert into owners (first_name, last_name, address, city, telephone) values (:firstName, :lastName, :address, :city, :telephone)
""")
.bindBean(owner)
.executeAndReturnGeneratedKeys("id")
.mapToMap().one();
var idObject = id.values().stream().findFirst().get();
if (idObject instanceof BigInteger) {
owner.setId(((BigInteger) idObject).intValue());
} else if (idObject instanceof Integer) {
owner.setId((Integer) idObject);
} else if (idObject instanceof Long) {
owner.setId(((Long) idObject).intValue());
} else {
throw new IllegalStateException("Don't understand id value: " + idObject);
}
}
return null;
});
return owner;
}
総じて、実際のクエリを良くしたとは思いません。以前の方が良かったと思います。良い点は、すべてのデータハンドリングを実装したことで、どこで何が取得されるかについての疑問がなくなったことです。それは単純に書き出されており、デバッグできます。
スキーマ処理全般
Hibernateにはスキーマ生成機能があり、エンティティからDBスキーマを生成できることを見ました。さて、これはまさに逆の方法で行われるべきだと私は思います。私は、永続化、つまり現在と過去の境界であり、削除するチャンスがないものが、この関係において支配的な要素であるべきだと強く信じています。JOOQやSqlDelightのアプローチが最善だと考えています。スキーマをネイティブに定義します。マイグレーションを含め、それらは避けられません。それからそこから型を派生させます。SqlDelightはそれを完璧に行います。したがって、Petclinicプロジェクトでその変換を適用するのを楽しみにしています。
Spring、なぜそんなに遅いのか
パーシステンスのトピックとは直接関係ありませんが、胸につかえていることを吐き出させてください。このプロジェクトのすべてに時間がかかりすぎます。それは迷惑です。IDEで標準的な方法でテストを実行すると、タスクprocessTestAotが毎回3〜4秒かかります。毎回。おそらく、それをスキップする方法があるでしょう。Gradleの設定、またはGradleのデフォルト設定に-xを追加することで簡単に除外できるかもしれません。そうすれば、単一のテストを実行するときに作成されるすべての新しい実行構成にも適用されます。しかし、正直なところ、私は気にしません。
DockerクライアントのセットアップとDBコンテナの起動にさらに1.5〜2秒かかります。これはおそらく私のせいです。すべてのテストで実際のデータベースを使用するようにしたためです。Springと静的テストアノテーションを削除したら、コンテナの起動などを簡単に抽象化できるので、最終的にそれを削除するでしょう。
コマンドラインでのPetclinicロゴの最初のレンダリングから、最初のテストの失敗/成功まで、実に22秒かかります。テスト実行自体はミリ秒単位です。何が原因であれ、それが非常に遅いのです。通常、人々は、ユニットテストを行い、モックを使用し、Springのスライスされたコンテキストを使用すればすべてが速くなる、などと言い始めます。
いいえ。これはベンチマークです。フレームワークを満足させるために、作業方法を悪化させ(私の意見では)、実際のコードを悪化させる(私の意見では)だけであれば、それは単に悪いことです。プロフェッショナルなSpringプロジェクト(および他の技術スタックでも)では、通常、使用されているフレームワークの詳細をより多く知っている人々が何人かおり、通常は魔法のような調整をここやあそこで行い、奇妙な機能xyがなぜ使用されるべきなのかについて教育し、自己課された問題xyzなどを改善します。
現在の私のキャリアの時点では、私はそれを嫌っています。私は、それが追加情報であるため、複雑さが増していると考えています。それを処理、管理、更新、保持、および渡す必要があります。オンボーディングが増加します。より多くの人が「優秀」になるのに十分な知識を持っていないため、「教育を受けていない」人々の損害が増加します。私は常に、別の方法があると考えていますが、それは私たちが実際にそれを望むかどうかにかかっています。将来、私の現在の見解を後悔するかどうか疑問に思いますが、今のところそうは見えません。
SQLダミーデータのコードへの変換
例えば、サンプルデータのようなSQLコードの量を見たときは少し困惑しました。すべてのテストを実際のデータベースを使用するように移行したとき、どこかで各テストに必要なデータセットが必要になりました。これは古いインターフェースでは不可能だったので、サンプルデータを使用し(少し調整して...)テストできるようにしました。現在は、テストごとに細かく粒度化されたデータ初期化に置き換えました。これにより、各テストはより認識しやすいように、準備-実行-表明の構造を持つようになりました。例を挙げます。
// ベースクラスで、すべてのテストサブクラスに適用
@BeforeEach
void beforeEach() {
database.clear();
}
// ベースクラスで、多くのテストで使用
public @NotNull Owner createGeorge() {
var george = createOwner("George", "Franklin", "110 W. Liberty St.", "Madison", "6085551023");
var milo = createPet(george.getId(), "Milo", database.findPetTypes().get(0));
var visit = createVisit(milo.getId(), LocalDate.of(2023, 10, 2));
return george;
}
// いくつかの実際のテストで
@Test
void testInitUpdateOwnerForm() throws Exception {
var george = createGeorge();
var httpResponse = get("http://localhost:" + port + "/owners/" + george.getId() + "/edit");
assertEquals(200, httpResponse.statusCode());
assertTrue(httpResponse.body().toString().contains("<input class=\"form-control\" type=\"text\" id=\"firstName\" name=\"firstName\" value=\"George\" />"));
[...]
}
したがって、全体として、テストデータをセットアップするために例のSQLファイルを使用した短い期間がありました。これはインメモリデータベース/リポジトリインターフェース実装では機能せず、プログラムでテストデータを生成するように変換する必要があったでしょう。これは通常、再利用可能であり、データベースごとに重複させる必要がないため、私が好む方法です。
再び、Kotlinのデフォルト値、名前付きパラメータ、データクラスのような機能を惜しみます。Javaでは、醜いファクトリーメソッドをいくつか必要とし、特定のテストのためにデータの部分を簡単にオーバーライドすることはできません。また、ビルダーパターンのボイラープレートを大量に作成するという深淵には入りません。達成したいことに対して、ノイズが多すぎます。
締めくくり
こちらに、このブログ記事に関連するすべての変更を含むコミットがあります。
PetclinicのようなプロジェクトからJPAなどを置き換えるのに必要な労力と知識を過小評価していました。問題へのアプローチの最善の方法、あるいは一般的に人生のあらゆることの最善の方法に焦点を当てなかったことで、不必要な労力を生み出しました。つまり、可能な限り最小のステップを踏み、セーフポイントに到達し、得られた経験で作業することです。既存のエンティティをレコードに置き換えようとして、うまくいかなかったコードの肥大化を作成しました。早期にそれを認めることを頑なに拒否し、それに時間をかけすぎました。
このイテレーションでの私の最大の洞察は、アプリケーション内のデータフローを解剖することがどれほど楽しいかということでした。データはどのように接続されているか、どこから取得されているか、どのような状態を処理する必要があるか?コードの一部を理解したと思ったときはいつでも、それを私が望むようにデータ使用法を書き直しました。
客観的に言えば、このイテレーションでこのプロジェクトを改善したことはほとんどないと思います。少し違うだけです。また、あちこちでエラーを追加したり、間違いを犯したりしたような気もします。個人的には、JDBIのようなツールの明示性とコア言語に近い側面を今でも好みますが、JPA、Spring Data、特にHibernateのようなフレームワークの価値も間違いなく理解できます。エンティティ結合なしでHibernateを使用することが、パーシステンスの最良の方法かどうか疑問に思っています。なぜなら、それは純粋なSQLアプローチとシンプルなマッパーのシンプルさを提供しながら、エンティティの醜い部分やパフォーマンスの懸念に対処する必要がなくなるからです。そして、Hibernate Query Language <3を提供します。
Petclinicの次の大きな変更まで。おそらくテンプレートエンジンの切り替えになるでしょう。Thymeleafをあまり楽しんでいないとは言えません :)