ガベージコレクタの前にコードをチューニングする
Tune Code Before Your Garbage Collector (blog.vanillajava.blog)
要約
Javaにおけるメモリ割り当ての最適化は、ガベージコレクタの選択よりもはるかに大きな違いを生む可能性があり、最適なGCの選択さえも変えることがあります。特に高レイテンシが求められるシステムでは、冗長なログ出力の削減がGCの選択よりもp99.99レイテンシに劇的な影響を与えることがベンチマークで示されました。
全文翻訳
ガーベージコレクタの前にコードをチューニングする理由
Javaでメモリ割り当てを最適化することは、ガーベージコレクタ(GC)の選択よりもはるかに大きな違いを生む可能性があり、どのGCが最適かさえ変えてしまうかもしれません。
この記事では、JLBHを使用してChronicle-FIXをテストし、50K/sで30分間実行される単純なイベントからレスポンスまでのレイテンシベンチマーク、MarketDataSnapshotからNewOrderSingleへの処理を調査します。目標は、冗長な作業(この場合はSLF4Jを使用した各メッセージのロギング)を行っているシステムと、ロギングを行わないシステム(Chronicle-FIXはChronicle Queueを使用して各メッセージを内部的に記録する)を比較し、これがGCの選択をどのように変えるかを見ることです。
p99(最悪100分の1)のレイテンシでは、GCの選択はロギング方法の最適化と同程度の違いをもたらします。
[画像: SLF4Jロギングありのp99およびp99.99レイテンシの比較グラフ]
しかし、p99.99(最悪10,000分の1)のレイテンシでは、ロギング方法の最適化はGCの選択よりも桁違いに重要になります。
[画像: SLF4Jロギングありのp99.99レイテンシの比較グラフ]
最適化されていないベンチマーク
これは最適化されたベンチマークに、メッセージのみを送信するSLF4Jのログ行を1つ追加したものです。ログ行が1つというのは大したことないように聞こえるかもしれませんが、すべてのメッセージでこれを行うと大きな違いが生じます。特に、コードの残りの部分が低レイテンシ向けに書かれている場合は顕著です。
表1. SLF4JロギングありのRTTレイテンシ分布
| GCオプション | p99 | p99.99 |
|---|---|---|
| Parallel large Eden, no large pages | 16.86 | 20,480 |
| ZGC, no large pages | 12.21 | 19,694 |
| G1 + COH, no large pages | 12.02 | 20,349 |
| G1, 2 MiB large pages | 13.94 | 20,021 |
| Shenandoah generational, no large pages | 12.30 | 19,235 |
| 注意 |
|---|
| p99.99は数千マイクロ秒、つまり19〜20ミリ秒です。 |
p99.99、つまり最悪の10,000分の1は稀に聞こえるかもしれませんが、50K/sでは1秒間に5回、1分間に300回発生します。
これらの結果に基づくと、Shenandoahが良い選択肢であり、Parallel GCを避けるべきだと結論付けるかもしれません。
ディスクIOはどれくらいの影響を与えているか
IOはしばしば遅延の大きな割合を占めます。ログの書き込み場所を移動するだけで、その影響を確認できます。この場合は、tmpfsファイルシステムに書き込んでいます。
表2. /dev/shmへのSLF4JロギングありのRTTレイテンシ分布
| GCオプション | p99 | p99.99 |
|---|---|---|
| Parallel large Eden, no large pages | 34.50 | 10,994 |
| ZGC, no large pages | 10.86 | 9,617 |
| G1 + COH, no large pages | 10.90 | 10,043 |
| G1, 2 MiB large pages | 10.64 | 11,682 |
| Shenandoah generational, no large pages | 10.32 | 9,552 |
Parallel GCのp99はおそらく外れ値かもしれませんが、それでもShenandoahを好むかもしれません。しかし、ログの書き込み場所を移動するだけで、はるかに大きな違いが生じます。
| 注意 |
|---|
| p99.99は数千マイクロ秒、つまり9〜10ミリ秒です。 |
冗長なロギングを削除する
Chronicle-FIXはすでにChronicle-FIXを使用して各メッセージを記録しているため、slf4jのログは冗長です。低レイテンシコーディングでは、記録のためにChronicle-Queueを使用し、ロギングはほとんど行いません。なぜなら、そうでなければそれが遅延の最大の原因となる可能性があるからです。ポリシーとして、起動後には情報レベルのロギングを行いません。つまり、エラー/警告でありデフォルトで有効になっているか、デバッグロギングでありデフォルトで無効になっているかのどちらかです。本当に必要かどうかを決定してください。
表3. Chronicle-Queueのみで記録した場合のRTTレイテンシ分布
| GCオプション | p99 | p99.99 |
|---|---|---|
| Parallel large Eden, no large pages | 7.14 | 8.94 |
| ZGC, no large pages | 7.82 | 9.36 |
| G1 + COH, no large pages | 8.30 | 12.4 |
| G1, 2 MiB large pages | 8.59 | 154.4 |
| Shenandoah generational, no large pages | 7.83 | 233.7 |
予想通り、p99は約2マイクロ秒低下しましたが、重要なのはp99.99が3桁低下したことです。また、ワークロードの変化により、最適なガーベージコレクタが反転し、すべては1行のログのために起こりました。この場合、Parallel GCが最良に見え、Shenandoahはp99.99で最悪でした。
| 注意 |
|---|
| p99.99はマイクロ秒であり、/dev/shmへのロギングよりも1000倍以上高速です。 |
結論
最適なガーベージコレクタの選択とそのチューニング方法は、ワークロードに依存します。ワークロードが最初に最適化されていることを確認することが理にかなっています。なぜなら、a) 場合によってはより大きな違いを生み、b) 好みも変わる可能性があるからです。
このブログの人気記事
複数のAIに同じコードの最適化を依頼する
異なるAIは実装方法が異なるため、すべてが同じ答えを提供するわけでも、一貫して互いを上回るわけでもありません。最良のアプローチは、複数のAIを使用し、最も気に入ったものを選ぶことです。ここでの私の目標は、1つの例に基づいて勝者を宣言することではなく、異なるAIで得られる回答の多様性を示すことです。各AIに、このプライベートスタティックString formatOffset(int millis) { String sign = millis < 0 ? "-" : "+"; int saveSecs = Math.abs(millis) / 1000; int hours = saveSecs / 3600; int mins = ((saveSecs / 60) % 60); int secs = (saveSecs % 60); if (secs == 0) { if (mins == 0) { return sign + twoDigitString(hours); } return sign + twoDigitString(hours) + twoDigitString(mins); } return sign + twoDigitString(hours) + twoDigitString(mins) + twoDigitString(secs); } private static String twoDigitString(int value) { ... をより最適に実装する方法を提案するように依頼しました。
Javaオブジェクトサイズの謎を解く:コンパクトヘッダー、圧縮OOP、そしてその先へ
はじめに Javaでオブジェクトのサイズを測定することは、簡単ではありません。プラットフォームは、生のメモリ使用量よりも参照や抽象化を考慮することを推奨しています。それでも、オブジェクトがメモリにどのように収まるかを理解することは、特に高性能で低レイテンシのシステムにおいて、大きなメリットをもたらす可能性があります。長年にわたり、JVMは圧縮された通常のオブジェクトポインタ(Compressed Oops)や、より最近ではコンパクトオブジェクトヘッダーのような最適化を導入してきました。これらのそれぞれが、オブジェクトのサイズに影響を与える可能性があります。これらの要因を理解することで、メモリ使用量についてより具体的に推論することができます。オブジェクトサイズの測定 原理的には、インスタンスを作成し、JVMの空きメモリの変化を観察することで、オブジェクトのサイズを推定できます。ただし、一貫した結果を得るためには、特定の要因を無効にする必要があります。例えば、TLAB割り当て(-XX:-UseTLAB)をオフにすると、メモリ使用量がより直接的に観測可能になります。繰り返し測定し、中央値計算を行うことで、不確実性を減らすことができます。