HammerDB v6.0 レスポンスタイム、パーセンタイル、およびリザーバーサンプリング
HammerDB v6.0 Response Times, Percentiles and Reservoir Sampling (hammerdb.com)
要約
データベースベンチマークにおける大きな間違いは、ワークロードを過剰に大きくしすぎてレスポンスタイムが数百ミリ秒、あるいは数秒になるまで測定することです。HammerDB v6.0では、この問題に対処するため、レスポンスタイムのパーセンタイルレポートとボックスプロットを導入し、平均値だけでは隠れてしまうレイテンシのプロファイルを可視化します。また、長時間のテストでも分析を実用的に保つためにリザーバーサンプリング機能が追加されました。
全文翻訳
HammerDB v6.0 レスポンスタイム、パーセンタイル、およびリザーバーサンプリング
データベースベンチマークにおける最大の過ちの一つは、レスポンスタイムがミリ秒単位、あるいは数秒単位になるまでワークロードを過剰に大きくすることです。
ワークロードが既に長時間待機している場合、高いスループット数値だけでは十分ではありません。トップレベルでは印象的な結果に見えても、レスポンスタイムは別の物語を語ります。
HammerDB がサポートするデータベースはすべて、ミッションクリティカルなエンタープライズクラスのデータベースです。高パフォーマンスでは、複数の SQL ステートメントを組み合わせた複雑なストアドプロシージャのレスポンスタイムは、サブミリ秒または低ミリ秒の範囲であるべきです。
HammerDB v6.0 はレイテンシプロファイルを可視化します。
新しいレスポンスタイムメトリクスは、実行中の個々のトランザクションにかかる時間を、主要なトランザクションタイプに対する完全なパーセンタイルレポートとボックスプロットとともに表示します。
これにより、結果は平均値だけでなく、中央値、高位パーセンタイル、ばらつき、外れ値を示すことができます。平均値は多くの情報を隠蔽します。パーセンタイルは、システムが一貫して低レイテンシを提供しているか、あるいはワークロードの一部が既に長い待機時間の後方にキューイングされているかを示します。
HammerDB v6.0 はまた、長時間の実行のためにリザーバーサンプリングを追加します。これにより、ワークロードが非常に多数のトランザクションタイミングを生成する場合でも、レスポンスタイム分析を実用的に保つことができます。
長時間のテストでは、これは重要です。レスポンスタイムデータ自体をボトルネックにすることなく、レイテンシ分布、パーセンタイル、外れ値を知りたいのです。
仮想ユーザーが増加するにつれて、スループットとレスポンスタイムは一緒にレビューされるべきです。スループットが上昇してもレイテンシがミリ秒から数百ミリ秒に増加した場合、ワークロードは過負荷状態に突入したことになります。
HammerDB v6.0 は、それをより簡単に見えるようにします。
ワークロードを実行します。スループットをキャプチャします。パーセンタイルを確認します。レスポンスタイム分布をレビューします。
HammerDB v6.0 は、データベースベンチマークでスループットだけでなくレイテンシも表示できるようにします。
Author
- [画像]