HN 日本語サマリー

← 一覧へ戻る
プログラミング

Libffiにおけるパフォーマンス改善

Performance Improvements in Libffi (atgreen.github.io)

16 pointsby atgreen6 コメント

要約

libffiは関数呼び出しをランタイムで解釈するライブラリですが、その性質上速度が犠牲になります。この記事では、引数の配置を毎回再計算するのではなく、一度「プラン」としてキャッシュすることで、関数呼び出しのパフォーマンスを最大6倍高速化する新しいアプローチが紹介されています。これにより、libffiはJITコンパイルのようなセキュリティリスクを回避しつつ、効率を大幅に向上させています。

全文翻訳

libffi におけるパフォーマンス改善

libffi は関数呼び出しインタープリタです。実行時に関数のシグネチャの説明を渡すと、その場で引数をどのように配置し、呼び出しを行うかを計算します。これは、バイトコードVMが命令を解釈するのと同じように、呼び出し規約を解釈します。シグネチャが事前にわからないことがその目的であるため、事前にコンパイルされるものはありません。

インタープリタは、速度を求める際に最初に選択肢となるものではありません。通常のアプローチはJIT(Just-In-Timeコンパイル)です。各シグネチャに対して専用の呼び出しスタブをコンパイルし、引数をレジスタに配置してジャンプするネイティブコードを生成します。これにより、実行時に解釈するものがなくなります。これはより高速ですが、書き込み可能かつ実行可能なメモリ領域に新しいマシンコードを書き込むことで実現されます。これは、現代のシステムが排除しようとしているまさにそのものです。

そのため、libffi は意図的にインタープリタであり続けます。私が明らかにしようとした疑問は、コードを生成したり、ページを書き込み可能かつ実行可能にマッピングしたりするのではなく、既存の知識を再利用することで、どの程度高速化できるかということです。

無駄

libffi を介して関数を呼び出す際、作業は2つの場所に分割されます。ffi_prep_cif はシグネチャごとに一度実行されます。これは全体を分類しますが、結果としてスタックフレームのサイズと戻り値の処理方法を示す小さなコードの2つだけを保持します。フレームサイズは呼び出しが構築される前に知る必要があります。なぜなら、レジスタに収まらない引数はスタックにスピルされ、そのスペースは事前に予約されるからです。戻りコードは後者のためであり、結果は rax、xmm0、または型に応じてメモリに返されるため、どこから読み取るかを知る必要があります。どちらも小さく固定サイズなので、ffi_cif に格納されます。prep が破棄するのは、その時間の大部分を費やした部分です。つまり、個々の引数がどこに配置されるかです。

そのため、毎回 ffi_call で、マーシャリングコードは引数リストを再度ウォークし、値を配置する前にその配置をゼロから再導出します。x86-64 で3つの引数を持つ呼び出しの場合、これは約650命令のブックキーピングであり、毎回全く同じ結果を生成します。

これらの命令のほとんどは、引数のバイトを移動するものではありません。それらは、バイトがどこに行くかを決定しています。System V AMD64 ABI は、固定の手順で各引数を分類します。単一の引数にその手順を実行することは、その型をウォークし、構造体のフィールドに再帰し、型記述子のポインタを追跡し、各8バイトチャンクを INTEGER または SSE レジスタクラスにソートし、まだレジスタに収まるかどうかを確認するか、スタックにスピルする必要があるかどうかを確認することを意味します。これは、CPUが遅く実行する、分岐が多くポインタを追跡する作業であり、変更されない配置を計算するために、呼び出しごとに再実行されます。

しかし、関数引数の配置はシグネチャの純粋な関数です。一度計算して覚えておけば、後続のすべての呼び出しで作業をスキップできます。

プラン

修正策は「プラン」です。これは、移動のフラットリストにコンパイルされた配置であり、1つのシグネチャのための非常に小さなバイトコードです。ffi_call が呼び出しごとに配置を再導出することが、プログラムの構文木を毎回再ウォークして解釈するようなものであるなら、プランはコンパイルされたバイトコードです。ツリーウォークは一度だけ行われ、後続のすべての呼び出しはフラットリストを実行するだけです。build_plan は引数型を一度ウォークし、ABIルールに従って各型を分類し、各部分に移動を生成します。8バイトワードを rdi に、符号拡張された32ビット整数を rsi に、double を SSE スロットに、大きすぎる引数をスタックに移動します。プランがあれば、呼び出しを行うことは移動を実行するだけです。再分類はありません。

[画像: プランの構築、その後実行]

オペコードは意図的に単純です。GP64 はワードを汎用レジスタにコピーします。SE8、SE16、SE32 は狭い整数を符号拡張して1つにします。浮動小数点数は SSE64 または SSE32 で移動し、STACK はスピルされたものを whatever でコピーします。3つの引数を持つ呼び出しは、3つまたは4つのオペコードにコンパイルされます。以下は、2つの実際のシグネチャがどのように変換されるかです。

long (void *, void *, void *)    long (void *, int, void *)
  GP64  avalue[0] -> rdi           GP64  avalue[0] -> rdi
  GP64  avalue[1] -> rsi           SE32  avalue[1] -> rsi   (符号拡張)
  GP64  avalue[2] -> rdx           GP64  avalue[2] -> rdx
  => すべて GP64: ソケット
  => SE32 がある: インタープリタ

すべての引数が汎用レジスタ内の単一の64ビット値である場合(ポインタ渡しコードのほとんど)、プランはインタープリタを必要としません。これはソケット(thunk)としてマークされ、.text セクションの小さな手書きソケットが引数配列から引数レジスタに直接値をロードして呼び出します。これは移動ループ、中間レジスタイメージ、およびコピーの往復を完全にスキップします。右側の呼び出しは int を保持するため、符号拡張が必要であり、代わりに移動ループを実行します。

移動の実行には微妙な点があります。ループは実際の引数レジスタをロードしません。なぜなら、C言語では値を rdi にドロップして呼び出し全体で保持する方法がないため、コンパイラがレジスタを所有しているからです。そのため、各移動はSystem Vレジスタファイル(6つの整数レジスタと8つのSSEレジスタを順に配置したもの)をミラーリングするプレーンなメモリ構造に書き込みます。そして、そのイメージが構築されたら、短いアセンブリトランポリンがすべての引数レジスタを一度にロードしてターゲットにジャンプします。Cコードはメモリ内でバイトを移動します。レジスタは、呼び出しの直前に .text セクションで、すべて一度に最終的な値を取得します。そのトランポリンは ffi_call が常に使用していたものと同じなので、プランは配置が計算されるときに変更され、レジスタがロードされる方法ではありません。

プランはプレーンなデータであり、ソケットは他の関数と同様にバイナリの読み取り専用テキストセクションに格納されます。書き込み可能かつ実行可能なものは決してありません。これは、クロージャが静的トランポリンから得るのと同じプロパティです。

一度構築し、何度も呼び出す

プランは小さなオプトインAPIとして公開されています。準備された ffi_cif からプランを構築し、好きなだけ呼び出し、終了したら解放します。

ffi_call_plan *plan = ffi_call_plan_alloc(&cif);   /* プランを一度構築 */

ffi_call_plan_invoke(plan, fn, &rv, av);           /* 呼び出し、呼び出しごとのセットアップなし */
/* ... もう一度、さらに呼び出す ... */

ffi_call_plan_free(plan);

ffi_call 自体は変更されていません。シグネチャごとに ffi_cif をキャッシュしているバインディング(ほとんどがそう)は、その隣にプランをキャッシュし、ffi_call_plan_invoke を介して呼び出します。プランは構築後は不変なので、1つのプランをロックなしで任意のスレッドから共有して呼び出すことができます。高速パスが処理できないシグネチャも問題ありません。invoke は、それに対して ffi_call にフォールバックします。

数値

これは公正な比較です。1つの libffi、同じ関数、3つの方法で到達します。通常の直接呼び出し、同じ呼び出しを ffi_call を介して、そして同じ呼び出しを事前構築されたプランを介して行います。バイナリ、マシン(Core Ultra 7 255H)、およびコンパイラフラグ(-O2)はすべて固定されているため、2つのFFI行の違いはAPIのみです。タイミングされるループはこれだけで、繰り返し実行されます。

ffi_type *at[] = { &ffi_type_pointer, &ffi_type_pointer, &ffi_type_pointer };
ffi_cif cif;
ffi_prep_cif(&cif, FFI_DEFAULT_ABI, 3, &ffi_type_sint64, at);

ffi_call_plan *plan = ffi_call_plan_alloc(&cif);          /* 一度構築 */

void *av[] = { &a, &b, &c };
long rv;
ffi_call_plan_invoke(plan, (void(*)(void))fn, &rv, av);   /* <-- これがタイミングされるもの */
ptr(p,p,p)                ns/call   通常の呼び出しとの比較
通常の関数呼び出し        1.9       1x
ffi_call_plan_invoke         5.1       2.7x
ffi_call                    31.0       16x

その関数を通常の ffi_call を介して呼び出すと、直接呼び出しの約16倍のコストがかかります。事前構築されたプランを介すと3倍未満です。プランは ffi_call より約6倍高速です。そして、これは2つの方法で到達される同じライブラリなので、その差はAPIであり、それ以外のものではありません。

プランが削除するもののほとんどは、呼び出しごとの再分類です。ffi_call は毎回配置を再構築しますが、invoke は事前構築された移動を実行するだけです。この形状では、プランはソケットを使用するため、レジスタイメージもスキップし、通常の呼び出しに近い結果になります。2 ns の呼び出しに加えて 3 ns の FFI オーバーヘッドですが、ffi_call では 29 ns です。

整数と浮動小数点数が混在するシグネチャはソケットを使用しません。なぜなら、32ビット int は符号拡張を必要とし、double は SSE レジスタを必要とするため、移動ループを実行し、少し高い値になります。それでも再分類はスキップされます。値渡し構造体引数にはプランがないため、invoke は ffi_call にフォールバックし、以前と同じコストがかかります。

呼び出しが実際に行われる場所

ある形状での6倍という数字は、実際のプログラムがその形状を使用し、プランを一度構築する価値があるほど頻繁に呼び出す場合にのみ重要です。そのため、私は1つをトレースしました。GNOME Shell は良いストレス テストです。UI全体がJavaScriptからGObject Introspectionを介してCに呼び出し、それがlibffiを介して呼び出します。私はWhistlerを使用して ffi_call に eBPF uprobe をアタッチし、しばらく監視しました。トップのシグネチャは次のようになりました。

21744  int   (void *)
19139  void *(void *, unsigned long)
10116  void *(void *)
10116  void  (void *, void *, void *, long, void *)
 9918  void *(void *, void *)

呼び出しの約90%は、ソケットパスである純粋な64ビットGP、ポインタ、およびロングです。10万回以上の呼び出しで、値渡し構造体引数は1つも現れませんでした。そして、これらはすべて同じ少数のシグネチャが繰り返し呼び出されており、プランを一度構築して永遠に呼び出すことが報われる形状です。GObject Introspection のようなバインディングは、すでにシグネチャごとに ffi_cif を保持しています。プランはそれにすぐ隣にスロットインします。

これらすべては libffi の git ツリーの HEAD にあり、リリース版には含まれていません。構築の基盤とするには、さらにテストが必要です。アクセラレーションは x86-64 のみですが、API はポータブルです。他のすべての場所では ffi_call_plan_invoke は単に ffi_call を呼び出すため、バインディングはすべてのシグネチャに対して無条件にプランを構築し、存在する場合は高速パスを取ることができます。その側には #ifdef は不要です。他のABIに対して高速パスを構築する価値があるかどうかは不明です。そのメリットは、スキップできる呼び出しごとの分類の量に比例しますが、それは呼び出し規約によって大きく異なります。

コードは GitHub にあります: libffi。

Hacker News で議論する。

公開後に明確化のために編集: 6fed8af。