VHDL標準のfloatパッケージがsqrt(2)を間違える
The VHDL standard's float package gets sqrt(2) wrong (github.com)
要約
この記事は、VHDL標準のIEEE 1076浮動小数点パッケージ(float_pkg)に、特にsqrt(2.0)の計算において、倍精度で最後の桁が1つ低く計算されるというバグを発見したことを報告しています。この問題は、GHDLやNVCといった主要なVHDLシミュレータで出荷されている標準パッケージに存在し、正確な算術演算を参照して多数のテストケースで検証された結果、多くの演算で丸め誤差や予期せぬ結果が生じることが示されています。修正パッチも提供されています。
全文翻訳
ieee-float-pkg
IEEE 1076 floatパッケージ
標準のfloat_pkgのsqrt(2.0)が、デフォルトで倍精度で最後の桁が1つ低く返されることを発見しました。これはIEEE 1076-2008および1076-2019のVHDL浮動小数点パッケージです。IEEEはファイルを公開しており、GHDLとNVCはそれをそのまま出荷しています。
ルートは、固定されたニュートン法のステップ数とスティッキービットを使用しません。しかし、定義から1ビットずつ取ることは正確であり、紙の上で手計算する平方根と同じ、ビットごとの減算です。
私たちのチェックは、オペランドを正確な分数として扱い、各操作を正確に行い、比較前に一度だけ丸めます。mac(-6, -1, -5)、または(-6)(-1)+(-5)は、-15を返しますが、実際は1です。2^-512倍精度を単精度に変換すると1.0になり、2^127の逆数は無限大を返します。7ビットフォーマット(指数3ビット、小数3ビット)のすべてのオペランドとペア、およびすべてのmacトリプルについて、8,692,326回の呼び出しを実行しましたが、1,271,619回は正しく丸められていませんでした。
正確な参照、テストベンチ、ソース行番号付きの原因、およびパッチはフォルダにあります。4つのテストセットからのすべての32,470,838回の呼び出しはパッチでパスします。GHDLとNVCは、共通のセットで同一の結果ファイルを生成します。fixed_pkgの除算は、751,418回の呼び出しのうち41,026回が間違っており、そのパッチはそこにあります。IEEE P1076ワーキンググループ(VHDL-Issues 388)、ghdl 3486、nvc 1758に報告済みです。
ご自身で確認するには、GHDLのみを使用してください:
ghdl -a --std=08 plain.vhd
ghdl --elab-run --std=08 plain
このページの残りは記録です。間違った呼び出し、カウント、行ごとの原因、パッチのすべてです。
パッケージと参照
ieee.float_pkgはVHDL標準、IEEE Std 1076-2008および1076-2019の浮動小数点パッケージです。ソースはIEEE自身のものです:ieee/float_generic_pkg-body.vhdl releaseブランチのopensource.ieee.org/vasg/Packages、5,712行、$Revision: 1220 $。ワーキンググループのdevelopブランチgitlab.com/IEEE-P1076/Packagesには同じバイトがあり、GHDLとNVCはそれらをそのまま出荷しています。ここでの実行はGHDL 7.0.0-devおよびNVC 1.23.1で行われ、両方が同じベクトルを実行した場所では同じ結果ファイルを書き出しました。
パッケージは正確な算術演算の隣に配置されています。オペランドは符号と2つの整数の小数部であり、操作は小数部に対して行われ、結果は呼び出し名で指定された丸めスタイルでフォーマットに一度丸められます。exact.pyがその参照です。
Plain calls
パッケージ自身の設定を使用:round_nearest、3ガードビット、デノーマル数オン。
call returns exactly rounded
sqrt (2.0) in float64 3FF6A09E667F3BCC 3FF6A09E667F3BCD
sqrt (14.0) 406F7750 406F7751
sqrt (2.0**-149) 4.2e-22 3.7e-23
mac (-6.0, -1.0, -5.0) -15.0 1.0
mac (-5.0, 1.0, 4.0) 15.0 -1.0
mac (1.0, 1.0, -infinity) +infinity -infinity
mac (1 + 2.0**-23, 1 - 2.0**-23, -1.0) -2.0**-26 -2.0**-46
resize (2.0**-512 in float64, 8, 23) 1.0 0.0
resize (2.0**600 in float64, 8, 23) 2.0**88 +infinity
resize (2.0**-1074 in float64, 8, 23) +infinity 0.0
resize (2.0**-650 in float64, 8, 23) stops the simulator 0.0
reciprocal (2.0**127) +infinity 2.0**-127
divide (2.0**-149, 2.0) 2.0**-149 0.0
dividebyp2 (3 * 2.0**-149, 2.0) 2.0**-149 2.0**-148
scalb (1.0, 300) 0.0 +infinity
scalb (+infinity, -10) 2.0**118 +infinity
to_signed (0.50000006, 32) 0 1
to_unsigned (199.78125, 8) 199 200
そして、呼び出し名が丸めスタイルを指定する場合:
divide (6.0, 3.0, round_inf) 2.0000002 2.0
reciprocal (2.0, round_inf) 0.50000006 0.5
add (largest, largest, round_zero) +infinity largest
multiply (2.0**-100, 2.0**-100, round_inf) 0.0 2.0**-149
add (1.0, -1.0, round_neginf) +0.0 -0.0
to_signed (2.25, 8, round_inf) 2 3
to_float (100000, 5, 10, round_zero) +infinity 65504.0, the largest
plain.vhdはこれらの呼び出しを行い、正確に丸められた結果ではない各結果の横にWRONGと表示します。24行、そして25番目の呼び出しはパッケージ本体の358行でシミュレータを停止させます。GHDLのみが必要です:
ghdl -a --std=08 plain.vhd
ghdl --elab-run --std=08 plain
Plainオペランドは珍しいものではありません。整数1から4,096のうち、sqrtは256でfloat32で1単位オフ、264でfloat64で1単位オフを返します。-6から6、0.25、0.5、1.5、10から作られた4,913のトリプルうち、macは290でfloat32で間違った値を返します。float64からfloat32へのresizeは、2^-1074から2^-1024までのすべての2のべき乗に対して+infinityを返し、2^-662から2^-639ではシミュレータを停止させ、2^-638から2^-512では2^(e+512)を返し、2^513から2^639では2^(e-512)を返します。
Counts
操作、フォーマット、丸めスタイルのそれぞれ10,000回の呼び出し。デノーマルオペランドと結果、指数範囲の両端、次のビンネードに丸められる小数部、正確なタイ、符号付きゼロ、無限大を狙ったオペランド。セルは、比較された呼び出しのうち、正確に丸められていない結果の数です。フォーマットに収まらない整数への変換は比較されません。
float32 round_nearest round_zero round_neginf round_inf
add 0 of 10,000 304 of 10,000 312 of 10,000 159 of 10,000
subtract 0 of 10,000 314 of 10,000 312 of 10,000 143 of 10,000
multiply 0 of 10,000 1,102 of 10,000 781 of 10,000 775 of 10,000
divide 27 of 10,000 670 of 10,000 2,324 of 10,000 2,395 of 10,000
sqrt 735 of 10,000 581 of 10,000 542 of 10,000 774 of 10,000
mac 2,671 of 10,000 3,697 of 10,000 3,213 of 10,000 3,302 of 10,000
reciprocal 384 of 10,000 586 of 10,000 1,093 of 10,000 2,613 of 10,000
resize to a narrower format 422 of 20,000 2,728 of 20,000 2,516 of 20,000 2,466 of 20,000 272 more stop the simulator
resize to a wider format 0 of 20,000 0 of 20,000 0 of 20,000 0 of 20,000
to_float (signed, 32 and 64 bits) 0 of 20,000 0 of 20,000 0 of 20,000 0 of 20,000
to_signed (8, 32, 64 bits) 613 of 28,637 0 of 28,626 5,934 of 28,608 5,898 of 28,623
to_unsigned (8, 32, 64 bits) 280 of 16,506 0 of 17,133 0 of 14,493 5,964 of 17,145
to_integer 0 of 10,000 0 of 10,000 1,921 of 10,000 1,973 of 10,000
to_float (integer) 0 of 10,000 0 of 10,000 0 of 10,000 0 of 10,000
dividebyp2 1,542 of 10,000 1,904 of 10,000 2,313 of 10,000 2,262 of 10,000
scalb 2,653 of 10,000 3,088 of 10,000 3,381 of 10,000 3,401 of 10,000
float64 round_nearest round_zero round_neginf round_inf
add 0 of 10,000 260 of 10,000 311 of 10,000 138 of 10,000
subtract 0 of 10,000 283 of 10,000 317 of 10,000 147 of 10,000
multiply 0 of 10,000 1,163 of 10,000 852 of 10,000 866 of 10,000
divide 18 of 10,000 698 of 10,000 2,495 of 10,000 2,406 of 10,000
sqrt 1,278 of 10,000 619 of 10,000 659 of 10,000 799 of 10,000
mac 2,673 of 10,000 3,697 of 10,000 3,285 of 10,000 3,290 of 10,000
reciprocal 350 of 10,000 477 of 10,000 1,087 of 10,000 2,623 of 10,000
resize to a narrower format 801 of 30,000 4,116 of 30,000 3,980 of 30,000 4,014 of 30,000 445 more stop the simulator
resize to a wider format 0 of 10,000 0 of 10,000 0 of 10,000 0 of 10,000
to_float (signed, 32 and 64 bits) 0 of 20,000 0 of 20,000 0 of 20,000 0 of 20,000
to_signed (8, 32, 64 bits) 618 of 28,219 0 of 28,231 6,161 of 28,340 5,952 of 28,262
to_unsigned (8, 32, 64 bits) 321 of 16,330 0 of 16,839 0 of 14,237 6,155 of 16,776
to_integer 0 of 10,000 0 of 10,000 2,125 of 10,000 2,183 of 10,000
to_float (integer) 0 of 10,000 0 of 10,000 0 of 10,000 0 of 10,000
dividebyp2 1,543 of 10,000 1,902 of 10,000 2,321 of 10,000 2,391 of 10,000
scalb 2,218 of 10,000 2,540 of 10,000 2,982 of 10,000 2,967 of 10,000
float32では81,068件の誤りと272件の停止(859,771件の呼び出し)、float64では86,081件の誤りと445件の停止(857,234件の呼び出し)です。同じ呼び出しをfloat16で行うと、866,782件の呼び出しで113,980件の誤りがあり、float128では90,744件の誤りと585件の停止(855,777件の呼び出し)でした。
フォーマットが十分に小さい場合、そこにあるすべてのオペランドが含まれます:
format calls compared wrong
7 bits, 3 of exponent and 3 of fraction every operand, every pair, every triple of mac 8,692,326 1,271,619
10 bits, 4 of exponent and 5 of fraction every operand and every pair 17,340,682 883,716
float16 every operand of the one-operand functions 2,998,266 266,342
macのround_nearestでは、7ビットフォーマットの2,097,152のトリプルのうち243,520件が間違っています。
Causes
行番号はIEEEファイルのものを示します。
normalize、422行。すべての結果はexp := resize (expon, exp'length) + shiftrを通ります。指数は呼び出し元のフォーマットの幅で入力され、ターゲットの幅より2ビット多く切り取られます。float64からfloat32への変換では10ビットなので、指数は1,024で割った余りが取られます:2^-512は1.0として、2^600は2^88として出力されます。切り取られた指数がデノーマル数のビンネードに着地した場合、それに続くシフトカウントは小数部の外側をインデックスし、シミュレータが停止します。同じ関数で、フォーマットに大きすぎる結果はすべての丸めスタイルで無限大になり、小さすぎる結果はすべての丸めスタイルでゼロになります。ゼロに向かって丸めると最大値になり、ゼロから離れて丸めると最小値になります。
divide、1243行、およびreciprocal、1099行。丸めに渡されるスティッキービットは定数'1'です。正確な商は、何か残っているかのように丸められます:round_infでは1つ上へ、round_nearestでは正確なタイの反対側へ。これはデノーマル商の間で発生します。
reciprocal、1053〜1093行。結果の指数、-e - 3は、eと同じビット数で保持され、トップビンネードでは収まりません。float32では、2^127以上のすべての引数が無限大を返し、float64では2^1023以上のすべての引数が無限大を返します。1/-0は+infinityを返し、1/-infinityは+0を返します。
sqrt、1787行。(1 + x)/2からのニュートン反復、切り捨て固定小数点でのfraction_width/4 + 1ステップ、結果はスティッキービットなしで丸めに渡されます。通常の引数の場合、ルートまたはそのすぐ隣で終了します。上記のベクトルでは、通常のfloat32引数9,156件中607件で1単位オフ、通常のfloat64引数9,236件中1,146件で1単位オフであり、それ以上離れることはありません。デノーマル引数の場合、開始点が多すぎるステップから遠すぎます:float32デノーマルの359件中128件が間違っており、そのうち104件は2単位以上離れており、sqrt (2.0**-149)はルートの11倍を返します。
mac、1438〜1536行。積は、cが追加される前に1つのオペランドの幅に切り取られます(1529行と1536行)。そのため、キャンセルされる合計は、切り取られた部分が残したものを返します。積とcが同じ指数を持ち、符号が異なり、積が大きい場合、1514行は大きい方から小さい方を引きます:(-6)(-1) + (-5)は-15を返します。無限大のcは積の符号を取り、無限大マイナス無限大は無限大を返します(1438行)。
add、839行。異符号のオペランドからの正確なゼロは、すべてのスタイルで+0です。コメントで引用されているIEEE 854 6.3の段落では、マイナス無限大に向かって丸める場合に-0になります。
to_signed、to_unsigned、301〜345行、およびto_integer、3193行。整数部の3ビット下の値が保持され、残りはスティッキービットなしでドロップされるため、0.50000006は半分と見なされ、偶数隣接の0に渡されます。to_unsignedの結果のすべてのビットを埋める数値の場合、3ビットはゼロです:8ビットへの199.78125は199を返します。round_infとround_neginfは半ビットのみを見ます。そのため、2.25を上に丸めると2になります。
resize、2407行。-0からより狭いフォーマットへの変換は+0を返し、コメントには-0が「嫌い」と書かれています。より広いフォーマットへの変換では-0のままです。
整数へのto_float、2676行と2803行。フォーマットに大きすぎる数値は、すべての丸めスタイルで無限大を返します。
dividebyp2、1378行、およびScalb、4601〜4610行。どちらもガードビットなしで結果を正規化に渡すため、デノーマル結果は丸められるべき場所で切り取られます。Scalbはexponent_width + 1ビットでNを加算します。ここで大きなNはラップアラウンドし、無限大を数値のようにスケールします。dividebyp2は、べき乗ではない除数に対してデノーマルな2のべき乗を取ります。
denormalizeがfalseの場合。ゼロは、最低ビンネードの数値よりも高い指数で分割されるため、反対符号のゼロとそのような数値のaddは、数値をゼロから減算し、ラップアラウンドした差を返します。reciprocalは、それらがデノーマルではないにもかかわらず、それらをデノーマルとして扱います。
Counts
フォーマットが小さい場合、すべてのオペランドが含まれます:
format calls compared wrong
7 bits, 3 of exponent and 3 of fraction every operand, every pair, every triple of mac 8,692,326 1,271,619
10 bits, 4 of exponent and 5 of fraction every operand and every pair 17,340,682 883,716
float16 every operand of the one-operand functions 2,998,266 266,342
macのround_nearestでは、7ビットフォーマットの2,097,152のトリプルのうち243,520件が間違っています。
The patch
float_generic_pkg-body.patchはIEEEファイルに適用されます。パッケージ本体のみを変更し、33個のハンクがあり、宣言はありません。
normalizeは、完全な幅の指数に基づいてゼロ、デノーマル、ノーマル、無限大を決定し、丸めスタイルが要求する最大値または最小値を返します。divideとreciprocalは、除算の残りの部分からスティッキービットを取得します。reciprocalは指数を2ビット広く保持し、ゼロと無限大に引数の符号を与えます。sqrtは、1ステップあたり1ビットずつ、シグニンドの整数平方根を取り、残りをスティッキービットとします。macは、完全な積とcを3 *fraction_width+ 9ビットのウィンドウに配置し、そこで加算または減算を行い、一度丸めます。これは融合乗算加算です。- 整数への変換は、シフトに関係なく3ビットを保持し、残りをスティッキービットに収集し、丸めスタイルがゼロに向かって丸める場合に切り上げます。
addは、オペランドの1つがゼロの場合に他のオペランドを返し、正確なゼロに丸めスタイルが要求する符号を与えます。resizeはゼロの符号を保持します。- 整数への
to_floatは、スタイルがゼロに向かって丸める場合に最大値を返します。 dividebyp2とScalbは、ガードビットなしでデノーマル結果を丸めます。Scalbは無限大とゼロをそのまま返し、任意のNを取ります。
同じベクトルで:
the package as shipped patched
four formats, 10,000 per cell, 3,439,564 calls 371,873 wrong, 1,302 stop 0 wrong, 0 stop
the 7-bit format, 8,692,326 calls 1,271,619 wrong 0
the 10-bit format, 17,340,682 calls 883,716 wrong 0
float16, the one-operand functions, 2,998,266 calls 266,342 wrong 0
plain.vhd, 25 calls 24 wrong, 1 stop 0
GHDLとNVCは、どちらのパッケージでも同じ結果ファイルを書き出しました。7ビットフォーマットでは8,693,248行、4フォーマットでは3,680,000行です。1,302件の停止は同じ行で発生しました。add、subtract、multiply、divide、sqrtのfloat32およびfloat64ベクトルで、round_nearestで、99,135回の操作のうち、違いはありませんでした。
パッケージはガードビットとデノーマル数をパラメータとして取ります。float16、float32、float64でセルあたり1,000回の呼び出しで:
setting calls patched right, shipped wrong neither right shipped right, patched wrong
3 guard bits, the default 258,075 28,103 0 0
4 guard bits 258,075 27,758 0 0
2 guard bits 258,075 28,760 112 0
1 guard bit 258,075 30,212 2,194 0
denormalize false 255,606 27,745 0 0
ガードビットが2つの場合、112件のaddとsubtractの結果が丸められておらず、ガードビットが1つの場合、2,194件のadd、subtract、multiplyの結果が丸められていません。丸めるにはビットが少なすぎ、両方のパッケージはそれらの行で同じビットを返します。ガードビットがない場合、何も丸められません。パッチ適用済みのsqrt、mac、reciprocalは、切り取られた正確な結果をゼロに向かってゼロに切り捨てて返します。出荷済みのものは11,141件中10,207件、9,750件中3,902件、11,102件中10,749件でそうします。denormalizeがfalseの場合、比較はその設定自体の数値と行われ、指数フィールドがゼロの場合、先頭が1の数値のビンネードが1つ増えます。
The fixed-point package
ieee.fixed_pkgは同じソース、ieee/fixed_generic_pkg-body.vhdlから来ており、NVCはそのファイルをバイト単位で出荷しています。6つの小さなインデックス範囲のペア(符号なしと符号付き)のすべてのオペランドが、すべての算術演算を通過しました:751,418回の呼び出し。加算、減算、乗算、rem、mod、比較、add_carry、両方の丸めスタイルと両方のオーバーフロースタイルでのresize、to_integer、scalb、単項マイナス、absはすべて正しく動作します。除算はそうではありません。
ufixed sfixed
/ 1,073 of 19,984 952 of 19,984
divide, fixed_round, 1 guard bit 4,632 4,376
divide, fixed_round, 2 guard bits 2,433 2,370
divide, fixed_round, 3 guard bits 1,073 952
divide, fixed_round, 4 guard bits 487 402
divide, fixed_truncate, 3 guard bits 0 651
divide, no guard bits 0 7,785
0.125 / 1.875をufixed (3 downto -3)で計算すると0.0625が返されます。商は0.0667であり、結果が保持できる最も近い数値は0.0703です。
商はガードビットまで計算される整数除算であり(604行と646行)、丸め処理は残りの部分ではなくこれらのビットを見ます。ガードビットが100で、その後に残りのビットがある場合、それは中間点を超えており、タイとして偶数に丸められます。これはデフォルトの3ガードビットで約20回に1回の商です。符号付き除算はゼロに向かって切り捨てられ、resizeはマイナス無限大に向かって切り捨てるため、fixed_truncateを使用すると、負の商はガードビットがどこで終わるかによって一方または他方に移動します。
fixed_generic_pkg-body.patchは、両方のdivide関数にガードビットの下に1ビットを追加します。これは除算が残りを残した場合に設定され、負の符号付き商がresizeが丸めたり切り捨てたりする前に次の低い数値まで正確でない場合、それを使用します。reciprocalはdivideを呼び出します。これにより、751,418回の呼び出しで問題は発生せず、GHDLとNVCはどちらのパッケージでも同じ結果ファイルを書き出します。
sh run_fixed.sh ghdl /path/to/ieee # 41026 wrong in 751418 operations, then 0 wrong in 751418 operations
sh run_fixed.sh nvc /path/to/ieee
tb_fixed.vhdはテストベンチであり、fixed_exact.pyは参照です。
Running it
GHDLまたはNVC、Python 3.9以降、およびIEEEリポジトリのieeeディレクトリまたはGHDLインストールのlib/ghdl/src/ieee2008から、float_generic_pkg.vhdl、float_generic_pkg-body.vhdl、float_pkg.vhdlの3つのファイルが必要です。
sh run.sh ghdl /path/to/ieee 100 # plain.vhd, then 100 vectors per operation, format and style: half a minute
sh run.sh nvc /path/to/ieee 10000 # the tables above
100で実行した場合、最後の行は出荷されたパッケージでは3696 wrong and 8 stops in 34440 operations、パッチ適用済みのパッケージでは0 wrong and 0 stops in 34440 operationsと表示されます。両方のシミュレータで同様の結果です。NVCは大規模な実行では高速です。出荷されたsqrtとdivideは固定小数点では動作し、float128では遅いです。
run.shはパッチ適用済みのボディを独自のライブラリpatchedにコンパイルし、それを属する宣言の隣に配置し、各テストベンチを2回実行します。シミュレータが出荷するパッケージと、そのライブラリに対して実行します。tb_float_pkg.vhdは1行あたり1つの操作を読み取り、結果を書き出します。exact.py runは、シミュレータを停止させる行の後ろでそれを再起動します。
python3 exact.py gen 2026 10000 5,10 8,23 11,52 15,112 > vectors.txt # the vectors of the tables above
python3 exact.py all 3,3 > vectors.txt # every operand of the 7-bit format
python3 exact.py check vectors.txt results.txt
パッチ適用済みのパッケージをデザインで使用するには、float_generic_pkg.vhdlとパッチ適用済みのボディをライブラリにコンパイルし、そこからfloat_pkgをインスタンス化します。これはrun.shが行います。
Not covered
remainder、modulo、Logb、Nextafter、比較、realおよび固定小数点との変換、テキスト入出力、1回の呼び出しで2つの異なるフォーマットのオペランド、およびcheck_errorがfalseの場合。
パッケージのVHDL-93バージョン、FPHDL/fphdlのfloat_pkg_c.vhdlは同じ行を持っています。ここでは実行していません。
Reported
IEEE P1076ワーキンググループに2026年11月13日にVHDL-Issues#388として、およびメールで報告しました。また、ghdl/ghdl#3486、nickg/nvc#1758、FPHDL/fphdl#4としても報告しました。