角はそんな風に見えない:スクリーン空間アンビエントオクルージョンについて
Corners Don't Look Like That: Regarding Screenspace Ambient Occlusion (nothings.org)
要約
この記事は、ゲーム開発で広く使われているスクリーン空間アンビエントオクルージョン(SSAO)という技術が、現実世界の光の挙動を正確に再現できていないと指摘しています。著者は、SSAOが角を不自然に暗くしたり、奇妙なアーティファクトを生じさせたりする原因を、近似誤差やライティングへの誤った適用、チューニングミスなど4つの要因に帰結させています。実際の写真データと比較しながら、SSAOが現実の視覚体験から乖離していることを示し、その改善の必要性を訴えています。
全文翻訳
角はそう見えない(ほとんどの場合)
Sean Barrett
2012-12-13
[画像: 現実の物理的なコーネルボックス。出典: Goral et al 1984 の論文『Modeling the Interaction of Light Between Diffuse Surfaces』より]
ご自由に、より良いデータを収集して私を間違っていると証明してください。もしそうしたら、ここにリンクを貼ります!
ゲーム開発者はスクリーンスペース環境遮蔽(SSAO)に夢中です。あまりに夢中なので、あらゆる種類の奇妙なことをしています。アマチュア開発者は、凸角が角の近くで明るくなるスクリーンショットを投稿します。プロの開発者は、奇妙なハロー や 醜いアーティファクト(手すりの後ろの床を見てください)を持つゲームをリリースします。
それらの欠点を回避できたとしても、SSAO を使用したゲームはしばしば不自然に見えます。そして、そこから簡単に引き出せる結論があります。部屋の角は奇妙に暗く見えるのです。
私はこれが、人々が部屋の角は実際には暗いと考えている ためであり、この信念が非現実的な結果を生むコードを書くことを許してしまったからだと信じています。
より具体的には、これらのケースにおける SSAO の失敗は、次の 4 つの要因の組み合わせに起因すると考えています。
- AO を使用する代わりに SSAO を使用することによる近似誤差
- レジオシティではなく AO を使用することによる近似誤差
- 環境光だけでなく、すべての照明に SSAO の暗化を適用する際の誤差
- チューニング誤差、つまり AO 効果のヒューリスティックな重み付けが強すぎる
私はアクティブなグラフィックス研究者ではないので、フレームワークを構築してこれらのことがどこで間違ったのかを示すつもりはありません。それは SSAO に関する論文を発表し、ゲームに SSAO を搭載している人々の仕事です。
同じ理由で、以下の議論は最も科学的でも、まったく徹底的でもありません。おそらく、より多くのデータを収集すれば、私が間違っていることが示唆されるかもしれません。しかし、私の個人的な視覚体験は、人々が SSAO でレンダリングしているものと一致しないため、その経験を共有したいと思いました。そのために、いくつかのデータを収集しました。
角はそう見えない(ほとんどの場合)
以下では、すべてレンダリングではなく、写真です。
写真は Canon 5D Mk II を使用して撮影され、JPEG としてエクスポートされ、露出時間は 1/80 秒から 1/8 秒の範囲でした。元の大きな JPEG は、Adobe Photoshop を使用して各次元で約 4 倍にダウンサンプリングされました。すべての画像は、長い露光画像でのクロマノイズアーティファクトを減らすために、ダウンサンプリング前に Photoshop で 16 ピクセルのガウシアンぼかしをクロマチャンネルに適用しました。
アパートの天井は壁よりも明るく白い色なので、それを照明のせいにしないでください。
一般的な AO/SSAO レンダリング画像のように見える写真から始めましょう。
ドラマチックに暗くなった角
[画像: (この画像は効果をより見やすくするためにデジタル的に明るくされています。明るさの変更はガンマを維持していることを願います。)]
典型的な SSAO レンダリング画像のように見える角を、私の部屋で探すのにかなりの時間が必要でした。しかし、実際にはそうではありません。壁(c)は光を見ることができませんが、壁(d)はそれにかなりさらされています。左端の壁(d)の暗さは、主に AO(つまり、相互反射/レジオシティ効果)によるものではありません。それは主に、画面の左上から少し外れたところにある光源からのソフトシャドウによるものです。左側の壁(b)と壁(c)の間の角は影を落としていますが、光源に非常に近いため、大きなソフトシャドウに広がっています。
しかし、他にも暗くなっているエッジがあります。それらはどうでしょうか?
壁(d)の上端も別の影です――明るい壁の上端を見てください。光源は奥まっており、ここでのすべての光は実際には奥まった部分からの反射光であり、その奥まった部分の縁が壁の最も上部が光を受けないようにしています。(天井に当たるすべての光は間接光であり、部屋の壁、床、その他の物体からのものです。)
壁(c)の右端に近づくにつれて、または壁(d)に沿った端に近づく天井(a)に見られる、端に向かって暗くなる効果はどうでしょうか?それは主にランバートのドット積によって引き起こされる間接照明効果のように見えます。壁(c)の端の中央に近づくにつれて、壁(d)の明るい部分がますますエッジオンになり、その点は暗くなります。これは AO が捉えるべき主なものだと思いますが、ここでは誇張されています。もし壁(d)が(ソフトシャドウなしで)より均一に照らされていたら、左から端に近づいても、あなたの「視界」の大部分は明るい表面で満たされていたでしょう。ソフトシャドウが壁(d)を完璧な方法で暗くするからこそ、この効果は顕著なのです。
まだ 1 つのエッジが残っています。壁(c)と天井(a)の間のエッジです。このエッジも、どちらかの側から端に近づくにつれて暗くなりますが、ソフトシャドウの影響を受けるべきではありません。問題は、それが実際にどれだけ暗くなっているのか、そして他のすべての照明効果とのコントラストによる心理的な効果がどれだけあるのかということです。
カメラは知覚的ではないかもしれませんが、少なくともグラフ化できます
理想的には、これらの写真は既知の色空間にあるはずです。写真は sRGB を主張していますが、結果を考えると、数値を取り、sRGB カーブを通して線形光の値(またはクランプされた値)に戻すことができるとは思いません。より複雑なトーンマッピングが行われていると思います。そのため、これらの画像が現実をどの程度反映しているかを実際に知ることはできません。
しかし、これらの画像がどのように知覚されているかを少なくとも理解することはできます。なぜなら、それらは(うまくいけば)sRGB として表示されているからです。それらは現実をそれほどよく反映していないかもしれませんが、画像内の数値が実際にどれだけ暗くなっているのか、そしてそれが知覚的な効果であるのかどうかを少なくとも判断できます。
エッジの片側から反対側への点の数値を見るだけで、エッジの両側の表面が端に近づくにつれてどのように暗くなるかを単一のグラフで見ることができます。
たとえば、(c) と (d) の間のエッジを横切る線上のピクセルをサンプリングしてグラフ化すると、次のようになります。
[画像: ][画像: ]
上記のグラフを生成するために使用されたコードは、付録 A にあります。
これはピクセル値(実際には 3 つのチャンネルすべてで平均化された 5x5 ボックスフィルター)のグラフであることに注意してください。したがって、これは線形光の値ではなく、sRGB の明るさ(またはそれが何であれ、ここでは sRGB と呼びます)のグラフです。すべてのグラフは 0 から始まります。そのため、明るさの値の比率を、ベースラインからの高さの比率で判断できます。(比率を 2 乗すると、おおよその線形光の比率が得られます。これは私がすでにやるべきことよりもはるかに多くの作業なので、線形光のグラフは省略させていただきます。)
左側では、エッジに近づくにつれて照明がより速く暗くなるのがわかりますが、右側ははるかに線形な上昇を示しています(おそらくソフトシャドウを通過しているためです)。エッジのすぐ近くには非常に顕著な落ち込みがありますが、これは何によるものかは不明です。(照明効果ではないかもしれません。角が汚れているだけかもしれません。)
エッジ (a) と (d) の間も同様にグラフ化されます。
しかし、理論的にはより誇張が少なく、「実際の」AO 効果に近い、つまり最も間接的な照明を持つエッジ (a) と (c) の間のエッジを見てみましょう。
[画像: ][画像: ]
グラフは下から上へです。
ここでもエッジに向かって明確な暗化が見られますが、その効果は大幅に減少しています。中央には下向きの落ち込みはありません。
グラフを比較する際には注意が必要です。理想的には、線分は 2 つに分割され、各半分はワールド空間のエッジに対して垂直であり、短縮率を考慮する必要があります。代わりに、短縮率が異なる可能性のある単一の線を使用しており、グラフはカバーされているピクセル数に合わせて自動スケーリングされていますが、これは常に一貫しているとは限りません。特に、上の 2 番目の線は最初の線よりも垂直ではないように見えますが、それがどれほど影響するかはわかりません。
ちなみに、スケールを理解するために:壁(c)は幅 13.5 インチです。したがって、その上の緑の線分(グラフの左半分に表示)はおそらく約 4 インチの長さであり、その 4 インチでたどる明るさの範囲は、線分がエッジに対して垂直であればおそらく 3 インチで済んだでしょう。
ここでも、実際にこの分野で作業している誰かがもっと適切に行うべきです。私はただ問題に注意を向けたいだけです。
支配的なソフトシャドウのない角のサンプリング
以下の画像に見える 3 つの角を見てみましょう。
[画像: ]
ズームインした別個の写真を撮ったので、それらを使用して実際のエッジをサンプリングします。
左の角
[画像: ][画像: ]
この角に直接当たる光は左側からのものだけです。主な照明は天井の同じ奥まったランプからのものと思われます。間接光がどれほどか分かりません。実際には、この領域は中程度に暗いです。(また、大きなズームファクターによるカメラレンズの周辺光量落ちのため、画像コーナーが暗くなっていることにも注意してください。)
壁と天井の間のピクセルはどう見えるか見てみましょう。
[画像: ][画像: ]
天井は端に近づくにつれてわずかに暗くなりますが、壁は明るいままでです。
中央の角
[画像: ]
この角のより長い露光写真です。中程度に照らされていますが、上の影からわかるように、ほとんど完全に間接光です。
[画像: ]
これは、上の画像よりも単に明るいバージョンとは私には思えません。壁はそれほど顕著に暗くなっていないようです。幸い、数値で確認できます。
[画像: ][画像: ]
[画像: ][画像: ]
[画像: ][画像: ]
これらは予想よりもはるかに平坦です。左側の壁にはいくらか暗化があるようですが、私が「見ている」暗さの多くは実際にはマッハバンドであると推測します。(ただし、sRGB と線形光の違いを忘れないでください。これはグラフが示すよりも線形光の暗化がより顕著であることを意味します。)
しかし、今度は長い露光写真に戻って、そこからの数値を測定してみましょう。
[画像: ][画像: ]
[画像: ][画像: ]
[画像: ][画像: ]
(最後の線は下から上、右から左に描かれているため、グラフの左側の明るい膨らみは、光源のハイライトを拾う 5x5 サンプリングによるものです。)
そして確かに、暗化は私が視覚的に感じるよりもはるかに目立ちません。なぜ私にはそれがより顕著な暗化要因のように見えるのか、全くわかりません。線形光に変換すると、より明確になるかもしれません。
右の角
[画像: ][画像: ]
冷蔵庫上のキャビネットの上にあるこの空間は、主に間接光が当たっているようです。ただし、左の壁と天井はそれぞれ著しく短縮されており、ここで見られる急速な暗化は実際にはワールドスペースではるかに緩やかであることを注意してください。
[画像: ][画像: ]
[画像: ][画像: ]
[画像: ][画像: ]
ここでも、奥の壁への効果は非常に軽微です(マッハバンド効果の方がはるかに強い)が、左の壁と天井への効果は非常に明確です(短縮率によって強調されていますが)。マッハバンド効果は、反対側の壁が明るい場合にのみ発生することに注意してください。もし奥の壁が他の壁よりも明るい色で塗られていたら、それは(上記の「左の角」で起こらなかったように)まったく起こらなかったでしょう。
(ちなみに、エッジの片側を覆ってみて、エッジの暗化効果が消えるかどうかを確認することで、マッハバンド効果であることを確認できます。これは、奥の壁で私には間違いなく起こっています。)
ちなみに、5x5 ではなく 3x3 ボックスフィルターの出力をグラフ化してテストしましたが、結果は同様でした。
家で最も暗い部屋
ここでは、暗いバスルームを覗いてみましょう。
[画像: ]
確かに、端に沿って暗化が見られます。
ズームインして、1/8 秒の露光で見てみましょう。
[画像: ]
暗化はどこへ行ったのでしょう?数値を見てみましょう。
[画像: ][画像: ]
[画像: ][画像: ]
[画像: ][画像: ]
いくらか暗化はありますが、それほどではありません。もう一度、元の画像に戻ってそこからの数値を引き出して比較してみましょう。
[画像: ][画像: ][画像: ]
[画像: ][画像: ][画像: ]
最初の 2 つは少し異なりますが、これはワールドスペースでの線分長の差による可能性があります。うーん。
その他の角
光源にかなり近い角を見てみましょう。
[画像: ]
明らかに、端に向かっての減衰の一部は直接照明の減衰によるものです。しかし、SSAO を使用してシミュレートすべき「追加の」減衰はありますか?
[画像: ][画像: ][画像: ]
私はないと言います。
これは、私が今タイプしている場所の上の角です。
[画像: ]
これは、私がコンピューターに座っているときに最初に見て、「角は実際にはどのように見えるのだろうか?」と思う角です。
答え:ひどい AO の暗化のようなものではありません!
主な光源ははるか左にあるフロアランプです。右の壁がそれに面しているため、右の壁は明るいです。
モニター間の境界線の上にある左の壁には、明らかな暗化があります。これは 2 番目の光源からの影です(それより右側のすべて、つまり下のすべての線は、その 2 番目の光源からの影の中にあります)。
[画像: ][画像: ]
[画像: ][画像: ]
[画像: ][画像: ]
最後の線分は下から上にグラフ化されています。エッジの小さなピークは、おそらく 2 つの壁の間のエッジに白いペンキが見えることがあるためで、照明効果ではありません。
右の壁が直接照明を受けているため、右の壁が上部で明るくなっているため、角の暗化効果は基本的にありません。天井は右の壁に近づくにつれて明るくなっています。
天井に近づく左の壁に沿った線だけが、AO でシミュレートするのに最も適した顕著な暗化を示しています。しかし、AO はその部分の線をもっとリアルに見せるかもしれませんが、他の 5 つはそれほどリアルに見せません。
参考までに、角のクローズアップです。
[画像: ]
グラフは依然として非常に似ています(ただし、見えるテクスチャのためノイズが多く、これらはわずかに小さい領域をカバーしていますが、補償するために長い線を使用しました)。
[画像: ][画像: ]
[画像: ][画像: ]
ここでも、各エッジの明るい側を覆って、エッジの暗化が本物か知覚的なアーティファクトかを確認するように招待します。
最後にもう一つ
天井と壁の間の単一のエッジを見てみましょう。
[画像: ]
光は右側にあります。左に進むにつれて暗くなり、環境光による寄与はますます大きな割合になるはずです。AO のような暗化の効果が増加しているのがわかりますか?
[画像: ][画像: ]
[画像: ][画像: ]
[画像: ][画像: ]
グラフの縦軸は自動スケーリングされています(ベースラインは常に 0 です)。したがって、もし「環境」光に意味のあるエッジの暗化があった場合(つまり、AO の角の暗化モデルが現実世界の適切な近似であった場合)、測定領域が暗くなるにつれて、エッジに向かって暗化の量が増加すると予想されるはずです。グラフで見られるのは、天井のエッジの暗化は増加していること(最初のグラフで端でわずかに明るくなることから、最後のグラフでわずかに暗くなるようになっている)ですが、壁は本質的に反対の効果を示しているように見えることです(最初のグラフで端でわずかに暗くなることから、2 番目のグラフで増加し、3 番目のグラフで平坦になる)。
私の考え
壁(表面)間の凹状の境界に沿ってエッジの暗化効果がありますが、それは微妙であり、時々しか発生しません。顕著なエッジの暗化が発生するのは、向かい合う表面自体が、他の理由(ソフトシャドウなど)で既に端で著しく暗くなっている場合だけです。
そして、おそらくそれがあなたの SSAO が行っていることではありません。
付録 A
以下は、点のリストと画像ファイル名からグラフを生成するために使用されたコードです。
#define STB_IMAGE_WRITE_IMPLEMENTATION
#include "stb_image_write.h"
#define STBI_NO_WRITE // disable writer in old version of stb_image
#include "stb_image.c"
#define STB_PLOT_IMPLEMENTATION
#include "stb_plot.h" // unfinished, unreleased line graph library
#define STB_DEFINE
#include "stb.h"
int main(int argc, char **argv)
{
int i,n;
char **data = stb_stringfile("c:/imv_log.txt", &n);
for (i=0; i < n; i += 2) {
int w,h;
int x0,y0,x1,y1,j,len;
uint8 *pixels;
char file1[999], file2[999], name[999];
stbplot_dataset *ds = stbplot_dataset_create();
stbplot_variable *v = stbplot_dependent_variable(ds, "brightness");
if ( sscanf(data[i ], "%d%d%s", &x0,&y0, file1) != 3
|| sscanf(data[i+1], "%d%d%s", &x1,&y1, file2) != 3)
stb_fatal("Error on line %d\n", i+1);
if (strcmp(file1, file2)) stb_fatal("Mismatch %1 vs %2\n", i+1, i+2);
pixels = stbi_load(file1, &w, &h, NULL, 3);
if (x0 >= w || y0 >= h || x1 >= w || y1 >= h) stb_fatal("Bad point in %d/%d", i+1,i+2);
len = max(abs(x1-x0),abs(y1-y0));
for (j=0; j <= len; ++j) {
int dx,dy,c,sum=0;
int x = (int) stb_linear_remap(j,0,len,x0,x1);
int y = (int) stb_linear_remap(j,0,len,y0,y1);
for (dx = -2; dx <= 2; ++dx)
for (dy = -2; dy <= 2; ++dy)
for (c=0; c < 3; ++c)
sum += pixels[(y+dy)*3*w + (x+dx)*3 + c];
stbplot_add_value(j, v, (double) sum / (9*3));
}
stb_splitpath(name, file1, STB_FILE);
stbplot_plot(stb_sprintf("c:/temp2/graph_%s_%d.bmp", name, i/2+1),
ds, "Pixel brightness", 600, 400, 1);
stbplot_dataset_destroy(ds);
// overdraw the highlight
for (j=0; j <= len; ++j) {
int dx, dy, c, color[3] = { 128,255,128 };
int x = (int) stb_linear_remap(j,0,len,x0,x1);
int y = (int) stb_linear_remap(j,0,len,y0,y1);
for (dx = -2; dx <= 2; ++dx)
for (dy = -2; dy <= 2; ++dy)
for (c=0; c < 3; ++c)
pixels[(y+dy)*3*w + (x+dx)*3 + c] = color[c];
}
stbi_write_png(stb_sprintf("c:/temp2/highlight_%s_%d.png", name, i/2+1),
w,h,3,pixels,w*3);
}
return 0;
}
最初のコンパイルが成功した後、運良く正しく動作しました。エラーケースには一度も到達しませんでした。それは、このような小さく単回使用のプログラムのためにエラーケースを書くのをやめるべきだったということでしょうか?うーん。