HN 日本語サマリー

← 一覧へ戻る
プログラミング

カメラレイの計算

Computing Camera Rays (momentsingraphics.de)

7 pointsby ibobev0 コメント

要約

このブログ記事では、リアルタイムレンダリングパイプラインにおいて、ラスタライゼーションとレイトレーシングが共存する現状を踏まえ、レイトレーシングでカメラレイを計算する方法を解説しています。特に、ビュー・プロジェクション行列を用いて、パースペクティブ投影と正射投影の両方に対応するカメラレイの原点と方向を、数値的キャンセルを避けつつ信頼性高く導出する代替手法を提示しています。最終的には、シェーダーコードも公開されています。

全文翻訳

カメラレイの計算

公開日: 2026-06-20

私たちは、レイトレーシングとラスタライゼーションが共存する移行期にいます。典型的なリアルタイムレンダリングパイプラインは、プライマリ可視性のために依然としてラスタライゼーション(しばしばデファードシェーディングと併用)を使用し、その後、シャドウ、反射、またはグローバルイルミネーションのためにレイをトレースします。しかし、ラスタライゼーションを捨てて、少なくとも一部のプラットフォームではプライマリ可視性のためにもレイトレーシングを使用することを真剣に検討できる段階に近づいています。その場合、ラスタライゼーションで通常行うことと整合性の取れた方法で、レイの始点、レイの方向、レイの長さによって特徴づけられるカメラレイを計算する必要があります。ラスタライゼーションでは、カメラを指定するために、ビュー・プロジェクション行列としても知られるワールドからクリップ空間への変換行列を一般的に使用します。この記事では、そのような行列に基づいてカメラレイを計算する方法を導出します。

目標は、透視投影、正投影、およびそのような行列が表すその他のものすべてに対して、同等にうまく機能するものを得ることです。明白なアプローチは数値的キャンセルを起こしやすいことが判明したため、より信頼性の高い代替案を提示します。全体として、これは難しい問題ではありません。任意のカメラモデル(例えば、視野角が既知の透視投影)に対して、機能するアドホックなソリューションを考案することは非常に簡単です。しかし、カメラモデルごとにさらに調整する必要がなく、容易に入手可能な変換行列に基づいたソリューションを持つことは価値があると考えています。導出について気にしない場合は、リスト4(この記事のすべてのコードと同様に、ここにパブリックドメインとしてリリースします)のシェーダーコードをコピーするだけで構いません。

クリップ空間におけるカメラレイ

ラスタライゼーションパイプラインとクリップ空間は、同次座標に大きく依存するため、そこからレビューを始めましょう。3次元デカルト座標 ((x^\prime, y^\prime, z^\prime)^\mathsf{T}) を持つ点がある場合、4番目の座標として1を単純に追加することで、その点の同次座標を得ることができます: ((x^\prime,y^\prime,z^\prime,1)^\mathsf{T})。これは依然として3次元点を表しますが、その座標を任意の非ゼロの係数 (w\neq 0) でスケーリングする自由を得ました。

([(x,y,z,w)^\mathsf{T} = (wx^\prime, wy^\prime, wz^\prime, w)^\mathsf{T}\text{.}\ ])

(w) をどのように選択しても、これらの座標は同じ点を表します。4番目の成分 (w) で割ることで、非同次座標(つまり、同次化解除)を回復できます。

([\frac{1}w(x,y,z,w)^\mathsf{T} = \left(\frac{x}{w}, \frac{y}{w}, \frac{z}{w}, 1\right)^\mathsf{T} = (x^\prime,y^\prime,z^\prime,1)^\mathsf{T}\text{.}\ ])

同次座標は多くの数式を単純化します。例えば、後述するように、3次元空間の平面の同次座標を記述することもでき、点が平面上にあるかどうかを確認するには、内積を取るだけで済みます。また、(4\times 4) 行列で平行移動を表現することも可能になります。さらに、透視投影を用いたラスタライゼーションに役立ちます。透視投影は、ある時点で除算を実行することを本質的に必要とします。同次座標を使用すると、この除算はラスタライゼーションの直前に発生し、単に前述の同次化解除です。

ラスタライザーのこの設計に伴い、クリップ空間という概念が登場します。スクリーン空間では、座標 (x^\prime_c) および (y^\prime_c) がカメラのファンの広がり全体で-1から1の範囲にある座標系を使用します(添え字 (c) はクリップ空間を表します)。同次座標では、これらの境界は (-w_c\leq x_c\leq w_c) および (-w_c\leq y_c\leq w_c) に対応します。さらに、クリップ空間のz座標に基づいて、ニアおよびファー(近および遠)クリッピングプレーンを定義します。ファー・クリッピングプレーンは (z^\prime_c=1) にあり、これは (z_c\leq w_c) に対応します。ニア・クリッピングプレーンの定義はAPIによって異なります。Direct3Dの場合、不等式は (0\leq z_c) です。OpenGLでは、デフォルトの動作はニア・クリッピングプレーンが (-w_c\leq z_c) にあることですが、これは拡張機能GL_ARB_clip_controlを介して設定可能になり、(0\leq z_c) のDirect3Dの動作を選択できます。この拡張機能はOpenGL 4.5でコア機能に移行しました。Vulkanの場合も、動作は同様に設定可能です。これらの違いを考慮するために、(z^\prime_n) という変数を使用します。これはDirect3Dの規約では0、古いOpenGLのデフォルトでは-1です。つまり、どちらの場合もニア・クリッピングプレーンは (z^\prime_n w_c\leq z_c) です。

典型的なレンダラーは、カメラ空間や各オブジェクトのオブジェクト空間など、他の多くの座標系を使用しますが、ここで気にするのはワールド空間だけです。なぜなら、レイをワールド空間で取得したいからです。レイトレーシングの文脈では、ワールド空間の意味を定義するのは非常に簡単です。それは、トップレベルアクセラレーション構造が使用するものです。ラスタライゼーションの場合、ワールド空間からクリップ空間への変換行列 (M_{w,c}\in\mathbb{R}^{4\times4}) を準備して、ワールド空間の点をクリップ空間に変換します。(p_w=(x_w, y_w, z_w, w_w)^\mathsf{T}) が点のワールド空間座標を表す場合、対応するクリップ空間座標は次のようになります。

([p_c := (x_c, y_c, z_c, w_c)^\mathsf{T} := M_{w,c} p_w\text{.}\ ])

ここではOpenGLの規約を使用しており、これは一般的な線形代数の規約と一致しています。Direct3Dの規約では、行列とベクトルは転置され、乗算の順序は逆になります(誰がそれを良い考えだと思ったのか、なぜそうしたのかは不明です)。詳細については以下を参照してください。

スクリーン空間座標 (x^\prime_c, y^\prime_c) が-1から1の範囲にある場合、クリップ空間の同次座標でそのピクセルに対応するニアおよびファー・クリッピングプレーン上の点を簡単に決定できます。それらはそれぞれ次のようになります。

([n_c := (x^\prime_c, y^\prime_c, z^\prime_n, 1)^\mathsf{T} \quad\text{および}\quad f_c := (x^\prime_c, y^\prime_c, 1, 1)^\mathsf{T}\text{,}\ ])

それぞれです。私たちの目標は、これをワールド空間のレイの始点とレイの方向を変換することです。単純に聞こえますね?

ワールド空間のレイの始点

レイの始点に関しては、非常に単純です。ニア・クリッピングプレーン上の点を取り、それをワールド空間に変換して同次化解除します。これを行うには、クリップからワールド空間への変換行列 (M_{c,w}:=M^{-1}{w,c}) が必要です。すると、目的の点は単純に (n_w := M{c,w} n_c) です。レイトレーシングAPIは同次座標を扱わないため、それを同次化解除します。つまり、w座標で割ります。リスト1はGLSLでの実装を提供します。

リスト1: 指定されたクリップからワールド空間への変換を持つカメラのニア・クリッピングプレーン上の点を返します。clip_space_xyが((-1, -1))の場合、点はビューポートの左上にあり、((1, -1))の場合は右上にあり、((1, 1))の場合は右下にあります(少なくともデフォルトのOpenGL、Vulkan、Direct3Dの動作では)。

vec3 get_camera_ray_origin(
  vec2 clip_space_xy, mat4 clip_to_world)
{
  // 古いOpenGLの規約では、z_n=-1を使用します
  float z_n = 0.0;
  vec4 n_c = vec4(clip_space_xy, z_n, 1.0);
  vec4 n_w = clip_to_world * n_c;
  return n_w.xyz / n_w.w;
}

レイの方向の悪いアプローチ

カメラレイを記述するには、レイの始点に加えてレイの方向が必要です。明白な戦略は次のとおりです。ニア・クリッピングプレーン上の点を得るためにz_n=1で上記のコードスニペットを使用します。次に、ファー・プレーン上の点同士の差を取り、このベクトルを正規化します。数学的な観点からは、このアプローチに問題はありません。正しい結果が得られ、計算も非常に効率的です。それにもかかわらず、私はこれを使用することを強く推奨しません。実際、誤ってコピーされるのを避けるために、コードリストさえ提供しません。

代わりに、図1でこのアプローチの結果を見てみましょう。誰でも良いグラフィックスグリッチは好きですが、それでもこれは求めていた結果ではありません。ゆっくりとした連続的なカメラの動きが、ガタガタした混乱に変わります。何が起こっているのでしょうか?

[動画]

図1: 直線に沿ってゆっくりと移動するカメラのビデオ。原点からかなり離れており、原点を中心としたシーン(Lumberyard Bistro)を見ています。レイ方向ベクトルの計算における丸め誤差のため、カメラの動きがガタガタして見えます。

クリップからワールド空間への変換行列 (M_{c,w}) の最後の2列を見ると、次のようなものが見られます。

-5995.15332031     5994.86083984
11787.78613281   -11786.94140625
-4032.25268555     4031.86547852
  -50.01052094       50.01062393

これらの2つの列が、符号を除いてほとんど同一であることに注意してください。ファー・プレーン上の点を計算するとき、(M_{c,w}f_c) を計算し、(f_c) の最後の2つのエントリは1です。したがって、この行列ベクトル積を計算する際に、クリップからワールド空間への変換行列の最後の2つの列を合計しています。それらはほぼ等しいですが、符号が反対であるため、この加算は壊滅的なキャンセルを引き起こします。これらの大きな浮動小数点数は大きな絶対丸め誤差を持ち、それらのわずかな差は同様に大きな絶対丸め誤差を持つことになります。すると、ファー・プレーン上の点の精度が低下します。この丸め誤差がどのように作用するかは、正確なエントリに依存し、それらはカメラの位置に依存します。したがって、図1の滑らかでない結果が得られます。クリップからワールド空間への変換行列を倍精度演算で計算する(シェーダーに渡す前に浮動小数点数にキャストする)と、これらのアーティファクトの大きさが減少しますが、排除はされません。他の問題も関与している可能性がありますが、このキャンセルが主な原因のようです。

レイの方向の良いアプローチ

では、何か違うことを試してみましょう。カメラレイの直線は、2つの点 (n_c, f_c) を指定することによって特徴づけるのではなく、直線がこれらの2つの平面の交点となるように、2つの平面を定義します。これらの2つの平面を同次座標で特徴づけます。

([G_c :=(1, 0, 0, -x^\prime_c)^\mathsf{T} \quad\text{および}\quad H_c :=(0, 1, 0, -y^\prime_c)\text{.}\ ])

定義により、クリップ空間の点 (p_c\in\mathbb{R}^4) は、平面 (G_c) 上にある場合にのみ (G_c^\mathsf{T} p_c = 0) となります。この方程式では、行ベクトル(転置のため)を列ベクトルに乗算しており、内積が得られます。これは次のように展開されます。

([G_c^\mathsf{T} p_c = x_c - x^\prime_c w_c = 0\text{,}\ ])

これは次と同等です。

([\frac{x_c}{w_c} = x^\prime_c\text{.}\ ])

したがって、この平面は、非同次クリップ空間のx座標が (x^\prime_c) であるすべての点を含みます。特に、私たちのカメラレイ上のすべての点を含みます。同様の方法で、次のように導出できます。

([H_c^\mathsf{T} p_c = 0 \quad\Leftrightarrow\quad \frac{y_c}{w_c}=y^\prime_c \text{.}\ ])

したがって、カメラレイ上のすべての点 (p_c) は、2つの平面の交点にあり、つまり次の条件を満たします。

([G_c^\mathsf{T}p_c = H_c^\mathsf{T}p_c = 0\text{.}\ ])

導出の次のステップは、これらの平面をワールド空間に変換することです。

([G_c^\mathsf{T}p_c = 0 \quad\Leftrightarrow\quad G_c^\mathsf{T}M_{w,c}p_w = 0 \quad\Leftrightarrow\quad (M_{w,c}^\mathsf{T} G_c)^\mathsf{T}p_w = 0\text{.}\ ])

したがって、(G_w := M_{w,c}^\mathsf{T} G_c) は平面 (G_c) のワールド空間座標を保持します。ワールド空間からクリップ空間への変換を使用して、クリップ空間からワールド空間への変換を行う方法に注意してください。その理由は、平面を変換するには逆転置を使用する必要があるためです。私たちが今見たのは、このルールの導出です。

他の平面も同様に変換します: (H_w := M_{w,c}^\mathsf{T} H_c)。次に、これらの2つの平面の交線の方向ベクトル (d\in\mathbb{R}^3) を求めます。これを得るために、平面 (G_w,H_w) の最初の3つの同次座標が、正規化されていないワールド空間の法線ベクトルであることを指摘します。これらの法線を (u,v\in\mathbb{R}^3) と表記します。すると、方向ベクトルは両方の法線ベクトルに直交する必要があります。したがって、単純に外積を取ります: (d := u\times v)。これにより、前のアプローチの数値的な問題に悩まされない、レイの方向を計算するための実用的なアルゴリズムが得られます。リスト2はGLSLでそれを実装しています。

リスト2: 指定されたワールドからクリップ空間への変換を持つカメラレイの正規化されたレイ方向を返します。この関数の一部の計算は、定数の事前計算に移動できます。以下を参照してください。clip_space_xyの意味はリスト1と同じです。

vec3 get_camera_ray_direction_cross(
  vec2 clip_space_xy, mat4 world_to_clip)
{
  vec3 mx = transpose(world_to_clip)[0].xyz;
  vec3 my = transpose(world_to_clip)[1].xyz;
  vec3 mw = transpose(world_to_clip)[3].xyz;
  float x = clip_space_xy.x;
  float y = clip_space_xy.y;
  vec3 u = fma(vec3(-x), mw, mx);
  vec3 v = fma(vec3(-y), mw, my);
  vec3 d = cross(u, v);
  return normalize(d);
}

この導出には1つの注意点があります。(d) の符号については何も述べていないため、レイが逆方向を向いている可能性もあります。少なくとも、world_to_clipの符号を反転してもdの符号は変わりませんが、mxとmyの行を入れ替えるなどの他の操作は変わります。結論として、カメラが鏡像を生成しない限り、上記のコードは期待される符号を与えます。どのような場合でも正しい結果が必要な場合は、読み進めてください。この問題に戻ります。

レイの方向のより高速なソリューション

リスト2には、まだわずかな最適化の可能性があります。dの計算には(3+3+6=12)個の融合積和演算 (FMA) 命令が必要です。計算の一部をシェーダーに渡される定数の計算に移動することで、これを6個のFMAに減らすことができます。GPUから10テラフロップスのスループットを得る場合(これは現代の基準ではそれほど多くありません)、4K解像度でピクセルごとに1回この節約が得られ、実際にコンピュートスループットによって制限されている場合、次のようになります。

([\frac{3840\cdot2160\cdot6}{10,\mathrm{THz}} = 0.005,\mathrm{ms}\text{.}\ ])

フレームあたり5マイクロ秒の節約は本当に無視できるほど小さいので、リスト2にとどまるのは完全に問題ありません。しかし、何らかの理由でこの操作をより頻繁に実行する必要がある場合があり、賢明な人はかつて導出を完了してくださいと言いました。それでは始めましょう。

これを導出するために、(m_x\in\mathbb{R}^3) を (M_{w,c}) の最初の行の最初の3つのエントリとします。同様に、(m_y,m_w\in\mathbb{R}^3) を (M_{w,c}) の2番目と4番目の行の最初の3つのエントリとします。リスト2も同じ規約を使用しています。すると

([u=m_x-x^\prime_c m_w\quad\text{および}\quad v=m_y-y^\prime_c m_w\text{.}\ ])

したがって、

([ \begin{align*} d = u\times v &= (m_x-x^\prime_c m_w)\times(m_y-y^\prime_c m_w) \ &= m_x\times m_y - m_x\times(y^\prime_c m_w) - (x^\prime_c m_w)\times m_y\ &= x^\prime_c (m_y\times m_w) + y^\prime_c (m_w\times m_x) + m_x\times m_y\text{.} \end{align*} ])

したがって、3つの外積を事前計算し、定数バッファに書き込むだけで済みます。これを行うコードは、使用している数学ライブラリに大きく依存するため、自分で記述する必要があります。その後、リスト3を使用してレイ方向を計算できます。この関数への入力としてmat3を使用し、行列ベクトル乗算を使用することもできましたが、個別のベクトルの方が入力の意味を文書化しやすく、FMAの使用により、dの計算が6つのFMAにコンパイルされることをより確信しています。

リスト3: レイの正規化されたレイ方向を返します。my_mw, mw_mx, mx_myは、ワールドからクリップ空間への変換行列の行ベクトルの最初の3つのエントリの事前計算された外積です。clip_space_xyの意味はリスト1と同じです。

vec3 get_camera_ray_direction(
  vec2 clip_space_xy,
  vec3 my_mw, vec3 mw_mx, vec3 mx_my)
{
  float x = clip_space_xy.x;
  float y = clip_space_xy.y;
  vec3 d = fma(vec3(x), my_mw, mx_my);
  d = fma(vec3(y), mw_mx, d);
  return normalize(d);
}

ファー・プレーンにおけるレイのパラメータ

カメラレイの説明はまだ完全ではありません。ファー・クリッピングプレーンを気にしない限り、レイがファー・プレーンで終了するレイパラメータ (t_\max\in\mathbb{R}) を計算する必要があります。クリップ空間におけるファー・プレーンの同次座標は (F_c=(0,0,-1,1)^\mathsf{T}) です。そのワールド空間座標は (F_w := M_{w,c}^\mathsf{T} F_c) です。同次座標でレイと平面の交点を計算するのは十分に簡単です。レイ方向の同次座標を (d_w:=\begin{pmatrix}d\0\end{pmatrix}) とすると、対応する点がファー・プレーン上にある (t_\max) を解く必要があります。

([\begin{align} & F_w^\mathsf{T} (n_w + t_\max d_w) = 0 \ \Leftrightarrow~ & t_\max F_w^\mathsf{T} d_w = -F_w^\mathsf{T} n_w \ \Leftrightarrow~ & t_\max = -\frac{F_w^\mathsf{T} n_w}{F_w^\mathsf{T} d_w}\text{.} \end{align}\ ])

(n_w) の定義方法を利用すると、分子の評価をショートカットできます。

([ F_w^\mathsf{T} n_w = F_c^\mathsf{T} M_{w,c} n_w = F_c^\mathsf{T} n_c = 1-z^\prime_n\text{.} \ ])

したがって、この内積は、ニア・クリッピングプレーンの規約に応じて、1または2になります。実際には、(n_w) の同次化解除されたバージョンで作業するため、ここにもう1つの係数が追加されますが、その値はわかっています。分母についても巧妙なショートカットを考案できると思いますが、すぐには見つからず、3成分の内積を1つ避けるためにあまり考えたくありません。

これらすべてを考慮すると、リスト4に到達します。これは、いくつかの最適化を容易にするためにすべてを1つの関数にまとめています。レイ方向については、この実装はリスト2の方法を使用していますが、リスト3とマージするために、dを計算する行を入れ替えるだけで済みます。ついでにさらに小さな最適化を行いたい場合は、mw - mzを事前計算してください。前述のように、これによりレイ方向の符号に関する潜在的な問題も処理されます。全体として、これはかなりのコード量に見えるかもしれませんが、ほとんどの行は実際には何も計算していません。正直なところ、多くはブログのレイアウトにコードリストを合わせるためだけにあります。

リスト4: ray_origin + t * ray_dirというカメラレイを生成します。これはt=0でニア・クリッピングプレーンから始まり、t=t_maxでファー・クリッピングプレーンで終了します。ray_dirは正規化され、t_maxは正です。clip_space_xyの意味はリスト1と同じです。

void get_camera_ray(
  out vec3 ray_origin, out vec3 ray_dir,
  out float t_max, vec2 clip_space_xy,
  mat4 world_to_clip, mat4 clip_to_world)
{
  // 古いOpenGLの規約では、z_n=-1を使用します
  float z_n = 0.0;
  // レイの始点を計算
  vec4 n_c = vec4(clip_space_xy, z_n, 1.0);
  vec4 n_w = clip_to_world * n_c;
  float n_fac = 1.0 / n_w.w;
  ray_origin = n_w.xyz * n_fac;
  // 正規化されていないレイ方向を計算
  vec3 mx = transpose(world_to_clip)[0].xyz;
  vec3 my = transpose(world_to_clip)[1].xyz;
  vec3 mz = transpose(world_to_clip)[2].xyz;
  vec3 mw = transpose(world_to_clip)[3].xyz;
  float x = clip_space_xy.x;
  float y = clip_space_xy.y;
  vec3 u = fma(vec3(-x), mw, mx);
  vec3 v = fma(vec3(-y), mw, my);
  vec3 d = cross(u, v);
  // dの正規化係数を計算
  float d_fac = inversesqrt(dot(d, d));
  // 最大レイパラメータを計算
  float num = 1.0 - z_n;
  float den = dot(mw - mz, d);
  t_max = -n_fac * num / (d_fac * den);
  // 負の符号を処理
  d_fac = (t_max > 0.0) ? d_fac : -d_fac;
  t_max = abs(t_max);
  ray_dir = d * d_fac;
}

Direct3D/HLSLの規約

ここではHLSLコードを提供しませんが、上記のGLSLコードの移植は簡単でしょう。すべてのvec3をfloat3、mat4をfloat4x4などに置き換えます。inversesqrtをrsqrtに、fmaをmadに変更します。clip_to_world * n_cをmul(n_c, clip_to_world)に変更する必要もあると思います。それ以外は、行列の使用方法やインデックス付け方法を変更する必要はないはずです。その理由は少し複雑です。GLSLで行列をインデックス付けする場合、最初のインデックスは列、2番目のインデックスは行に対応します。HLSLでは逆であり、これは線形代数の規約と一致しています。同時に、Direct3Dの規約は行ベクトルで作業することであるため、すべての行列はOpenGL/Vulkan/数学の規約と比較して転置する必要があります。上記のコードでは、これら2つの不一致が相殺されるため、変更は不要です。ただし、リスト3の入力値を計算する場合、ワールドからクリップ空間への変換行列の列ベクトル(行ではなく)で作業する必要があります。すべて明確ですか?いいえ?まあ、試してみました。

レンダラーへの統合

より完全なソースコードが必要な場合は、私の教育用パストレーサーのブランチを参照してください。そこでは、camera_utilities.glslが、この記事で説明したすべての方法を含む、カメラレイを計算するためのいくつかの異なるテクニックを実装しています。これらはpathtrace.frag.glslで使用されています。レイ方向計算の最適化された方法の定数は、main.cで計算されます。

結論

冒頭で述べたように、透視カメラのカメラレイを計算することは、それほど難しいことではありません。私のパストレーシングShadertoyで行ったような、それほど多くの思考を必要としない正当なソリューションはたくさんあります。しかし、最新のレンダラーを書いていたとき、すでにワールドからクリップ空間への行列を手元に持っており、それらを使いたいと思っていました。レイ方向の悪いアプローチが失敗したとき、私はいくぶん当惑し、1、2日このウサギの穴に陥りました。そこで見つけたものは、共有する価値があるほど有用であるように思えました。これがリアルタイムレイトレーシングに取り組む他の人々にとって役立つことを願っています。標準化にも役立つかもしれません。Gaussian Splattingなどの文脈で、他の人がカメラをどのように実装したかを理解するのに苦労している人を頻繁に見かけます。誰もが異なる方法で行うと、2つの異なるレンダラーから一貫した結果を得るのは難しくなります。クリップ空間は(API固有の注意点がいくつかあるだけで)かなりよく標準化されているため、これらの変換行列はカメラの交換フォーマットとして役立つかもしれません。しかし、コンピュータビジョンには独自の規約があるため、これらのコンテキストではそれらに固執する方が良いかもしれません。