グラフィックスプログラマーになるために学ぶべきこと
What to Learn to Be a Graphics Programmer (blog.demofox.org)
要約
この記事では、グラフィックスプログラマーになるために必要なスキルセットについて解説しています。CPUとGPUの両方の側面を学び、現代のレンダリング技術やPBR(物理ベースレンダリング)の重要性、そして必要な数学的知識について詳しく説明しています。また、C++が業界標準言語であることも強調しています。
全文翻訳
リアルタイムグラフィックスプログラマーになるために学ぶべきこと
グラフィックスプログラマーとして採用されるために何を知っておくべきか、という質問をよく受けます。毎回同じことを繰り返すのではなく、リンクするためのページを作る時期が来たと感じました。
LLM(大規模言語モデル)の時代は奇妙な時期にあります。現在のML(機械学習)は誇大広告に見合うほどのものにはならないと思いますが、今後数年でMLから少し pendulum(振り子)が離れるでしょう。詐欺師たちは次に量子コンピューティングに移るか、何か別のものをポンプ・アンド・ダンプするでしょう。しかし、ML自体はコンピュータサイエンスのツールボックスの中に場所を持っているので、それが提供するフィッティングや最適化のテクニックを学ぶことは、私の意見では価値があります。ベアメタル部分を学ぶためのビデオを作成しましたが、学ぶ価値があると思うかどうかはあなた次第です。
Machine Learning For Game Developers
https://www.youtube.com/watch?v=sTAqWRsEiy0
それ以外では:
現代のレンダリングは、ある意味で2つの仕事を同時にこなすようなものです。
- CPUサイドを学ぶ – DirectX12、Vulkan、Metal、または同様の現代的な「明示的」APIと、アセットのロードやその他のサポートタスクをサポートするエンジンプログラミングを学ぶ。
- GPUサイドを学ぶ – 現代のライティングとシェーディングの数学、シャドウ、アンビエントオクルージョン、ポストプロセスエフェクトなどのレンダリングテクニック。また、GPUで何が速く、何が遅いかを理解し、リアルタイムでより良く動作するものをどのように作るかを知ること。
これら両方を一度に学ぶのは非常に困難です。もし2番目に集中したいなら、1番目にはOpenGL、WebGL、DirectX11、エンジン、またはそれに類する、よりシンプルなものを使用できます。もし1番目に集中したいなら、画面に最初の三角形を表示させ、次にメッシュを表示させ、といった具合に作業を進めますが、それが非常に綺麗であるかどうかは気にしないでください。
2番目の部分には、パストレーサーの作成が含まれます。パストレーシングは映画でレンダリングを行う方法であり、現代のリアルタイムレンダリングテクニックで私たちが近似しようとしているものです。パストレーサーを始めるのに最適な場所は、この無料のオンライン書籍「Ray Tracing in One Weekend」です。多くの人がこれを使用しています。非常に分かりやすく、フォトリアルなレンダリングを作成する方法を示しています。
https://raytracing.github.io/books/RayTracingInOneWeekend.html
[画像: Ray Tracing in One Weekend の書籍表紙]
2番目のもう一つの部分は、「Physically Based Rendering」(物理ベースレンダリング)またはPBRを学ぶことです。これはライティング(主にスペキュラ、結局のところ)を適用する方法です。PBRは「原理的」であり、ルールに従えば良い結果が得られることを意味します。PBR以前は、人々はさまざまなランダムな調整やハックでライティングのためのランダムな方程式を書いていました。これにより、ある状況では良く見えるアセットを作成できましたが、ライティングを変更すると暗すぎたり、光っているように見えたりしました。人々は異なるライティング条件のためにアセットの異なるバージョンを作成する必要があり、それは多くの時間と労力を要しました。
PBRにより、デフォルトで全てのアセットが全てのライティング条件でより良く見えるようになり、異なるバージョンを作成する必要の手間と労力が省けました。これは業界にとって大きな進歩でした。それでもなお、アセット作成の時間、コスト、労力はゲーム開発における大きなボトルネックです。
このページのPBRセクション(およびサブセクション)は、PBRの素晴らしい入門です。
https://learnopengl.com/PBR/Theory
[画像: PBRの理論に関するLearnOpenGL.comのページ]
もしある時点でそれに飽き足らず、さらに深く掘り下げたい場合は、Filamentのドキュメントを読むのが良い次のステップです。PBRを深く掘り下げていくと、多くの微積分と統計学に遭遇します。
https://google.github.io/filament/Filament.md.html
それ以上に有名なのは、PBRT書籍「Physically Based Rendering: From Theory To Implementation」で、これもオンラインで無料です。
https://pbrt.org/
理想的には、雇用主に提示できる(GitHubなどで公開し、履歴書にリンクする)ソースコードをいくつか持っていると良いでしょう。例えば以下のようなものです。
- アセット(モデル、テクスチャ)をロードし、リアルタイムで画面にレンダリングするエンジンに似たもの。ライティングといくつかのエフェクト(シャドウ、被写界深度、エリアライト、トーンマッピング、レイトレースシャドウなど)を備えていること。できればPBRでライティングされ、ユーザーがカメラを制御でき、DX12、Vulkan、またはそれに類するものでC++で書かれていること。
- フォトリアルな画像を生成するパストレーサー。できればC++で書かれていること。ウィンドウのないプログラムで、PNGファイルを出力するだけでも構いません。リアルタイムである必要はありません。
- ボーナスポイントは、パストレーサーが「エンジン風レンダラー」の別モードになっており、リアルタイムPBRレンダリングがパス追跡の結果と一致することを示すことで、その正確性を検証するのに役立つ場合です。さらにボーナスポイントは、2つのレンダリングが一致しない箇所を指摘し、その理由を説明でき、リアルタイム性を保ちながら一致させるためにリアルタイムレンダラーに実装できることについての考えを持っている場合です。
どのような数学が必要か疑問に思うかもしれません。上記の項目を実行すれば、必要な数学に遭遇しますが、基本的に線形代数(行列乗算、クロス積、ドット積)、基本的な三角法、そして少しの微積分が本当に必要な全てです。グラフィックス(そして一般的にゲーム開発)の面白いところは、必要な数学の量はかなり少ないですが、使用できる数学の量は事実上無限であるということです。
アルゴリズムについても同様です。連結リスト、ハッシュテーブル、ソート、検索などの基本的な抽象データ型とアルゴリズムを知っておくべきです。多くの場合、最も速いアルゴリズムは最も単純なものです。配列は連結リストよりもはるかに高速です。しかし、より高度なアルゴリズムの概念を知っていることは、本当に新規でカスタムなものが必要な場合に役立ちます。
ゲーム開発では、C++が学ぶべき言語です。一部の人はRustを使用しており、Rustの使用が増えているかどうかは判断が難しいですが、標準的な言語ではありませんが、一定のシェアを占めています。WebGPUはWebGLにはなかった多くの機能を持っており、より真剣なプラットフォームになりつつあり、JavaScriptでCPUサイドの作業を行うことができます。しかし、WebGPUの求人はあまり見かけず、Web上のWebGPUコンテンツもあまり見かけません。CPUサイドのプログラミングに関しては、C++を知っていることが圧倒的に学ぶべきことだと言えます。
シェーダー言語については、HLSLが最も一般的ですが、GLSLで作業する人もいます。マルチプラットフォームゲームでは、シェーダーはしばしば他のシェーダー言語にトランスパイルされます。
グラフィックスプログラマーになるために芸術の才能が必要かどうか疑問に思うかもしれません。幸いなことに、そうではありません。あなたは芸術の得意なアーティストや、プログラマーとアーティストの間に立ち、両分野の理解のギャップを埋めるテクニカルアーティストと協力することになります。とはいえ、芸術や写真、またはそれに類するものの知識があれば役立ちます。必須ではありません。
状況が変わったり、ここにカバーされていない質問があったりした場合は、このページを更新し続けます。
エージェントに関するMLの拡張コメント:
現在のML技術は、その使用が販売されているほとんどの用途に対して「タスクに不向き」だと私は信じています。数学、論文、または馴染みのないアルゴリズムについてClaudeと話すことで、私はそれから恩恵を受けています。それらの状況では、それが嘘をついているかどうかを簡単に見分けることができ、他のソースで正気を確認することも容易です。しかし、プログラミングに関してはあまり役に立たないと感じています。なぜなら、たとえそれが本来行うべきことを行ったとしても、理解するのに時間をかけなければコードを理解できないからです。その時点で、自分で書いた方が良かったはずです。私が役立つと感じる小さなこととしては、「このファイルにバグはありますか?」のようなものがあります。これは、バグがあれば「はい」と返ってきて調査でき、なければ「いいえ」と返ってきて、尋ねるのに何もコストがかかりません。これらの技術的なこととは別に、いつか人類は実際の人間レベルの人工知能を作り出し、それを超える方法を見つけるだろうと信じています。私の生涯でそれが起こるかどうかは分かりませんが、私たちが自滅しない限り、いつか起こると信じています。その意味で、このLLMの時代は、将来「本物」が登場する際の、一種のドレスリハーサルです。正しい教訓を学び、その時に備えることを願っています。