小さな携帯ゲーム機のための小さな3Dレンダラーの構築
Building a Tiny 3D Renderer for a Tiny Handheld (saffroncr.itch.io)
要約
この記事は、Playdateという小さな携帯ゲーム機向けに3Dソフトウェアレンダラーを開発した経験について述べています。開発者はまず、デバイスの3D処理能力と画面描画性能を評価するためにシンプルなレイキャスターを作成しました。その結果、初期の3Dアクセラレーターや初期のプレイステーションには及ばないものの、Playdateの低解像度・1ビットディスプレイという特性を活かせば、3DOやセガサターン時代のゲームのような体験を提供できる可能性を見出しました。
全文翻訳
小さな携帯ゲーム機向けに小さな3Dレンダラーを構築する
今日は、Playdate 用の3Dソフトウェアレンダラーを開発した私の旅についてお話ししたいと思います。
当初、パフォーマンスの基準値は全くありませんでした。アイデアがどれほど実現可能か見当もつかなかったため、シンプルなテストから始めました。それがレイキャスターです。
何年も前に、Ken Silvermanのウェブサイトのコード例を基に作成したことがあり、それ以来、低電力デバイスの3D処理能力と画面描画パフォーマンスをテストする際には、ほぼこれを作成しています。
この種のテストを作成、コンパイル、実行するために多くのことは必要ありません。デバイスの処理能力の概略を把握できます。具体的には、3Dレンダラーにとって最も重要な領域をベンチマークできます。浮動小数点数とベクトル演算をどれだけ速く処理できるか、メモリ操作をどれだけ速く実行できるか、画面にどれだけ速く描画できるか、そしてフレームバッファの設定と使用に問題がないか、といった点です。
[画像: シミュレーターで実行中のレイキャスター]
最初の結果は予想よりも悪かったです。パフォーマンスは非常に悪く、このプロジェクトが容易ではないことは明らかでした。
[画像: Playdateで実行中のレイキャスター]
はっきりさせておくと、私のレイキャスターは最高のパフォーマンスを念頭に置いて書かれたものではありませんでした。これは決してPlaydateでレイキャスターエンジンを動作させること自体が目的ではありませんでした。十分な最適化を行えば、それは可能だと確信しています。ポイントは、このデバイスがどれほどのパワーを持っているか(あるいは持っていないか)を感じ取ることでした。
このテストは、携帯ゲーム機の能力をより深く理解するのに役立ちました。初期の3Dアクセラレータ、例えば3dfx Voodooのレベルで3Dシーンを描画するほどのパワーはないことは明らかでしたし、オリジナルのPlayStationでできることと競合することもできませんでした。しかし、希望はありました。Playdateは小さく低解像度の画面を持っており、1ビットディスプレイを使用しているため、メモリの節約が大きく見込めます。
結果から、プレイヤーの視点から見れば、3DOやSega Saturnの時代に近いものを作れると確信していました。
それが何を意味するのかを明確にする必要があります。3DOやSaturnのようなゲームと言うとき、私は画面上の知覚される結果を意味します。技術的な意味ではありません。なぜなら、それらのコンソールのハードウェアはPlaydateとは大きく異なるからです。
3DOもSaturnも、ポリゴン(つまりクアッド)を描画するためのカスタムハードウェアと控えめなCPUを持っていました。グラフィックハードウェアが重労働の大部分を担うことになっていたため、メーカーはより安価なCPUで済ませることができました。欠点は、これらのマシンがあまり柔軟ではなかったことです。ハードウェアが設計された特定の描画方法でグラフィックを描画するのは得意でしたが、ゲームが異なるアプローチを必要とすると苦労しました。これは、それらのコンソールでDoomのポートが非常に低パフォーマンスだった理由の一つです。Doomのレンダラーは、それらのコンソールが3Dを描画したい方法とは自然に適合しませんでした。
[画像: 3DO DOOM]
一方、Playdateには3Dハードウェアがありません。3Dグラフィックを描画したい場合、すべてCPUで行う必要があります。
ポリゴンソートはありません。ラスタライゼーションハードウェアもありません。デプスバッファもありません。ビューフラスタムに対する三角形の自動的なクリッピングもありません。テクスチャマッピング、フィルタリング、または遠近法補正もありません。何もありません。
3Dグラフィックスの簡単な入門
さらに進む前に、3Dグラフィックスについて実際に何を意味するのかを説明する価値があります。
私たちは三次元の世界に生きています。物体には奥行き、高さ、幅があります。それらは私たちから遠く離れていたり、近くにあったり、上や下、左や右にあったりします。私たちはこれらの3つの空間次元を知覚し、その中を移動することができます。
しかし、私たちの目は網膜に投影された、平坦で二次元の画像しか受け取りません。私たちの脳は、遠近法、動き、スケール、影、隠蔽といった手がかりを通して3D世界を推測します。
[画像: 3D世界を見ている目]
コンピュータグラフィックスも同様のトリックを使用します。
3Dゲームは実際の3Dで世界を描画するわけではありません。画面は平坦です。いわゆる3Dスクリーンでさえ、平坦な2D画像を表示することで機能しています。私たちがやっていることは、3Dシーンを記述する情報を処理し、その空間内にカメラを配置し、そして実際の3D世界が私たちの目の2D平面に投影されるのと同様の方法で、シーンを2D平面に投影することです。
[画像: フラスラム]
ラスタライザーは、レンダラーの一部であり、投影されたジオメトリを受け取り、コンピュータ画面に描画するために使用するピクセルに変換します。テクスチャのペイント方法、重なり合うポリゴンの処理、クリッピングなどを判断し、結果をフレームバッファに書き込むのがそれです。
そのフレームバッファには、いわゆるフレームの2D画像が含まれており、それが画面に表示されるものです。
最新のハードウェアでは、この作業のほとんどはGPUによって行われます。PlaydateではGPUがないため、CPUがポリゴン頂点の変換、投影、クリッピング、ソート、シェーディング/テクスチャリングを行い、結果のピクセルをフレームバッファに書き込む必要があります。そして、毎秒数回新しいフレームを生成するのに十分な速さで行う必要があります。
そして、それが課題です。問題は単に「3Dを描画できるか?」ということではありません。十分な時間を与えれば、ZX Spectrumでさえ3Dを描画できます。本当の質問は「リアルタイムでプレイできるほど速くそれを実行できるか?」ということです。
[画像: ZX Spectrumが3D画像を描画している様子]
BSP
私のレンダラーはQuakeのBSPマップファイルをロードします。このフォーマットを選んだ主な理由は2つあります。
第一に、レベルエディタやマップコンパイラをゼロから書く必要がなくなったことです。レベルデザインにはTrenchBroomを、マップ、可視性データ、ライティングをコンパイルするにはericw-toolsを使用できます。これにより、膨大な時間を節約できます。
第二に、QuakeのBSPフォーマットは、遅いマシンでのレンダリングを高速化するためにすべてを事前にコンパイルするように設計されており、まさに私が求めていたものでした。
BSPはバイナリ空間分割(binary space partitioning)の略です。基本的な考え方は、平面で空間を再帰的に分割することです。3Dでは、各分割は世界を2つの半空間に分割します。そのプロセスを繰り返すとツリーが作成されます。内部ノードには分割平面が含まれ、リーフには空間の領域が含まれます。QuakeスタイルのBSPでは、それらのリーフは世界の凸状のチャンクを表し、各リーフはそれに接する面と、そこから見える可能性のある他のリーフを知っています。
マップコンパイラは、事前に多くの計算負荷の高い作業を行います。ブラシジオメトリを取得し、BSPツリーに分割し、リーフ間の可視性を計算し、その可視性をPVS(潜在的に見えるセット)として保存します。実行時には、レンダラーはカメラが含まれるリーフを見つけ、そのPVSを使用して、ラスタライゼーションが始まる前にマップの大部分を拒否します。これは膨大な時間の節約になります。
欠点は、このアプローチが静的な世界を好むことです。また、可視性を考慮してレベルを設計する必要があります。例えば、2つの大きな部屋をつなぐまっすぐな廊下は一度に多くのジオメトリを見せてしまう可能性があるため、視線を遮り、PVSが隠れているジオメトリを削除する機会を増やすL字型の廊下の方がしばしば優れています。
BSPを使用することで、このプロジェクトははるかに現実的になりました。ツールの再利用は時間を節約しました。車輪の再発明をせずに、既存のツールをチェックし、ニーズに合わせて再利用および適応できるかどうかを確認することは常に良い考えです。マッピング、コンパイル、可視性、ライティングのための成熟した、実証済みのツールを使用することで、プロジェクトの最も重要な部分に時間を費やすことができました。
私が完全にゼロから作成したのは、実際の3Dソフトウェアレンダラーでした。単にQuakeを移植したり、他人のコードを使いたかったわけではありません。自分で構築したかったのです。そうすれば、それを理解していることを確信でき、反復処理でき、あらゆる種類のアイデアをテストでき、ゲームのルックアンドフィールを見つけることができました。
Zバッファを使うか使わないか
Zバッファはデプスバッファです。標準的なデプスバッファは、現在描画されているピクセルがカメラからどれだけ離れているかを格納します。レンダラーが新しいピクセルを描画しようとするとき、そのピクセルの深度をZバッファに既に格納されている値と比較します。これが、レンダラーが遠くのオブジェクトが近くのオブジェクトの上に描画されるのを防ぐ方法です。
私の最初のバージョンではZバッファを使用せず、古典的なペインターズアルゴリズムのアプローチ、つまり後ろから前に描画することを試みました。
しかし、テストの結果、Zバッファなしのこのバージョンでは意味のあるパフォーマンス向上が得られず、頭痛の種が増えるだけでした。
そこでZバッファを追加しました。
16ビットの逆深度バッファを使用しました。線形距離を直接格納するのではなく、逆深度に基づいた値を格納します。これにより、カメラに近い場所での精度が向上します。そこでは、小さな深度誤差がより顕著になり、より小さい8ビット深度バッファを使用したときに見たアーティファクトを回避するのに十分な大きさです。
Zバッファは、動的なオブジェクトやマスクされたテクスチャの処理もはるかに容易にします。ドア、エレベーター、ピックアップは、レベルジオメトリと同じ深度テストを使用でき、水、ガラス、手すり、スプライトなどの切り抜きテクスチャは、描画中に単に見えないピクセルをスキップし、見えるピクセルを通常通り深度テストすることができます。
[画像: 水のアニメーション]
遠近法補正テクスチャマッピング
何ができるかを見るために、さまざまなアプローチを試しました。
最も安価な方法はアフィンテクスチャマッピングです。アフィンマッピングでは、テクスチャ座標を画面全体で直接補間します。これは高速ですが、画面に平行なポリゴンに対してのみ正確であり、それ以外の場合はテクスチャが歪み始めます。PlayStationのテクスチャを覚えていますか?
[画像: PlayStationのテクスチャマッピング]
私の場合は、歪みが十分に目立ちました。通常、これを防ぐためにジオメトリを細分化しますが、私はそれに反対し、代わりにまず遠近法補正マッピングをベンチマークすることにしました。
[画像: アフィンマッピングを使用した私のレンダラー]
私は古典的な遠近法補正テクスチャマッピングを採用しました。ポリゴン全体でテクスチャ座標を直接補間するのではなく(PlayStationの例で見られた歪みを引き起こす)、レンダラーは投影後に数学的に正しい値を補間します。具体的には、1/z(逆深度)、u/z、v/zを補間し、ピクセルごとに実際のテクスチャ座標を割り算で再構築します。
これにより、歪みのない正確な見た目のテクスチャが得られますが、コストがかかります。各ピクセルで座標を再構築するために割り算(逆数)が必要になり、これはPlaydateのCPUでは高価です。そこで少しズルをします。数ピクセルごとに完全な逆数を計算し、その間のピクセルには高速な近似値を使用し、前の値から洗練させていきます。視覚的な違いは無視できるほどですが、パフォーマンスの向上は意味があります。特にテクスチャマッピングはレンダラーの最もコストのかかる部分の一つです。
[画像: 遠近法補正テクスチャマッピング]
1ビットディスプレイでのライティング
ライティングはレンダラーの最も奇妙な部分の一つでした。なぜなら、Playdateの画面は色を表示できず、グレースケールさえも表示できないからです。各ピクセルは黒か白のどちらかです。
[画像]
QuakeのBSPファイルには事前に計算されたライトマップが含まれており、ericw-toolsはバウンスライトやラジオシティのような機能を持つ改良されたライティングを生成できます。私のレンダラーはそれらのデータを読み込み、実行時に使用するのがより安価な、事前に計算された頂点ライティング情報に変換します。
それでも、1ビットディスプレイでは黒または白のピクセルしか出力できません。では、1ビット画面で明るさをどのように表示するのでしょうか?
答えはディザリングです。
ディザリングは、黒と白のピクセルをパターンで配置することによって、中間色調をシミュレートする方法です。単一のピクセルは依然として黒か白のどちらかですが、ピクセルのグループは、それらのピクセルの比率と配置に応じて、暗く見えたり明るく見えたりすることがあります。遠くから見たり、画像が動いている間は、目はそのパターンを認識される色調にブレンドします。
[画像: ディザリングパターン]
レンダラーは8x8のバイヤートリマトリックスを使用します。各ピクセルについて、レンダラーは計算された明るさを、バイヤートリパターンのそのピクセルの位置にある閾値と比較します。明るさが閾値より高い場合、ピクセルは白になります。閾値より低い場合、ピクセルは黒になります。
領域全体で見ると、最終的な画像は黒と白しか使用しないにもかかわらず、グレースケールの印象を作り出します。
[画像]
難しいのは、ディザリングが簡単にノイズになる可能性があることです。完全にテクスチャ化され、完全にライティングされたシーンは、技術的には印象的でも、1ビットディスプレイでは視覚的に読み取りにくい場合があります。そして、それが私の次の戦いでした。
[画像: Doom 1ビットノイズ]
正しいルックアンドフィールの発見
私の主なビジュアルリファレンスの一つはReturn of the Obra Dinnでした。Jet Set Radioのルックアンドフィールも大好きです。そのため、最初から強いアウトラインとシンプルなテクスチャが必要だとわかっていました。一種の1ビットセルシェーディングのような見た目です。
[画像: Return of the Obra Dinn]
[画像: Jet Set Radio]
それでも、標準的なアプローチをテストしました。標準的なテクスチャにライティングを適用し、その後1ビットディザリングを適用しました。
[画像: エディターでのテストマップ]
[画像: ノイズが多すぎるレンダラー]
予想通り、ノイズが多すぎました。ジオメトリとテクスチャが読み取りにくかったです。さらに反復処理すれば改善できたかもしれませんが、そのテストはミニマリストでセルシェーディング的なアプローチの方が理にかなっていることを証明しました。
次に、シンプルなテクスチャと強いアウトラインを使用したマップをテストしました。1ビットセルシェーディングの見た目です。
[画像: 1ビットセルシェーディングの見た目]
[画像: 1ビットセルシェーディングの見た目]
[画像: 1ビットセルシェーディングの見た目]
これにより、すぐに可読性が向上しました。そして最も重要なのは、ゲームに強いアイデンティティを与えたことです。その見た目が気に入りました。これが正しい道だと確信しました。
テクスチャはマップエディターでは少し奇妙に見えますが、ゲーム内では機能します。それが重要なことです。
[画像: エディターでの奇妙なテクスチャ]
[画像: ゲーム内での奇妙なテクスチャ]
最適化の時間
あらゆる種類のトリックを試み、変更ごとにベンチマークを実行して、Playdateに最適なアプローチを見つけました。以下は私の発見です。
- これらのコンパイラフラグの使用は、顕著な方法でパフォーマンスを向上させました。
- -mcpu=cortex-m7 -mthumb コンパイラに、Playdateで使用されているARM Cortex-M7 CPU用にコードを生成し、チューニングするように指示します。
- -mfpu=fpv5-sp-d16 コンパイラにPlaydateが持つ正確なFPUを伝え、適切な浮動小数点命令を生成します。
- -mfloat-abi=hard ハードフロートABIを有効にします。これにより、浮動小数点値がFPUレジスタを介して渡され、オーバーヘッドが削減されます。
- -Ofast 非常に積極的な最適化を有効にします。Playdateでは、より積極的に最適化されたコードよりも、コードサイズが小さい方が速く実行される場合があるため、-O2、-O3、-Osと比較してベンチマークを行ってからこれを選択しました。
- -Wl,--gc-sections -flto -fdata-sections -ffunction-sections これにより、デバイスビルドから未使用のコードが削除され、バイナリサイズが削減され、キャッシュの使用が最適化されます。
- -fno-unwind-tables ゲームが実行時に必要としないスタックアンワインドメタデータを削除することで、バイナリサイズを削減します。
- -fno-asynchronous-unwind-tables バイナリからさらにメタデータを削除し、デバイスビルドを小さく保ちます。
- Playdateの推奨事項:
- -Wdouble-promotion 浮動小数点数がダブルに暗黙的に昇格される場合に警告します。これは常に役立ちますが、この場合は誤ってダブルを使用することを避けたいです。
- -fsingle-precision-constant 浮動小数点定数値をデフォルトで単精度値にします。私は常にx = 0.1fを使用し、x = 0.1とはしませんが、ダブルを使用しないようにすることは良い考えです。
- 浮動小数点命令にはARM Cortex-M7アセンブラを使用しました。独自のカスタムfloor、ceil、sqrtf、fabsf関数を作成しました。
- 半解像度レンダリング: 内部的には200x120でレンダリングし、Playdateの400x240画面にスケールします。これはパフォーマンスの向上において最も大きな要因の一つです。
- ゲームループ外で計算できるものすべてに対して、事前に計算された値とキャッシュを使用します。フレームごとに、一度計算できる計算に時間を費やさないでください。真剣に。
- 最も重要な関数には、これらの2つのマクロを使用します。
#if TARGET_PLAYDATE
#define PD_HOT __attribute__((section(".text.hot"))) __attribute__((aligned(32)))
#define PD_FORCEINLINE inline __attribute__((always_inline))
#else #define PD_HOT
#define PD_FORCEINLINE inline
#endif
- PD_HOTはパフォーマンスクリティカルなコードを専用セクションに配置し、リンク時にアラインメントすることで、命令キャッシュの改善に役立ちます。
- PD_FORCEINLINEは、小さく頻繁に呼び出される関数に使用されます。コンパイラは関数呼び出しを関数本体に置き換え、呼び出しオーバーヘッドを回避します。
- 両方とも必要な場合にのみ使用する必要があります。過度の使用はコードサイズを増加させ、キャッシュを悪化させ、コードの実行速度を低下させる可能性があります。ここでも、それらが実際に役立つかどうかを判断するためにベンチマークが不可欠でした。
- そして最後になりましたが、最も重要なことですが、Michael AbrashのGraphics Programming Black Bookからの私のお気に入りの最適化アドバイスです。
[画像: 最適化の達人はあなたの頭の中にいる]
Playdateゲームを最適化したい場合は、私がここで書いたすべてを客観的な真実ではなく、アイデアとして扱ってください。私にうまくいったことがあなたにもうまくいくとは限りませんし、異なる変更を行う必要があるかもしれません。独自のベンチマークを実行し、保持するすべての最適化が実際に何かを行っていることを確認してください。
覚えておいてください。最高のオプティマイザーはあなた自身です。
完全は善の敵
Playdate用の3Dレンダラーを書くことは、長くて楽しい旅でした。最初はそれが可能かどうかさえ確信が持てませんでした。そして、何かを試すたびに、それは非常に遅く実行されたため、少しモチベーションを失わないようにするのは困難でした。しかし、私は進みました。
私の現在のレンダラーは完璧には程遠いですが、十分良いです。実際の進歩を遂げたい場合は、「十分良い」を目指してみてください。
レンダラーをプレイ可能な状態にすることで、ゲームプレイのアイデアのプロトタイピングを開始できるようになりました。実際のゲームのように感じ始めているプレイ可能なプロトタイプを作成できるようになりました。そしてゲーム開発者として、それが重要なことです。
お読みいただきありがとうございました。素晴らしい一日を!