Arm Mali G2-Ultra NX GPU: AIネイティブグラフィックスによるデスクトップクラスのモバイルゲーム体験を実現

Inside the Arm Mali G2-Ultra NX GPU: Delivering desktop-class mobile gameplay with AI-native graphics

モバイルユーザーからの要求は増え続けています。よりリッチなビジュアル、よりスムーズなフレームレート、そしてますます没入感のある体験を求めています。開発者にとっての課題は複雑です。これらの期待に応えつつ、モバイルデバイスの厳格な電力、熱、帯域幅の制約内に留めることを目指しています。

従来のレンダリングは高い画質を提供できますが、モバイルの制約内でデスクトップクラスのビジュアル忠実度を実現するには、より大きな効率が必要です。ニューラルグラフィックスは別の道を提供します。AIを使用してディテールを再構築し、中間フレームを生成し、GPUの負荷とシステム全体のワークロードを削減しながら画像を洗練させます。

しかし、ニューラルグラフィックスを主流のモバイル体験にもたらすには、GPUアーキテクチャと開発者エコシステム全体にわたる深い統合が必要です。これまでに140億個以上のMali GPUが出荷されており、Armはこれらの機能を次世代モバイルデバイス全体で利用可能にするための規模と経験を持っています。

そのシフトが、Arm Mali G2-Ultra NX GPUの中心にあります。初のAIネイティブMali GPUとして、ニューラルアクセラレーションをグラフィックスパイプラインに直接統合し、開発者がモバイルの電力エンベロープ内でよりリッチで応答性の高いビジュアル体験を提供し、ニューラルグラフィックスをより迅速に実製品に投入できるよう支援します。

An AI-native GPU for neural graphics

Mali G2-Ultra NXは、ニューラルアクセラレータがシェーダーコアに緊密に統合されており、ニューラルグラフィックスのワークロードがグラフィックスおよびコンピュートワークロードと並行して実行できるように、ゼロからニューラルグラフィックスのために構築されています。この緊密な統合は、GPUメモリシステム、コヒーレントキャッシュ、および制御構造を再利用し、データ移動を削減し、パイプライン全体の効率を向上させます。

［画像: Arm Mali G2-Ultra NXの概要。緊密に統合されたニューラルアクセラレータ、新しい実行エンジン、第3世代のレイトレーシングユニット、オープンソフトウェアスタック、およびエコシステムイネーブルメントを強調しています。］

Mali G2-Ultra NXは、専用のニューラルアクセラレーション、新しい実行エンジン、および第3世代のレイトレーシングを組み合わせて、モバイルでのAIネイティブグラフィックスを可能にします。

Mali G2-Ultra NXに含まれる3つのニューラルテクノロジーは、これが可能にすることを示しています：

• Neural Super Sampling (NSS): 低解像度レンダリングから高解像度画像を再構築し、高品質な最終画像を生成するために必要な従来のレンダリング作業量を削減します。
• Neural Frame Rate Upscaling (NFRU): 中間フレームを生成してフレームレートを向上させ、よりスムーズなゲームプレイを提供します。
• Neural Super Sampling and Denoising (NSSD): ニューラルアップスケーリングとデノイジングを組み合わせて、複雑なライティングとシャドウを持つ要求の厳しいレイトレースシーンでの画質を向上させます。

［画像: Neural Super Samplingの図。低解像度のカラー、モーション、デプス入力をニューラルネットワークに供給し、ニューラルネットワークがディテールを再構築し、テンポラルフレーム履歴を使用してアンチエイリアス処理されたアップスケール出力を生成することを示しています。］

NSSは、低解像度入力から高解像度画像を再構築し、テンポラルデータと統合アンチエイリアシングを組み合わせて、モバイルで効率的に画質を向上させます。

［画像: Neural Frame Rate Upscalingの図。2つのレンダリングフレーム、デプス、モーション入力をニューラルネットワークに供給し、ニューラルネットワークが中間AIフレームを生成することを示しています。ハードウェアアクセラレーションされたオプティカルフローがモーション推定をサポートします。］

NFRUは、モーション、デプス、レンダリングフレームデータを使用して、よりスムーズなモバイルゲームプレイのための中間高品質フレームを生成します。

ArmとSumo Digitalによって開発されたNeural Dawnは、開発者がNFRUとNSSDをプロダクションゲームパイプラインに統合する方法を示しており、ネイティブレンダリングと比較して最大4倍のパフォーマンス効率と最大70％低い外部メモリトラフィックを実現しています。これらの改善により、Unreal Engine MegaLightsのような高度な技術がモバイルデバイスで実用的になります。

Neural DawnゲームでNFRUとNSSDが連携してモバイルグラフィックスを改善する方法を説明しています。

従来のレンダリングとニューラルグラフィックスを組み合わせることで、開発者は画質を維持しながら、GPUおよびシステムレベルのワークロードを削減できます。プレイヤーにとっては、モバイルデバイスの制約内で、よりシャープな画像、よりスムーズなフレームレート、よりリッチなシーン、そしてより応答性の高いゲームプレイを意味します。

A new execution engine increases the graphics budget

ニューラルアクセラレーションと並行して、Mali G2-Ultra NXは新しい実行エンジンを導入しました。これは7世代で最大のMali GPU命令セットアーキテクチャのアップグレードであり、パフォーマンスを向上させながらますます複雑なグラフィックスワークロードを処理するように設計されています。ワープあたり最大2倍のレジスタを提供し、GPUがますます要求の厳しいシーンをより効率的に処理するのに役立ちます。これにより、開発者は一貫したフレームレートを維持しながら、よりリッチなビジュアルとより複雑なエフェクトのためのヘッドルームを増やすことができます。

［画像: Mali G2-Ultra NXシェーダーコア内にニューラルアクセラレータが統合されているアーキテクチャ図。実行エンジン、メモリシステム、制御構造と並んで、INT8およびINT16処理、オプティカルフローアクセラレーション、共有GPUリソースのサポートを備えています。］

Mali G2-Ultra NXは、シェーダーコア内に専用のニューラルアクセラレーションを直接統合し、GPUメモリと制御構造を共有して、ニューラルグラフィックスワークロードの効率を向上させます。

アーキテクチャの改善は、前世代と比較して最大24％高いベンチマークパフォーマンスと14％高い非AIゲーミングパフォーマンスに翻訳されます。アーキテクチャの改善とNFRUによるニューラルアクセラレーションを組み合わせることで、最大120 FPSでより長いモバイルゲーミングセッションをサポートし、よりスムーズで応答性の高いゲームプレイを実現します。

［動画］

NFRUによる高いフレームレートがMali G2-Ultra NXでビジュアルの滑らかさをどのように向上させるかを示すサイドバイサイド比較

Third-generation ray tracing unit delivers richer lighting and shadows more efficiently

Mali G2-Ultra NXは、Armの第3世代ハードウェアレイトレーシングを導入し、モバイルデバイスでより複雑なライティング、シャドウ、リフレクション、ジオメトリをサポートします。新しいGPUアーキテクチャは、主要なレイトレーシングベンチマークで最大13％低いDRAMトラフィックを提供し、シーンの複雑さが増すにつれてメモリプレッシャーを軽減します。

一方、Opacity Micromapsのハードウェアサポートは、複雑な透明ジオメトリをより効率的に処理するのに役立ち、モバイルデバイスでよりリッチな葉、より詳細なファブリック、レイヤードサーフェス、その他の複雑なシーン要素を可能にします。Armのデモの1つでは、Opacity Micromapsを使用することでフレームレートが30％向上し、レイトレーシングワークロードが最大70％削減され、このテクノロジーが複雑なジオメトリをモバイルでより実用的にする方法を示しています。

［動画］

Opacity Micromapsによって可能になったリアルタイムレイトレースシャドウ。Moku's Central Gardenで鮮やかな環境を作成しながらパフォーマンスを維持します。

ニューラルグラフィックスは、これらのレイトレーシングの進歩を補完します。新しいレイトレーシングハードウェアとNFRUのようなニューラルテクノロジーを組み合わせることで、モバイルレンダリングの制約内で、よりリッチなビジュアルディテールをより効率的に提供できます。

Giving developers a practical path to bring neural graphics to production faster

しかし、新しいグラフィックスハードウェアは、開発者が使い慣れたツールとワークフローを通じてそれにアクセスできる場合にのみ価値を提供します。Armは、Arm Neural Technologyとニューラルグラフィックス用のオープン開発キットを使用して、Mali G2-Ultra NXの2年前にソフトウェアエコシステムの準備を開始しました。これにより、Tencent Games Central TechのMagic DawnやUnity ChinaのTuanjie Engineを含むコンテンツ開発者、ツール開発者、ゲームエンジンプロバイダーは、ハードウェアが登場する前にニューラルテクニックに早期アクセスし、既存のワークフローに統合を開始できました。

「ニューラルグラフィックスは、次世代のモバイルゲームを構築する方法に新たな可能性を開いています。Armと協力して、MagicDawnにArm Neural Technologiesを統合し、Arena Breakout InfiniteとNSSDテクノロジーデモを共同開発しています。テクノロジーイノベーションをエンジン、開発者、実際のゲームコンテンツに接続することで、より高度なグラフィックス体験を大規模にモバイルプレイヤーに提供できるエコシステムの構築を支援しています。」Nathan Chen氏、Technology部門責任者、Tencent Games。

「Armとのコラボレーションは、新しいテクノロジーをエンジンに組み込む以上のものです。それは、より広範な開発者エコシステムがそのテクノロジーを活用できるようにすることです。Tuanjie EngineにArm Neural Technologyをネイティブに統合することで、開発者が高度なニューラルグラフィックスをより簡単に採用し、中国のゲームエコシステム全体でテクノロジーイノベーションから実際のゲームプレイへのパスを加速するのを支援しています。」Junbo Zhang氏、CEO、Unity China。

Tencent GamesとUnity Chinaが、使い慣れた開発ワークフローにニューラルグラフィックスをどのように取り込み、AIネイティブモバイルグラフィックスをテクノロジーからプロダクションへと移行させるのを支援しているかを説明しています。

現在、Arm Neural Graphics Development Kitは、確立されたグラフィックスAPI、ゲームエンジン、およびカスタムワークフロー全体で、その作業をプロダクションに進めるために必要なソフトウェアとツールを提供します。開発者スタックには、NSSとNFRU、Vulkan用の機械学習拡張機能、およびUnreal Engineを含む主要なゲームエンジン用のプラグインが含まれています。SDKはカスタムエンジンの統合をサポートし、プロファイリング、グラフィックス最適化、トレーニング、モデル最適化ツールは、開発者がニューラルグラフィックスワークロードを評価および微調整するのに役立ちます。

これらのすべてのリソースは、スタジオがカスタムの調査インフラストラクチャを構築したり、すでに使用している開発ワークフローを変更したりすることなく、実験からプロダクションへのパスを提供します。

Where Winds MeetのEngine LeadであるKeli Zhou氏は次のように述べています。「Armとのコラボレーションを通じて、Messiah EngineにArm Neural Technologyを統合し、実際のゲーム開発に導入しています。Where Winds Meetは、Arm Neural Technologyをプレイヤーに提供する最初のゲームの1つとなり、エンジンレベルの統合から実際の展開への重要な一歩となります。共に、ゲームエコシステム全体でニューラルグラフィックスの開発者によるより広範な採用への道を開いています。」

The AI-native graphics foundation for Arm CSS for Mobile 2

高度なモバイルグラフィックスには、GPUだけでなくシステム全体の最適化が必要です。Arm CSS for Mobile 2内で、Mali G2-Ultra NXはAIネイティブグラフィックスを、コンピュート、メモリ、ソフトウェア、および実装の最適化と組み合わせて、シリコンパートナーがモバイルの電力および熱制約内でますます要求の厳しいワークロードを管理できるようにします。

これらの機能を実製品に投入する準備ができたエコシステムと組み合わせることで、モバイルグラフィックスの天井が引き上げられ、よりリッチなビジュアルと、数十億ものモバイルデバイスに提供されるよりスムーズな体験が可能になります。

Arm Mali G2-Ultra NX

ニューラルアクセラレータをグラフィックスパイプラインに直接統合することで、モバイルグラフィックスを前進させます。