オスカー受賞者がシミュレーションソフトウェアでモンスターに命を吹き込む

オスカー受賞者がシミュレーションソフトウェアでモンスターに命を吹き込む

子供の頃、学校へ歩いていく途中、ジェルネイ・バルビッチは故郷の美しさに心を奪われていました。彼はスロベニア（旧ユーゴスラビア）北西部の、ヨーロッパアルプスに位置する絵のように美しい村で生まれ育ちました。アルプス杉やブナの木々に囲まれ、バルビッチはそれらが風に揺れる様子を再現して、他の人々にも楽しんでもらいたいと夢見ていました。

当時、彼はそれを実現するためのツールや知識を持っていませんでしたが、それがコンピューターグラフィックスへの関心を spark させたと彼は言います。

ジェルネイ・バルビッチ

雇用主

ロサンゼルスの南カリフォルニア大学

役職

コンピューターサイエンス教授

会員資格

シニア会員

出身校

スロベニアのリュブリャナ大学、カーネギーメロン大学

20年後の2016年、ロサンゼルスの南カリフォルニア大学のコンピューターサイエンス教授であるバルビッチは、その名を刻みました。彼のZiva VFXソフトウェアシステムは、3Dデジタルヒューマンやクリーチャーのためのリアルな筋肉、脂肪、皮膚のシミュレーション作成を可能にします。

この技術は、彼が設立を支援したスタートアップであるZiva Dynamicsによって2016年にローンチされ、バンクーバーに本社を置いています。2021年にサンフランシスコのUnity Technologiesに買収されました。

Ziva VFXは、Aquaman and the Lost Kingdom; Godzilla x Kong: The New Empire; そしてVenom: Let There Be Carnageを含む60以上の映画で使用されています。

Ziva VFXのデザインと開発により、IEEEシニア会員であるバルビッチは、2025年の技術功績アカデミー賞を受賞しました。彼は、この賞は映画制作に大きな影響を与えた技術を称えるものであり、「計り知れない名誉」だと述べています。

「コンピューターグラフィックスとシミュレーションは、時に専門的な技術分野のように感じられるかもしれませんが、この賞は、これらのアイデアが科学だけでなく、芸術や画面上で物語がどのように語られるかにも影響を与えることを示しました。」

「数学によって可能になったデジタルキャラクターは、人々の生活の重要な一部となります。」

コンピューターグラフィックスへの関心を spark させる

バルビッチは、セメント工場の研究部門を率い、セメントの完全性をテストするために磁気共鳴画像法を使用する技術を発明したエンジニアである父親から、エンジニアリングを追求するインスピレーションを受けたと語っています。父親の仕事は彼に、「数学と物理学はそれ自体が美しいが、エンジニアリングはあなたが他の人々が使えるものを構築することを可能にする」と示しました。

母親が彼にコンピューターサイエンスを紹介してくれました。母親は小学校の教師でした。彼が8歳のとき、母親が教えていた学校がZX Spectrumコンピューターを購入しました。校長の許可を得て、母親はそれを息子に2週間遊ばせるために家に持ち帰りました。しかし、彼はゲームをするだけでなく、BASICプログラミング言語を使って独自のゲームを作成しました。

そのマシンには、コンピュータープログラムの書き方を説明する小冊子が付属していたと彼は言います。

「最初は、何をしているのか理解せずにそのままコピーしていました。しかし、構造があることに気づき、指示を修正しました。」

［画像: リアルな3Dアニメーションのキングコングのゴリラの顔のクローズアップ。］彼の技術で命を吹き込まれたクリーチャーの中で、バルビッチは2024年の『Godzilla vs. Kong』のキングコングに特に魅了されています。DNEG/Warner Bros. Entertainment Inc./Legendary

2週間の終わりまでに、彼は雪だるまを曲がりくねった道に沿って導くコンピューターゲームを開発しました。それは予測不可能に左右に動き、プレイヤーはできるだけ長く道にとどまることでポイントを獲得しました。

バルビッチは、2000年にスロベニアのリュブリャナ大学で数学の学士号を取得しました。翌年、彼はカーネギーメロンでコンピューターサイエンスの博士課程を開始するためにアメリカに移りました。それは彼の人生における大きな転換点だったと彼は言います。

彼の博士研究は、外部からの力が加わったときに形状が変化するオブジェクト、「変形オブジェクト」のシミュレーション方法の開発に焦点を当てていました。

そのプロジェクトは彼のその後の研究の多くを形作ったと彼は言います。「私はシミュレーションを正確にするだけでなく、実用的にすることにも興味を持つようになりました。つまり、実際のアプリケーションで使用できるほど高速で、堅牢で、制御可能にすることです。」

2007年にコンピューターサイエンスの博士号を取得した後、彼はMITで博士研究員として働きました。2年後、彼はUSCに助教授として着任しました。

映画の魔法を可能にする

USCで、バルビッチはコンピューターサイエンスへの情熱と映画を融合させました。彼は、人々がリアルな3D変形オブジェクトをアニメートできるオープンソースソフトウェアプログラムであるVega FEMを開発しました。しかし、Vega FEMは範囲が狭く、映画制作者が必要とするものとは正確には異なっていたため、彼は映画業界に適したバージョンを作成する方法を模索し始めました。

「私のキャリアの大きなテーマは、研究アイデアを実用的なツールに翻訳することです。」と彼は言います。「学術研究はしばしば美しいアルゴリズムを生み出しますが、それらのアルゴリズムをアーティスト、エンジニア、または制作チームが利用できるようにすることは困難です。私は常にその橋渡しに興味を持っていました。厳密な計算方法を取り入れ、人々が実際に使用できるシステムに変えることです。」

2011年、彼はACM（Association for Computing Machinery）が主催するSIGGraph（Special Interest Group on Computer Graphics and Interactive Techniques）のカンファレンスに参加しました。そこで彼は、ウェリントン（ニュージーランド）のビジュアルエフェクト会社Weta FXのクリーチャー・スーパーバイザーであるジェームズ・ジェイコブスに会いました。同社は『ロード・オブ・ザ・リング』と『ホビット』の三部作やその他の映画のエフェクトを手がけています。ジェイコブスはバルビッチのソフトウェアを使用して、動物やファンタジーのクリーチャーを作成しました。

2年後、Weta FXはバルビッチにニュージーランドでの夏の間研究職を提供しました。彼はそれを受け入れ、ビジュアルエフェクト作成プロセスを研究し、映画業界における障害を学ぶことに時間を費やしました。

当時、デジタルキャラクターのためのリアルなソフトティッシュと解剖学的シミュレーションを作成する技術は存在しませんでした。

「ビジュアルエフェクト業界は、表面的なリアリズムだけでは不十分な段階に達していました」とバルビッチは言います。「クリーチャーは美しい肌のテクスチャと詳細なジオメトリを持つことができましたが、下の骨、筋肉、脂肪が正しく動かなければ、その錯覚は壊れてしまいます。」

「この問題は、生きているように感じられる必要があるクリーチャーやキャラクター、つまり動物、モンスター、ファンタジークリーチャー、またはデジタルダブルにとって特に困難でした。それらの体は馴染みのない解剖学的構造を持っているかもしれませんが、観客は依然として現実世界の期待に沿った動きを期待します。筋肉は膨張・収縮し、皮膚は伸びて滑り、脂肪は慣性を持ち、組織は動きや衝撃に反応する必要があります。」

この問題の解決を目指し、ジェイコブスは2014年にバルビッチにスタートアップの設立を持ちかけました。2015年に彼らはZiva Dynamicsを設立し、現在のZiva VFXの開発を開始しました。

このソフトウェアは、物理ベースのシミュレーションを使用してキャラクターの内部解剖学的構造をモデル化します。バルビッチによれば、これは筋骨格系の人間およびクリーチャーの組織に関する非線形弾性体の偏微分方程式を数値的に解いています。これらの方程式は、筋肉、脂肪、皮膚、結合組織がどのように変形し、骨と相互作用し、接続し、筋肉がどのように活性化されるかを説明します。アーティストは、外部表面だけをアニメートするのではなく、下にある筋肉、骨、軟部組織、脂肪を持つモデルを作成できます。各コンポーネントには、材料特性、制約、アタッチメント、およびアクティベーションが割り当てられます。シミュレーターは、それらが時間とともにどのように変形し、相互作用するかを計算します。

この技術は、計算力学、有限要素法、数値最適化、接触処理、コンピューターグラフィックスのアイデアを使用しているとバルビッチは述べています。有限要素シミュレーションは、製品や構造が熱やその他の現実世界の力にどのように反応するかを予測するために使用される方法であり、表面だけでなく、変形可能な材料を体積的にモデル化する方法を提供すると彼は言います。このツールは、内部の弾性力を計算し、運動方程式を解くことで、キャラクターの組織がアニメーション、ポーズ変更、筋肉の活性化、動的な動きに plausibly に反応するようにします。

しかし、システムはアーティストのために設計されなければならなかったとバルビッチは言います。制作において、目標は物理的なリアリズムだけでなく、制御可能なリアリズムでもあると彼は言います。

「アーティストは結果を指示し、反復し、シミュレーションをより大きなアニメーションパイプラインに適合させる必要があります。そのため、この技術は科学的なシミュレーションと実用的な制御、堅牢性、ビジュアルエフェクトワークフローとの統合を組み合わせる必要がありました。」

バルビッチは、Ziva VFXが60以上の映画で使用されていると述べています。彼の技術で命を吹き込まれたクリーチャーの中で、彼は2024年のGodzilla vs. Kongのキングコングに特に魅了されています。

「キングコングが歩いているとき、筋肉が非常に際立っていて、それが皮膚の形にどのように影響しているかを見ることができます。キングコングの強さを本当に感じることができます」と彼は言います。「そして、これは私のソフトウェアで作られたので、素晴らしいと思います。」

Ziva DynamicsがUnityに買収された後、バルビッチはほぼ2年間同社のコンサルタントを務めました。

2024年、ロンドンを拠点とするビジュアルエフェクトおよびコンピューターアニメーション会社であるDNEGがZiva VFXの独占ライセンスを取得しました。

人間の手の動きをアニメートする

バルビッチは、起業家および学術研究者としてビジュアルエフェクトの改善に努めています。彼の最新の研究は、米国国立科学財団の資金提供を受け、人間の手のモデリング、シミュレーション、アニメーションに焦点を当てています。目標は、ツール、医療用義肢、およびロボットハンドの設計に使用できる手のコンピューターモデルを作成することです。

「手は魅惑的で難しいシステムです」とバルビッチは言います。「それは多くの小さな骨、筋肉、腱、靭帯、皮膚、脂肪、その他の軟部組織を含み、すべてがコンパクトな構造に詰め込まれ、複雑な方法で機械的に相互作用しています。」

彼と彼のチームは、人間の手のデジタルツインを構築しました。

彼は「解剖学的に意味のあるシミュレーション」に進むことを目指しました。彼は医療画像、幾何学的モデリング、有限要素法、およびマルチボディシミュレーションを使用して、手の内部構造とその動きを表現しました。

「IEEEは、私の仕事を画像とアニメーションの世界だけでなく、正確で、安定していて、インタラクティブで、有用でなければならないエンジニアリングシステムの分野にも位置づけることを可能にします。」

彼は、当時USCの博士課程の学生だったボーハン・ワン氏と、放射線科の准教授であるジョージ・マツク氏と協力しました。ワン氏は現在、シンガポール国立大学のコンピューターサイエンスの助教授です。

バルビッチ、ワン、マツクは、MRI装置で4人の手のスキャンを行いました。2人の男性と2人の女性が12のポーズで手を配置し、チームは各ポーズで骨、筋肉、脂肪がどのように動くかについてのデータを収集することができました。

データセットは、自身の研究で誰でも使用できるように公開されています。

「このプロジェクトは、医師が手の動きについてさらに学ぶのに役立つ可能性があります」とバルビッチは言います。「また、ロボット工学者が人間の手が実際にどのように機能するかをよりよく理解するのにも役立ちます。そうすれば、[その動き]を再現できます。」

IEEE：学際的研究における不可欠な存在

バルビッチは2008年にIEEEに入会し、変形オブジェクトのシミュレーション方法に関する研究論文を、IEEE Transactions on Hapticsの創刊号に発表しました。その後、彼はIEEE Transactions on Visualization and Computer Graphicsにいくつかの論文を発表し、彼の仕事がビジュアルコンピューティングと計算方法に関心を持つより広いコミュニティとつながったと述べています。彼の研究はIEEE Xplore Digital Libraryで見つけることができます。

「IEEEはコンピューターサイエンスのエンジニアリング側面を認識しています。私の仕事はしばしばコンピューターグラフィックスとして提示されますが、その核心はシミュレーション、メカニクス、数値法、ハプティクス、ビジュアライゼーション、およびソフトウェアシステムでもあります。」

「IEEEは、そのより広いアイデンティティが意味をなすコミュニティです。それは、私の仕事を画像とアニメーションの世界だけでなく、正確で、安定していて、インタラクティブで、有用でなければならないエンジニアリングシステムの分野にも位置づけることを可能にします。」

彼は、この組織が世界規模で健全な学際的研究エコシステムをサポートする上で鍵となると信じており、だからこそ彼はTransactions on Visualization and Computer GraphicsおよびTransactions on Hapticsのアソシエイトエディターを務めてきたと述べています。

メンバーであることで、バルビッチは異なる分野のエンジニアとつながりやすくなったと言います。

「私の研究はしばしばカテゴリ間に位置します。それは数学的でありながら実用的であり、視覚的でありながら機械的であり、芸術的でありながらエンジニアリング主導です。IEEEは、その混合が理解される専門コミュニティの1つです。」