写真の物理的に制御可能な再照明
Physically Controllable Relighting of Photographs (yaksoy.github.io)
要約
この研究では、コンピュータグラフィックスのパイプラインのように、光源を明示的に制御できる写真の再照明手法を提案しています。ユーザーはシーンにスポットライト、ポイントライト、環境照明などの異なる種類の光源を挿入できます。この手法は、中間レベルのコンピュータビジョン、物理ベースレンダリング、ニューラルレンダリングを組み合わせたパイプラインで実現されます。また、微分可能レンダリングを用いた自己教師あり学習手法により、実世界の写真コレクションでニューラルレンダラーを訓練し、実環境での汎化能力を高めています。
全文翻訳
写真の物理的に制御可能な再照明
CGパイプラインのように、光源を明示的に制御できる写真の再照明手法を提案します。ユーザーは、スポットライト、ポイントライト、または環境照明などの異なる種類の光源をシーンに挿入できます。これは、中間レベルのコンピュータビジョン、物理ベースレンダリング、およびニューラルレンダリングを組み合わせたパイプラインで実現されます。実世界の写真コレクションでニューラルレンダラーを訓練するために、微分可能レンダリングを用いた自己教師あり学習手法を導入し、実環境での汎化能力を高めます。
概要
実環境での画像再照明のための自己教師ありアプローチを提案します。これにより、物理的に基づいた照明編集を完全に制御可能にします。このパイプラインでは、従来のレンダリングの物理的精度と、ニューラルレンダリングによって可能になる写実的な外観を組み合わせています。まず、単眼によるジオメトリと内部コンポーネントの推定を使用して、与えられたシーンのカラーメッシュ表現を推測します。この表現により、ユーザーは3Dで希望する照明構成を定義できます。次に、パストレーシングエンジンを使用して新しい照明下でのシーンをレンダリングします。この近似レンダリングをフィードフォワードニューラルレンダラーに渡し、最終的な写実的な再照明結果を予測します。微分可能レンダリングプロセスを開発し、実環境のシーン照明を再構築することで、生の画像コレクションでのニューラルレンダラーの自己教師ありトレーニングを可能にします。私たちの手法は、Blenderのような典型的な3Dコンピュータグラフィックスツールで利用可能な、実環境での再照明に対する明示的な物理的制御をもたらす上で、重要な一歩となります。
ビデオ
論文
メディアリリース
| ［画像］ | SFUの研究者が、Blenderのような照明制御をあらゆる写真にもたらす新しいツールを開発 SFU Computing Science, 2025 PetaPixel - 科学者たちが、写真に3Dでリアルに再照明を施す驚異的なツールを作成 Two Minute Papers - 新しいAI研究が、Photoshopが決して解決できなかった問題を解決！ |
ポスター
BibTeX
@INPROCEEDINGS{careagaRelighting,
author={Chris Careaga and Ya\u{g}{\i}z Aksoy},
title={Physically Controllable Relighting of Photographs},
booktitle={Proc. SIGGRAPH},
year={2025},
}
ライセンス
本研究で提示された方法論は、知的財産保護の下で管理されています。ライセンスの機会に関するお問い合わせは、SFU Technology Licensing Office <tlo_dir ατ sfu δøτ ca> および Yağız Aksoy 博士 <yagiz ατ sfu δøτ ca> までご連絡ください。
関連論文
| ［画像］ | Chris Careaga and Yağız Aksoy ACM Transactions on Graphics (Proc. SIGGRAPH Asia), 2024 Best Paper Award Honorable Mention 概要 Intrinsic image decomposition（固有画像分解）は、単一の写真から表面反射率と照明の影響を分離することを目的としています。この問題の複雑さから、ほとんどの先行研究は単色照明とランバート面の世界を仮定しており、照明を意識した画像編集アプリケーションでの使用を制限しています。本研究では、入力画像を拡散アルベド、カラフルな拡散シェーディング、および鏡面残差成分に分離します。単色照明、次にランバート面の世界の仮定を段階的に除去することで結果を得ます。問題をより簡単なサブ問題に分割することにより、限定的なグラウンドトゥルースデータセットにもかかわらず、実環境でのカラフルな拡散シェーディング推定が可能であることを示します。拡張された固有モデルは、写真の照明を意識した分析を可能にし、鏡面除去やピクセルごとのホワイトバランスなどの画像編集アプリケーションに使用できます。 原稿と詳細 BibTeX @ARTICLE{careagaColorful, author={Chris Careaga and Ya\u{g}{\i}z Aksoy}, title={Colorful Diffuse Intrinsic Image Decomposition in the Wild}, journal={ACM Trans. Graph.}, year={2024}, volume = {43}, number = {6}, articleno = {178}, numpages = {12}, } |
| ［画像］ | Chris Careaga and Yağız Aksoy ACM Transactions on Graphics, 2023 概要 Intrinsic decomposition（固有分解）は、さまざまな逆レンダリングおよび計算写真パイプラインにおいて重要な役割を果たす基本的な中間レベルのビジョン問題です。高精度な固有分解の生成は、本質的に制約が少ないタスクであり、連続値のシェーディングとアルベドを正確に推定する必要があります。本研究では、問題を2つの部分に分割することで、高解像度の固有分解を実現します。まず、シフトおよびスケール不変の損失を用いた密な順序シェーディング定式化を提示し、予測が固有モデルに従うことを制限することなく、順序シェーディングの手がかりを推定します。次に、低解像度と高解像度の順序推定を組み合わせて、グローバルな整合性とローカルな詳細の両方を持つシェーディング推定を生成する2番目のネットワークを使用します。推定されたシェーディングおよび固有モデルによって暗示されるアルベドに損失を計算することで、モデルが正確な分解を学習することを奨励します。モデルの予測と複数照明データを使用して密な疑似グラウンドトゥルースを生成する簡単な方法を開発し、実環境の画像への汎化を可能にします。最先端の方法と比較して、予測された固有成分の網羅的な定性的および定量的分析を提示します。最後に、色変更や再照明などの、そうでなければ困難な編集タスクを実行することによって、予測された固有成分の実世界での適用可能性を実証します。 原稿と詳細 BibTeX @ARTICLE{careagaIntrinsic, author={Chris Careaga and Ya\u{g}{\i}z Aksoy}, title={Intrinsic Image Decomposition via Ordinal Shading}, journal={ACM Trans. Graph.}, year={2023}, volume = {43}, number = {1}, articleno = {12}, numpages = {24}, } |
| ［画像］ | Chris Careaga, S. Mahdi H. Miangoleh, and Yağız Aksoy SIGGRAPH Asia, 2023 概要 ネットワークベースの画像調和技術において顕著な進歩があったにもかかわらず、典型的なトレーニングペアと推論中に遭遇する実世界のコンポジットとの間にドメインの不一致が依然として存在します。既存のほとんどの方法は、セグメント化された画像領域に対して行われたグローバル編集を逆にするようにトレーニングされており、これはコンポジット画像で見られる前景と背景の間の照明の不整合を正確に捉えることができません。本研究では、固有画像ドメインで定式化された自己教師あり照明調和アプローチを導入します。まず、中間レベルのビジョン表現から単純なグローバル照明モデルを推定して、前景領域のラフなシェーディングを生成します。次に、ネットワークがこの推測されたシェーディングを洗練して、背景シーンに一致する調和のとれた再シェーディングを生成します。前景と背景の色調を一致させるために、アルベドドメインでパラメータ化された画像編集を実行するために、以前の調和アプローチのアイデアを利用します。私たちの手法の有効性を検証するために、困難な実世界のコンポジットからの結果を提示し、最先端の調和方法と比較して達成されたリアリズムの向上を客観的に測定するためにユーザー調査を実施します。 原稿と詳細 BibTeX @INPROCEEDINGS{careagaCompositing, author={Chris Careaga and S. Mahdi H. Miangoleh and Ya\u{g}{\i}z Aksoy}, title={Intrinsic Harmonization for Illumination-Aware Compositing}, booktitle={Proc. SIGGRAPH Asia}, year={2023}, } |