HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Vathographs:写真による奥行きマップを創造的表現として

Vathographs: Photographic depth maps as creative expression (vathography.com)

33 pointsby hankbond10 コメント

要約

Vathographyは、写真からAI(Marigold V2)を用いて奥行き情報を抽出し、それを基に新たな表現を生み出す手法です。この技術により、従来のレンズによる固定的なピント合わせの制約から解放され、被写界深度を自由に操作して、写真の新たな創造的可能性を探求できます。この手法は、特別な機材を必要とせず、一枚の写真から奥行きを推測するため、誰でもアクセス可能で、写真表現の新たな地平を切り開くものです。

全文翻訳

Vathographyの紹介

ENDEFR

[画像: ベルンでトラムのプラットフォームを横断する群衆の写真]写真

[画像: 同じシーンのVathograph:暗い人物の中に、白い男性一人だけが前面に押し出されている]Vathograph

ハンドルをドラッグ:片側に写真、もう片側にVathograph。

アイデア

カメラは私たちが目にするすべて、光、色、影を捉えます。それは常に写真のあり方を形作ってきました。高解像度のアートワークに必要な細部まで写真を個別のコンポーネントに分解できるMarigold V2がリリースされたことで、単一の要素にまで蒸留された写真が何になるのかを探求するきっかけとなりました。Vathographyでは、その要素は「体積」です。写真のデータから、拡散トランスフォーマー(diffusion transformer)が奥行きを推測します。これは、単一の画像から推定された、シーン内のすべての点の相対的な距離です。その結果は、もはやドキュメンタリーの意味での写真ではなく、光の下に存在する形、つまり体積への翻訳となります。

隠された宝石

写真から推測される奥行きは、隠された技術的なパスです。ポストプロセス内で使用されることを意図しており、表示されるものではありません。例えば、Photoshopでリアルなレンズぼかしを追加するには、まず奥行きの推定が必要となり、ソフトウェアはその推定値を使用して画像の各部分をどれだけぼかすかを計算します。

しかし、私たちが撮影するシーンの体積による表現は、それが作られた中間ステップよりもはるかに多くのものを持っています。Vathographyは、この技術的なパスをアートワークへと形作り、シーンへの新たな創造的なアプローチを開きます。

言葉

Vathographyは、ギリシャ語のvathos(深さ)+ --graphy(描画、書記)に由来します:深さを描くこと。

  • vathos(深さ)
  • -graphy(描画、書記)

新しい創造的焦点

写真では、焦点はキャプチャの瞬間にレンズによって固定されます。一つの平面がシャープになり、その選択は最終的なものです。体積から作業することで、その制約は消滅します。奥行きは値であり、焦点は、その値をトーンや色にマッピングすることになります。細い白い帯が単一の距離を際立たせ、グラデーションが多くの距離にわたって注意を広げ、任意の距離を一度に前面に押し出すことができます。焦点はレンズの特性ではなくなり、コントラストや色を自由に用いて作成される、画像自体の特性となります。

同じ写真、奥行きのマッピングを変更した3つの例。

新しい写真の撮り方

プロセスを変更するポストプロセス:Vathographyのために写真を撮るということは、キャプチャ時に光や色ではなく、奥行きと体積によってシーンを読み取ることを意味します。ここでは生成されたシーンで説明します。

[画像: 生成シーンA、拡散光と灰色の服:曇り空の下、街の歩道を歩く女性]

[画像: 拡散光下の生成シーンAから推定された奥行きマップ、近くから遠くまで灰色のトーンで表示]

生成シーンA、拡散光と灰色の服。

[画像: 生成シーンA、光の帯とカラフルな服:同じ通りが日の出時に、女性に光の帯がかかっている]

[画像: 生成シーンA(光の帯あり)から推定された奥行きマップ。最初の奥行きマップと同じように見える]

生成シーンA、光の帯とカラフルな服。

照明と色が異なる同じ生成シーンですが、要素が奥行きの中で同じ位置にあるため、推定された奥行きマップは同じように見えます。撮影時には、光と色を脇に置き、体積が奥行きの中でどのように構造化されているかによってシーンにアプローチします。これは、私たちを異なる被写体や異なる構図へと引き込む可能性があります。被写体はもはやキャプチャ時に決定されるものではありません。焦点は後で選択され、複数の距離を一度に前面に押し出すことができるため、画像の任意の要素が被写体となり、一つのシーンが異なる奥行きに多くの被写体を保持することができます。最も興味深いVathographは、意図を持って撮影された写真から生まれると信じており、そこから探求が始まります。

Vathographyプロセス

クリエイティブなコントロールは、プロセス全体を通してアーティストの手に委ねられています。撮影時には、アーティストはVathographyのために意図的に被写体と構図の創造的な選択を行います。シーンは、その体積が奥行きの中でどのように配置されているかによって読み取られます。写真から奥行きマップが推測されたら、アーティストはクリエイティブな焦点を作者として設定し、大気遠近法のような静かな霞から、反対のトーン値や色の鮮やかなコントラストまで、望む被写体を強調し、画像を形成します。

  1. [画像: ステップ1:写真、頭上の電線の下にあるトラムプラットフォーム上の群衆]

    1写真 Vathographyのために意図的に撮影された写真。

  2. [画像: ステップ2:写真から推定された奥行き、近くから遠くまでを示すカラーマップとして表示]

    2体積推定 Marigold V2が写真から奥行きを推測します。

  3. [画像: ステップ3:その奥行きから作られたVathograph]

    3アートワーク 自由に配置されたクリエイティブな焦点と、推測されたマップに対するアーティスト自身のプロセス。

シリーズ

First Steps into the Depth

コンテキストと新規性

測定された幾何学からアートワークが作られた例は過去にもあります。ScanLAB Projectsは10年以上にわたりレーザースキャナーを使用して、Post-Lenticular LandscapesでMuybridgeのヨセミテを再トレースしてきました。ポイントクラウドアートも、レーザースキャンや被写体の周りで撮影された多数の写真から構築され、それ自体が学術的な主題となっています。

Vathographyのアプローチは異なります。キャプチャ時には、単一の写真のみが必要です。カメラで自由に撮影でき、追加の機材は不要で、体積は画像自体から推測されます。

推測された奥行きマップは、元々は中間的なポストプロセスパスとして意図されていましたが、最終的なアートワークへと昇華されます。それは、写真がその体積へと蒸留されたものです。

この実践は、写真の焦点を再定義します。もはやキャプチャ時のレンズによって決定されるものではありません。それは創造的な選択となり、どこにでも、任意の距離で、一つの被写体、または複数の被写体に同時に配置できます。

これによりプロセス自体が変化し、写真への新しいアプローチが得られます。私たちはVathographyのために、意図的に奥行きと体積で構成します。

高解像度のアートワークに必要なすべてのこれを達成することが実用的になったのは、最近のことです。Marigold V2のリリースにより可能になりました。これが、私がVathographyを作成し、2026年10月1日に公開するきっかけとなりました。Marigold V2チームの寛大なApache 2.0ライセンスのおかげで、このアプローチはすべての人に開かれており、他のアーティストがこれを使って何を作り出すのかを見るのが楽しみです。

クレジット

Vathographyの実践は以下によって作成されました

Karim Joseph Nassar

実践声明

doi.org/10.5281/zenodo.23103262 · Zenodo (CERN)

奥行き推定

Marigold V2 — Igor Pavlovic, Thiemo Wandel, Anton Obukhov, Luca Bartolomei, Andrey Davydov, Fabio Tosi, Matteo Poggi, Sabine Süsstrunk, Dengxin Dai

モデル

Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation

Igor Pavlovic, Thiemo Wandel, Anton Obukhov, Luca Bartolomei, Andrey Davydov, Fabio Tosi, Matteo Poggi, Sabine Süsstrunk, Dengxin Dai

ACM Transactions on Graphics (SIGGRAPH Asia 2026)

EPFL · HUAWEI Bayer Lab · University of Bologna

Apache License 2.0の下でリリース

論文デモコードウェイト@antonobukhov1をフォロープロジェクトページ

無料ツール

ComfyUI。 奥行き推定のために、リリース時にMarigold V2を使い始め、ComfyUIがサポートする前にLLMで独自のパイプラインを構築しました。現在、ComfyUIではすぐに使えるテンプレートからネイティブに実行でき、ガイドも提供されています。

新しいComfyUIユーザーへの注意:ComfyUIは無料でオープンソースであり、誰でもカスタムノードを公開できます。悪意のあるコードを運ぶものもあります。提供されているガイドは、公式のネイティブ実装です。

公式ComfyUI Marigold V2ガイド

公式Vathography高解像度タイリングノード。 ComfyUIの公式Marigold V2ワークフローは、画像全体を一度に処理するため、解像度はグラフィックカードのメモリによって制限されます。私は、より高解像度を可能にするメモリ効率の良いタイリングアプローチで奥行きを推定するカスタムComfyUIノードパックをリリースしました。これらのノードは商用利用も無料です。

Vathography公式ComfyUIノード

公式Vathography Blenderアドオン。 焦点を創造的に配置し、アートワークを形成するために、商用利用も無料の公式Vathographyアドオンの無料版を使用できます。

Vathography公式BlenderアドオンBlender

姉妹実践

Askiagraphy:光と影から解放され、その本質的な色、静かな構造を明らかにする写真。