ガウシアンによるペイント
Painting with Gaussians (yogthos.net)
要約
本記事では、画像のエッジ情報を利用してデジタルペイント風の画像を生成するインタラクティブなツール開発について解説しています。筆者は、ブラシストロークを計算論的に表現するために2次元ガウシアン分布(スプラット)を採用し、構造テンソルを用いて画像のエッジやテクスチャの方向性・密度を抽出してブラシストロークの形状や配置を決定しました。これにより、従来のグラデーション降下法に頼る手法よりも高速かつ直感的なペイント生成を実現しています。
全文翻訳
ガウシアンによるペインティング
昨年、私はエッジ認識ピクセル化ツールを開発し、画像をピクセルアートに変換しました。これは、画像のエッジに沿ってグリッドを変形させることで、単純な固定グリッドよりもエッジをシャープに保ち、ディテールを維持することに成功しました。
その後、同じエッジ情報をデジタルペインティングの文脈にも応用できることに気づきました。ペイントプログラムは、ブラシストロークをどこに配置するか、どのくらいの大きさにするか、どの方向に流すべきかを決定する必要があります。その多くは、領域間の境界を示すエッジにすでにエンコードされています。これらはブラシがなぞるオブジェクト領域の輪郭であり、その不在は比較的平坦な領域を示唆し、そこにはいくつかの広いストロークで十分です。
そこで、画像構造から派生したマークがブラシストロークのように見える、デジタルペインティング風のスタイルで描画するプログラムを作成できるか試してみることにしました。目標は、スライダーを操作するとペイントがその場で再形成されるインタラクティブなツールを作ることでした。このプロジェクトは、Joltをテストドライブし、非自明なプロジェクトの構築にどれだけ役立つかを確認する絶好の機会でもありました。
この記事では、すべてがどのようにまとまったかを段階的に説明します。うまくいったアイデアとそうでないアイデアを見ていきます。最も重要なのは、最終結果が実際に何らかの絵のように見えるかどうかを見つけることです。
なぜガウシアンなのか?
最初に考慮すべき質問は、計算論的にブラシストロークとは何かということです。油絵具やアクリル絵具のストロークは、色の中心があり、そのエッジに向かって色が薄れていく細長いマークであり、その向きはキャンバス上でブラシをドラッグした結果です。エッジは半透明で、ストロークは重なり合い、画家はまず広い色のブロックを置き、その上に小さく半透明なマークでディテールを重ねていくことができます。
2Dガウシアンのスプラットは、このアイデアに驚くほどよくマッピングされます。中心(平均)はストロークが着地する場所、共分散行列はストロークの伸びと回転を表し、色と不透明度も持ちます。共分散は、ブラシの方向とその細長さをエンコードするために使用でき、長軸はストロークに沿って、短軸はストロークを横切るように配置されます。標準的なオーバーコンポジットでスプラットのフィールドをレンダリングし、各スプラットがアルファ値によって背後のものを隠すようにすると、マークが重なり合い、ブレンドできる自然なペインティングモデルと同様の効果が得られます。もちろん、実際の絵具のような忠実度は得られないため、効果はGIMPやKritaのようなツールを使ったデジタルペインティングに近くなります。
このアイデアには、DrawingWithGaussiansや2d-gaussian-splatting-Artのような実装がすでにいくつか存在します。しかし、どちらも勾配降下法を使用しており、ランダムなスプラットをシードし、レンダリングされたフィールドがターゲット画像の見た目になるまで、位置、形状、色を繰り返し微調整します。これはよく知られたアプローチですが、遅くて不透明です。最悪なのは、最終結果が入力画像の損失のある再構築にすぎず、どのような絵にも見えないことです。
画像からエッジ情報を抽出するソリューションはすでにあったので、盲目的に画像を進化させる意味はないと思いました。代わりに、抽出されたエッジはペイントプロセスをガイドするために使用できます。なぜなら、それらはディテールがどこにあるか、そしてストロークの向きを教えてくれるからです。ディテールの密度とピクセルの色があれば、勾配降下法に頼ることなく、必要なすべての情報が得られます。基本的に、既存の画像をトレースするだけで済みます。本当にどれほど難しいでしょうか?
そこで、加算ブレンドを使用する参照ラスタライザーに従い始めました。ピクセル = 背景 + Σ(強度 × 色) です。このアプローチは、オプティマイザーがオーバーラップを補正する色を学習するため、フィッティングレジームで機能します。残念ながら、ピクセル色から直接数千のスプラットをシードし、それらを加算的にレンダリングすると、オーバーラップが大幅に増加します。64×64の画像に1,200個のスプラットを使用すると、一部のピクセルで合計が22.06に達し、画像全体に純粋な白い塊が生成されました。幸いなことに、この問題はアルファコンポジットの標準的なオーバー演算子を使用して解決できます。これにより、各スプラットがアルファ値によって背後のものを隠すようになり、合計色は1.0を超えることはありません。このアプローチのもう1つの利点は、画像からサンプリングされた色と不透明度をクリーンに分離できることです。
エッジはどこに描くかを教えてくれる
このセクションのすべての画像は、同じ写真が同じパイプラインで処理されたもので、1つのアイデアをオフにしただけです。ソース、ストローク予算、ベースサイズはすべて同じです。そのため、各ステップは、その1つのアイデアが何をもたらすかを正確に示しています。
以下のソース写真を使用し、アプリを改善するにつれて進捗を記録して、各アイデアが何をもたらすかを説明しました。新しいトリックが追加されるにつれて、ペイントがどのように進化するかを見てみましょう。
[画像: 元の写真]
初期レンダラーでは、かなり悲しい出力が得られました。均一なモザイクのように見えました。すべてのスプラットは同じサイズ、アスペクト比、回転を持ち、同一のブロブの規則的なグリッドを生成しました。まだ絵にはあまり見えません。
[画像: 初期レンダリング]
実際の画家は、空や滑らかな表面のような平坦な領域にはいくつかの広いストロークを使用し、ストロークを変化させます。次に、エッジや目や布地のようなテクスチャ領域では、オブジェクトの輪郭に沿って多数の細かいストロークを作成するために、より小さなブラシが使用されます。
これをエミュレートする1つの方法は、構造テンソルを使用して画像勾配を計算することです。これは、各ピクセルで色がどの程度、どの方向に変化するかをエンコードします。勾配の外積から2x2のテンソルが形成され、近傍でぼかされます。重要なのは、テンソルの固有ベクトルが3つの重要なことを教えてくれることです。主要固有ベクトルは輪郭を横切り、最も強い勾配の方向を示します。マイナー固有ベクトルはエッジに沿って、ブラシストロークの方向を与えます。そして、固有値の比率であるコヒーレンスは、エッジがシャープな輪郭なのか、等方性のマッシュなのかを教えてくれます。
各スプラットは、その位置にあるこのテンソルから独自の共分散を取得し、エッジに沿って細長くなります。細長さはコヒーレンスに比例します。平坦な領域は丸いままですが、エッジはシーンのオブジェクトの輪郭をトレースする、細く方向性のあるストロークになります。これはLitwinowiczとHertzmannによる古典的なペイントリーレンダリングトリックです。これが実装されると、目を細めると、レンダリングはブラシストロークのように見えるものになり始めました。ここで、毛皮と帽子のつばが方向性を帯び、ひげが現れ始めます。
[画像: 構造テンソル適用後]
しかし、ここで別の問題に直面しました。構造テンソルは輝度勾配を使用するため、グレースケールであり、肌色の唇と肌色の唇のような等色性のエッジや、灰色の壁に青い看板のようなエッジに対しては盲目になります。幸いなことに、Di Zenzoカラーテンソルを使用して、RGBチャネルごとにSobel勾配を計算できます。それらの外積を1つのテンソルに合計すると、輝度エッジと同じくらい強く方向性を駆動する色エッジが得られます。
エッジだけでは不十分
構造テンソルは方向性を把握する問題を解決しますが、領域の密度については何も教えてくれません。それを知らずに、その領域にいくつのストロークが必要で、どのくらいの小ささにする必要があるかを判断することはできません。
エッジ強度を使用してこれを把握し、それに基づいてストローク数を決定できると思うかもしれません。しかし、そうするとオブジェクトのテクスチャが完全に失われます。たとえば、砂利道は一貫したエッジ構造はほとんどありませんが、独自の細かいマークに値する高周波ディテールがたくさんあります。一方、滑らかな頬には単一の輪郭エッジがありますが、その内部は広く保たれるべきです。逆に、かすかだが本物のエッジ、例えば微妙な布地の折り目や遠くの木の枝は、絶対勾配の大きさが小さいですが、レンダリングする必要があります。したがって、エッジ分析のみに依存すると、元の画像に存在する多くの重要なディテールを再現することは不可能になります。
ここで、私がこの記事で説明したHaarウェーブレットが登場します。輝度に対してマルチスケール2DHaar分解を実行すると、各セルでスケール全体の詳細係数を合計することで、詳細エネルギーマップが生成されます。マップは、テクスチャ化されたエッジ領域で高い値、ディテールが不足している領域で低い値を含みます。しかし、生のウェーブレットエネルギーは絶対値の問題を抱えています。本物のテクスチャを持つ暗い領域は、中程度のテクスチャを持つ明るい領域よりも絶対エネルギーが少なく、暗いディテールが洗い流されてしまいます。
ここで必要なのは、再び、輝度相対の詳細マップです。各セルのエネルギーを、グローバル平均の分数プラス局所平均輝度で割ります。これで、暗い領域もディテールを保持できます。そして、このマップは構造テンソルからの局所正規化されたエッジ強度と融合されているため、平坦な領域のかすかな輪郭でもストロークを引き付けます。
だからこそ、これらのテクニックの両方がここで価値があるのです。テンソルはすべてのストロークの方向性とコヒーレンスを運び、ウェーブレットは適応配置を駆動するために必要な密度マップを特定します。これらが組み合わさることで、ディテールがどこにあり、どのような形状をしているかという質問に対する完全な答えが得られます。この時点で、物事がまとまり始め、ソース画像から抽出された情報が、単純なアルゴリズムによるストローク配置を超えて十分になりました。
詳細マップは、どこに小さなマークが費やされるかを決定し、ぼやけた背景は滑らかなウォッシュに変わり、ストロークは毛皮や目のような詳細領域に集まります。
[画像: 詳細マップ適用後]
グリッドを殺す
しかし、まだ話していない問題が1つ残っています。適応的な方向性と密度があっても、ストロークにわずかな規則性があるため、出力はオフに見えます。それらの配置と規則的な形状は、規則的な配置グリッドを持つことのアーティファクトです。
画像をセルに分割し、各セルに1つのストロークを配置する階層グリッドを使用すると、エッジで必然的にアーティファクトが発生します。偶然ですが、これはJPEG圧縮で高レベルで見られるのと同じ問題です。グリッドを壊すためにセル内の位置をジッターしたり、詳細レベルごとに回転グリッドを使用したりすることは可能ですが、これらの回避策はグリッドが規則的であるという根本的な問題に対処しません。
したがって、グリッドアプローチは、インデックスのWangアバランチハッシュから派生した位置にストロークを配置するために放棄する必要があります。この方法は、周期性のない真のホワイトノイズ座標を提供します。ただし、ここには微妙な点があります。単純な線形ハッシュ (frac × i A) は、Marsaglia超平面上に点を生成し、グリッドアーティファクトよりも悪い対角線ストライプを引き起こします。各入力ビットがすべての出力ビットに影響を与える、適切なアバランチミックスが必要です。
[画像: グリッドを排除後]
絵のように見せる:ノイズを特徴として
この時点で、エッジに沿ったストロークが適応的な密度で配置され、キャンバス全体に滑らかに描画されていましたが、結果はまだ規則的すぎると感じられました。与えられたエッジ上の各ストロークは、同じ長さ、同じ間隔、同じ配置であり、実際のブラシストロークはそうではありません。描画効果をよりもっともらしくするために、手の揺れや圧力の変化をエミュレートする方法が必要でした。
そして、微妙な構造的バリエーションを追加するのに、パーリンノイズほど良いものはありません。最近、この記事で、それをフローアニメーションの作成に使用する方法を示しました。そのため、頭に新鮮だったので、自然にそれを手に取りました。装飾されていない2つのデカップリングされた2Dパーリンチャンネルを使用して、滑らかなベクトルフローフィールドを形成できます。次に、各ストロークの方向性は、構造テンソルのエッジ角度とパーリンフロー角度を、(1 − コヒーレンス)で重み付けしてブレンドすることで導き出すことができます。コヒーレンスが1に近づくと強いエッジでストロークは輪郭に忠実に従い、コヒーレンスが0に近い平坦な領域ではより有機的なフローフィールドになります。このトリックを使用すると、ノイズファクターによって導入された乱流のおかげで、背景が流れるようなブラシストロークのように見えます。
フローフィールドは、構造テンソルの大幅にぼかされたコピーから計算され、エッジの方向性を周囲の平坦な領域に拡散します。遠くの輪郭のフローが背景に波及するため、ディテールが少ない領域のストロークは近くの特徴に従います。特徴をガイドするものが何もない領域では、パーリンベクトルフィールドが有機的な曲線を作成し、方向バイアスがなくなります。ストロークが同一に見えるのを避けるために、ストロークごとのサイズと色にも独立したノイズチャンネルが必要です。これは、マークが実際にブラシストロークのように見え始めた最初のバージョンです。
[画像: パーリンノイズ適用後]
もちろん、それはすべて紙の上では良く聞こえますが、実際には画像に規則的な波状パターンが見え始めました。調べてみると、パーリンの曲がりは共有された空間フィールドであるため、隣接するストロークが位相で波を生成し、領域を通過する各チェーンが同一の曲がりシーケンスを受け取ることがわかりました。結果は、一貫したファブリックのような織りのように見えます。そして、それは指や布の折り目のような中程度の強さのエッジの近くで特に顕著です。そこに自然なバリエーションを得るには、各ストロークが独立して揺れるように、ノイズ座標にパーシードの位相オフセットが必要になります。
レイヤリング:画家がキャンバスを構築する方法
すべてのコアピースが配置されたので、次のステップは実際のペイントを行うことでした。私のアイデアは、物理的なペイントプロセスをエミュレートすることでした。大きなスプラットを使用して一般的な色の領域を定義し、次に徐々に小さなスプラットをレイヤー化して、その上に徐々にディテールを追加します。このようにして、ペイントは広いアンダーペインティングから始まります。次にミッドトーンが追加され、次にグレーズ、そして最後に細かいディテールが追加されます。各レイヤーは、下のレイヤーよりも半透明で具体的であり、すでに構築された構造を補強します。
ベースレイヤーには、画像全体を完全に覆う大きくて不透明なストロークが含まれており、空のスペースを作成するギャップがないことを保証します。次に、興味深いコンテンツがどこにあるかを示すウェーブレット詳細マップから派生した、被写体適応型の広いティアです。被写体性が低い背景では、ストロークが大きくなり疎になり、ボケ効果を作成して柔らかなダブに溶け込みます。ディテールが高い被写体の下では、画像の重要な特徴を捉えるために、ストロークをタイトに保つ必要があります。ミッドティアはベースレイヤーと基本的に異ならず、短い半透明のストロークを含み、グレーズを表して画像全体の形状を引き出します。したがって、ここでの全体的なメカニックはほぼ同じままです。
ファインティアは、実際のブラシストロークが存在する場所です。この解像度では単一のダブでは不十分であり、各ファインシードは、連続した線に融合するように、エッジ接線に沿ってステップされたテーパー付きガウシアンセグメントのチェーンをトレースする必要があります。低周波パーリンノイズを使用してチェーンをわずかに曲げます。サイズとアルファは、ブラシを持ち上げるようにテールに向かってテーパーが付きます。色はエッジの片側からサンプリングする必要があり、両側のペイントが境界で交差するのではなく、境界で出会うようにします。強いエッジでは、ファインストロークはほぼ不透明なペイントを運び、グレーズの上に配置されるインパストライナーストロークをエミュレートします。エッジマップは、詳細ストロークの長さを通知するためにも使用され、各ストロークは、 breaks or sharp corners のない連続したセグメントをトレースします。したがって、ストロークは実際のペイントブラシのように、長さと形状に多くのバリエーションがあります。
各リファインメントレベルはより半透明であるため、ディテールはそれを引っ掻くのではなく、アンダーペインティングに蓄積されます。ただし、細かいディテールでは、色境界に当たるストロークが元の色からずれるにつれてテールに向かってフェードするようにすることが難しくなります。不一致が大きすぎると、チェーンは放出する前に停止する必要があり、これは画家が領域境界でブラシを持ち上げることをシミュレートします。
ここで、前の画像と同じストロークですが、レイヤーで構築され、上に行くにつれてますます半透明になり、色に特化するようになった完全なパイプラインを最終的に見ることができます。さらに、シルエットをそれぞれの側から再提示するエッジティアもあります。最終結果が絵のように見えるかどうかは自分で判断できますが、私の目にはかなり良いようです。
[画像: レイヤリング適用後]
同じクロップの前(左)と後(右)は、ひげが毛皮ににじむのではなく色を保持し、目が周囲に対してシャープに配置されている様子を示しています。
[画像: クロップ比較]
GPUへの移行
CPUパイプラインから始めましたが、これはレンダリングごとに55〜112ミリ秒で実行され、数万のスプラットには十分でした。プルリクエストこちらとこちらで見られるいくつかのパフォーマンス最適化につながったため、価値がありました。したがって、コンパイラチューニングには役立つ演習でしたが、詳細なペイントには何十万もの小さなストロークが必要であり、チューニングしても役に立ちません。各スプラットがClojureの割り当てであるということは、ベクトル全体がフレームごとにGPUに渡される必要があることを意味します。
この時点で、唯一実行可能な解決策は、生成全体をGPUに移動し、OpenGLコンテキスト内で作業を行うことでした。都合の良いことに、私がすでに採用していたアプローチは、ジオメトリシェーダーを使用したトランスフォームフィードバックにうまくマッピングされ、候補点の頂点プログラムにフィードされます。次に、シェーダーは各点を詳細マップに対して閾値テストし、配置計算を実行し、生き残ったものに対してパックされたスプラットレコードを発行します。バッファはGPU上に留まり、レンダリングパスを直接実行できます。
GPUでの重い計算により、さまざまなパラメータをインタラクティブに調整するのに十分な速度が得られました。使用されるスプラットの数、スプラットの最小サイズ、それらの硬さ、およびさまざまな解像度でのスムージングを制御することで、レンダリングされる各画像のエンドエフェクトを調整できます。これらのコントロールのほとんどは、ブラシサイズ、ペイントロード、グレーズの透明度、ストローク長、手の安定性などの物理的なペイントの概念に緩やかにマッピングされます。これらすべてが、問題をペイント演習としてモデル化するというアプローチから自然に生まれました。
そして、さまざまな種類のシーンや設定でペインターがどのように機能するかを示す、さらにいくつかの例です。
[画像: 例1]
[画像: 例2]
[画像: 例3]
[画像: 例4]
[画像: 例5]
[画像: 例6]
結論
生成画像モデルの時代にあっても、従来の画像変換技術で何が達成できるかを見るのは楽しいことです。概念を証明するためのデスクトップアプリの構築は、JoltとGTK上の私のGlimmerリアクティブGUIライブラリにとって素晴らしい演習となりました。この演習は、Joltの型ヒント最適化の不足を明らかにし、全体的なパフォーマンスの向上につながり、nREPL駆動開発ワークフローを実証するのに役立ちました。
最終的に、この実験は成功だったと言えます。さらにチューニングして、さらにリアルなペイント効果を生み出すことも可能ですが、一般的な概念は期待どおりに機能しました。画像の分析エッジとテクスチャからその構造を抽出すると、画家がブラシストロークをどこに配置するかを決定するために使用する情報と同じような情報が得られることがわかりました。その意味で、このアルゴリズムは実際にデジタルペインティングを行っています。
しかし、このプロジェクトの本当に楽しい部分は、以前は個別にいじっていたパーリンノイズ、ウェーブレット、エッジ検出などの多くのテクニックを組み合わせることでした。これらのさまざまなトリックがこのプロジェクトのために集まり、それらの合計よりも大きなものを構築することが可能になりました。私は、以前に学んだことに基づいて構築し、それらを新しい方法で組み合わせて新しく予期しないものを作成できる、最もやりがいのあるタイプの実験だと感じています。この旅を、私がプロジェクトに取り組んだのと同じくらい楽しんでいただけたなら幸いです。
いつものように、プロジェクトはオープンソースであり、GitHubで見つけることができます。