AIにコードで絵を描かせるトレーニング
Training AI to Paint with Code (surya.website)
要約
この記事では、AIモデルがプロンプトだけでなくコードを生成して画像を生成する手法について説明しています。研究者たちは、Qwen 3.5 35Bモデルを、p5.brush JavaScriptスケッチを生成するようにファインチューニングしました。報酬関数を調整し、ペアワイズ評価と参照プールを導入することで、モデルはより洗練されたコードと画像を生成できるようになりました。
全文翻訳
AIモデルで画像を作成する際、参加できる唯一の方法はプロンプトです。画像を直接編集することはできません。何かを変更するには、モデルに戻って再度プロンプトを入力する必要があります。この制約が、このプロジェクトの始まりでした。私の友人であるCameronと私は、強化学習を用いて、コードを書くことで画像を生成する言語モデルをトレーニングしました。コードは成果物であり、編集可能です。プロンプトに戻ることなく、モデルが生成したものをもっと細かく変更できます。
このプロジェクトが問うより深い問いは、創造的およびデザイン的なタスクで強化学習をどのように行うかということです。RLは、報酬が検証可能な場合に機能します。数学の問題は正解か不正解かです。ゲームは勝つか負けるかです。美的品質はどちらでもありません。デザインの問題は、報酬関数と、審査員に適用を求められる基準になります。厳格すぎると、モデルは収束します。緩すぎると、モデルは漂流します。
私の貢献
デザイン
開発
RLリサーチ
チーム
Surya
Cameron Franz
Alex Wang
仕組み
このシステムは4段階のループで、トレーニング中に数千回実行されます。
モデルは、水彩画でハイビスカスの絵を描いてのようなプロンプトを受け取り、完全なp5.brush JavaScriptスケッチを作成します。スケッチはサンドボックス化されたPuppeteer環境でレンダリングされ、PNGが生成されます。PNGは、手動で評価されたプールからランダムにサンプリングされた2つの参照絵画と比較され、別の審査員モデルがより良い水彩画を選択します。この審査は報酬信号に変換され、GRPOがモデルを更新し、ループが再度実行されます。
非自明な選択は、審査対象、審査方法、参照プールに含まれるもの、およびシステムプロンプトの書き方にあります。それぞれが以下のセクションの主題です。
reference pool · 581 refs · 117 love-tiertwo sampled per rolloutthousands of iterationsPromptpeach hibiscus in watercolourModelQwen 3.5 35B writes JSRenderPuppeteer → PNGJudgepairwise vs 2 refsRewardGRPO update
promptmodeltoolingjudgeupdate
トレーニングループ。
0501001502000.000.250.500.650.751.00training reward · 200 stepstraining step →rewardold rubric · 9 signalsnew rubric · 4 signals0.65 — old rubric ceilingwhat changed in the reward function ↓OLD9 signals · 5 redundantcompile5%brush use5%length ramp32%HPSv310%council8%recognise10%aesthetics15%technique8%depth7%5 judges, ρ = 0.85–0.95NEW4 signals · pairwise dominatescompile gate5%length5%HPSv330%pairwise60%
古いルーブリックと新しいルーブリック、同じ軸上の報酬曲線。
参照プール
プールには581枚の参照絵画があります。これらはすべて、1664回の生成から手動で評価され、117枚がラブティア、266枚がOK、198枚が別の生成実行からの補足として、手動評価された例が少ない色域を広げるために使用されました。
プール内のすべての画像はモデルの出力です。ライブラリはニッチなツールであり、アーティストが使用するため、十分な人間の作成例を調達できませんでした。生成作業は2つのパイプラインで行われました。AutoResearch(Opus 4.6、GPT-5.4、Gemini 3.1 Proを使用)は、VLM審査員がスコアとフィードバックを提供する参照写真に対して繰り返し行われました。そして、Gemini 3.1 Proでのより大きなバッチ実行が行われました。両方のパイプラインは、次のセクションで説明されているGEPAを通じて進化していたシステムプロンプトに供給されました。
システムプロンプトの進化
システムプロンプトも改善が必要でした。初期バージョンには、400行のp5.brush APIリファレンスが含まれていました。モデルは、存在しないAPIを考案した、自信に満ちたフォーマットの良いコードを生成しました。
修正は、スコアリング関数に対してプロンプトを進化させるプロンプト最適化ライブラリであるGEPAを使用して行われました。味覚にアンカーされた7ショット審査員に対して200回のイテレーションを実行しました。最適化は、8つのブラシメソッドの厳格な許可リスト、APIドキュメントなし、例なしのプロンプトに収束しました。最初に3つのうち3つの生成が、400行のリファレンスを完全に破棄した後に書かれたバージョンで、視覚的なハイビスカスの塊を生成しました。
この発見は一般化しました。システムプロンプトでの長い参照ドキュメントは、モデルにAPIを幻覚させました。短く、意見のある許可リストは、元の仕様よりも出力をより良く制約します。
v0 · 開始点
frontier models still hallucinated APIs
v0v4Pareto sibling(different strengths)
v4 · Using GEPA on API reference
hallucinations dropped
passedfailedrejected proposal— bolder edge = main lineage
GEPAプロセス図。
進捗
トレーニングステップごとのモデルの出力。
トレーニング済みモデルの生成例。それぞれが、画像にレンダリングされるJavaScriptをモデルが記述して生成されました。
結論
強化学習には検証可能な報酬が必要です。数学の問題は正解か不正解かです。ゲームは勝つか負けるかです。美的嗜好はどちらでもありません。主観的な作業でRLを行うには、報酬を手作業で作成し、それが一般化するのに十分注意深く設計する必要があります。具体的にしすぎると、モデルはあなたが評価した例をコピーすることしか学習しません。緩すぎると、何も特定のことしか学習しません。クリエイティブなタスクのためのRLは、味覚がユーザーの好みに一般化できる構造を作成するためのデザイン問題です。
私はこれが画像を生成するより良い方法だとは思いません。実際、はるかに遅いです。しかし、このプロジェクトを開始したとき、AIによる画像作成に参加できる唯一の方法がプロンプトであることに不満を感じていました。このプロジェクトにより、プロンプト、モデル、および成果物全体に注意と労力を注ぐことができました。プロジェクトは進行中であり、発見した問題を修正するための最終的なトレーニング実行が予定されています。完全な技術レポートは6月26日に公開される予定です。
[画像: トレーニングされたモデルによる生成例]