なぜLLMのペリカンはこう見えるのか？

なぜLLMのペリカンはこう見えるのか？ プロンプト「自転車に乗るペリカンのSVGを生成して」を与えられたとき、LLMはなぜこのように生成するのでしょうか？サイモン・ウィリソンの実行から得られたオリジナルのSVG・最高推論設定でSVGが返されたもの。これらのようになることもできるのに？これは誰も話していないLLMの多様性崩壊問題です。 追伸：私たちは、LLMの創造性に関する研究の一環として、UIデザインにおけるこの多様性崩壊をベンチマークしました。 デザイン創造性ベンチマーク 創造性スコア — 人間参照 92.3 01GPT-6 Astra 65.5 02GPT-6.1 Sol 63.7 03Grok 4.7 62.2 04Gemini 3.8 Flash 60.6 完全なリーダーボードを見る↗ DDDipanjan Dey ✓@Dipanjan_Dey𝕏⚠️ フロンティアAIモデルは、デザイン創造性において人間のデザイナーに大きく劣っています。⚠️デザイン創造性ベンチマークを紹介します。これは、UIデザインタスクにおけるAIモデルの創造性を評価する新しいベンチマークです。投稿を展開⌄投稿を折りたたむ⌃DDDipanjan Dey ✓@Dipanjan_Dey𝕏⚠️ フロンティアAIモデルは、デザイン創造性において人間のデザイナーに大きく劣っています。⚠️デザイン創造性ベンチマークを紹介します。これは、UIデザインタスクにおけるAIモデルの創造性を評価する新しいベンチマークです。 機能的なウェブサイトや製品UIを生成する能力は急速に進歩していますが、主要なAIモデルは依然として創造的なデザイン上の意思決定に苦労しています。 私たちは、16のフロンティアモデルを80のオープンエンドUIタスクで評価しました。各タスクは、2つの異なる製品ドメインに適合され、人間のデザイナーの参照も含まれています。 既存のUIベンチマークは、しばしば単一の出力品質メトリックを測定します。代わりに、私たちはデザイン創造性の3つの次元を測定します： – オリジナリティ：同じブリーフに対する他のモデルの出力と比較して、モデルの設計がどれだけ異なっているか。 – クリエイティブレンジ：製品ドメインが変わったときに、モデルがデザイン上の意思決定をどれだけ適応させるか。 – 適切性：生成されたUIがブリーフの機能要件をどれだけ満たしているか。 結果は、全体的な創造性に大きなギャップがあることを明らかにしています。最良のモデルである@OpenAI GPT-6 Astraは、人間の参照値92.3に対して65.5を記録しました。 私たちは、デザイン創造性をフロンティアモデルの能力の測定可能な次元とするために、完全なリーダーボード、方法論、および再現可能な評価フレームワークを公開しています。 📊 ベンチマークリーダーボード：https://kombai.com/benchmark/ 📄 ペーパー：https://arxiv.org/abs/2610.11539 🤗 HuggingFace データセット：https://huggingface.co/datasets/Kombai/design-creativity-bench 🔗 Github：https://github.com/kombai-io/design-creativity-bench/ Xで表示↗