HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

2つのステルスモデルがリーダーボードに登場、どちらもFable 5.2を上回る

Two stealth models just appeared on the leaderboard, both ahead of Fable 5.2 (contralabs.com)

78 pointsby cheptsov25 コメント

要約

Frontier Design Benchmarkは、実際の高価値で複雑なデザインプロジェクトに基づいた初のベンチマークです。Contra Labsネットワークのプロのデザイナーが評価を行い、デザインの質を保証しています。このベンチマークでは、デザイン評価の質を保証するために、デザイン批評ルーブリックとAIスロップパターンのリストも構築されました。

全文翻訳

実際のデザインプロジェクト、デザイナーによる審査、ルーブリックによるスコアリング

Frontier Design Benchmarkは、実際の高価値で複雑なデザインプロジェクトに基づいた初のベンチマークです。Contra Labsネットワークのプロのデザイナーが審査を行い、評価の質を保証しています。

このベンチマークでは、デザイン批評ルーブリックとAIスロップパターンのリストも構築しました。ルーブリックのスコアは、デザイナーによるモデルの評価と高い相関があります(r = 0.94)。これらの追加メトリクスは、ペアワイズの選好の上に、説明可能なデザイン品質の判断を提供します。