AI・機械学習
Show HN: Parsimony – AIモデルが追加するコード量を測るオープンソースベンチマーク
Show HN: Parsimony – an open-source benchmark for how much code AI models add (parsimony.lasu.dev)
要約
Parsimonyは、AIモデルが生成するコードの「過剰さ」を測定する新しいオープンソースベンチマークです。既存のベンチマークが解決率やトークン数を評価するのに対し、Parsimonyは長期的なプロジェクトで問題となるコードの冗長性を評価します。構文要素を「コーディングユニット」としてカウントし、削除されたコードは差し引くことで、純粋なコード追加量を測定します。
全文翻訳
既存のベンチマークは、解決率やトークン出力/コストを測定しますが、コードの過剰さを罰しません。これは長期的にコードベースの扱いにくさを増大させます。私は、長期プロジェクトで最も重要となるこの点を測定したいと考えました。
手法: 既存のベンチマーク(DeepSWE, SWE-bench Verified, SWE-bench Live)が公開しているパッチを取得し、「コーディングユニット」をカウントします。これは、ステートメント、コール、名前、リテラルなどの構文要素です。行数を使用しないため、コードを詰め込むことは評価されません。削除されたコードは差し引かれるため、純粋なユニット数を測定します。
GPT-6とClaude 5.5はまだ公開パッチがないため、私は自身のサブスクリプションで3〜10個のタスクに対して自分で実行しました(ランク付けされておらず、薄い円で示されています)。
フィードバックやモデルの貢献を歓迎します。特に、新しいモデルの公開パッチのエクスポートを求めています。
GitHub: https://github.com/La5u/Parsimony
どのベンチマークとも提携していません。