同じThree.jsタスクで10種類のモデル/ハーネスの組み合わせをテストした
I tested 10 model/harness combinations on the same Three.js task (alvins82.github.io)
要約
著者は、特定のThree.jsタスクに対して、異なるAIモデルとハーネスの組み合わせ10種類をテストしました。このテストでは、生成されたコードの品質、処理時間、トークン数などのパフォーマンス指標を比較しています。結果として、モデルやハーネスの選択がタスクの完了度や効率に大きく影響することが示唆されています。
全文翻訳
Hangar Harness / Model Tests
著者は、異なるモデルとハーネスの組み合わせで同じプロンプトをテストし、どれが最良の結果を生み出すかを判断しています。これは /goal モードで行われています。
プロンプト: ホバリングするドローン、アニメーションする警告灯、発光する滑走路、控えめなボリューメトリック風のフォグプレーンを備えた、単一ページのThree.js SF格納庫を構築してください。ドローンフォーメーションの切り替え機能とシネマティックカメラパスを含めてください。インラインJavaScriptを含む、自己完結型のHTMLファイルを1つ出力してください。
| GLM 5.3 Flash Max | Codex | 開く | 9m 0.232s | 9.344s | 457,685 | 17,458 | 7,694 | 475,143 | $0.005061 | $0.005853 | $0.004364 | $0.015278 | 85.26% | 14 | 1 | Blocked | No |
| Luna 5.6 Max | Codex | 開く | 9m 13.098s | 6.199s | 1,146,755 | 25,512 | 6,879 | 1,172,267 | $0.083075 | $0.106368 | $0.127560 | $0.317003 | 92.76% | 32 | 2 | Yes | Yes |
| Luna 6 Max | Codex | 開く | 5m 45.351s | 5.613s | 236,773 | 18,569 | 6,209 | 255,342 | $0.002762 | $0.002092 | $0.009285 | $0.014138 | 88.33% | 7 | 1 | No | No |
| SOL 5.6 Max | Codex | 開く | 10m 48.765s | 8.460s | 1,069,163 | 28,278 | 7,515 | 1,097,441 | $0.057707 | $0.101146 | $0.141390 | $0.300243 | 94.60% | 21 | 5 | No | No |
| Astra 6.0 Max | Codex | 開く | 37m 29.705s | 3.589s | 1,292,366 | 43,129 | 15,271 | 1,335,495 | $0.654860 | $1.226880 | $2.156450 | $4.038190 | 94.93% | 20 | 5 | Yes | No |
| GLM 5.3 Flash Max | OMP | 開く | 30m 14.979s | 6.596s | 1,678,509 | 63,405 | — | 1,741,914 | $0.027013 | $0.019775 | $0.015851 | $0.062639 | 78.54% | 57 | 0 | Yes | Yes |
| Qwen 3.8 27B x-high | OMP | 開く | 41m 25.836s | 15.275s | 3,407,451 | 71,935 | 49,131 | 3,479,386 | $0.187257 | $0.251736 | $0.215805 | $0.654798 | 86.92% | 89 | 0 | Yes | Yes |
| MiMo v2.6 Pro | OMP | 開く | 43m 26.933s | 2.659s | 8,950,527 | 165,588 | 124,602 | 9,116,115 | $0.127117 | $0.031170 | $0.144062 | $0.302348 | 96.74% | 87 | 3 | Yes | Yes |
| GLM 5.3 Flash Max | OpenCode | 開く | 20m 28.948s | 6.284s | 4,305,447 | 50,468 | 33,414 | 4,355,915 | $0.010045 | $0.062573 | $0.012617 | $0.085234 | 96.89% | 67 | 0 | Yes | Yes |
| Qwen 3.8 27B x-high | OpenCode | 開く | 8m 48.470s | 10.182s | 665,490 | 41,817 | 28,788 | 707,307 | $0.012184 | $0.054101 | $0.125451 | $0.191736 | 95.64% | 13 | 0 | Yes | Yes |
| Qwen 3.8 27B x-high | DSH / PTC | 開く | 24m 32.929s | 7.724s | 1,012,499 | 89,894 | — | 1,102,393 | $0.035355 | $0.078907 | $0.269682 | $0.383944 | 91.69% | 23 | 5 | Yes | Yes |
| Qwen 3.8 27B x-high | DSH | 開く | 18m 15.239s | 6.755s | 2,654,457 | 78,232 | — | 2,732,689 | $0.050424 | $0.215424 | $0.234696 | $0.500544 | 95.48% | 42 | 2 | No | No |
| Gemini 3.8 Flash High | Antigravity | 開く / トランスクリプト / スクリーンショット / 実行データ | 36m 15.810s | ~1s | 9,298,004 | 107,883 | 79,512 | 9,405,887 | $0.498147 | $0.647536 | $0.404561 | $1.550244 | 92.86% | 71 | 0 | Yes | Yes |
| SOL 6.1 Max | Codex | 開く / トランスクリプト / スクリーンショット / 実行データ | 15m 47.435s | 2.592s | 2,877,286 | 40,008 | 11,524 | 2,917,294 | $0.190668 | $0.278195 | $0.400080 | $0.868943 | 96.69% | 33 | 1 | Yes | Yes |
全ての GLM 実行は GLM 5.3 Flash Max とラベル付けされています。入力トークンにはキャッシュされた入力が含まれます。出力トークンは各ハーネスによって報告された生成合計です。推論が別途報告される場合、推論列にそのサブセットが表示されます。Antigravity の推論トークン数は、ローカルレスポンスメタデータから回復されました。その JSONL ログには含まれていませんでした。DSH アダプターは、個別の推論カウントを報告しません。DSH の期間は、ターン間のポーズを除き、両方のターンにわたるアクティブなターンの時間を合計したものです。Antigravity の TTFT (Time To First Byte) は1秒に解決されています。その実行期間は正確なセッションタイムスタンプを使用しています。ツールエラーは、失敗したツールイベントとして記録されます。ダッシュ（—）は、利用不可または未報告を意味します。
コストは、2026年9月9日に取得したレート（既存の行）、2026年9月22日に取得したレート（MiMo v2.6 Pro）、および2026年9月23日に取得したレート（GPT-6 Luna）を使用した OpenRouter 相当の USD 推定値です。
100万トークンあたりの基本レート（USD）（入力 / キャッシュ読み取り / 出力）は、GLM $0.075 / $0.015 / $0.250、Qwen $0.420 / $0.085 / $3.000、Luna $0.200 / $0.020 / $1.200、Sol $1.000 / $0.100 / $5.000、Astra $10.000 / $1.000 / $50.000、MiMo $0.435 / $0.0036 / $0.870、GPT-6 Luna $0.100 / $0.010 / $0.500 です。入力コストはプロンプトレートでのキャッシュされていない入力です。キャッシュ読み取りコストは入力キャッシュ読み取りレートを使用します。出力コストは完了レートを使用します。キャッシュ書き込みトークンは、報告された場合はゼロでした。Luna 5.6 Max とラベル付けされた Codex の行は、トランスクリプトに gpt-5.6-sol を記録しているため、Sol レートで価格設定されています。個々の OpenRouter リクエストは、272k トークンのロングコンテキスト価格設定しきい値を超えませんでした。
Gemini 3.8 Flash High のコストは、2026年10月14日に取得したレートを使用した Google Gemini Developer API Standard 有料ティアの推定値です。2026年12月31日までの紹介価格で、入力 $0.75/M、キャッシュ入力 $0.075/M、思考を含む出力 $3.75/M です。これは、回復された Antigravity トークン数を使用しています。実際の Antigravity サブスクリプション料金は利用できません。Google Gemini API 価格設定。
SOL 6.1 Max のコストは、2026年10月14日に確認したレートを使用した OpenAI API Standard ショートコンテキストトークンの推定値です。キャッシュされていない入力 $2/M、キャッシュ入力 $0.10/M、推論を含む出力 $10/M です。これは Codex の記録されたトークン数を使用しています。実際の Codex サブスクリプション料金は利用できません。直接ファイルブラウザでの試行1件はブラウザポリシーによってブロックされましたが、ローカルHTTPプレビューを通じて検証が継続されました。OpenAI API 価格設定 および 推論トークン課金。