同じThree.jsタスクで10種類のモデル/ハーネスの組み合わせをテストした

Hangar Harness / Model Tests 私は、どのモデルとハーネスの組み合わせが最良の結果をもたらすかを見つけるために、同じプロンプトを異なるモデルとハーネスの組み合わせでテストしています。これは /goal モードで行います。 プロンプト: ホバリングするドローン、アニメーションする警告灯、発光する滑走路、そして微妙なボリュームフォグ風プレーンを備えた、シングルページのThree.jsサイエンスフィクション格納庫を構築してください。ドローンのフォーメーション切り替え機能と、シネマティックなカメラパスを含めてください。インラインJavaScriptを含む、自己完結型のHTMLファイルを1つ出力してください。 以下は、モデル、ハーネス、ファイル、所要時間、TTFT、入力トークン、出力トークン、推論トークン、合計トークン、キャッシュ入力率、ツールコール数、ツールエラー数、ブラウザでの開き具合、スクリーンショットの確認結果をまとめた表です。 モデル ↕ ハーネス ↕ ファイル ↕ 所要時間 ↕ TTFT ↕ 入力トークン ↕ 出力トークン ↕ 推論トークン ↕ 合計トークン ↕ キャッシュ入力 % ↕ ツールコール ↕ ツールエラー ↕ ブラウザで開いた ↕ スクリーンショット確認 GLM 5.3 Flash Max Codex Open 9分 0.232秒 9.344秒 457,685 17,458 7,694 475,143 85.26% 14 1 ブロック済み いいえ Luna 5.6 MaxCodexOpen 9分 13.098秒 6.199秒 1,146,755 25,512 6,879 1,172,267 92.76% 322 はい はい SOL 5.6 MaxCodexOpen 10分 48.765秒 8.460秒 1,069,163 28,278 7,515 1,097,441 94.60% 215 いいえ いいえ Astra 6.0 MaxCodexOpen 37分 29.705秒 3.589秒 1,292,366 43,129 15,271 1,335,495 94.93% 205 はい いいえ GLM 5.3 Flash MaxOMPOpen 30分 14.979秒 6.596秒 1,678,509 63,405 — 1,741,914 78.54% 570 はい はい Qwen 3.8 27B x-highOMPOpen 41分 25.836秒 15.275秒 3,407,451 71,935 49,131 3,479,386 86.92% 890 はい はい GLM 5.3 Flash MaxOpenCodeOpen 20分 28.948秒 6.284秒 4,305,447 50,468 33,414 4,355,915 96.89% 670 はい はい Qwen 3.8 27B x-highOpenCodeOpen 8分 48.470秒 10.182秒 665,490 41,817 28,788 707,307 95.64% 130 はい はい Qwen 3.8 27B x-highDSH / PTCOpen 24分 32.929秒 7.724秒 1,012,499 89,894 — 1,102,393 91.69% 235 はい はい Qwen 3.8 27B x-highDSHOpen 18分 15.239秒 6.755秒 2,654,457 78,232 — 2,732,689 95.48% 422 いいえ いいえ 全てのGLM実行はGLM 5.3 Flash Maxとラベル付けされています。入力トークンにはキャッシュされた入力が含まれます。出力トークンは生成された合計であり、推論も含まれます。ハーネスが推論を別途報告する場合、推論列はそのサブセットを示します。DSHアダプターは、個別の推論カウントを報告しません。DSHの所要時間は、ターン間のポーズを除き、両ターンのアクティブなターン時間を合計したものです。ツールエラーは、失敗したツールイベントを記録します。ダッシュは、利用不可または未報告を意味します。