GLM 5.3 Flashで1ヶ月コーディング
One month coding with GLM 5.3 Flash (wagtail.org)
要約
著者は9月いっぱい、効率的なオープンモデルであるGLM 5.3 Flashのみを使用してコーディングするという挑戦を行いました。結果として、目標の半分しかこのモデルを使用できず、他のモデルに10億トークンが費やされました。特に、プロトタイプ開発でのモデル選択ミスやインフラの利用可能性の問題、実験・研究開発のためのコストが課題となりました。
全文翻訳
GLM 5.3 Flash で1ヶ月コーディングしてみた
[画像: 2026年9月のAgentsViewトークン使用量を示すスクリーンショット、20億トークン超]
モデルの内訳に焦点を当ててみましょう。
[画像: 2026年9月のエージェントのトークン使用量のツリーマップ。半分がGLM 5.3 Flashに費やされている]
目標は、ティール色で示されたGLM 5.3 Flashモデルだけで1ヶ月を過ごすことでした。うまくいった点は以下の通りです。
- 月の前半をそのモデルだけで過ごすことに成功しました。
- そのモデルの使用量は予算内(68ドル、エネルギー消費量約4kWh / 炭素排出量365グラム)に収まりました。
月の後半はうまくいかず、10億トークンが他のモデルに費やされました。
予期せぬ障害
事前に警告しておきますが、これらは予期できた可能性が高いです!
バイブコーディングのコスト
私たちの実験的なWagtail MCPサーバーがバイブコーディングされたプロトタイプであることは、かなりオープンにしています。バイブコーディングは、私たちが通常目指すものではありませんが、プロトタイプとしては的確です。残念ながら、それには依然として結果が伴います。プロトタイプに「間違った」モデルを選択してしまい、ほぼ一晩で4億5000万トークン / 150ドル / 5kWhのエネルギーを消費しました。MCPサーバー自体はうまく機能し、現在ではその能力の素晴らしいデモがありますが、無駄ではありませんでした。
それでも、モデル選択とエージェント的なパターンには注意が必要であることを思い出させてくれます。おそらく、それほど労力をかけずに、5倍以上のコストで同等の結果を得られたはずです。教訓になりました!これには予算を組み、より慎重になる必要があります。予期できたかもしれませんが、今はわかっています。
インフラの苦労
もう一つの予期せぬ障害は、インフラの可用性に関する問題でした。推論プロバイダーの比較について広範囲にわたって書いてきましたが、私たちの選択はほとんどの場合うまく機能しますが、それらは非常に人気があり、すべてのGPUを買い占めている大手ラボと同じ容量を持っていないことが判明しました。特にGLM 5.3 Flashのパフォーマンスの低下に気づきましたが、これはおそらく、私たちの仕事に関連するモデルのパレートフロンティアにおいて非常に高い位置にあるためでしょう。
[画像: モデルのエージェント指標コスト対タスクの散布図。エージェント指標とタスクあたりのコストを比較]
注:これは、欧州のデータセンターで利用可能なオープンモデルのみを表示するようにフィルタリングされています。他の場所で推論を実行しても構わない場合、パレートフロンティアは異なるかもしれません。
私たちにとって、利用可能なモデルでは、他の類似モデル(DeepSeek V4.1 Flash、Qwen 3.8 Flash)に切り替える必要がありました。これは非常に簡単なことですが、それでも予期せぬことでした!
実験とR&Dのコスト
最後になりましたが、日々のエンジニアリングで1つのモデルを使用することに加えて、プロバイダーがリリースしているものを常に把握し、幅広いモデルを実験し続けることが不可欠だと感じました。これは、特にWagtailタスクでのモデルパフォーマンスのベンチマークを開始する上で重要であり、幅広いモデルのデータが必要です。私たちのベンチマークのプレビューです。
[画像: 14のAIモデルのデータテーブル。精度(パーセント)、エネルギー使用量(Wh)、コスト(ドル)を報告。テーブルの上位はDeepSeek V4.1 Flashで、精度95%、エネルギー使用量14.9Wh、タスクあたり0.09ドル]
このような具体的なデータがあれば、よりスリムなオプションを人々に案内しやすくなります。そして、エージェントスキルや、エージェントとうまく連携するように設計された新しいCLIプロトタイプで、これらのオプションをさらに実行可能にすることができます。
うまくいったこと
すべてが悪かったわけではなく、確かにこのチャレンジをより長く続けたいと思っていますが、それは日々の「本番」作業の50%以上に対してのみであり、R&Dのためではありません。GLM 5.3 Flash自体は素晴らしかったです!モデル比較から、それがこのようなチャレンジにこれほど適している理由を改めて強調する価値があります。
- 100万トークンのコンテキストウィンドウにより、あらゆる拡張コーディングタスクが可能です。
- ビジョンサポートにより、スクリーンショットやQAから視覚的に構築できます。
- 幅広いプロバイダーで利用可能であるため、健全な競争の恩恵を見ることができます。
Wagtail自体、それを使って構築されたサイトで動作させました。UIタスク、AI R&D、ドキュメント作成も少し。多くの評価を行いました。本当に多用途です。
まとめと今後の計画
技術的には、このチャレンジは失敗でした。ターゲットモデルの使用率は50%(20億トークンのうち10億)、エネルギー消費量は10kWhではなく約35kWhでした。しかし、この時期に不可欠な多くのことを学びました。10月のこの経験を振り返り、成功させるためのポイントは以下の通りです。
- 継続的なローカル使用状況の測定と報告。トークンだけでなく、エネルギー使用量と支出、そして理想的にはこれらすべてが具体的な肯定的な成果にどれだけつながるかを見ていきます。
- 日々のタスクだけでなく、実験のための予算確保。どのプロトタイプを構築する価値があるか、そしてどのように構築するかについて、より集中的な決定を下します。
- より良いプロンプト選択とマルチエージェント技術。オーケストレーター対スカウト対実装者対レビュー担当者エージェント。境界のある目標。ロケット科学ではありませんが、学ぶべきことがもう一つ増えました。
- より効率的な技術とモデルの追求を続ける。Jevスタイルの決定拡散モデルは、非常に効率的に実行できれば有望に見えます。最新のフラッグシップモデルも、その点では正しい方向への一歩のように見えます。
日々の開発者の仕事においては、1つか2つのフラッシュティアの安価なモデルに集中することは完全に可能です。実行可能な目標は、おそらくAI推論作業の大部分が、無意味なトークンではなく、コストまたはエネルギー使用量で測定される、そのような効率的なモデルで行われるべきだということです。それが10月の目標です!あなたも試してみてください、その過程で多くのことを学ぶでしょう。
そして、11月のWagtail Space 2026で、そのすべてがどうなったかを聞きに来てください!