HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Fableとフリーランチの終わり

Fable and the End of the Free Lunch (dbreunig.com)

207 pointsby dbreunig200 コメント

要約

AIモデルの価格設定と性能の進化は、ソフトウェア開発における「フリーランチ」の時代を終わらせつつあります。かつてムーアの法則によりハードウェア性能が指数関数的に向上し、コードの最適化は二の次でしたが、AIモデルも同様に、より高性能なモデルが安価に登場することで、開発者は最適化の必要性を感じにくくなっていました。しかし、高価なFableのようなモデルの登場と、GLMのような低コストモデルの性能向上が、開発者にコストと性能のバランスを考慮させ、リソースの適切な配分を促しています。

全文翻訳

Fableと無料ランチの終わり

今日、エージェント型コーダーがAnthropicの価格設定に反発し、代替手段を採用しているという話題があります。Fableのリリース直後の数週間に私が抱いた考えを思い出しました。無料ランチは終わったのです。

ムーアの法則が効果を発揮していた頃は、コードを徹底的に最適化しても意味がありませんでした。18ヶ月後には、パフォーマンスを倍増させるCPUが登場するからです。Herb Sutterはこのことを、彼の画期的なエッセイで「無料ランチ」と呼んでいました。

ムーアの法則が2000年代半ばに減速したとき(特にシングルスレッドのパフォーマンスが停滞したとき)、私たちは突然、並列化、アーキテクチャ、メモリ局所性などを考える必要に迫られました。

私たちは、どの作業をどこで行うべきかを考えなければなりませんでした。

Fableが登場する前は、コーディングハーネスやコンテキスト戦略を改善するために時間をかけすぎるのは馬鹿げているように感じられました。新しいモデルは同じ価格(あるいはそれ以下!)で登場し、ほとんどの問題を解決してくれるからです。

しかし、Fableが登場しました。それは(そして今でも!)信じられないほどでした。しかし、そのコストは非常に高く、Opusは私たちが必要とするコードのほとんどにとって十分な性能でした(5.6、K3、さらにはGLMも同様でした)。

そこで私たちは、どの作業をどこで行うべきかを考え始めました。

GLM 5.2は注目に値します。Fableと同じ週にリリースされ、コストは約1/9(Opus 5の約1/5)です。GLMの品質はFableの1/9でしょうか?おそらく、特定の種類のタスクにおいては。しかし、ほとんどの定型的なコーディングにおいては、それ以上で十分です。特に、優れたコンテキストが提供される場合。私は、Fableとチャットしてデザインを検討し、その後GLMに指示を渡すことがよくあります。

推論価格の低下が、最終的にはすべてを最大のモデルに送り返すことにつながるという反論を受けますが、私はそれほど確信が持てません。同じような進歩はK3やQwenにも恩恵をもたらすでしょうし、より優れたハーネスの開発を続けるにつれて、より弱い(しかし依然として優れた)モデルに十分なコンテキストを提供してうまく機能させることが容易になるでしょう。

さらに、Fableのもう一つの衝撃は、この変化を固定する可能性が高いです。Fableのアクセス制御、動的な劣化、そして必須のデータ保持は、多くの企業(そして国!)に、どこにトレースを送信するか、どこからトークンを取得するかを考えさせるのに十分な衝撃を与えました。