オープンウェイト推論の経済性

要約

本稿では、オープンウェイト（公開された重みを持つ）AIモデルの需要が、古い世代のNVIDIA GPUの経済的有用性をどのように支えるかを分析する。オープンウェイトモデルは、同等のクローズドモデルと比較して、タスク完了あたりのコストが約5分の1になることが示された。さらに、自社でハードウェアをレンタルしてホストする場合、古いGPU（例: A100）が新しいGPU（例: H100）よりもコスト効率が高くなる場合があることが明らかになった。

全文翻訳