高速モードは何か効果があるのか？

要約

この記事は、AIモデルなどの「高速モード」が実際にパフォーマンスにどのような影響を与えるのかを検証しています。具体的には、スループット（毎秒あたりのトークン数）と、最初のトークンが表示されるまでのレイテンシ（遅延時間）に焦点を当てています。

全文翻訳