CerebrasでQwen 3.8 27Bが1500トークン/秒で利用可能に

Cerebras共有推論（Cerebras Shared Inference）で利用可能なモデルは、無料トライアルおよび従量課金（Pay as You Go）ティアで利用できます。ただし、レート制限および料金が適用されます。追加のモデルファミリー、専用容量、より高いスループット、および本番環境向けSLAについては、専用推論をご覧ください。

初めての方はこちらからクイックスタートに従って、最初��APIコールを行ってください。ユースケース別にモデルを選択するには、モデル選択ガイドをご覧ください。以下のいずれかのモデル名を選択すると、完全な仕様、機能、およびティアごとの制限を確認できます。

​

利用可能なモデル

さらに多くのモデルをお探しですか？専用推論を通じて、さらに多くのモデルファミリーが利用可能です。

​

モデル圧縮

このセクションでは、当社のプラットフォームで利用可能な各モデルの圧縮状態に関する透明性を提供します。私たちはコミュニティから提供された様々なオープンソースモデルをホストしています。現在、共有推論でプルーニングされたモデルはホストしていません。共有推論を通じて提供されるすべてのモデルは、元の未プルーニング（unpruned）バージョンです。私たちはREAP（Router-weighted Expert Activation Pruning）のようなプルーニング技術を研究し、これらのプルーニングされたモデルをHugging Faceで研究コミュニティと共有しています。これらのプルーニングされたモデルは、共有推論では利用できません。REAPについては、研究ブログで詳しく読むことができます。共有推論のすべてのモデルは未プルーニングです。 Cerebrasは、最大限の品質を維持するために、ストレージ中のみ選択的な重みのみの量子化を使用します。これは、重みが業界標準に沿って、部分的な16ビット/8ビット/4ビットで保存されることを意味します。品質のため、デ量子化時に感度の高いレイヤーはフル精度で保存されるため、操作は高精度で行われます。アクティベーション、アテンション、KVキャッシュはフル精度で非量子化のままです。

​

よくある質問

モデルのアーキテクチャを予告なく変更しますか？

いいえ。既存のモデルIDに対して、元の重��を変更せずに提供することをお約束します。ホストしているポートフォリオでプルーニングによるモデルアーキテクチャの変更は行いません。将来的にプルーニングのような追加の圧縮技術を検討する場合、それらは個別のモデルバリアントとして、異なるモデルIDで提供します。これにより、違いが明確になり、ニーズに最適なバリアントを選択できるようになります。

REAPプルーニングモデルはどこで見つけられますか？

当社のREAPプルーニングモデルは、研究および実験目的でHugging Faceで利用可能です：Cerebras REAP コレクション。これらのモデルは当社のプルーニング研究を示していますが、本番APIでは提供されていません。

圧縮、量子化、プルーニングとは何ですか？

圧縮は、モデルサイズまたは計算要件を削減する技術の総称です。一般的な圧縮技術には以下が含まれます：

• 量子化: モデルの重みを表現するために使用される数値の精度を下げること（例：FP16からFP8への変換）。これにより、モデルのアーキテクチャを変更せずにメモリ使用量を削減できます。
• プルーニング: モデルの一部（レイヤーやエキスパートなど）を永続的に削除して、モデルサイズを削減すること。これはモデルのアーキテクチャを変更し、異なるモデルを作成します。

このページは役に立ちましたか？

⌘I