AI・機械学習
大規模言語モデルを自宅で、BitTorrentスタイルで実行する
Run large language models at home, BitTorrent‑style (petals.dev)
要約
Petalsは、BitTorrentのような分散ネットワークを利用して、個人のGPUやGoogle Colab上でLlama 3.1、Mixtralなどの大規模言語モデル(LLM)を実行・ファインチューニングできるプラットフォームです。モデルの一部をロードし、他の参加者が提供する残りの部分と接続することで、ローカル環境でLLMを活用できます。これにより、チャットボットやインタラクティブなアプリケーションに必要な速度でテキスト生成が可能になります。
全文翻訳
Petals
[画像]
自宅で大規模言語モデルをBitTorrentスタイルで実行する
- Llama 3.1(最大405B)、Mixtral(8x22B)、Falcon(40B+)、BLOOM(176B)などのモデルでテキストを生成したり、タスクに合わせてファインチューニングしたりできます — コンシューマー向けGPUやGoogle Colabを使用します。
- モデルの一部をロードし、他の部分を提供する人々のネットワークに参加します。シングルバッチ推論は、Llama 2(70B)で最大6 トークン/秒、Falcon(180B)で最大4 トークン/秒で実行でき、チャットボットやインタラクティブなアプリに十分な速度です。
- 従来のLLM APIを超えて — あらゆるファインチューニングおよびサンプリング手法を採用したり、モデルを介したカスタムパスを実行したり、隠れ状態を調べたりできます。APIの利便性と、PyTorchおよび🤗 Transformersの柔軟性を得られます。
ご購読ありがとうございます!
本当にエキサイティングなアップデートがある場合のみ、メールでお知らせします。
現在のトップコントリビューター:
読み込み中... おっと、ネットワークステータスを読み込めませんでした... • およびその他
開発のフォローはDiscordまたはメールで:
数ヶ月に一度アップデートを送信します。スパムはありません。
送信中...
確認のため、メールを送信しました。クリックして登録を完了してください!
紹介されました:
このプロジェクトはBigScienceリサーチワークショップの一部です。