HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

大規模言語モデルを自宅で、BitTorrentスタイルで実行する

Run large language models at home, BitTorrent‑style (petals.dev)

100 pointsby snorbleck31 コメント

要約

Petalsは、BitTorrentのような分散ネットワークを利用して、個人のGPUやGoogle Colab上でLlama 3.1、Mixtralなどの大規模言語モデル(LLM)を実行・ファインチューニングできるプラットフォームです。モデルの一部をロードし、他の参加者が提供する残りの部分と接続することで、ローカル環境でLLMを活用できます。これにより、チャットボットやインタラクティブなアプリケーションに必要な速度でテキスト生成が可能になります。

全文翻訳

Petals

[画像]

自宅で大規模言語モデルをBitTorrentスタイルで実行する

  • Llama 3.1(最大405B)、Mixtral(8x22B)、Falcon(40B+)、BLOOM(176B)などのモデルでテキストを生成したり、タスクに合わせてファインチューニングしたりできます — コンシューマー向けGPUやGoogle Colabを使用します。
  • モデルの一部をロードし、他の部分を提供する人々のネットワークに参加します。シングルバッチ推論は、Llama 2(70B)で最大6 トークン/秒、Falcon(180B)で最大4 トークン/秒で実行でき、チャットボットやインタラクティブなアプリに十分な速度です。
  • 従来のLLM APIを超えて — あらゆるファインチューニングおよびサンプリング手法を採用したり、モデルを介したカスタムパスを実行したり、隠れ状態を調べたりできます。APIの利便性と、PyTorchおよび🤗 Transformersの柔軟性を得られます。
ご購読ありがとうございます!

本当にエキサイティングなアップデートがある場合のみ、メールでお知らせします。

Colabで今すぐ試す GitHubのドキュメント

現在のトップコントリビューター:

読み込み中... おっと、ネットワークステータスを読み込めませんでした... • およびその他

私のGPUを貢献する

開発のフォローはDiscordまたはメールで:

数ヶ月に一度アップデートを送信します。スパムはありません。

送信中...

確認のため、メールを送信しました。クリックして登録を完了してください!

紹介されました:

[画像]

このプロジェクトはBigScienceリサーチワークショップの一部です。

[画像]