PSSA: Rustでゼロから書かれた非Transformer言語モデル
PSSA: A non-transformer language model written from scratch in Rust (github.com)
要約
PSSAは、Transformerアーキテクチャに依存しない、Rustでゼロから構築された新しい言語モデルです。逐次的な状態空間層とエピソード記憶バンクを利用し、実行中に自身の重みを書き換える「プラスチック」な性質を持ちます。Transformerと比較して、同等のパラメータ数でより高速な学習と生成速度を実現し、特にCPUでのパフォーマンスが12倍優れていると報告されています。このモデルは、Transformerの計算コストの課題を解決する可能性を示唆しています。
全文翻訳
PSSA: プラスチック状態空間アーキテクチャ
PSSAは、Transformerではない小規模な言語モデルです。再帰的な状態空間層を通じて一度に1トークンずつテキストを読み込み、エピソード記憶のバンクに参照可能な情報を保持し、実行中に自身の重みの一部を書き換えます。これは、PyTorch、TensorFlow、その他のMLフレームワークに依存せず、Rustでゼロから実装されています。
同等のパラメータ数で同じコーパスを使用した場合、Transformerよりも速く学習し、同じCPUで約12倍速くテキストを生成します。
[画像: ライブトレーニング実行中のPSSAターミナルダッシュボード]
なぜRustなのか、そしてそれが本質ではない理由
速度のためでも、言語がアーキテクチャをより良くするためでもありません。PSSAは、トークンごとの重み更新、フォワードパス中に書き込まれるメモリバンク、およびすべてのバッチカーネルが微分可能なスカラー参照パスを必要としました。これを自動微分フレームワーク内で表現することは、あらゆる段階でフレームワークと格闘することを意味したため、線形代数は直接記述されました。これにより、プラスチック部分は単純になり、勾配は参照に対して約3e-8の精度でチェック可能になりました。主張すべきはアーキテクチャであり、実装言語は詳細に過ぎず、Pythonポートも歓迎されます。
Transformerとの違い
[画像: Transformerブロックと比較したPSSAブロック、測定されたホールドアウト結果付き]
Transformerはコンテキスト内のトークンのペアをすべてスコアリングするため、ステップあたりのコストはシーケンス長の二乗で増加し、各ステップでコンテキスト全体が再読み込みされます。PSSAは、単一の左から右へのパスで固定サイズの状態をシーケンスに沿って運び、コンテキストを再読み込みする代わりにメモリバンクを参照するため、コストはシーケンス長に対して線形に増加します。
トレーニング損失の安全性
有限損失爆発ガード(デフォルトで有効)
PSSAトレーニングは、Adamの前に各ターゲットトークン重み付きオプティマイザグループの損失をチェックします。3回連続で疑わしいグループ(損失が 4 * ln(vocab) を超えるか、健全な実行損失(EWMA、alpha 1/8)の 8 * を超える)が発生した場合、チェックポイントを書き込まずに中止します。参照は疑わしいストリーク中にフリーズするため、ジャンプの後に高いプラトーが隠れることはありません。孤立したスパイクは回復します。これはホールドアウト検証モニターではありません。再開された実行は、新しい損失履歴を開始します。
pssa train corpus.txt --loss-guard-high-factor 4 --loss-guard-jump-factor 8 --loss-guard-patience 3
ファクターは有限で1より大きく、ペイシェンスは正の更新グループ数である必要があります。コントロールは実行時のみです。再開時にカスタム値を繰り返してください。TUIウィザードは3つの設定すべてを公開し、モニターは設定されたガードと停止理由を表示します。既存の非有限テンソルチェックは引き続き有効です。
メモリ容量実験
成長の再開とCPUニアレストスロット読み取りのオプトイン
フルソフトリードはデフォルトのままです。既存の書き込み/上書きゲートは変更されていません。--memory N は新しい実行の容量を選択します。再開は引き続き不一致の--memoryを拒否します。代わりに明示的な--grow-memory N(同等またはそれ以上のみ)を使用してください。成長は、占有されたスロット、信頼度、タイムスタンプ、エビクション順序、パラメータ、Adamモーメント、および再帰状態を保持します。次のチェックポイントは、より大きな配列で既存の形式を使用します。移行や新しいチェックポイントバージョンは関与しません。
pssa train corpus.txt --resume old.pssa --grow-memory 4096 -o grown.pssa --backend cpu
pssa train corpus.txt --memory 1024 --memory-top-k 4 --backend cpu -o sparse.pssa
pssa score heldout.txt --model sparse.pssa --memory-top-k 4
--memory-top-k K は 実験的な正確なニアレストスロット読み取り であり、ANNインデックスではありません。これは依然としてすべての占有キーをスキャンし、ハイパーボリック距離でKを選択し、それらのスロットのソフトウェイトを再正規化し、それらの値のみを混合します。選択は後方で区分定数であり、勾配は選択された重みを流れます。トレーニングには明示的な--backend cpuが必要です。GPUカーネルは変更されていません。Kが占有カウント以上の場合、元のフルリードパスが使用されます。特に小さなバンクでは遅くなる可能性があり、速度や精度の向上が保証されるわけではありません。
取得モードは実行時のみです。再開およびscoreで繰り返してください。他のチェックポイントコンシューマー(自動TUI評価/チャットを含む)は、デフォルトのフルリードを使用します。TUIのSetup → modelページは、容量、再開成長、CPUトップKを公開します。モニターは、取得/成長イベントを損失として扱わずに報告します。再現可能な短い容量/CE/RSSスイープについては、experiments/memory_sweep.pyを参照してください。
ボックスワールド再帰モデル実験
RSSMスタイルのPSSA対プレーンオートリグレッシブPSSAのオプトイン(CPUのみ)
pssa world-model
pssa world-model --seed 73 --train-episodes 32 --heldout-episodes 12 --epochs 3
pssa world-model --help
pssa world-model | pssa tui
この制限付きの非生物研究モードは、小さな完全に観測されたボックス押しグリッド上で連続PSSA再帰バックボーンをトレーニングします。カテゴリカル事後分布は実際のフレームを観測し、学習済み事前分布は履歴とアクションから潜在変数を予測します。トレーニングは、再構築、KL、報酬、および継続目的を、ストレートスルーカテゴリカル勾配を使用して行います。想像は初期フレームと後続のアクションのみを見ます。学習された再帰は、凍結されるのではなく、エピソード全体にわたってバックプロパゲートされます。
このコマンドは、同じエピソード、更新カウント、および再帰幅を使用するプレーンオートリグレッシブPSSAコントロールと比較します。トレーニング前のホールドアウト次フレームNLL、オープンループNLL、フィールド/正確な精度、報酬/継続ブライアー、パラメータ数、およびトレーニング時間を報告します。NLLはテキストCEではなく、グリッドフィールドあたりのnatsです。ターゲットは同化前にスコアリングされ、ホールドアウトシードは分離され、評価はリセットを伴います。この比較はパラメータまたは時間で一致していません。短い3シードの例(cargo run --profile fast --example boxes_world)では、3つのシードすべてでプレーンコントロールの方が次フレームNLLが低く、確率的トレーニングは約4.5倍遅くなりました。この予算ではどちらのモデルもタスクを解決しませんでした。
すべての設定は--helpにリストされています:グリッドサイズ、再帰幅、カテゴリカルサイズ、トレーニング/ホールドアウトエピソード、エピソード/オープンループホライゾン、エポック、シード、学習率、KL/補助重み、および勾配クリッピング。個々の範囲と結合されたワークキャップは、割り当て前に大きすぎる要求を拒否します。デフォルトはすぐに完了します。二次エピソードバックプロパゲーションは、スケーラブルなトレーニングエンジンではなく、正確さの参照です。外部コーパス、GPU選択、またはチェックポイントI/Oはサポートされていません。train、score、チェックポイント形式、およびGPUカーネルは変更されていません。この実験ではメモリ書き込みやアダプターの統合は行われません。
TUIのSetup → Sourceでboxes-worldに切り替えます。4つのウィザードページには関連する設定のみが表示されます。レビューボタンはworld-modelを起動し、train.logを新しい出力ディレクトリに保存します。チェックポイントは保証または書き込まれません。モニターは、個別の測定されたブレイルドット目的トレースとホールドアウト結果を保持します。言語損失チャートにこれらの値を挿入することはありません。テキストトレーニングドラフトは、元に戻したときに保持されます。既存の損失ガードとメモリ設定は、通常のトレーニングウィザードで引き続き利用可能です。
これはRSSMスタイルであり、完全なDreamerV3エージェントではありません:1つのカテゴリカル変数、バイアスのかかったストレートスルー勾配、アクター/クリティックなし、リプレイベースのポリシー学習、またはプランニングベンチマーク。完全に観測された決定論的タスクは、確率的潜在変数の必要性を示していません。拡散は追加されていません:反復的なデノイジングは、これらの離散シンボリックフレームに対して実証された利点を持っていません。既存のtrain --dream-*リプレイオプションは、このモードとは別のメカニズムです。
モデル
各トークンは1つのPSSAレイヤーを通過します:選択的状態空間再帰、エピソード記憶バンクからのハイパーボリック空間での制限付き読み取り、その読み取りのどれだけが残差ストリームに到達するかを決定する学習済みゲート、およびSiLU MLP。デフォルトは、チャネルd_m = 256、チャネルあたり状態d_s = 16、およびランク16アダプターです。
再帰
レイヤー正規化されたトークン埋め込みをxとします。3つの射影はトークン自体から読み取られ、これが再帰を固定ではなく選択的にしている理由です。
delta = softplus(W_delta x) チャネルごとのステップサイズ、 delta in R^d_m
B = W_B x 入力マップ、 B in R^d_s
C = W_C x 出力マップ、 C in R^d_s
遷移は対角的で、(チャネル、状態)ペアごとに1つのレートを持ち、構築により負に保たれるため、再帰は爆発しません。
A = -softplus(A_raw) A in R^(d_m x d_s)
ステップdeltaでその連続システムを離散化すると、トークンごとの更新が得られます。hはトレーニング中にトークン間およびチャンク境界を越えて伝達されます。
Abar_ij = exp(delta_i * A_ij)
Bbar_ij = delta_i * B_j
h_ij <- Abar_ij * h_ij + Bbar_ij * x_i
y_i = sum_j C_j * h_ij
A_rawは、各チャネルの16レートがHiPPO初期化の精神で、1.5から200トークンの対数間隔のタイムスケールtau上に配置されるように初期化されます。したがって、単一のチャネルは、最後の2つのトークンと最後の200個のトークンを同時に保持することから始まり、トレーニングはそのホライゾンを最初から発見するのではなく移動させます。
レイヤーのこの半分は選択的対角SSMであり、新規性を主張しません。これはS4およびMambaと同じファミリーであり、スカラーファーストで記述されているため、後方パスは項ごとにチェックできます。
メモリ読み取り
PSSAに固有の部分はyに起こることです。クエリは現在のトークンと現在の状態の両方から形成されるため、取得は手元にあるトークンだけでなく、再帰がどこまで進んだかに条件付けられます。
q = W_qx x + W_qh y
qh = proj(q) Poincareボールへの微分同相写像、|qh| < 1
デフォルトでは、読み取りはハイパーボリック距離に対するソフトマックスで重み付けされたすべての占有スロットをスキャンします。オプトインCPU--memory-top-k Kプロトタイプは、代わりにすべてのキーをスキャンした後のK個の最近傍スロットで正規化します。
w = softmax(-d_H(qh, k_s) / tau_mem) 占有スロット(または選択されたトップK)全体
m = sum_k w_k * v_k
ハイパーボリック距離はボールの境界に向かって増加するため、一般的なコンテキストを保持するスロットと特定の単一エピソードを保持するスロットは、各キーを広げることなく分離できます。正確なトップKは値の混合を減らしますが、線形キーのスキャンは減らしません。占有バンクが増加しても、一定コストの取得ではありません。
ゲート、アダプター、MLP
読み取りは無条件にストリームに参加しません。学習済みのチャネルごとのゲートが、どれだけが到達するかを決定します。それに加えて、ターゲット指定された更新を伝達する低ランクSiLUアダプターがあります。
g = sigmoid(W_gate x)
z = s * y + g (要素ごと) W_proj m + adapter(x)
u = W_2 silu(W_1 z)
z_out = z + u
書き込みパス
書き込みは、アーキテクチャがプラスチックと呼ばれる理由です。入力状態がバンクが既に保持しているものに対して新規である場合にスロットが挿入され、各スロットは上書き頻度を制限する耐火性カウンターを保持し、高速なプラスチック更新は外部ストアに永遠に存在するのではなく、閉形式のリッジ回帰によってベース遷移行列に折りたたまれます。
A_base <- A_base + (H^T H + lambda I)^-1 H^T dH
耐火性カウンターは、一連の矛盾した更新が、繰り返しの証拠によって既に安定化されたスロットを消去するのを防ぎ、統合はバンクが長距離構造が保存される唯一の場所になるのを防ぎます。
ここにあるもの、ないもの
再帰は標準的な選択的SSMメカニズムです。主張するのは、再帰状態に条件付けられたハイパーボリック制限付き読み取り、書き込みの新規性および耐火性ルール、および高速重みを遷移行列に折りたたむリッジ統合ステップです。すべては、バッチ処理および並列実装がコミットごとにチェックされるスカラー参照パスに対して実装されており、現在、最大勾配誤差約3e-8(cargo run --release --example twin_check)で一致しています。
結果
2つのモデル、同じコーパス、同じトークナイザー、同じオプティマイザースケジュール、同じシード、同じパラメータ数。1つはPSSA、もう1つは標準的なTransformerです。クリーニングされたWikiText-103の1270万トークン以上で:
[画像: 同じスケジュールでのPSSAと一致したTransformer]
PSSAは3.98のトレーニングクロスエントロピーで終了し、Transformerは4.43でした。これは0.45natsのギャップ、53.7対83.7のパープレキシティです。Transformerは、PSSAが約200万トークンで既に通過していた損失に到達するために、1270万トークンの予算全体を費やしました。
2つの曲線は交差せず、接触もしません。これは、チェーン全体にわたるすべてのログ記録された更新のPSSA実行です。
29,243回のログ記録された更新、7.63から3.98まで、生のティックに41ポイントの移動平均が描かれています。
モデルが見たことのないテキストでも機能する
トレーニング損失は、モデルが供給されたストリームに適合したことを示すだけです。そのため、両方のチェックポイントは、どちらの実行も決して触れなかったコーパスの一部から切り取られた198,939トークンのスライスでスコアリングされました。
[画像: 未見のテキストでのチェックポイントごとのホールドアウト損失]
両方の実行の各チェックポイント、64のPSSAリンクと43のTransformerリンクが、その未見のスライスの境界付き9,934トークンウィンドウでスコアリングされました。曲線は交差せず、PSSAは最初のリンクから先行し、0.51nats低く終了します。下の表は、完全なスライスでの各実行の最終チェックポイントです。
| ホールドアウトスライス、198,939トークンの未見テキスト | PSSA | Transformer |
|---|---|---|
| クロスエントロピー | 3.997 | 4.429 |
| パープレキシティ | 54.4 | 83.8 |
| 次トークン精度 | 24.1% | 18.0% |
ホールドアウトギャップ、0.43natsは、本質的にトレーニングギャップです。PSSAはよりハードに記憶しているのではなく、より良く一般化しています。
そして実行がはるかに速い
同じ2 vCPUマシンでの固定作業、512トークン/更新で199,059トークン:1,716トークン/秒対415トークン/秒、つまり4.13倍。両方のモデルはCPUでタイム測定されました。
両方のアーキテクチャは、最適な学習率を同じ0.003に設定したため、チューニングの利点はありません。スイープは120,000トークンのスライスでの短いプローブであり、最終的な数値ではなく設定チェックです。
同じCPU、同じプロンプト、同じサンプラーで200トークンを生成:
| PSSA | Transformer | |
|---|---|---|
| 200トークン | 226 ms | 2,735 ms |
| 相対値 | 12倍高速 | ベースライン |
再帰モデルは固定サイズの状態を運ぶため、各新しいトークンのコストは、それ以前の長さとともに増加しません。Transformerはステップごとにコンテキスト全体を再読み込みします。
実際に何が違うのか
- 再帰的状態空間コア。 学習された連続状態行列は、完全なコンテキストウィンドウに対するアテンションではなく、固定サイズの状態で情報を前方に運びます。
- エピソード記憶バンク。 ハイパーボリック(Poincareスタイル)取得(デフォルトはフルソフトリード、オプトインCPUニアレストスロットプロトタイプ)を備えた512スロット。実行中に読み書きされます。
- プラスチック重み。 高速な更新はうまくいくものを強化し、新規性は成長を促進し、耐火性ゲートは上書きをレート制限するため、繰り返しの矛盾した入力によるダメージが少なくなります。
- 閉形式統合。 リッジ回帰ステップは、睡眠が一日の学習を統合する方法で、高速なプラスチック更新をベース遷移行列に折りたたみます。
- フレームワークなし。 Rustでの手書き線形代数。トレーニング用のCUDAパスと、すべての勾配がチェックされるスカラーCPU参照(最大勾配差2.98e-8)があります。
これは何か、何ではないか
上記の数値は簡単に読み間違えられる可能性があるため、スケールについて率直に述べます。
- これらは1270万トークンに対する150万パラメータモデルです。これは研究プロトタイプであり、あなたが聞いたことのあるものとは競合しません。
- このスケールでのテキスト品質は、両モデルとも低いです。PSSAは「a barget of the Prian Academy」を生成し、Transformerは「a material circulation of the United States」を生成します。比較は流暢さではなく、学習効率に関するものです。
- 速度比較はCPU対CPUであり、これは公平です。さらに下のトレーニングスループットの数値はハードウェアで一致しておらず、アーキテクチャの結果として読むべきではありません。
- 2つの実験はまだ測定されていません:コーパス切り替え後の以前のスキルの保持、およびメモリバンクの除去が損失を変更するかどうか。
試してみてください
git clone https://github.com/Sparticle62ops/pssa.git
cd pssa
cargo install --path . # CPUビルド
cargo install --path . --features cuda # NVIDIA GPUビルド (cuBLAS)
pssa
引数なしで実行すると、ダッシュボードが開きます。ダッシュボードが行うことはすべてプレーンCLIコマンドでもあるため、SSH、ノートブックターミナル、またはスクリプトで同じように機能します。
TUIの使用
pssa tuiはプロジェクトを使用する主な方法です:トレーニング実行の監視、チェックポイントとのチャット、新しい実行の設定、メモリバンクの検査をすべて1つのターミナルで行えます。トレーニング実行をパイプしてライブで監視します。
pssa train data/corpus.txt -o chain/ck001.pssa --backend cuda --no-tui | pssa tui --chain chain
モニター。 損失とその移動平均、速度、ETA、オプティマイザーの進捗、メモリ使用量、および最新チェックポイントからのライブサンプル。gまたは1-7を押してグラフ(損失、パープレキシティ、トークン/秒、学習率、比較、すべてのメトリクス、メモリ)を切り替え、+/-でズームします。
メモリグラフ(7)は、モデルが読み取るPoincareディスク上で使用中のエピソードメモリのスロットをプロットします。
推論。 任意のチェックポイントとチャットします。/model PATHでロードし、/temp、/top-p、/top-k、/max-tokens、/repetition-penaltyでサンプリングを変更します。/abはPSSAとTransformerベースラインを並べて表示し、F6はモデルの信頼度で各トークンを着色します。
設定。 新しい実行(データセット、モデルサイズ、深さ、ループ、スケジュール、バックエンド)のためのステップバイステップウィザード。下部には正確な同等のCLIコマンドが表示されるため、スクリプトにコピーできます。ドリーミングコントロールもここにあります(ドリーミングを参照)。
[画像: 設定タブ:ドリーミングコントロールと対応するCLIコマンドを備えたトレーニングページ]
モデル、チェーン、フィード。 モデルタブは、実行が報告した構成を表示します。チェーンタブは、損失とともに保存されたチェックポイントをリストし、フィードタブは、Hugging Faceからストリーミングする際にトレーニングされているテキストとトークンIDを表示します。
追加機能。 Ctrl+Kでコマンドパレットを開きます。これにより、Hugging Faceログイン、Kaggle起動とログ、メモリインスペクター、過去の実行、一致ベンチマークにアクセスできます。F8はハードウェアテレメトリを表示し、F9はトレーニングデバイスを選択し、F10はリソース制限を設定し、F11はレイヤーのライブ数学参照を開きます。
F1はいつでもすべてのキーを表示します。
ドリーミング
ドリーミングは、トレーニング更新間のオプションの睡眠フェーズです。モデルは保存されたメモリの一部を再生し、短いリハーサルシーケンスを生成することもできます。これにより、最新のバッチによって置き去りにされるのではなく、有用なパターンが再訪されます。デフォルトではオフになっており、無効な場合は通常のトレーニングパスを変更しません。
CLIコントロールは次のとおりです。
--dream-every N—Nオプティマイザー更新ごとにドリームを実行します。0は無効にします。--dream-replay K— ドリームごとに最大K個の占有メモリエントリを再生します(デフォルト32)。--dream-mode memory|generate|both— メモリ再生、生成されたリハーサル、またはその両方を選択します(デフォルトmemory)。--dream-len N— 生成されたリハーサル長(デフォルト64)。--dream-lr F— リハーサル学習率(デフォルト0.006)。--dream-steps N— シーケンスあたりのリハーサルパス数(デフォルト1)。
例:
pssa train data/corpus.txt -o runs/dream.pssa --dream-every 100 \
--dream-replay 32 --dream-mode both --dream-len 64 \
--dream-lr 0.006 --dream-steps 1
TUIでは、Setupを開き、トレーニングフィールドをページングし、Dream every updates (0 = off)を0から変更します。残りのドリームフィールドは、同じ名前、デフォルト、および検証を使用します。ウィザードが表示する同等のコマンドには、デフォルトと異なるドリームフラグのみが含まれます。モニターは、ドリームがアクティブなとき、そのカウントとモード、および最後のドリーム損失を通常のトレーニング損失とは別に報告します。
測定された5シードプローブ(7、11、23、42、99)では、ドリーミングオフの場合の平均忘却が13.0549から、bothモードでドリーミングオンの場合の9.5961に、26.5%減少しました。タスクBの最終損失は0.0040から0.0030に減少しました。
CLIの使用
# ローカルファイル(GPU)で新しいチェックポイントをトレーニングする
pssa train data/corpus.txt -o chain/ck001.pssa --backend cuda --token-cache data/corpus.txt.tok
# コーパスの次のスライスでチェーンを継続する
pssa train data/corpus.txt --resume chain/ck001.pssa -o chain/ck002.pssa --backend cuda
# ローカルファイルではなくHugging Faceデータセットをストリーミングする
pssa train --hf-dataset OWNER/NAME -o chain/ck001.pssa --backend cuda
# テキストを生成する
pssa generate "The history of science" -m chain/ck002.pssa --max-new-tokens 64 -t 0.8
# チャット、ホールドアウトテキストでのスコアリング、およびこのディレクトリの内容のリスト表示
pssa chat
pssa score
pssa status
pssa helpはすべてのコマンドとフラグを表示します。完全なリファレンスは、下のCLIリファレンスにあります。
現在作業中の内容
- 最初の大きなトレーニング実行。 より大きなプロトタイプが、単一のNVIDIA RTX Pro 6000(Blackwell)でCUDAバックエンドを介して、再開チェーンとしてトレーニングされています。各リンクは、混合コーパスの次の50万トークンをトレーニングし、チェックポイントを保存するため、実行は再起動に耐えます。モデルが時間とともにどのように改善するかを示すために、各チェックポイントからのサンプルが収集されています。
- スリープとドリーミング。 オプトインスリープフェーズは、更新間に保存されたメモリとオプションの生成されたリハーサルシーケンスを再生します。これはドリーミングで説明されており、デフォルトではオフのままです。
- 深さとループ。 スタックされたPSSAブロック(
--depth)と共有された繰り返しパス(--loops)。詳細はdocs/STACKED-DEPTH.mdを参照してください。 - WebGPUトレーニング。 再帰スキャンとメモリステージがWebGPUにポートされており、AMD、Intel、Apple GPUもトレーニングできるようになります。まだ実際のハードウェアアダプターでのテストが必要です。
- 次。 小さなシンボリック世界でのモデルテスト(ルールを学習するか、テキストだけか)、およびダッシュボードの長いデモビデオ。
プロジェクトで助けが必要な点
コンピュート
上記のすべての結果は、セッションが数時間後にカットされるため、無料のホスト済みノートブックで単一のエントリーレベルGPUを使用して、20万トークンリンクでトレーニングされました。パラメータが10倍または100倍になってもギャップが維持されるか、メモリバンクが大規模で重要か、最新の再帰ベースラインに対してどのように機能するかなど、残りの興味深い質問はすべて1つのこと、つまり実際のVRAMを備えたGPUと、数時間ではなく数日単位で測定される割り当てを必要とします。ここで実行されたエントリーレベルカードをわずかに超えるものは何でも、尋ねられることを変えます。
コンピュートを提供できる場合、またはどこかで働いている場合は、プロジェクトに提供できる最もレバレッジの高いものです。
スポンサーシップ
スポンサーシップはコンピュートのみに資金を提供します。その見返りに、あなたはここで、そしてあなたのハードウェアによって可能になった結果の執筆で名前が挙げられます。送信する前に連絡して、詳細を合意してください。
貢献
問題とプルリクエストを歓迎します。最も手が必要な部分:カーネルパフォーマンス、比較対象となる最新の再帰ベースライン、および次トークン損失を超える評価。PRを開く前にcargo test --releaseで任意のブランチを検証してください。
連絡先
寄付
Solana: 4XPZ9uAa2BMoth6msoHRxTWL4mUrMfq3LGrxbAGja96h
セットアップとコードベース
以下は、プロジェクトの実行、トレーニング、および作業のためのものです。
要件
- Rust 1.88以降(Edition 2024およびlet-chainサポート)、Cargoを含む。
- HTTP/HTTPSデータセットまたはHugging Faceデータセットを使用する場合のみネットワークアクセス。
- より大きなコーパスとシリアル化されたモデルのための十分なメモリとディスク。
- オプション:GPUトレーニングパス用のCUDAデバイス。CPUパスは参照であり、常に利用可能です。
直接のランタイム依存関係は、データセットダウンロード用のureqと、バイトレベルBPE用のtokenizersです。GPUはオプションです。--features cudaでビルドされた場合、密行列演算はデバイス常駐ウェイトキャッシュを備えたcuBLASを介してディスパッチされます。CUDAが利用できない場合は、同じステージでWebGPUアダプターが使用され、CPUパスよりも遅いためソフトウェアアダプターは拒否されます。すべての機能は、機能フラグなしでCPU実装にフォールバックします。
比較の実行方法
2つの実行が一致した方法
両方のチェーンは200,000エンコードトークンの64リンクを実行し、各リンクは前のチェックポイントから再開したため、学習率スケジュールとオプティマイザ状態は実行全体で継続され、リンクごとに再起動されません。
- 同一のコーパス:WikiText-103の1回の
clean-wikitextパス、バイト単位で再利用。 - 同一のトークンID:ベースラインはPSSAチェーン自身のチェックポイントに
--tokenizer-fromをピン留めするため、どちらのモデルも異なる語彙を見ません。 - 同一の最適化:30,000更新のコサインホライゾン、ウォームアップ再起動なし、更新あたり512の教師ありターゲットトークン、シード42。
- PSSA:潜在変数256、再帰状態16、メモリ512スロット、キー幅32、語彙2,048。
- ベースライン:1,541,120パラメータ、1レイヤー、幅256、4ヘッド、FFN 448、語彙2,048。
オプティマイザースケジュールを一致させると、一方向でカットされ、もう一方向ではカットされません。一方のモデルが受けたチューニングをもう一方のモデルが受けなかったわけではありませんが、PSSAに適したスケジュールがTransformerの最適であるとは限りません。したがって、ギャップの一部は、アーキテクチャではなく、アンダートレインされたベースラインである可能性があります。モデルごとの学習率スイープが現在実行されており、両モデルは同じトークン予算で同じグリッドをスイープしています。最良対最良の数値は、結果がどうであれ、完了時にここに投稿されます。
トークンごとの学習曲線
リンク終了時のトレーニングクロスエントロピー:
| リンク | 見たトークン | PSSA | Transformer |
|---|---|---|---|
| ck01 | 200,000 | 5.733 | 6.461 |
| ck05 | 1,000,000 | 4.617 | 5.467 |
| ck10 | 2,000,000 | 4.447 | 5.082 |
| ck15 | 3,000,000 | 4.292 | 4.858 |
| ck20 | 4,000,000 | 4.185 | 4.704 |
| ck25 | 5,000,000 | 4.221 | 4.704 |
| ck30 | 6,000,000 | 4.070 | 4.561 |
| ck35 | 7,000,000 | 4.039 | 4.523 |
| ck37 | 7,400,000 | 3.960 | 4.465 |
| ck44 | 8,800,000 | 4.004 | 4.480 |
| ck48 | 9,600,000 | 3.937 | 4.415 |
| ck52 | 10,400,000 | 3.846 | 4.344 |
| ck56 | 11,200,000 | 3.887 | 4.375 |
| ck60 | 12,000,000 | 3.972 | 4.418 |
| ck64 | 12,800,000 | 3.982 | 4.428 |
ベースラインの最初のセッションは、ノートブックセッション制限によりリンク43でカットされ、その損失CSVは生き残らなかったため、リンク1から43は、そのセッション自身の実行ログから読み戻されます。チェーンはck43から2番目のセッションで再開され、64リンクすべてを完了しました。上記の両方の曲線は、実行全体をカバーしています。
スループットはハードウェアで一致していない
ヘッドラインのトレーニングレートは異なるマシンからのものであり、それ自体では何も語りません。PSSAはKaggle T4で約900トークン/秒でトレーニングされましたが、ベースラインはtrain-transformerにGPUパスがないためCPUのみであり、そこで212トークン/秒でした。意味のある比較のために、両方のモデルは同じCPUのみのボックス、GPUなしの2-vCPUコンテナで、同じ199,059トークンのクリーニング済みコーパスのスライスで、シード42と同一の更新カウントでトレーニングされました。PSSAはベースラインの415に対して1,716トークン/秒を保持し、一致したハードウェアと一致した作業で4.1倍でした。KaggleのCPUでの以前の測定では、スキャン並列化の前で、同じペアが375対212でした。損失比較は、時間ではなくトークンと更新で一致しているため、どちらの方法でも影響を受けません。
これらの数値は何であり、何ではないか
損失は、適合されているストリームのエンドリンクトレーニングクロスエントロピーであり、ホールドアウト評価ではありません。ホールドアウト比較については、docs/COMPARISON.mdで説明されているcompareコマンドを使用してください。このスケールでの生成品質は両モデルとも低いです。PSSAは「a barget of the Prian Academy」を生成し、ベースラインは「a material circulation of the United States」を生成します。コーパス切り替え後の以前のスキルの保持、およびメモリバンクの除去が損失を変更するかどうかは、まだ測定されていません。
再現
bash kaggle/kaggle_continue.sh # PSSAチェーン
bash kaggle/kaggle_transformer_baseline.sh # パラメータ一致ベースライン
両方とも環境からTOTAL、WINDOW、FRESHを読み取り、--loss-csvを書き込むため、曲線はカットセッションでも生き残ります。
CLIリファレンス
一般的な形式:
pssa <COMMAND> [OPTIONS]
コマンド:
| コマンド | 目的 |
|---|---|
train [source] | PSSAチェックポイントをテキストコーパスでフィットさせ、.pssaファイルを書き込む。 |
train-transformer [source] | CPUデコーダーオンリーベースラインをフィットさせ、.trfmファイルを書き込む。 |
generate <prompt> / generate-transformer | トレーニング済みチェックポイントでプロンプトを継続する。 |
chat [source] | チェックポイントに対するインタラクティブプロンプトループ。replは非表示エイリアスとして残る。 |
score [source] / score-transformer | ホールドアウトテキストでチェックポイントをJSONとしてスコアリングする。evaluateは非表示エイリアスとして残る。 |
throughput [source] | フリーズモデルのスコアリングトークン/秒を測定する。 |
status | 作業ディレクトリ内のチェックポイントとコーパス。オプションなし。 |
download <repo> | Hugging Faceデータセットをローカルファイルにプルする。 |
clean-wikitext INPUT -o OUTPUT | 生のWikiTextファイルを新しいUTF-8コーパスにストリームクリーニングする。 |
benchmark | エンドツーエンドのスモークテストまたは機能ベンチマーク。 |
compare | トークン/更新で一致したTransformerをリプレイし、両方をホールドアウトトークンでスコアリングする既存のPSSAチェーン。 |
tui | ダッシュボードとローカルチェックポイントチャットを開くか、パイプされたトレーニング出力を表示する。 |
gpu-probe | WebGPUコンピュートデバイスが使用可能か確認する。 |
help | コマンドとオプションのヘルプ(例を含む)を表示する。 |
トレーニング表示は、実際のターミナルでのみカーソル更新を使用します。プレーンで解析可能なログ(Kaggleまたはパイプに推奨)の場合は、--no-tuiを渡します。出力には、損失、短い移動平均、速度、ETA、更新カウント、学習率、メモリ使用量、およびチェックポイントイベントが含まれます。パイプされたログをインタラクティブに表示するには:
pssa train data/downloaded.txt -o chain/ck01.pssa --max-tokens 200000 -e 1 --no-tui \
| pssa tui --chain chain
プロジェクトダッシュボード追加機能(TUI)
Ctrl+Kでコマンドパレットを開きます。?(または入力中にF1)でキーヘルプを開きます。TabでKaggle起動/ログ監視、読み取り専用プラスチックメモリインスペクター、過去の実行とスコアリング、またはワンキー一致ベンチマークにアクセスします。推論では、/ab a PATHと/ab b PATHでPSSA/Transformerの応答を並べて比較します。セットアップ、テレメトリ制限、アラート、およびVHS GIF録画テープについては、extrasガイドを参照してください。
ローカル推論チャット(TUI)
ターミナルでpssa tuiを実行する(またはTTYなしで実行する)、次にTabを押して推論に移動します。既存のchat/generate CLIコマンドと--no-tuiロギングは変更されていません。非TTY tui出力はプレーンログパススルーのままです。
/modelは--chain DIRとdata内のPSSA/TRFMチェックポイントをリストし、/model PATHで1つを選択します。パスにはスペースが含まれる場合があり、シェル引用符は不要です。チェックポイントとその埋め込みトークナイザーは、レンダリングループではなくワーカーに読み取り専用でロードされます。- メッセージを入力してEnterを押します。トークンは、実際のトークン数とライブ平均トークン/秒(ロード/プリフィル時間を含む)とともに会話にストリーミングされます。Escまたは
/stopでキャンセルします。部分的な応答は保持されます。チェックポイントのロードは中断できませんが、プリフィル/生成はトークン間でキャンセルをチェックします。 /new、/chats、/open ID、/rename NAME、/delete IDで会話を管理します。確認のために/delete IDを繰り返します。chats/内のJSONドキュメントには、モデルパス、メッセージ、システムプロンプト、および設定が含まれています。場所を変更するにはtui --chats-dir DIRを使用します。書き込みはアトミックです。ファイルはUnixでは所有者のみがアクセスできます。これらのローカルファイルには添付ファイルの内容が含まれています。プライベートとして扱ってください。チャットはアップロードされません。/temp 0.7、/top-p 0.85、/top-k 24、/max-tokens 64、/repetition-penalty 1.25でサンプリングコントロールを変更します。/system TEXTでシステムプロンプトを設定します(空にするとクリアされます)。最大出力は1〜4096トークンです。コンテキストは、命令チューニングされたチャットテンプレートではなく、プレーンなSystem/User/Assistantトランスクリプトです。品質はトレーニング済みチェックポイントに依存します。長すぎるコンテキスト(>256 KiB)は、履歴をサイレントに破棄するのではなく拒否されます。/attach PATHは、次のメッセージにUTF-8テキストファイルを挿入します(合計64 KiBの保留中の添付ファイル)。/detachでクリアします。画像、PDF、オーディオ、バイナリ、その他の非テキストファイルは「このモデルではまだサポートされていません」と表示されます。- PgUp/PgDnでラップされた履歴をスクロールします。Endで最新の応答を追跡します。
/copyはOSC 52を介してターミナルクリップボードアクセスを要求します(ターミナルが許可する必要があります)。/helpでチャットコマンドをリストします。F1で共有キーボードヘルプを開きます。Ctrl+Uで入力をクリアします。//textは先頭にスラッシュを付けて送信します。推論では、qと?はテキストであり、Escは停止しますが、終了しません。Ctrl+Cで終了するか、Tabで別のタブに移動して既存のqキーを使用します。テキスト入力以外では、?もヘルプを開きます。
タブの順序は、monitor, chain, model, feed, inference, setup, HF login, Kaggle, memory, runs, benchmark, sample, hardware, math, devices, limits, library, mixer, eval, HF backup, cloud log, phone ping, updates, support, GitHub, sweeps, timelineです。80列以上では、タブストリップは元の6つのタブ、HFログイン/追加機能、5つの実行コントロール、ライブラリ/ミキサー/評価、およびネットワーク/コミュニティページの間をページングします。80列未満では、アクティブなタブが表示されます。F1はすべてのキーコントロールをリストします。
バックアップ、クラウドログ、コミュニティ(TUI)
Ctrl+Kを使用し、タブ名を入力してからEnterを押すか、Tabでサイクルします。Up/Downでフィールドを選択します。Enterで編集/適用、Escでキャンセル、Ctrl+Uでエディタをクリアします。これらの機能はTUIが開いている間のみ実行されます。プレーンCLIトレーニングおよび非TTYロギングはネットワークワーカーを開始しません。
- HFバックアップ: チェックポイントパスと既存の
owner/repoを入力し、pを押すとチェックポイントと生成されたモデルカードがプッシュされます。HFログイン資格情報を使用します。アップロードには、そのリポジトリへの書き込みアクセス権を持つトークンが必要です。自動バックアップは新しいsaved_checkpoint=イベントをカウントし、デフォルトで3回の保存ごとに実行されます。間隔を編集(0で無効化)するか、dを押して切り替えます。履歴スキャンで見つかったチェックポイントをアップロードしたり、リモートパスをローカルファイルとして解釈したりしません。1つの制限付きメモリワーカーがアップロードします。ビジー中は、最も新しい期限のチェックポイントのみがキューに入れられます。ログアウト/オフラインの試行はスキップステータスを表示します。rで手動で再試行します。リポジトリは作成されません。アップロードは、リポジトリのmainブランチのmodel.pssa/model.trfmおよびREADME.mdを置き換えます(以前のバージョンはHF履歴に残ります)。基本的なGit LFS転送は最大5 GiBまでサポートされます。マルチパート転送はステータスとともに拒否されます。 - クラウドログ: ストリーミング/追記専用HTTPS URLまたはノートブックから同期されたローカルファイルをEnterで入力し、pで独自のライブビューで追跡します。チェックポイントとスループット行はハイライトされます。PgUp/PgDnでスクロール、Endでライブ出力追跡、dで一時停止、rで再接続します。部分的な行は再接続で保持され、切断は1〜30秒のバックオフで再試行されます。履歴は400行に制限されています。大きなHTTPログにはRangeサポートが必要です(それ以外の場合は同期ファイルを使用)。URLはメモリに残り、クエリ文字列に資格情報が含まれる可能性があるためマスクされます。
- 電話通知: デフォルトでオフ。モードを
ntfy(推測不可能なntfy.shトピック付き)またはwebhook(HTTPS URL付き)に設定します。dで明示的に有効/無効にします。通知には、固定チェックポイント/完了/終了の概要のみが含まれ、チェックポイントパス、ログ、プロンプト、または資格情報は含まれません。ntfy電話アプリでトピックを購読します。パブリックトピックは、別途保護されていない限りプライベートではありません。配信は制限付きワーカーで実行されます。タブは制限付き配信ログと失敗カウントを保持します。pでテストチェックポイントイベントを送信します。rで再試行します。汎用Webフックは、event、message、source: "pssa"フィールドを持つJSONを受信します。 - アップデート:
Sparticle62ops/pssaの安定リリースを1日あたり最大1回チェックします。失敗した試行と手動rチェックも含まれます。新しいリリースは小さなモニターバナーを表示します。oでリリースを開き、dでチェックを切り替えます。これはgitをプルしたり、バイナリをダウンロードしたり、自動的にビルドしたりしません。 - サポート: GitHub、Discord、および問題リンク、さらに寄付からの正確なSOLアドレス。Up/Down、次にEnterまたはoでリンクを開きます。cで利用可能なデスクトップクリップボードヘルパー(
wl-copy、xclip、pbcopyまたはclip)を使用してウォレットをコピーします。それがない場合は、表示されているテキストをコピーします。 - GitHub: 公開、読み取り専用で、最初の50個の開いているp PRまたはi問題を閲覧します。rでリフレッシュ、Up/Down/PgUp/PgDn/Home/Endで選択、oまたはEnterでディスカッションを開きます。lでマスクされたトークンログインを開き、Ctrl+Lでログアウトします。
GH_TOKEN、次にGITHUB_TOKEN、次に~/.cache/pssa/github/tokenを読み取ります。入力されたトークンは検証され、Unixモード0600でアトミックに保存されます。HFログインと同様です。既存のHF_TOKEN資格情報は、起動時にそのファイルよりも優先されます。プレーンCLIダウンロードは、Bearerヘッダーと同じ資格情報を使用します。トークンはログやエラーに表示されません。最小限のスコープの読み取りトークンを使用してください。GitHub書き込みエンドポイント、フォーク、PR作成アクションはありません。 - スイープ: セットアップでベースランを構成し、Resumeを空のままにしてから、カンマ区切りの学習率、潜在サイズ、バッチレーンを編集します。空のグリッドはウィザード値を使用します。rでコピーし、pでグリッド(最大32トライアル)をキューに入れます。実行は、他のTUI所有のトレーナー/ベンチマークを待って、1つずつ既存の
trainコマンドを使用します。各実行は、train.logとmodel.pssaを持つ新しいsweep-…/trial-NNNディレクトリを使用します。結果は測定されたトレーニング損失とスループットを表示し、ホールドアウトスコアは表示しません。dで保留中のトライアルをキャンセルします。アクティブな子をキャンセルすることはありません。終了しても子プロセスは実行を続けますが、それ以上のトライアルは起動しません。 - タイムライン: 現在のローカル実行で保存されたチェックポイントの水平ビュー。Left/Right(またはUp/Down)でスクラブ、Home/Endでジャンプ、rで再スキャンします。記録された損失/スループットは、制限付きログの読み取りから取得されます。利用できない履歴は
n/aのままですが、チェックポイントウェイトから推測されるわけではありません。cで選択したチェックポイントとチャットします。EnterでセットアップのResumeとレビュー用の新しい出力ディレクトリを埋めます。これは起動しません。開始する前に、チェックポイントの形状/チャンクとデータセットを一致させてください。リモートチェックポイント/ログをローカルに同期して、このビューを使用してください。
バックアップ/通知/アップデート設定は、$XDG_CONFIG_HOME/pssa/tui-network.json(デフォルトは~/.config/pssa/tui-network.json、Unixでは所有者のみ)に保存されます。例:「"updates": {"enabled": false}」はリリースチェックを無効にします。通知トピックとWebhook URLはシークレットになる可能性があります。このファイルをプライベートに保ってください。PSSA_OFFLINE=1(またはHF_HUB_OFFLINE=1)を設定してからTUIを起動すると、フェーズ12cのHTTP呼び出しがスキップされます。ローカルログの追跡、スイープ、タイムラインは引き続き機能します。明示的に有効化されたアップロード/通知は、無効化されたとき、またはTUIを終了したときに既にサービスに到達している可能性があります。バックグラウンドネットワークサービスはTUI終了時に存続しません。パイプされたTUIは、オプトインされた保留中のアップロード/通知のみをEOFで待ちます。qで待たずに終了できます。これらの機能が無効な場合、通常の即時EOF動作は変更されません。
ライブサンプル、ハードウェア、実行コントロール(TUI)
- サンプル(F12): モニターには、スペースがあればコンパクトなライブサンプルが含まれます。フルサンプルタブは狭いターミナルでも機能します。変更された保存済みPSSAチェックポイントは、別のCPUプロセスで1分あたり最大1回サンプルされます:1つのRayonスレッド、
niceによる低優先度(利用可能な場合)、最大32トークン、および20秒のタイムアウト。F7で一時停止/再開します。ロード/生成はトレーナーやUIを待たず、チェックポイントは変更されません。最初の保存前にはプレースホルダーが表示されます。リモートKaggleチェックポイントはサンプルされません。それらのパスはローカルファイルとしてロードされることはありません。 - 信頼度ヒートマップ(推論、モニター、またはサンプルでF6): 生成されたテキストは、10%未満は赤、10%未満50%はアンバー、50%以上はCRTグリーンで色付けされます。凡例は、温度、トップk/トップp、および繰り返しペナルティ後の信頼度ではなく、生のモデルソフトマックス確率(未知トークンを含む)を説明します。トグルは生成に影響しません。新しく保存されたチャットはスコアを保持します。古いチャットは
n/aを表示します。デコードされたUTF-8文字を共有するBPEトークンは、バイトを分割するのではなく、最小確率の色を共有します。 - ハードウェア(F8): ホスト全体のCPU使用率/履歴、コアごとのバー(スペースがあれば)、および使用RAM/合計はLinux
/procから取得されます。nvidia-smiが利用可能な場合、パネルにはGPU名、VRAM、使用率、温度、電力、ドライバーも表示されます。サンプリングは非同期で2秒に制限されています。サポートされていないカウンターはn/aを表示します。NVIDIAテレメトリがない場合、実際のWebGPUアダプター名がn/aカウンターとともに表示されます。バックエンドの可用性はデバイス画面にあります。 - デバイス(F9): Up/Down、次にEnterで次のウィザード実行に使用可能なバックエンドを選択します。rでランタイム検出をリフレッシュします。ウィザードのバックエンドフィールドは同じ利用可能な選択肢をサイクルします。CPU、自動フォールバック、CUDA(CUDA対応バイナリとドライバーが必要)、および実際のWebGPUアダプターが区別されます。ソフトウェアアダプターは除外されます。選択は既存の
--backendフラグを使用します:CUDA可視デバイス0またはWebGPUの優先アダプター。他のアダプターは情報提供のみであり、インデックスごとの選択を保証するものではありません。アクティブなジョブとチャットは変更されません。サポートされていないアクセラレータは明示的にラベル付けされます。 - 制限(F10): スレッド、RAM MiB、最大バッチレーン、コーパストークンを編集し、Applyを選択します。dでドラフトをリセットします。空のフィールドはデフォルトを保持します。これらの値はセットアップとその同等のCLIコマンドにも表示されます。
--threadsはローカルRayonプールを作成します。スレッド数を変更すると、削減順序により最後の数桁が変わる可能性があります。--ram-mibはLinuxprlimitを必要とし、仮想アドレス空間を制限します(RSSまたはVRAMではありません)。GPUマッピングもカウントされ、予算が低すぎるとトレーニング子が中止される可能性があります。バッチレーンとコーパストークンは、既存の--batch-sizeと--max-tokensフラグを使用します(エポックあたりのトークン、GPUメモリクォータ、またはチャット生成制限ではありません)。制限はアクティブな実行を変更しません。 - 数学(F11): Up/Down、PgUp/PgDn、Home/Endで状態再帰、メモリスロット、耐火性書き込み、プラスチックアダプター、MLP、深さ/ループ、および損失をスクロールします。方程式とソース参照は
assets/math.mdにあります。次元、報告されたパラメータ数、使用量、および学習率は開いている実行に従います。報告されていない値はn/aのままです。トークンごとの密なMACは、測定されたスループットや総トレーニングFLOPsではなく、明示的にラベル付けされたフォワードオンリーの推定値です。
例として、オプションのCLI制限はTUIなしでも使用できます。
pssa train science --backend cpu --threads 2 --ram-mib 2048 \
--batch-size 1 --max-tokens 20000 --no-tui -o runs/limited.pssa
ローカルモデル、データセット、評価(TUI)
- ライブラリ: mでモデルフォルダ、dでデータセットフォルダを設定し、rでスキャンし、Up/Downでファイルを選択します。フォルダ設定と評価プロンプトパスは
$XDG_CONFIG_HOME/pssa/tui.json(それ以外の場合は~/.config/pssa/tui.json)に保存されます。関連性のない設定フィールドは保持されます。スキャンは非再帰的でオフスレッドで実行され、.pssa/.trfmモデルと.txt/.jsonl/.parquetデータセットをサイズとUTC変更日時とともにリストします。モデル次元はヘッダーヒントであり、完全な検証やウェイトロードではありません。cでチャットでチェックポイントを開き、uでセットアップのResumeと安価なヘッダー形状ヒントを埋めます。.trfm再開は既存のCPUtrain-transformerコマンドを使用します。PSSA専用ウィザードフィールドは適用されません。起動前に設定を確認してください。
データセットは、レコード/行数、推定トークン、およびサンプル行を表示します。統計は既存の単語トークナイザーを使用し、チェックポイントのBPEは使用しません。プレフィックスは256 KiB / 2,048レコード(最大1つの追加制限付きレコード)をターゲットとし、外挿された合計は推定値として明示的にラベル付けされます。偏ったファイルはこれらの推定値を歪める可能性があります。Enterで選択された統計をリフレッシュします。tでセットアップのデータセットを埋めます。JSONLとParquetは、オフスレッドで新しいUTF-8コーパスに変換されます。JSONLは文字列またはtext、content、body文字列フィールドを受け入れます。Parquetはオプションのローカルpython3+pyarrowアダプターをscripts/tui_parquet.pyで使用します。これはバイナリに埋め込まれているため、インストール済みビルドはソースチェックアウトを必要としません。同じ列名を使用し、小さなバッチをストリームします。ツールが見つからない場合はエラーが表示されます。何もダウンロードされません。1 MiBを超えるレコードはガイダンスとともに拒否されます。 - ミキサー: Up/Downでソースを選択します。+/-で相対トークンシェアを変更します(ゼロで無効化)。バーはウェイトを示し、パーセンテージは正規化されたシェアを示し、ソースごと/合計カウントは同じ単語トークン推定値を使用します。Enterでデータセットフォルダの
.pssa-mixes/下にcorpus.txtとmix.jsonを書き込み、完了時にセットアップのデータセットを埋めます。エクスポートは、決定論的な重み付きソースプレフィックスを繰り返しなしで使用し、最大100万単語トークンと256 MiBです。マニフェストは実際のカウントを記録しますが、サンプリングされたターゲットとは異なる場合があります。入力は上書きされません。ミキシングはオプトインです。通常のCLI/ウィザードトレーニングのデフォルトは変更されません。 - 評価: 自動的に完了したチェックポイントを監視し、固定の貪欲な回答と教師強制参照回答の損失/パープレキシティを1つの別個の低優先度CPUプロセスで生成します。1つのスレッドを使用し、フォワード間に一時停止し、ファイル/モデル/時間制限(64 MiBチェックポイント、128 MiBモデル/テープ割り当て、120秒)があります。サポートされていない、大きすぎる、または無効なチェックポイントは、トレーニングエラーではなくスキップとして記録されます。トレーナーは評価を待ちません。結果はチェックポイントの横にある
auto-eval.jsonlに追加され、チェックポイントIDとプロンプトスイートハッシュでキー付けされます。チャートはチェックポイント番号ごとの参照NLLを表示します。回答ペインは隣接するチェックポイントを比較します。Up/Downでチェックポイントを選択し、PgUp/PgDnでプロンプトを選択し、aで一時停止/再開し、pでプロンプトJSONパスを編集します(空にすると組み込みスイートが復元されます)。rでリロードします。assets/eval_prompts.jsonを起点としてコピーします。PSSA_EVAL_PROMPTSも、永続パスが設定されていない場合に起動パスを提供します。スコアはトークナイザー固有であり、正しさの評価や直接比較可能なものではありません。PSSA評価は、チェックポイントメモリ、新しいキャリー、および実行時ループ=1を使用します。TUIを開いたままにして、監視/評価を続行する必要があります。 - メモリ: vで共有タブを保存されたチェックポイントインスペクター(rでリフレッシュ、PgUp/PgDnでスクロール)とライブチャット取得の間で切り替えます。チャットがストリーミングしている間、ライブビューは最新のPSSAトークンからの実際の占有スロット取得強度、ランク付けされた強度バー、および制限付きの最近のトークン履歴を表示します。クエリ/入力と予測されたトークンは区別され、スタックされたレイヤーと最後のループパスはラベル付けされます。これは既存の推論状態の読み取り専用コピーであり、別の取得や合成アニメーションではありません。Transformerチェックポイントは、PSSAスロットがないことを報告します。テレメトリはチェックポイントに保存されません。狭いターミナルはコンパクト/スタックレイアウトを使用します。
オプションのローカル音声キャプチャ(Linux/ALSA)は、cargo build --release --features speechでビルドされます。既存のローカルwhisper.cpp whisper-cli(またはmain)とarecordをインストールし、バイナリとggmlモデルパスにPSSA_WHISPER_BINとPSSA_WHISPER_MODELを設定します。オーバーライドがない場合、アプリはPATHでwhisper-cli/mainとmodels/ggml-{base.en,base,tiny.en}.binを検索してローカルモデルを見つけます。/speechは10秒を録音し、ローカルで転写し、一時オーディオを削除し、レビュー用にテキストを入力ボックスに挿入します。自動送信はしません。不足しているツール/モデルまたはデフォルトビルドは、有効化ガイダンスを表示します。モデルはダウンロードされず、デフォルトビルドにはオーディオ依存関係がありません。
オプション:
| オプション | デフォルト | 対象 | 説明 |
|---|---|---|---|
-d, --data <source> | data/downloaded.txt(存在する場合)、それ以外はscience | train、train-transformer、chat、score、score-transformer、throughput | データセットソース、またはカンマ区切りのリスト。 |
-m, --model <path> | data/model.pssa(またはベースラインコマンドの場合は.trfm) | chat、generate、generate-transformer、score、score-transformer、throughput | ロードするチェックポイント。 |
-o, --out <path> | コマンド固有;clean-wikitextには必須 | train、train-transformer、download、clean-wikitext、benchmark | 出力チェックポイント、データセット、またはベンチマークパス。クリーニングには新しいファイルが必要です。 |
-p, --prompt <text> | 空 | generate、generate-transformer | プロンプトテキスト。生成に必須。 |
-e, --epochs <n> | 4 | train、train-transformer | トレーニングエポック。 |
-t, --temp, --temperature <float> | 0.70 | chat、generate、generate-transformer | サンプリング温度。 |
--max-new-tokens <n> | 64(最大100,000) | generate、generate-transformer | 生成長キャップ。 |
--latent <n> | 256 | train | PSSA潜在次元。 |
--depth <n> | 1 | train | 連続PSSAブロック;スタックモデルはCPUで実行されます。 |
--state <n> | 16 | train | PSSA再帰状態次元。 |
--key <n> | 32 | train | PSSAメモリキー次元。 |
--memory <n> | 512 | train | PSSAメモリバンク容量。 |
--batch-size <n> | 1 | train | 独立したPSSAドキュメントレーン。 |
--chunk <n> | 64 | train、train-transformer | シーケンスチャンク長。 |
--lr <float> | 1e-3 | train、train-transformer | ベース学習率。 |
--accumulate <n> | 8 | train、train-transformer | オプティマイザー更新あたりのチャンク数。 |
--grad-clip <max_norm> | オフ | train | オプトイングローバルL2勾配制限(すべてのAdamパラメータにわたる);有限正のf32。 |
--memory-value-cap <c> | オフ | train | オプトインL2制限(エピソードメモリ値ごと、ロード時および各書き込み時);有限正のf32。 |
--warmup-steps <n> | 0 | train、train-transformer | コサイン減衰前の線形ウォームアップ。 |
--total-updates <n> | 未設定 | train、train-transformer | 固定実行全体スケジュールホライゾン。 |
--seed <n> | 42 | train、train-transformer | 初期化シード。 |
| `--tokenizer <bpe | word>` | bpe | train、train-transformer |
--vocab-size <n> | 2048 | train、train-transformer | BPE語彙最大サイズ。 |
--tokenizer-from <path> | 未設定 | train-transformer | PSSAチェックポイントから正確なトークナイザーをインポートする。 |
--max-tokens <n> | 未設定 | train、train-transformer、score、score-transformer、throughput | 入力ドキュメント全体のグローバルキャップ、ドキュメントごとではありません;スコアリングコマンドはホールドアウトスライスに使用します。 |
--skip-tokens <n> | 0 | train、train-transformer、score、score-transformer、throughput | トレーニング開始前にこの数のトークンをスキップします;スコアリングコマンドはホールドアウトスライスに使用します。 |
--resume <path> | 未設定 | train、train-transformer | 既存のチェックポイントから継続します。 |
--loss-csv <path> / --loss-every <n> | 未設定 / 10000 | train、train-transformer | 更新境界でターゲットトークントレーニング曲線を追加します。 |
--tokens-seen <n> | 未設定 | train、train-transformer | 新しい損失CSVを再開するためのオフセット。 |
--no-tui | オフ | train、train-transformer | カーソル更新を無効にし、レート制限されたプレーン進行ラインを出力します。 |
--hf-dataset <owner/name> | 未設定 | train | ローカルソースではなく、ページングされたディスクキャッシュされたHugging Faceデータセットからトレーニングします。 |
--hf-config <config> | auto | train | データセット構成;リポジトリに複数の構成がある場合に必要です。 |
--hf-split <split> / --hf-field <field> | train / text | train | スプリットとテキスト列(ドットでネストされたフィールドもサポート)。 |
--skip-tokens <n> / --max-tokens <n> | 0 / unset | score、score-transformer、throughput | 厳密なホールドアウトスライスを選択します;スコアリングはEOFでラップしません。 |
位置引数と長/短オプションは混在できます。
cargo run --release -- train data/downloaded.txt -e 2 -o data/experiment.pssa
cargo run --release -- train --data data/downloaded.txt --epochs 2 --out data/experiment.pssa
チャットコマンド
REPL内:
/exitまたはquitでプロセスを終了します。/infoでロードされたモデルパス、総メモリスロット数、アダプター数を表示します。/temp <value>で後続のターンのサンプリング温度を変更します。有限でゼロ以上である必要があります。
長いコーパスでのトレーニング
--skip-tokens、--max-tokens、および--resumeを組み合わせることで、長いコーパスを短い実行のチェーンとしてトレーニングできます。これにより、単一の実行がセッション制限を生き残る必要がなくなります。ウィンドウがEOFを横切る場合、選択はコーパスの先頭にラップします。各リンクは独自のウィンドウをトレーニングし、オプティマイザ状態を次に渡します。
cargo run --release -- train data/downloaded.txt -e 1 \
--skip-tokens 0 --max-tokens 200000 -o chain/ck01.pssa
cargo run --release -- train data/downloaded.txt -e 1 \
--skip-tokens 200000 --max-tokens 200000 --resume chain/ck01.pssa -o chain/ck02.pssa
オプションのダイバージェンス包含のために、例:--grad-clip 1.0 --memory-value-cap 512を追加します。クリッピングは勾配累積後、Adamの直前にCPUとGPUで実行されます。進行状況レポートは、クリップ前のgrad_normを表示します。非有限ノルムは勾配をクリアし、更新をスキップしますが、Adamモーメント、ステップカウント、またはLRスケジュールは進めません。警告とskipped_updatesはこれらのスキップをカウントし、21回目の連続スキップで保存せずに中止します。メモリキャップはベクトルを再スケーリングします(個々の座標ではなく)。キーノルムやその他のバンクメタデータは変更されません。両方のフラグはデフォルトでオフであり、チェックポイント形式を保持し、実行時のみです。再開された各リンクでそれらを繰り返してください。例のキャップはポリシー選択であり、安定性の保証や普遍的なモデルスケール設定ではありません。
kaggle/kaggle_continue.shはこのパターンをエンドツーエンドで駆動します。ウィンドウサイズとリンク数を設定し、コーパスをオフセットごとに歩き、各リンクを前のチェックポイントから再開します。statusはチェーン内の各チェックポイントを形状とオプティマイザステップカウントとともに報告します。
データセットソース
DatasetManagerは、1つ以上のカンマ区切りのソースを受け入れます。
cargo run --release -- train science # 内蔵参照コーパス
cargo run --release -- train data/downloaded.txt # ローカルテキストファイル
cargo run --release -- train data/ # ディレクトリ内のすべての読み取り可能なファイル
cargo run --release -- train https://example.org/corpus.txt
cargo run --release -- train hf:owner/dataset # Hugging Faceリポジトリ
cargo run --release -- train science,data/downloaded.txt # 複数のソース
ローカルファイルとディレクトリは直接読み取られます。HTTP(S) URLと明示的なhf:owner/datasetソースはダウンロードされます。構造化された応答は、text、content、article、story、instruction、output、sentence、summaryなどの一般的なフィールドを使用して削減されます。サポートされているテキストフィールドがない構造化応答は拒否されます。
バイトレベルBPEは、正確なUTF-8の大文字小文字、空白、句読点、および改行を保持し、完全な256バイトフォールバックアルファベットを持つため、有効なUTF-8は<unk>に折りたたまれることはありません。以前の小文字単語分割器(10,000語キャップと<unk>動作を含む)は、--tokenizer wordでのみ利用可能です。
Hugging Faceデータセットをローカルテキストファイルにダウンロードします。
cargo run --release -- download wikimedia/wikipedia --out data/downloaded.txt
Hugging Faceトレーニングとライブフィード
pssa train --hf-dataset Salesforce/wikitext \
--hf-config wikitext-103-v1 --hf-split train --hf-field text \
--max-tokens 200000 -e 1 --no-tui | pssa tui
feedを開くにはTabを使用します。データセット、完了した選択ウィンドウ行、トレーニング済みトークン、およびトークンIDシュレッダーにスライドする短いデコード済みプレビューを表示します。表示されるIDは、最新の報告されたトレーニングチャンクからの実際の入力トークンです。バッチ処理の場合、プレビューはその更新の最後のレーンです。行数はエポック/ウィンドウの繰り返しを含み、選択された行番号はスキップ/キャップ選択後であり、グローバルなHugging Face行IDではありません。古いログとローカルトレーニングは、サンプルメタデータなしで引き続き機能します。アニメーションは化粧品であり、ログリーダーでのみ実行されます。
HFダウンロードはdatasets-serverのrows APIを使用し、ページをアトミックディスクキャッシュにストリーミングしてから、既存のインメモリトークナイザー/トレーナーがコーパスを読み取ります。これはオンライン/無限データセットトレーニングではありません。--max-tokensはダウンロードではなくトレーニングをキャップします。PSSA_HF_CACHEを書き込み可能なキャッシュディレクトリ(例:Kaggle上の/kaggle/working/pssa-hf-cache、インターネット有効)に設定します。それ以外の場合、キャッシュは$XDG_CACHE_HOME/pssa/huggingfaceまたは~/.cache/pssa/huggingfaceの下にあります。キャッシュされたデータはオフラインで再利用できます。更新するにはキャッシュファイルを削除してください。発見が複数の選択肢を報告する場合は、明示的に構成を選択してください。
名前が変更された環境変数も、対応するPSSA_*変数が未設定の場合(OXIDE_PSSA_HF_CACHE対PSSA_HF_CACHEを含む)は、レガシーOXIDE_*フォールバックを受け入れます。設定されたPSSA_*値は、空であっても常に優先されます。
プライベート/ゲート付きデータセットの場合、pssa tuiでHF loginを開きます。読み取りトークン(マスク済み)を入力してEnterを押します。アプリはHFのwhoami-v2 APIでアカウントを検証し、~/.cache/huggingface/tokenをモード0600でアトミックに保存します。既存のHF_TOKEN資格情報は、起動時にそのファイルよりも優先されます。プレーンCLIダウンロードは、Bearerヘッダーと同じ資格情報を使用します。トークンはログやエラーに表示されません。Escで入力クリア、Ctrl+Lでログアウトして保存ファイルを削除します。明示的なログイン/ログアウトは、後続のウィザード起動トレーナーにも適用され、コマンド引数でトークンを渡すことはありません。既に実行中のトレーナーは資格情報を保持します。親シェルでHF_TOKENを解除すると、後続で起動されたCLI実行もサインアウトされます。ログインはゲート付きアクセスを付与しません。Hugging Faceページでアクセスをリクエスト/承認し、承認を待ってください。ログアウトしても、既にダウンロードされたデータセットキャッシュは削除されません。
HF実行は、パーセントエンコードされたfeed_*フィールドを既存のレート制限付き進行ライン(パイプされている場合は5秒ごと、および最初/最後の更新)に追加します。これらにはデータセットコンテンツの短いサンプルが含まれます。保存されたログをそれに応じて扱ってください。ローカル実行はこれらのフィールドを追加しません。--hf-datasetを位置ソースまたは--dataと組み合わせないでください。
ネットワークダウンロードはPSSAによって検証またはキュレーションされません。トレーニングに外部コーパスを使用する前に、ライセンス、プライバシー、およびコンテンツを確認してください。
WikiText生コーパスのクリーニング
抽出されたwikitext-103-rawテキストを新しいトレーニング実行の前にクリーニングします。
./target/release/pssa clean-wikitext wiki.train.raw --out data/wikitext-clean.txt
./target/release/pssa train data/wikitext-clean.txt -o data/model.pssa
# 利用可能:pssa help clean-wikitext
同じコマンドは、Parquetからテキストを抽出した後、Kaggleでも使用できます。Parquet自体ではなく、ローカルUTF-8テキストファイルを受け入れます。-oと--outはエイリアスです。出力パスは必須であり、既に存在してはいけません(入力パスまたはそのリンクを含む)。これは元のコーパスを保護します。別の実行のために新しい出力名を選択してください。読み取り、UTF-8、書き込みの失敗は、通常のCLIエラーパスを通じて非ゼロで終了し、可能な場合は部分的な出力が削除されます。
パス:
@-@、@.@、@,@を隣接するテキストに結合します:guest @-@ starring→guest-starring、52 @.@ 9→52.9、500 @,@ 000→500,000。= Title =や= = Section = =のようなバランスの取れた見出し行を削除します。<unk>を削除し、残りのインライン空白を単一スペースに折りたたみます。.、,、)の前のスペース、および(の後のスペースを削除します。各行をトリムします。- 最大1つの連続した空行を保持します。先頭/末尾の空行も含まれます。見出しを削除しても空行は導入されません。
- LF改行を書き込みます。最後の保持された行にも改行が含まれます。
pssa::dataset::clean_wikitext(reader, writer)は再利用可能なライブラリAPIです(BufRead / Write、std::io::Result<()> を返します)。CLIはバッファリングされたファイルI/Oを使用し、クリーナーは入力/出力行バッファのみを保持します。メモリは最も長い行に比例し、コーパスサイズには比例しません。バッファリングされたライターを使用するライブラリ呼び出し元は、自分でフラッシュする必要があります。CLIは明示的にフラッシュをチェックします。新しい依存関係は必要ありません。
クリーニングはオプトインです。既存のローダー、トークナイザー、トレーニングコマンド、およびkaggle/kaggle_continue.shは変更されません。インフライトの再開チェーンをクリーニング済みコーパスに切り替えないでください:クリーニングはトークンID/カウントを変更し、--skip-tokensオフセットの意味を変更します。代わりに、新しいチェーンのためにクリーニング済みのコーパスを準備して一貫して再利用してください。
トレーニングパイプライン
trainコマンドは2つのフェーズを実行します。
- 連続再帰的取り込み: トークン遷移はPSSAレイヤーを介して処理されます。モデルは、コサイン学習率スケジュールを使用して、状態、メモリ、アダプター、およびルーティング動作を更新します。
- アダプター統合: 各エポック後、プラスチックアダプターの高速係数は、設定されたEMAレートで統合係数に折りたたまれます。
デフォルトは、潜在変数256、再帰状態16、メモリキー32、メモリ容量512、チャンク長64、学習率1e-3、更新あたり8チャンク、シード42です。結果のバイナリには、重み、構成、メモリ、アダプター、およびオプティマイザ状態が含まれます。他のMLフレームワークとの交換フォーマットではなく、PSSALayer::import_from_pssa_bytesを介してロードする必要があります。
チェックポイント互換性
新しい保存はV7を使用します:完全なV6トレーニング/再開ペイロードに加えて、制限付きの長さプレフィックス付き標準トークナイザーJSON。V7 BPEチェックポイントは自己完結型であり、トレーニングまたは評価コーパスにアクセスせずに正確な順序付き語彙を復元します。generateとchatは、外部データでのトークナイザーの再トレーニングがプロビナンスを検証しないため、V7 BPEに対して--dataを拒否します。V7単語チェックポイントとV6チェックポイントは、レガシーオプションの--data正確な語彙比較を保持します。チェックされたV5アーティファクトは引き続き推論専用であり、--dataが必要なのは、トークナイザープロビナンスが含まれていなかったためです。
推論
生成はオートリグレッシブであり、温度0.70、トップ-24候補制限(その後トップ-p 0.85フィルタリング)、最近64トークンウィンドウに対する1.25の繰り返しペナルティ、即時自己遷移抑制、<unk>抑制、およびデフォルトで64新しいトークンのキャップを使用し、2つの生成されたピリオド後に早期終了します。
V7 BPE推論は、正確な埋め込みトークナイザーを復元し、データセットから再構築することはありません。評価は、復元されたトークナイザーにのみホールドアウトテキストとしてデータを提供します。
ベンチマーク
cargo run --release -- benchmark
スイートは、矛盾した事実、MQARスタイルのディストラクタ、バースト繰り返し、モデルシリアル化、および短い生成プロンプトのための合成ストリームを実行します。マイルストーン結果を印刷しますが、Cargoのテストハーネスには接続されておらず、一般的な言語タスクの品質評価ではありません。
プロジェクトレイアウト
| パス | 責任 |
|---|---|
src/main.rs | バイナリエントリーポイント;プロセス引数をCLIに転送します。 |
src/cli.rs | 引数解析、ホーム画面、トレーニング、チャット、生成、評価、ステータス、ダウンロード、ベンチマークオーケストレーション。 |
src/ui.rs | ターミナルプレゼンテーション:ロゴ、パネル、スピナー、プログレスバー、ANSI対応幅処理。 |
src/dataset.rs | トークン化、語彙構築、内蔵コーパス、ローカルおよびリモートロード、ストリーミングWikiTextクリーニング。 |
src/pssa.rs | PSSAレイヤー、フォワードパス、プラスチック学習、統合、および.pssaシリアル化。 |
src/checkpoint.rs | チェックポイント形式バージョン、再開ペイロード、およびインポート/エクスポート検証。 |
src/inference.rs | オートリグレッシブサンプリングと生成制約。 |
src/backend.rs | GEMMディスパッチ、CPU参照カーネル、およびWebGPUデバイスプローブ。 |
src/memory.rs | 固定容量ハイパーボリックメモリバンクと取得/更新ロジック。 |
src/adapter.rs | 低ランクモジュラーアダプター射影と更新。 |
src/defense.rs | 安定した更新と上書き防御のための耐火性レートリミッタープリミティブ。 |
src/linalg.rs | 小さな割り当て意識的なベクトル、行列、数学、および決定論的RNGユーティリティ。 |
src/diagnostics.rs | CLIバナーフォーマット。 |
kaggle/ | ホスト済みノートブックでの長尺コーパス用のチェーン化トレーニングドライバー。 |
data/downloaded.txt | 存在する場合のデフォルトとして使用されるチェックイン済みコーパス。 |
data/model.pssa | チェックイン済みシリアル化モデルアーティファクト。 |
開発
繰り返しローカル編集するには、最適化されたインクリメンタルfastプロファイルを使用します。
cargo check --profile fast --tests
cargo build --profile fast
cargo test --profile fast
cargo run --profile fast -- help
# オプションのNVIDIA CUDAバックエンド:
cargo build --profile fast --features cuda
このプロファイルはインクリメンタルコンパイルを有効にし、LTOを無効にし、最適化レベル3を維持しながら16のコード生成ユニットを使用します。そのバイナリとコンパイラキャッシュはtarget/fast/の下にあります。最初のビルドはキャッシュをポピュレートし、後続の編集はそれを再利用できます。デバッグビルド(cargo build)は既にインクリメンタルコンパイルを有効にしています。再現可能なパフォーマンス測定には、通常のリリースプロファイルを使用し続けてください。
cargo fmt --all -- --check
cargo clippy --release --all-targets
cargo test --release
統合テストはtests/にあります:allocations.rs、bpe_repair.rs、checkpoint_repair.rs、core_repair.rs、linalg.rs、およびruntime_repair.rs。共有アーティファクトはtests/fixtures/の下にあります。これらはトークナイザーラウンドトリップ、チェックポイントのインポート/エクスポート(バージョン間)、線形代数カーネル、割り当て動作、およびCLIランタイム出力をカバーします。Clippyはエラーがなく、数値カーネルの多くのスタイル警告は意図的にそのまま残されています。それらをインデックス付きループで書き換えると、勾配テストがピン留めするコードが変更されるためです。
制限事項
- 初期モデル:現在のチェックポイントからのサンプルはまだ一貫したテキストではありません。上記のアーキテクチャ結果は、小さな一致した実行からのものです。
- ドリーミングは実験的であり、デフォルトではオフです(上記参照)。
- WebGPUトレーニングはまだハードウェアで検証されていません。CUDAとCPUがテスト済みのパスです。ソフトウェアWebGPUアダプターはCPUよりも遅いため拒否されます。
ライセンス
プロジェクトライセンスについては、LICENSEを参照してください。