Relm – base-RオブジェクトとしてのローカルLLM、解釈可能性付き
Relm – local LLMs as base-R objects, with interpretability (github.com)
要約
Relmは、R言語を科学研究、特にデータとAIの分野における第一級の環境にするためのパッケージです。Rustネイティブコアを持ち、ローカルLLM(読み込み、生成、埋め込み、アクティベーション追跡、ステアリング、アブレーション)をbase-R関数として公開します。これにより、Pythonなしでトピックモデリングなども可能になり、研究者が使いやすいように設計されています。現在v0.1.0(テキストのみ)がリリースされており、次期バージョンでは画像入力(ビジョン)もサポート予定です。
全文翻訳
relm · Rにおけるローカルモデルの研究
[画像: relm — Local models. Inspectable experiments. モデルレイヤーがRワークスペースに接続されている概念図。]
はじめに · 研究ワークフロー · ドキュメント · エージェント向け · 0.4.0リリース
ローカル言語モデルを実行し、その内部アクティビティを検査し、通常のRセッションから介入をテストします。 relmは、使い慣れた統計およびプロットツールと連携するテキスト、データフレーム、行列を返します。
R-ebirthはリポジトリであり、relmはRパッケージです。Rust/llama.cppエンジンを組み込み、標準的なR ≥ 4.5で動作します。Pythonランタイム、モデルサーバー、APIキーは不要です。モデルがダウンロードされると、推論はローカルで実行されます。
質問から検査可能な実験へ
ロード → 観察 → 比較 → 介入 → 評価 → エクスポート
| やりたいこと | ここから始める | 得られるもの |
|---|---|---|
| テキストまたは制約付きJSONを生成する | llm_generate() | ストリーミングおよび非同期オプション付きのテキスト |
| ドキュメントを数値的に表現する | llm_embed() | 入力ごとの数値行列(1行) |
| モデル内部の値を確認する | llm_trace() | データフレームまたは行列スライスとしての選択されたアクティベーション |
| アクティベーションがラベルを予測するかどうかを測定する | llm_probe() | ホールドアウト評価オプション付きのグループ化された統計プローブ |
| 制御された介入をテストする | llm_direction(), llm_apply_direction(), llm_ablate() | 派生モデルハンドル(オリジナルは利用可能) |
| 実験を確認・共有する | plot(), llm_compare(), llm_timeline() | Base-Rの図およびエクスポート可能なテーブル |
アクティベーションとは、モデル内部の数値値です。ディレクションは、ペア化されたアクティベーション差を再利用可能なベクトルに結合します。介入は、生成中に選択された値を変更するため、出力で何が変わるかを研究できます。これらのツールは実験をサポートします。アクティベーションの変更や短い回答は、改善を確立するものではありません。
介入を、座標ごとに見る
[画像: アニメーション化されたRプロットが、記録された896個のレイヤー12アクティベーション、変更されていないゼロ制御、および次のトークン確率に沿った残差加算の測定効果を示しています。]
保存されたrelm実験からの実際の値:状態をキャプチャし、ゼロ制御を確認し、同じプロンプトとプレフィックスでの介入を比較します。アニメーションは記録された座標を明らかにしますが、新しい測定値を補間するものではありません。
動画を再生 · 静止画 · 仕組みとレンダリングコード
インストールして試す
r-universe がパッケージを配布しています。プリビルドバイナリはRustまたはC++ツールチェーンを必要としません。お使いのOS、Rバージョン、アーキテクチャで利用可能か確認してください。開発ソースにはオプションのLinux CUDAビルド(RTX 2060の結果測定済み)もあります。標準的なバイナリはCUDA機能を確立しません。Windows CPUソースパッケージチェックと修正された0.5.0 win-builderチェックはパスしましたが、Windows GPUと完全なライブファイルライフサイクルパリティはまだ受け入れられていません。0.5.0ソース候補は、このポータビリティ作業を統合しており、CRANに提出されました。メンテナーの確認は完了しており、個別の0.5.0リリースが保留中です。提出状況を参照してください。
install.packages(
"relm",
repos = c("https://vadale.r-universe.dev", getOption("repos"))
)
以下の最初のモデルダウンロードは約675MBです。後続の呼び出しでは、検証済みのキャッシュファイルが再利用されます。この小さなモデルはワークフロー学習に役立ちますが、その回答はまだ確認が必要です。
library(relm)
path <- llm_download("qwen2.5-0.5b-instruct-q8_0")
m <- llm(path, backend = "cpu", context_length = 512L)
prompt <- paste0(
"Question: A sealed envelope has no markings. ",
"Which city is named in the letter inside?\nAnswer:"
)
answer <- llm_generate(m, prompt, chat = FALSE, max_tokens = 48L,
temperature = 0, seed = 3107L)
cat(answer)
trace <- llm_trace(m, prompt, layers = 12L, positions = "last",
components = "residual", spill = FALSE)
activations <- as.matrix(trace, layer = 12L)
dim(activations) # 1つのキャプチャされた位置 × モデルの隠れ幅
close(m)
chat = FALSEは提供されたテキストを続行します。chat = TRUEはモデルのチャットテンプレートを使用します。llm_trace()は生成された回答ではなく、提供されたプロンプトに対するフォワードパスを観察します。生成中の観察にはon_stateを使用してください。CPUはこの例を明示しています。標準のbackend = "auto"は、サポートされているApple SiliconビルドではMetal、次に利用可能なコンパイル済みCUDA、次にCPUを選択します。インストールとトラブルシューティングを参照してください。異なるモデルを使用するには、モデルの選択と変更に従ってください。5つのピン留めされたエイリアス、その他のローカルGGUFファイル、および一致するビジョンプロジェクターがあり、サポートされている研究操作が明示されています。
初回の呼び出しを超えて
エージェント支援利用の場合、llms.txt、スタンドアロンの例、およびAPI/バージョンポリシーから始めてください。
- 完全な実験を実行する: 研究ワークフローは、プロンプト、固定条件、オリジナル/ゼロ/介入出力、プロビナンス、比較プロット、CSV/RDSファイルを保存します。研究ガイドは、各ステップで使用すべきAPIを説明しています。
- 生成を監視する: トークンイベントをストリーミングするか、ライブ状態と介入グラフィックを確認します。非同期/ライブ生成は、オプションの
laterとpromisesを使用します。 - 介入を構築する: コントラストディレクションを記録し、サポートされているサイトで残差加算またはコンポーネント投影を適用します。投影は静的です。ライブ係数更新は加算的です。
- より広いRエコシステムを使用する: アクティベーションをプローブし、トピックマップを構築するか、サポートされている画像/テキストモデルを使用します。
- 再現可能なアプリケーションを構築する: バッチおよびローカルサービステンプレートは、ジョブと結果を保存します。有効なJSONは、抽出された事実の正確性を保証するものではありません。
生成を監視し、証拠を保持する
最初の使用スタディからの実際のon_tokenイベントを、トークンごとに等しい間隔でリプレイします。これは速度比較ではありません。介入は応答を変更しましたが、両方の応答は依然として欠落した事実を捏造しました。relmはその違いを検査可能にするため、実験は変更が役立つかどうかをテストできます。
動画を再生 · 静止画 · データ、コード、解釈
現在機能するもの—そして注意が必要なこと
バージョン0.4.0が公開され、r-universeからのMac arm64での検証済みインストールが含まれています。リリース記録は、パッケージチェック、配布チェック、および実際のモデルテストの範囲を分離しています。
- サポートされる組み合わせが重要です。 モデルアーキテクチャ、コンポーネント、バックエンドのサポートは異なります。サポートマトリックスから始めてください。Linux CUDAには、記録された開発範囲とパフォーマンスレポートがあります。Windowsとビジョンエンコーダーのトレースは、まだその範囲外です。
- メモリは実験設計の一部です。 レイヤーとトークン位置を選択します。トレーススピルはキャプチャストレージを管理しますが、すべてのモデル/プロセスメモリを制限するわけではありません。終了したら、モデルと派生ハンドルを閉じます。
- 変更は慎重に解釈してください。 プローブは予測可能なデコード可能性を測定します。モデルマップは構成を示します。介入は安全性またはバイアス除去の保証を提供しません。数値チェックには文書化された範囲と制限があります。
- 機能と研究品質は別です。 小規模モデルの例と成功したワークフローは、一般的なタスクの精度を示すものではありません。最初の使用評価は、不十分な出力と残されたユーザビリティのギャップを含む、エージェントの実際の経験を記録しています。人間の外部ユーザーによる検証はまだ開かれています。
貢献または探求
ドキュメントインデックスから始めてください。パッケージはrebirth/にあり、実行可能な研究とアプリケーションテンプレートはexamples/およびtests/demos/にあります。開発ワークフロー、アーキテクチャ、および単純化コンペンディウムは、貢献方法と変更を読みやすく保つ方法を説明しています。オプションの統計アシスタントコンパニオンはrelmとは別です。
元のコードはMITまたはApache-2.0(ライセンス)です。バンドルされたllama.cppはMIT(通知)です。変更された再配布は、商標ポリシーに従う必要があります。カバーは概念的なイラストであり、研究図は実際のデータソースによって識別されます。