HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Relm – base-RオブジェクトとしてのローカルLLM、解釈可能性付き

Relm – local LLMs as base-R objects, with interpretability (github.com)

4 pointsby grauk0 コメント

要約

Relmは、R言語を科学研究、特にデータとAIの分野における第一級の環境にするためのパッケージです。Rustネイティブコアを持ち、ローカルLLM(読み込み、生成、埋め込み、アクティベーション追跡、ステアリング、アブレーション)をbase-R関数として公開します。これにより、Pythonなしでトピックモデリングなども可能になり、研究者が使いやすいように設計されています。現在v0.1.0(テキストのみ)がリリースされており、次期バージョンでは画像入力(ビジョン)もサポート予定です。

全文翻訳

relm · Rにおけるローカルモデルの研究

[画像: relm — Local models. Inspectable experiments. モデルレイヤーがRワークスペースに接続されている概念図。]

はじめに · 研究ワークフロー · ドキュメント · エージェント向け · 0.4.0リリース

ローカル言語モデルを実行し、その内部アクティビティを検査し、通常のRセッションから介入をテストします。 relmは、使い慣れた統計およびプロットツールと連携するテキスト、データフレーム、行列を返します。

R-ebirthはリポジトリであり、relmはRパッケージです。Rust/llama.cppエンジンを組み込み、標準的なR ≥ 4.5で動作します。Pythonランタイム、モデルサーバー、APIキーは不要です。モデルがダウンロードされると、推論はローカルで実行されます。

質問から検査可能な実験へ

ロード → 観察 → 比較 → 介入 → 評価 → エクスポート

やりたいことここから始める得られるもの
テキストまたは制約付きJSONを生成するllm_generate()ストリーミングおよび非同期オプション付きのテキスト
ドキュメントを数値的に表現するllm_embed()入力ごとの数値行列(1行)
モデル内部の値を確認するllm_trace()データフレームまたは行列スライスとしての選択されたアクティベーション
アクティベーションがラベルを予測するかどうかを測定するllm_probe()ホールドアウト評価オプション付きのグループ化された統計プローブ
制御された介入をテストするllm_direction(), llm_apply_direction(), llm_ablate()派生モデルハンドル(オリジナルは利用可能)
実験を確認・共有するplot(), llm_compare(), llm_timeline()Base-Rの図およびエクスポート可能なテーブル

アクティベーションとは、モデル内部の数値値です。ディレクションは、ペア化されたアクティベーション差を再利用可能なベクトルに結合します。介入は、生成中に選択された値を変更するため、出力で何が変わるかを研究できます。これらのツールは実験をサポートします。アクティベーションの変更や短い回答は、改善を確立するものではありません。

介入を、座標ごとに見る

[画像: アニメーション化されたRプロットが、記録された896個のレイヤー12アクティベーション、変更されていないゼロ制御、および次のトークン確率に沿った残差加算の測定効果を示しています。]

保存されたrelm実験からの実際の値:状態をキャプチャし、ゼロ制御を確認し、同じプロンプトとプレフィックスでの介入を比較します。アニメーションは記録された座標を明らかにしますが、新しい測定値を補間するものではありません。

動画を再生 · 静止画 · 仕組みとレンダリングコード

インストールして試す

r-universe がパッケージを配布しています。プリビルドバイナリはRustまたはC++ツールチェーンを必要としません。お使いのOS、Rバージョン、アーキテクチャで利用可能か確認してください。開発ソースにはオプションのLinux CUDAビルド(RTX 2060の結果測定済み)もあります。標準的なバイナリはCUDA機能を確立しません。Windows CPUソースパッケージチェックと修正された0.5.0 win-builderチェックはパスしましたが、Windows GPUと完全なライブファイルライフサイクルパリティはまだ受け入れられていません。0.5.0ソース候補は、このポータビリティ作業を統合しており、CRANに提出されました。メンテナーの確認は完了しており、個別の0.5.0リリースが保留中です。提出状況を参照してください。

install.packages(
  "relm",
  repos = c("https://vadale.r-universe.dev", getOption("repos"))
)

以下の最初のモデルダウンロードは約675MBです。後続の呼び出しでは、検証済みのキャッシュファイルが再利用されます。この小さなモデルはワークフロー学習に役立ちますが、その回答はまだ確認が必要です。

library(relm)

path <- llm_download("qwen2.5-0.5b-instruct-q8_0")
m <- llm(path, backend = "cpu", context_length = 512L)

prompt <- paste0(
  "Question: A sealed envelope has no markings. ",
  "Which city is named in the letter inside?\nAnswer:"
)
answer <- llm_generate(m, prompt, chat = FALSE, max_tokens = 48L,
                       temperature = 0, seed = 3107L)
cat(answer)

trace <- llm_trace(m, prompt, layers = 12L, positions = "last",
                   components = "residual", spill = FALSE)
activations <- as.matrix(trace, layer = 12L)
dim(activations) # 1つのキャプチャされた位置 × モデルの隠れ幅

close(m)

chat = FALSEは提供されたテキストを続行します。chat = TRUEはモデルのチャットテンプレートを使用します。llm_trace()は生成された回答ではなく、提供されたプロンプトに対するフォワードパスを観察します。生成中の観察にはon_stateを使用してください。CPUはこの例を明示しています。標準のbackend = "auto"は、サポートされているApple SiliconビルドではMetal、次に利用可能なコンパイル済みCUDA、次にCPUを選択します。インストールとトラブルシューティングを参照してください。異なるモデルを使用するには、モデルの選択と変更に従ってください。5つのピン留めされたエイリアス、その他のローカルGGUFファイル、および一致するビジョンプロジェクターがあり、サポートされている研究操作が明示されています。

初回の呼び出しを超えて

エージェント支援利用の場合、llms.txt、スタンドアロンの例、およびAPI/バージョンポリシーから始めてください。

生成を監視し、証拠を保持する

[画像: アニメーション化されたトークンストリームリプレイが、オリジナルモデルと残差加算の記録されたテキストと文字数を示しています。実行は最初の3つのトークンを共有し、その後分岐します。ゼロ制御はオリジナルを正確に再現します。]

最初の使用スタディからの実際のon_tokenイベントを、トークンごとに等しい間隔でリプレイします。これは速度比較ではありません。介入は応答を変更しましたが、両方の応答は依然として欠落した事実を捏造しました。relmはその違いを検査可能にするため、実験は変更が役立つかどうかをテストできます。

動画を再生 · 静止画 · データ、コード、解釈

現在機能するもの—そして注意が必要なこと

バージョン0.4.0が公開され、r-universeからのMac arm64での検証済みインストールが含まれています。リリース記録は、パッケージチェック、配布チェック、および実際のモデルテストの範囲を分離しています。

  • サポートされる組み合わせが重要です。 モデルアーキテクチャ、コンポーネント、バックエンドのサポートは異なります。サポートマトリックスから始めてください。Linux CUDAには、記録された開発範囲とパフォーマンスレポートがあります。Windowsとビジョンエンコーダーのトレースは、まだその範囲外です。
  • メモリは実験設計の一部です。 レイヤーとトークン位置を選択します。トレーススピルはキャプチャストレージを管理しますが、すべてのモデル/プロセスメモリを制限するわけではありません。終了したら、モデルと派生ハンドルを閉じます。
  • 変更は慎重に解釈してください。 プローブは予測可能なデコード可能性を測定します。モデルマップは構成を示します。介入は安全性またはバイアス除去の保証を提供しません。数値チェックには文書化された範囲と制限があります。
  • 機能と研究品質は別です。 小規模モデルの例と成功したワークフローは、一般的なタスクの精度を示すものではありません。最初の使用評価は、不十分な出力と残されたユーザビリティのギャップを含む、エージェントの実際の経験を記録しています。人間の外部ユーザーによる検証はまだ開かれています。

貢献または探求

ドキュメントインデックスから始めてください。パッケージはrebirth/にあり、実行可能な研究とアプリケーションテンプレートはexamples/およびtests/demos/にあります。開発ワークフロー、アーキテクチャ、および単純化コンペンディウムは、貢献方法と変更を読みやすく保つ方法を説明しています。オプションの統計アシスタントコンパニオンはrelmとは別です。

元のコードはMITまたはApache-2.0(ライセンス)です。バンドルされたllama.cppはMIT(通知)です。変更された再配布は、商標ポリシーに従う必要があります。カバーは概念的なイラストであり、研究図は実際のデータソースによって識別されます。