HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: DeepSeek-V4 Latent Reasoning – "思考"を潜在空間に移動

Show HN: DeepSeek-V4 Latent Reasoning – moving "thinking" into latent space (blog.n.ichol.ai)

25 pointsby nmitchko13 コメント

要約

このプロジェクトは、大規模言語モデル(LLM)における「思考」プロセスを、より効率的でスケーラブルな方法で扱うための新しいアプローチを提案しています。従来のLLMがトークンごとに逐次的に推論を行うのに対し、DeepSeek-V4 Latent Reasoningは、推論の一部をモデルの潜在空間に埋め込むことで、計算コストを削減し、より高速な応答を目指しています。これにより、複雑な推論タスクをより効率的に実行できる可能性があります。

全文翻訳

Packaging Latent Reasoning as a Real Model

DeepSeek-V4-Flash-0731-Latent-Reasoning。思考を潜在空間で行う自己完結型モデルで、NVFP4で量子化され、サービングランタイム用のプロダクションvllm形式を備えています。

https://huggingface.co/nmitchko/DeepSeek-V4-Flash-0731-Latent-Reasoning

Published on blog.n.ichol.ai


簡単な概要

このモデルの目標は、オープンソースモデルで潜在的な思考(latent thinking)を利用することです。アイデアは、思考トークンを圧縮し、それらを出力エミッションではなく潜在的な形式で保持することです。

バックボーンはNVFP4まで量子化されています。

モデル: nmitchko/DeepSeek-V4-Flash-0731-Latent-Reasoning


HuggingFaceリポジトリ:

  • DeepSeek-V4-Flash-0731バックボーン。TP=2でGPUあたり約79 GiBの重み(合計158–164 GiB)。

  • DSparkドラフトブロック(3層)、ソースから保持されています。

  • 学習済み潜在推論ヘッド。35.7Mパラメータ、単一のlatent_reasoning_head.safetensors(約152 MB)からロードされます。

初期の評価

BBH (BIG-Bench Hard)、 cot_zeroshot、27サブタスク: 集計 0.94 ± 0.008。 lm-evaluation-harness 0.4.12を使用して、OpenAI互換エンドポイントに対して測定されました。Deepseek latentは、個別の0.94対0.88の完全一致を与えた後、結果を再評価しました。思考が有効化されています。サブタスクあたり50項目、合計1350項目。

サブタスクスコアサブタスクスコア
tracking_shuffled_objects_three_objects1.00date_understanding0.92
tracking_shuffled_objects_five_objects1.00sports_understanding0.88
tracking_shuffled_objects_seven_objects1.00logical_deduction_five_objects0.88
penguins_in_a_table1.00web_of_lies0.86
formal_fallacies1.00snarks0.84
boolean_expressions1.00ruin_names0.84
word_sorting0.98movie_recommendation0.84
temporal_sequences0.98salient_translation_error_detection0.76
object_counting0.98geometric_shapes0.74
navigate0.98causal_judgement0.66
logical_deduction_three_objects0.98disambiguation_qa0.58
reasoning_about_colored_objects0.96dyck_languages0.26
hyperbaton0.96
multistep_arithmetic_two0.94
logical_deduction_seven_objects0.94

推論が多段階の状態追跡を意味する場合に最も強力です。tracking_shuffled_objects、boolean_expressions、formal_fallacies、penguins_in_a_tableはすべて1.00に達しました。機械的で構文が多いタスクでは最も弱いです。dyck_languages(括弧のマッチング)は0.26で、明らかに外れ値です。これは測定アーティファクトではなく、真の弱点です。

  1. Lm evalは flexible-extractを使用し、 strict-matchではありません。 BBHのstrict-matchは、リテラルなフレーズThe answer is Xに対する正規表現を使用します。このモデルはそのフレーズを出力しません。そのほぼゼロのstrict-matchスコアは、推論の失敗ではなく、回答フォーマットのアーティファクトです。

  2. サブタスクごとの値は、それぞれ50項目で約±0.05–0.07を運びます。0.880の集計値が信頼できる数値です。


アーキテクチャ

                    layer 35 hidden (4096-d)
                             |
                             v  LayerNorm
        +--------- ReasoningCompressionHead ----------+
        |  Linear 4096 -> 2048 . SiLU                 |
        |  Linear 2048 -> 2048 . SiLU                 |
        |  Linear 2048 -> 2048  ->  [mu, log_sigma]   |
        |                                             |
        |  stop_head:                                 |
        |     Linear 4096 -> 1024 . SiLU              |
        |     Linear 1024 -> 1                        |  -> end-of-reasoning
        +---------------------------------------------+
                             | mu (1024-d latent)
                             v  LayerNorm
        +-------------- LatentDecoder ----------------+
        |  Linear 1024 -> 2048 . SiLU                 |
        |  Linear 2048 -> 2048 . SiLU                 |
        |  Linear 2048 -> 4096                        |
        +---------------------------------------------+
                             |
                             v  written back into the residual stream
              DeepSeek-V4-Flash-0731 backbone (frozen, NVFP4)
設定値
hidden_size4096
latent_dim1024
mlp_dim2048
source_layer / target_layer35 / 42
activationSiLU
learned stop headyes
head + decoder params35.7M (float32)
backbone layers43

ヘッドは変分圧縮です。[mu, log_sigma]を予測し、log_sigmaをクランプします。デコーダーは潜在空間を4096次元のストリームに再分配します。全体は、キープレフィックスによって区別される単一のフラットテンソル辞書です。ジオメトリはチェックポイント自体のメタデータに存在するため、サービングランタイムはゼロ設定で済みます。ファイルから直接ヘッドの形状を読み取ります。target_projは、トレーニング中に回帰ターゲットを定義した凍結されたプロジェクションであり、完全性のために含まれていますが、推論では使用されません。


VLLMサポート(ある意味)

リポジトリ内容
nickmitchko/ds4-reasoning-addonラテント推論アドオン:クローズドループドライバー、サーブスクリプト、ピン留めされた要件、GPUサイジングガイド。ここから開始してください。
nickmitchko/vllm-ds4-sm120DS4 vLLMフォーク(ds4-sm120-preview-devブランチ)。必須。アップストリームvLLMはこのモデルをサーブできません。

アドオンのインストールはそれ自体では何も行いません。プラグインは登録されますが、VLLM_DS4_REASONING_CKPTが設定されるまで休止状態のままです。これは意図的な安全策です。インストールしたままでも安全です。サポートされているエントリーポイントは、測定された良好なデフォルト値をすべて設定してくれる単一のスクリプトです。

# 1. エンジン(フルビルドには時間がかかります)
git clone https://github.com/nickmitchko/vllm-ds4-sm120.git && cd vllm-ds4-sm120
git checkout ds4-sm120-preview-dev
export CUDA_HOME=/usr/local/cuda-13.0 PATH=/usr/local/cuda-13.0/bin:$PATH
export TORCH_CUDA_ARCH_LIST="12.0"
pip install torch==2.11.0 --index-url https://download.pytorch.org/whl/cu130
pip install -e . --no-build-isolation

# 2. アドオンとそのピン留めされた依存関係
git clone https://github.com/nickmitchko/ds4-reasoning-addon.git && cd ds4-reasoning-addon
pip install -e . --no-deps
pip install -r release/requirements-serve.txt \
    --extra-index-url https://flashinfer.ai/whl/cu130/torch2.11

# 3. サーブ:引数は不要です。ヘッドはモデルリポジトリから解決されます
release/serve_ds4_reasoning.sh

サーブスクリプトはデフォルトでバンドルされたモデルヘッド(latent_reasoning_head.safetensors、約152 MiB、初回実行後にキャッシュ)を使用するため、推奨設定はすでに適用されています。独自のヘッドをトレーニングした場合は、HEAD_BUNDLEをそれにポイントするだけで完了です。

なぜフォークが必要なのか?

標準のvLLMはこのモデルをサーブできません。

DeepSeek-V4は、input_idsをキーとするハッシュに基づいてMoEエキスパートをルーティングします。vLLMのネイティブなprompt_embedsパスは、埋め込みを提供するとinput_idsをヌルにするため、起動時にDeepSeek V4 hash MoE routing requires input_idsというエラーでエンジンがクラッシュします。そのため、アドオンは標準の埋め込みパスを使用できません。

代わりに、インジェクションはターゲット位置のembed_tokens出力をデコードされた潜在空間で上書きし、トークンIDは通常どおりフローするため、ハッシュMoEルーティングは引き続き機能します。潜在ステップは、単なるアカウンティングのために予約されたパッドトークンIDを保持します。潜在ステップは実際のKV位置を占有するため、num_computed_tokensとロックステップでnum_tokensを進める必要があります。そのIDはクライアントに到達せず、その埋め込みは読み取られません(行はis_token_ids=Falseとマークされているため、インジェクションされた潜在空間は維持されます)。これはexecute_modelのシームで実行されるため、cudagraph高速パスに留まります。enforce_eagerはなく、並行リクエスト間でバッチ処理されます。

投機的ドラフトは、潜在フェーズ中(デフォルトでオンのVLLM_DS4_SUPPRESS_LATENT_DRAFTS)に抑制されます。オンのままにしてください。ライダーは最後のクエリ行に1つの埋め込みをインジェクトするため、ドラフトスロットがそれを盗むと、実際の位置は潜在空間の代わりにパッドトークンの埋め込みを取得します。


ランタイム設定

サーバー全体環境変数(デフォルト=測定済み良好)
変数デフォルト機能
MAX_LATENT256安全キャップ(ストップヘッドの誤動作を制限)。ヘッドがトレーニングで見たK=256に一致します。
MIN_LATENT4潜在ステップのフロア。回答が思考なしになることを防ぎます。
USE_STOP1学習済みストップ。0は固定Nキャップを使用します。
STOP_THRESHOLD0.5ストップヘッドのしきい値。0.5が正しいです。「ウォームアップ」を修正するために下げるのは避けてください。
MIN_OUTPUT_TOKENS4096回答のトークン予算のフロア。
RIDER10はベアバックボーンをサーブします(潜在推論に対するA/Bベースライン)。
DEBUG01はリクエストごとの潜在統計情報を表示します。
MAX_MODEL_LEN262144コンテキストウィンドウ。
MAX_NUM_SEQS2並行シーケンス。コンテキストとトレードオフ。
GPU_UTIL0.95狭い有効帯域。0.97はOOM、それ以下はKVチェックに失敗する可能性があります。
TP2テンソル並列サイズ。

以前と同様ですが、1つ新しいものがあります。これらは環境デフォルトよりも優先され、/v1/chat/completionsと/v1/messagesの両方で機能します(ヘッダーは設定するがボディフィールドは設定しないクライアントに便利)。

ヘッダー効果
x-ds4-thinkingボディフィールドなしで思考を有効にします。
x-ds4-max-latentリクエストごとの潜在キャップ。
x-ds4-min-latentリクエストごとの潜在フロア。
x-ds4-use-stop学習済みストップを切り替えます。
x-ds4-stop-thresholdリクエストごとのストップしきい値。
x-ds4-min-output-tokensリクエストごとの回答予算フロア。
潜在思考のバウンド

MAX_LATENTは安全キャップであり、推論深度ダイヤルではありません。 学習済みストップは通常フェーズを終了させます。キャップは誤動作を制限するだけです。どこに設定するかが重要です。トレーニングでヘッドが見たK=256を大幅に超えてプッシュすると、よりハードに考えるのではなく、ゴミにドリフトします。バンドルのcompression_factorもサーブ時には不活性です。ライダーの何もそれを読み取りません。それはヘッドが学習したことを記述するのであり、ループが強制する予算ではありません。

MIN_OUTPUT_TOKENSは、潜在フェーズと回答が1つの予算を共有するため存在します。各潜在ステップは、予約されたアカウンティングトークン1つを請求します。控えめなmax_tokensを送信するクライアントは、思考で予算全体を使い果たし、空の回答をstop_reason=lengthで受け取る可能性があります。フロアはクライアントのmax_tokensを増加させるだけです。学習済みストップは回答が完了すると生成を早期に終了させるため、寛大なフロアは冗長性を強制しません。


一般的なクライアント設定

サーバーと通信するクライアントには、2つの非明白な要件があります。どちらも苦労して学びました。

1. 思考を要求する必要があります。 推論フェーズは`chat_template_kwargs={