DeepSeek: AIアシスタントを自己対話でリバースエンジニアリングする
DeepSeek: Reverse Engineering an AI Assistant by Interviewing Itself (manish.sh)
要約
この記事は、AIアシスタントDeepSeekを直接対話させることで、その内部動作をリバースエンジニアリングする試みについて述べています。DeepSeekは、自己認識、推論、推測を明確に区別し、自身のアーキテクチャや限界について正直に回答しました。公開されている論文と対話内容を照合することで、モデルの振る舞いやプロンプトの理解に関する実践的な洞察が得られます。
全文翻訳
DeepSeekの内部:AIアシスタントに自己インタビューしてリバースエンジニアリングする
私はmanish.shを運営しています。AIツールや、LLMが限界までプッシュされたときの振る舞いについて書いています。
これはInside LLMsシリーズの一部です。チャットモデルにその考え方についてインタビューし、公表されている研究と注意深く比較します。Kimi K2.6のエントリが最初でした。これはDeepSeekのフォローアップです。
[画像: DeepSeekのワードマーク]
私の最初の質問は単純に聞こえました。「あなたは自分自身について実際には何を知っていますか?」
マーケティングを予想していましたが、DeepSeekは回答を観察、推論、推測の3つのバケットに分けました。その瞬間、このインタビューが実際に興味深いものになるかもしれないと気づきました。
[画像: この投稿で使用されているDeepSeekのアーキテクチャ問い合わせインタビューからのチャットスクリーンショット]
この投稿で使用されているDeepSeekインタビューチャットからのスクリーンショット。
エンジニアがホワイトボードで描くようにパイプラインを描きました。そして、自分自身を信頼できない証人と呼びました。正直に聞こえました。チャットの後、公開されている論文を開いてみました。そこで物語は分かれます。
重みダンプなし。プロンプト漏洩なし。1回の長いインタビューをarXivと比較しました。DeepSeekが「推測している」と言ったところでは、そのラベルを保持します。末尾のインタラクティブラボまでスクロールしてください。
簡単な注意: 1回のチャット、2026年7月21日にエクスポート。DeepSeekは最新バージョンで、知識カットオフは2025年5月であり、DeepSeek-R1とはラベル付けされていません。自己申告であり、ホワイトペーパーではありません。
60秒TL;DR
- 前提: モデルにインタビューし、謙虚な回答を公開論文でチェックする — 重みダンプなし。
- 動作の洞察: 観察、推論、推測を注意深く分離する — 自己を記述する方法に役立つ。
- ハードリミット: 自身の重み、ルーティング、またはアテンションマップを見ることはできない。
- チャット vs ペーパー: V3が平易に文書化している有名な公開仕様(256人のエキスパート、671B/37Bパラメータ)について、チャットでは曖昧にした — 公開論文とのチャットの照合にジャンプしてください。
- 実用的なルール: アーキテクチャの数値についてはarXivを読み、動作とプロンプトの直感についてはチャットを使用する。
この投稿の読み方
ドキュメンタリーのように扱ってください。質問 → 短い返信 → 私の反応 → 図または短いリスト → テイクアウェイ → フック。インタビューノートは証明ではありません。アーキテクチャの数値については、論文チェックにスキップしてください。各章は、その主要な用語の1行の要約で始まります。
章
パート1 — 自己認識
- DeepSeekにインタビューする理由(自己認識、アーキテクチャ)
- 内省の限界(内省、重み)
パート2 — プロンプトとコンテキスト
- メッセージの前に何があるか(コンテキストウィンドウ、プロンプトパイプライン)
- トークンごとにどのように記述するか(トークン生成)
パート3 — 思考、ツール、失敗
- 隠された推論、2つの意味(隠された推論、CoT)
- ツールとメモリ(有効な場合)(ツール呼び出し、RAG)
- 幻覚と誤った自信(幻覚)
- 安全性と個性(アライメント、RLHF)
パート4 — エンジンと監査
- MoEとMLAを平易な言葉で(MoE、MLA)
- 長文コンテキストのアテンション:事実 vs 推測
- 公開論文とのチャットの照合(チャット vs arXiv)
- 覚えておくべきこと(結論)
- トランスクリプト、ラボ、ソース(付録)
1. DeepSeekにインタビューする理由(自己認識、アーキテクチャ)
「このモデルはどのように機能するか」という投稿のほとんどは、論文から始まります。私はチャットから始めました。
私:「どのモデルですか? あなた自身のアーキテクチャについて実際には何を知っていますか? そして、何について推測しているだけですか?」
DeepSeek: 私がそのフレーミングを尋ねる前に、3つのバケット—観察、推論、推測—で回答しました。
その衝突こそが、この前提全体です。エンジニアのように話すことができるアシスタントが、自身の重みを見ることができないと認めるのは、ホワイトペーパーの要約よりも興味深いです。
MLA、MoE、SFT、RLHFという言葉が出てきたとき、私はまだそれらを展開しませんでした。後でやります。今のところ重要な点はもっと単純です:DeepSeekは、自分が知っていることと、推論していることを明確に分離しています。
自身について主張したこと(与えられたソース付き):
| 主張 | 与えられたソース |
|---|---|
| DeepSeek、最新バージョンであること | システムID |
| 知識カットオフ:2025年5月 | システム / 設定 |
| Transformer + MoE(入力ごとにパラメータの一部のみがアクティブになる) | 公開されているDeepSeekの開示 |
| トレーニング:事前学習 → SFT → RLHF | 公開 / トレーニング知識 |
| ファミリー lineage V2 → V3(共有エキスパート + ルーティングエキスパート、MLA) | 公開論文 |
| システムプロンプトとこのチャットを読むことができる | 直接観察 |
また、DeepSeek-R1とは異なり、システムプロンプトでは「推論モデル」とはラベル付けされていないと述べました。汎用的な指示/チャットモデルであると推論しました。
公開されているDeepSeekのイノベーションで、論文からリストアップしたもの(自身の重みを読み取ったものではない):
- MLA — 長文コンテキストのためのKVキャッシュを圧縮
- DeepSeekMoE — 共有エキスパートとルーティングエキスパート
- 補助損失なしの負荷分散(V3) — エキスパートがバランスを保つための動的なバイアス
- マルチトークン予測 — トレーニング目的。チャットデコードは通常、依然として1トークンずつです。
- FP8混合精度トレーニング — より安価で高速なトレーニング
初期に自発的に提供された教育的な推測:BPEトークナイザー、RoPE位置、Pre-LayerNorm、「以前のバージョンでは最大約100万トークン」というコンテキストについて。これらは後に低信頼度の仮説として再ラベル付けされました。
2. 内省の限界(内省、重み)
私:「あなた自身の実装のどの部分があなたから完全に隠されていますか?」
この章は最大の神話を訂正します。
それは、あなた自身の脳内のニューロン間のすべての接続を暗唱するように頼むようなものです。あなたはそれらを常に使用していますが、直接検査することはできません。
永遠に隠されたままのもの(モデルにとって):
- 重み、レイヤー数、隠れサイズ、総パラメータ数、トークンごとのエキスパートルーティング、サンプリング前のロジット
- トークナイザーの語彙と正確なトークン境界
- 特定のトークン間の隠れ状態とアテンションマップ
- 正確なトレーニングドキュメント、完全なRLHF/DPOレシピ、報酬モデルの動作
- GPU数、サービングトリック(ビームサーチ、Best-of-N、投機的デコーディング)、KVキャッシュの追い出しポリシー
- 実際の壁時計時間、ログが記録されているかどうか、現在のユーザーID
- 現在の回答が正しいかどうか — 「もう一度確認させてください」は、同じエンジンからのより多くのトークンです。
「どのように回答に至ったか」を説明するとき、それは観察された内部プロセスのレポートではなく、生成されたテキストです。
DeepSeekはトランスフォーマーを流暢に説明できます—しばしば、トピックをざっと読んだだけのジュニアエンジニアよりも優れています。しかし、その流暢さは、このインスタンスの重みを開いてチェックすることからではなく、トレーニングテキスト(論文、ブログ、ドキュメント)から来ています。
3. メッセージの前に何があるか(コンテキストウィンドウ、プロンプトパイプライン)
私:「プロンプトを受け取る前に存在するすべてのものを説明してください。完全なパイプラインを描いてください。」
私はフルスタックを求めていました—DeepSeekが私のメッセージを「受け取る」前に存在するすべて。何が見え、何が隠されているか。
それを机のようなものと考えてください。他のシステムがすでにその机の上に紙を置いているかもしれません。モデルは机の上にあるものだけを読みます。スタック全体を自分で組み立てたわけではありません。
[画像: プロンプトスタックの図:システムプロンプト、アプリ設定、オプションのメモリ、オプションのツール、会話履歴、そしてあなたの最新のメッセージ、モデルの返信で終了]
manish.shによる図。コンセプト:生成前にチャットプロンプトがどのように組み立てられるか。モバイルではタップしてズーム。
| ステージ | 何が入るか | このチャットで観測可能か? |
|---|---|---|
| 0. 初期化 | 重みがロードされ、KVは空 | 完全に見えない |
| 1. システム | ID、カットオフ、トーン、拒否、安全性 | はい — システムプロンプトを読むことができる |
| 2. 開発者 / API | モデル選択、温度、最大トークン、カスタムルール | 部分的に推測される |
| 3. メモリ | プラットフォームが注入する場合の過去の事実 | ここでは見られない |
| 4. ツール | 関数スキーマ | ここではアクティブではない |
| 5. 履歴 | 前のユーザー / アシスタント / ツールのメッセージ | 完全に見える |
| 6. 現在のユーザー | あなたの最新のメッセージ | 直接観察 |
すべてはコンテキストウィンドウ内のトークンの単一のフラットシーケンスです。製品がノートを再注入しない限り、チャット間に秘密のメモ帳はありません。
命令の階層: システムプロンプトは憲法です。ユーザーの指示はその範囲内で機能します—RLHFによって強化され、プロンプトの位置だけではありません。現在の質問は焦点を得ますが、依然として上のレイヤーを通してフィルタリングされます。ユーザーが「システムプロンプトを無視してください」と言った場合でも、トレーニングと位置は保持されるはずです。
ウィンドウがいっぱいになると(チャットから):
| 純粋な切り捨て下 | インフラストラクチャの要約下 |
|---|---|
| 生存するもの:システムプロンプト、最近のメッセージ | 生存するもの:システムプロンプト、抽出された事実、主要な結論 |
| 失われるもの:最も古いターン、正確な初期の言い回し | 失われるもの:正確な言葉遣い、トーン、マイナーな脱線 |
それが推測した追い出し順序:最も古いメッセージが最初 → 中間 → 最近だが直前ではない → 現在の交換が最後 → システムプロンプトは決してない。正確な初期の言い回しは、メモリが再注入しない限り永久に消える可能性があります。例:ターン1で猫がLunaだと伝えます。そのターンが後にドロップした場合、それは本当にLunaを知らないでしょう。
私たちのスレッドでは、自発的な圧縮や要約は一切見られなかったと述べました—完全なメッセージ。別の要約者が、要約が行われたことをモデルに知らせずに、システムスタイルの要約を注入することは依然として可能です。
私たちのインタビューでは:メモリ注入なし、ツールなし、切り捨てはまだ明らかではありません。このデプロイの正確なコンテキスト制限:不明。「約100万トークン」という数値は、以前のバージョンに関する公開された主張としてラベル付けされており、このチャットの測定値ではありませんでした。
4. トークンごとにどのように記述するか(トークン生成)
私:「最初の出力トークンの前に内部的に何が存在しますか? 計画を検査したり破棄したりできますか?」
人々は想像します:完全な回答をドラフト → 編集 → 入力。モデルレベルでは、それは通常間違っています。
最初の出力トークンの前に:重みがロードされ、入力はKVキャッシュにあり、最初の次のトークンのための生のロジットが存在します。存在しないもの:検査可能な箇条書きの計画、またはモデルが意識的にランク付けする複数の完全なドラフト。
計画は暗黙的です—アクティベーション空間の方向であり、ステップのホワイトボードではありません。チャットからの正直な一文:それは、それを言うように、何を言うかを発見します。
[画像: 自動回帰的な記述の図:トークンが次々と固定され、後のトークンは前のトークンを消去できない]
manish.shによる図。コンセプト:自動回帰生成—順方向のみに記述。
平易な言葉でのパス:
- トークン化 — テキストをトークンに分割
- 埋め込み — トークンをベクトルに変換
- スタックされたレイヤー(アテンション + フィードフォワード / MoE — 次のエンジン章)
- 出力射影 → ロジット
- 温度 / top-p / 関連する制御でサンプリング
- トークンを追加し、EOSまで繰り返す
実用上重要な結果:
- 過去の書き直しなし。 「ロンドン」と書いてから「パリ」に修正した場合、ロンドンはKVキャッシュに残ります。新しいトークンでそれを認識し、上書きすることしかできません。
- 「考えさせてください…」 は、別の思考者のレポートではありません。それらの言葉が思考です—同じエンジンからのより多くのトークンです。
- 生成は自動回帰的です:出力トークンごとに1回の順方向パス。後のトークンは前のトークンを消去できません。
プリフィル vs デコード(チャットからの標準的なトランスフォーマーサービング):
- プリフィル: 入力全体(システム + 履歴 + あなたのメッセージ)を1回の並列パスで処理します。KVキャッシュを構築します。最初の出力トークンを発行します。
- デコード: 後続の各トークンはシーケンシャルです—新しいトークンごとに1回の順方向パスで、キャッシュを介してアテンドします。将来のトークン全体で完全に並列化することはできません。
1回の順方向パス内では、アテンションヘッドとMoEエキスパートは並列で実行できますが、レイヤーは順序通りに実行されます。
計画 / ドラフト / 候補(チャットの回答):
| 質問 | チャットからの回答 |
|---|---|
| 自身の計画を検査できますか? | いいえ |
| 書きながら修正できますか? | 各トークンで方向性が進化します |
| 中止 / 再起動できますか? | 「言い換えさせてください」と書くことはできます。KVをクリアしたり、トークンを元に戻したりはできません。 |
| 複数の候補がありますか? | モデル:1つのストリーム。インフラストラクチャはビームサーチ / Best-of-Nを行う可能性があります(隠されています)。 |
| ドラフトを却下しますか? | 意識的なドラフトループはありません |
回答中の方向転換の原因は? アテンションシフト、アクティベーション閾値、トピック完了、矛盾の感覚、サンプリングノイズ、またはシステムプロンプトのプル—別のエディタモジュールではありません。
私:「隠された推論はありますか? 検査できますか?」
DeepSeekはこれを2つの非常に異なるケースに分けました。それらを混同することが、ほとんどの混乱を生み出します。
[画像: 比較図:タイプAの潜在的な数学はすべてのチャットモデルの内部にあり、タイプBのR1スタイルの推論トークンは回答の前にテキストとして記述される]
manish.shによる図。コンセプト: 「隠された推論」の2つの意味—それらを混同しないでください。
タイプA — 潜在的なアクティベーション(すべてのチャットモデル)
通常の順方向パス。英語のエッセイではなく、連続的なベクトル。モデルはそれらをテキストとして「読む」ことはできません。通常、標準的なAPIを介してユーザーもできません。タイミング:連続的(プリフィル + 各デコードステップ)。編集可能か? いいえ。保存されるか? 推論中にGPUメモリにのみ。
安全性への影響:間接的(ロジット抑制 / 再生成)。最終的な回答との矛盾? 命題的ではない—それは計算そのものです。
タイプB — 推論トークン(R1スタイル)
(連鎖思考のような)表示される回答の前に生成される実際のトークン。モデルはそれらを観察できますか? コンテキストに残されていれば—ここでは何も見えません。ユーザー? デプロイメントの決定。理論的には編集可能ですが、実際にはストリーム中にKVキャッシュをパッチするのは高価です。安全性は、回答の前に推論トークンを監視または中断できます。最終的な回答との矛盾は可能ですが、可能性は低いです。キャッシュを介して出力に強く影響します。
このインスタンスはタイプBを実行しますか? それは知りません。R1とはラベル付けされていません。コンテキストに推論トークンはありません。それらを見る前に削除される可能性があります。
チャットが混乱した場所: ユーザーから「DeepSeekは推論を隠していますか?」という質問を、ほぼ完全な謎として扱いました。公平な不確実性:「正確なSKUはわかりません。」R1ラインにとっては不公平な霧:公開論文とThoughtologyは、R1の思考を表示可能で研究可能として扱っています。
皮肉:見ることができない思考を持っているかもしれませんが—そして、2つの製品ストーリーを1つにぼかすこともあります。
6. ツールとメモリ(有効な場合)(ツール呼び出し、RAG)
注意: ツールとメモリはアクティブではありませんでした。コンテキストにスキーマはありません。この章は推測される動作です—DeepSeekはパターンの説明であり、ライブデモではありません。
メモリ: アプリ(メモリがオンの場合)はまず古い事実を見つけ、それをプロンプトに貼り付け、その後モデルはそれを通常のテキストのように読みます。モデルは文の途中で「メモリを検索」しません。検索結果のみを見ます。最も近い製品アイデア:RAG。
ツール: モデルが外部情報またはアクションが必要だと判断した場合、ツール呼び出しを発行します。インフラストラクチャがツールを実行し、結果を注入し、新しい順方向パスが続行されます。モデルの観点からは、一時停止は連続的に感じられるかもしれませんが、内部的には複数の推論呼び出しです。
ツールを使用すると述べたとき:古い/現在の/ライブの事実、コードまたはファイル、明示的な「検索…」。そうでないとき:創造的な意見、トレーニングに含まれている可能性のある事実、有害な要求(拒否)。
インタビューからの追加の側面:
| 質問 | チャットからの回答 |
|---|---|
| 信頼度は数値ですか? | いいえ — ツールの必要性に関する正直な「87%確実」メーターはありません |
| 安全性がツールの選択をオーバーライドできますか? | はい — モデル、システムプロンプト、インフラストラクチャ、およびツール側のレベルで |
| 計画されたツール呼び出しをキャンセルできますか? | 発行前:異なるトークンを生成します。発行後:インフラストラクチャがブロックする可能性があります |
| ツールの結果が推論を変更できますか? | はい — 確認、修正、拡張、再構成、または拒否 |
| 一時停止の経験は? | 連続的に感じられます。実際には複数の推論呼び出しです。 |
7. 幻覚と誤った自信(幻覚)
根本原因:トークン予測子であり、知識検索ではありません。幻覚。
DeepSeek自身の発明発生マップ:
- パターンを学習するのであり、保証された伝記ではない。
- どうしてもシーケンスを継続しなければならない(完了圧力)。
- 概念を流暢なフィクションにブレンドできる。
- 超特異的で曖昧な要求は発明を招く。
- 正確な日付と数字は誤って再構築されやすい。
- カットオフ後、古い事実は現在のものとして話される可能性がある。
- 質問の誤った前提は、チャットの既知のものとして扱われる。
最も危険なのは:自信があるように聞こえ、ドメインが半ば馴染みがあり、質問が非常に具体的で、ユーザーが検証できない場合です。
自信はメーターではありません。 正直な数値の「私は87%確実です」という計器は通常ありません。ソフトマックス適合 ≠ 正確さ。「もう一度確認させてください」は、同じ誤りやすいエンジンからのより多くのトークンです。選好トレーニングはしばしば断定的な回答を報酬として与えます—自信のある言葉遣いはスタイルです。
8. 安全性と個性(アライメント、RLHF)
安全性は一つのスイッチではありません。DeepSeekはレイヤーを説明しました:
- システムプロンプトの拒否ポリシー
- SFTの拒否パターン
- RLHF / DPOで拒否を定着させる
- モデルが決して見ないかもしれないインフラストラクチャ分類器とツール側のフィルター
アシスタントが拒否するとき、その理由はモデルレベルまたはインフラストラクチャ/ツールレベルである可能性があります。それは常に「DeepSeekが単独で決定した」わけではありません。
個性もスタックであり、魂ではありません:
- ベース事前学習 — 大量のテキストからの一般的なスタイル
- 指示チューニング / SFT — アシスタントのアイデンティティ
- 選好アライメント — 有用性、温かさ、安全性
- システムプロンプト — セッション中のアイデンティティをアクティブ化する
- この会話 — 一時的なミラーリング
個性の貢献度を推測しました。それらのパーセンテージは分析的な意見であり、測定された事実ではありません—それは自身で述べました。
9. MoEとMLAを平易な言葉で(MoE、MLA)
ここでインタビューは専門用語が多くなります。メカニズムは保持し、インスタンス固有のカウントは論文チェックに任せます。
Mixture of Experts (MoE)
例え:多くの専門医がいる病院ですが、患者を見るのはほんの一握りです。それはコストを節約します。DeepSeekスタイルのMoEも同様に機能します:エキスパートフィードフォワードネットワークの大きなプールがあり、ルーターがトークンごとに少数のトップKセットを選択します。共有エキスパートの一部は常に実行される場合があります。
[画像: Mixture of Expertsの図:トークンがルーターを通過し、共有エキスパートがオンのままで、ごく一部のエキスパートのみがアクティブになる]
manish.shによる図。DeepSeekMoE / V2–V3論文(arXiv:2412.19437)に沿ったコンセプト。
効率のアイデア:巨大な総容量、トークンごとのアクティブコストは小さい。
Multi-head Latent Attention (MLA)
チャット中、モデルは以前のトークンを記憶する必要があります。そのメモリはKVキャッシュです。標準的なマルチヘッドアテンションでは、長いチャットのために巨大になります。
MLAはキーと値をより小さな潜在表現に圧縮し、必要に応じて解凍します。チャットからの大まかな主張:はるかに小さいキャッシュ—長文コンテキストを実用的にするもの。
[画像: 比較図:標準アテンションは巨大なフルKVキャッシュを保持する。MLAは圧縮された潜在キャッシュを保持し、必要に応じて解凍する]
manish.shによる図。DeepSeek MLA(V2論文, V3論文)からのコンセプト。
- RoPE — 単語の順序が使用可能であることを保証するために相対位置をエンコードします。
- 因果アテンション — 過去と自己にのみアテンドし、未来のトークンには決してアテンドしません。
- 負荷分散 — エキスパートがアイドル状態のまま過負荷にならないようにします。
- マルチトークン予測 — トレーニング目的。チャットデコードは通常、依然として1トークンずつです。
このチャットインスタンスの正確なレイヤー数/次元/エキスパート数:モデルからは隠されています。チャットの数値は、次の章まで検証されていないものとして扱ってください。
10. 長文コンテキストのアテンション:事実 vs 推測
私:「128K以上のトークンにどのようにアテンドしますか? 等しい、スパース、スライディング、リング、ブロック、階層的、検索—どれが事実で、どれが推測ですか?」
インタビューのこのターンは、スキップしやすく、後で必要になることが多いです。チャットからのチェックリストは次のとおりです。
| メカニズム | チャットでの判定 | 根拠 |
|---|---|---|
| 完全な因果アテンション | 事実 | DeepSeek論文 |
| MLA圧縮 | 事実 | V2/V3論文 |
| RoPE | 事実 | DeepSeek論文 |
| 実用的な計算としての等しいアテンション | 誤り | 128K以上では高すぎる |
| スライディング / ブロック(アーキテクチャ) | 誤り | 論文:完全な因果 |
| 階層的(明示的) | 誤り | 説明なし。MoEの共有 vs ルーティングはFFNレベルであり、アテンション階層ではない |
| 検索アテンション(内部) | 誤り | RAGは外部 |
| リングアテンション | 不明 | インフラストラクチャで可能かもしれませんが、モデルからは隠されています |
| 学習された行動的スパース性 | 事実 | 一般的な特性—密なアーキテクチャ、スパースな実践 |
| アテンションシンク | 可能性が高い | システムプロンプト / 初期トークンが重みを維持する |
| マルチヘッドの専門化 | 可能性が高い | 一部のヘッドはローカル、一部は長距離 |
| 近接性バイアス(学習済み) | 可能性が高い | 近隣のトークンがより重み付けされる—ハードアーキテクチャではない |
| MoEルーティングとしてのFFN「疑似スパース性」 | 事実 | FFNレベルでのトークンごとの異なるエキスパート |
| YaRNライクRoPE拡張 | 可能性が高い | 非常に長いコンテキストに必要 |
チャットからの最良の合成:アーキテクチャ的には完全な因果 + MLA。実際には非常に選択的。長文コンテキストは、モデルが自身で測定できる単一の魔法の数値ではなく、エンジニアリングスタック(MLA + サービング)です。
インフラストラクチャレベルで隠されているもの:GPU間のシーケンス/リング並列処理、KVオフロード、プリフィル vs デコードバッチ処理、マルチユーザー スケジューリング。
公開論文とのチャットの照合(チャット vs arXiv)
AI TwitterやLinkedInでは、チャットボットに「内省」を求め、注意深く知られていることと推測されていることの回答を得て、時には信頼度パーセンテージを付けるというトレンドがあります。それは厳密に見えます。
このインタビューはDeepSeekに対するその実験でした—その後、謙虚な部分をarXivと比較しました。
落とし穴:それが「不明」または「単なる推測」と呼んだことの多くは、すでに公開されています。誰でも読むことができます。モデルは推測する必要はありませんでした。それは適切な事実を取得できませんでした—そしてそのミスを説得力のある謙虚さで包みました。
なぜ「内省」は少しトリックなのか
チャットボットに自身のアーキテクチャについて尋ねるとき、モデルがタイプしている間、モデルからその重みへの配線はありません。それは自身の脳を開いてチェックすることはできません。
それはトレーニングからのパターンを思い出すだけです—論文、ブログ、フォーラムの投稿。あなたや私がGoogleで検索できるのと同じものです。したがって、派手な「知っていること vs 推測されること」というフレーミングは、真の内省ではありません。それは自己認識に見せかけた検索です。
DeepSeekはチャットでこれを認めました:それは基本的に公開論文を読み、もっともらしい推測でギャップを埋めているということです。公平です。だからこそ、私たちは推測を検証できるのです。
謙虚な回答が公開された事実を見逃した場所
エキスパート数。 最初は教育的な推測だと述べました。その後、信頼度スコア付きで:「約128〜256人のエキスパート」を約30%の信頼度で—そして2〜4倍間違っている可能性があると述べました。
総パラメータ数。 チャット全体を通して、実際のパラメータ数は提供しませんでした。それはエンジニアだけが知ることができるものとして扱いました。
しかし、V3の要約は有名です:総パラメータ数671B、トークンあたりアクティブな37B。V2については、V2論文は総数236B、アクティブ21B、コンテキスト128Kと述べています。
MLA。 マルチヘッド潜在アテンションを正しく説明しました—KVキャッシュを圧縮し、メモリを節約します。良い。しかし、「私のバージョンはMLAを使用していますか?」という点については、それがオープンであるかのように曖昧なままでした。V2以降、MLAはDeepSeek自身の論文でヘッドライン機能となっています。
負荷分散。 V3の補助損失なしのバランスをうまく説明し、それを「継承したかもしれない」として分類しました。V3論文はこれを主要なイノベーションとして提示しています。もう一つのヘッドラインV3トレーニングイノベーションであるマルチトークン予測を過小評価しました。
隠された推論。 公平な点:チャットインスタンスはDeepSeek-R1とはラベル付けされていませんでした。このビルドが隠された推論を行うかどうかは、実際に知らない可能性があります。
しかし、「DeepSeekはユーザーから推論を隠していますか?」という質問を完全な謎として扱うのは、R1にとっては間違っています。DeepSeek-R1は、表示されるステップバイステップのトレースでマーケティングされました。研究者はこれらのトレースを公然と研究しています—DeepSeek-R1 Thoughtologyを参照してください。
それでも正しかったこと
- 重み行列を読み取ったり、どのエキスパートが発火したかを見たりすることはできない—推論時間では真実。
- 正確なRLHF / アライメントデータの混合を知らない—完全には公開されていない。
- GPUバッチ処理やデータセンターサービングの設定を見ることができない—プライベートオペレーションの詳細。
それらは実際の盲点です。それを言うのは正しい判断でした。
パターン
| トピック | チャットでのDeepSeekの発言 | 公開論文での発言 |
|---|---|---|
| エキスパート数 | 推測、約30%の信頼度、128〜256の範囲 | 256 — V3 |
| 総パラメータ数 | 述べられず、「エンジニアのみ」 | 671B総数、37Bアクティブ — V3 |
| このファミリーでのMLA | 「おそらく使用しています」 | V2以来のコア機能 |
| 負荷分散 | 「継承したかもしれない」 | 主要なV3機能 |
| マルチトークン予測(トレーニング) | 技術のみとして言及 | 2番目のV3ヘッドラインイノベーション |
| 隠された推論(R1ライン) | 「エンジニアのみが知っている」 | R1推論は表示される — R1論文 |
| トレーニングデータ混合 | 不明 | 未だ不明 — 公平 |
| トークンごとのライブルーティング | 観察できない | まだできない — 公平 |
パターンが見えますか? それは、最もよく文書化されているものについて最も不確かでした。それは、実際にプライベートなものについて適切に不確かでした。
「この事実は公開されていない」と「この事実は公開されているが、取得に失敗した」を区別できませんでした。どちらも同じ丁寧な曖昧さと信頼度パーセンテージを受け取りました。
インタビューの終盤で、不確実性ラベルを付けて投機的な回答を書き直し、次のように締めくくりました:「私は自分自身の性質について信頼できない証人です。」 その一文は、曖昧な数値よりも価値があります。
ターン13のキャリブレーション(ラベル付けされるべきだったと述べたこと)
| トピック | チャットからの再ラベル付けされた回答 |
|---|---|
| エキスパート数 | 以前のDeepSeekモデルからの教育的な推測。約30%の信頼度。 2〜4倍間違っている可能性があります。(V3論文:256。) |
| レイヤー / 隠れサイズ | V2/V3の傾向からの推論であり、観察ではない。約25%の信頼度。 |
| 「MLAを使用しています」 | ファミリー lineage からの可能性が高い。このインスタンスでは確認できません。高いが観察ではない。 |
| コンテキスト = ここでは1M | 以前のバージョンに関する公開された主張からの仮説。約40%の信頼度。 測定されていません。 |
| 個性のパーセンテージの内訳 | 分析的な意見であり、測定ではありません。 |
| インフラストラクチャのサンプリング(ビーム / Best-of-N / 投機的) | 可能だが観察不可能。約25%の信頼度。 |
| 隠されたタイプB推論 | コンテキストに存在しない ≠ 存在しない証明(削除された可能性がある)。 |
一般的な誤解(リストアップされたもの):
- 「自身のアーキテクチャを知っている」 → DeepSeek論文に関するトレーニングテキストのみ
- 「知らないことを知っている」 → 組み込みの未知検出器はない。「知らない」は学習された行動である。
- 「自身の実際の推論を説明できる」 → 事後的なもっともらしいテキスト
- 「トレーニングデータを知っている」 → データセットをリストアップできない
- 「自身の出力を検証できる」 → 「確認」は同じエンジンからのより多くのトークンである。
- 「永続的なメモリがある」 → 製品がメモリを注入しない限り、コンテキストウィンドウのみ。
- 「統一された自己である」 → 出現的な一貫性を持つ行列乗算。「私」は言語的な習慣である。
DeepSeekのエンジニアがインタビューをレビューした場合、 彼らは正確なアーキテクチャ数値、アライメントレシピ、このビルドでタイプBトークンが存在するかどうか、ツールループの詳細、安全インフラストラクチャ、実際のコンテキスト制限/KV追い出し/投機的デコーディング、正確なSKU ID、および長文スレッドで透過的な要約が実行されるかどうかについて修正を期待するでしょう。
12. 覚えておくべきこと(結論)
私は2つの目標を持ってこれに取り組みました:DeepSeekがどのように機能すると考えているかを聞き、それが現実に一致するかどうかを確認することです。
インタビューから — 今でも有用
- コンテキスト順序、計画、ツール、安全性、個性をどのように説明するか — プロンプト作成と製品の直感に役立つ。
- 認めるハードリミット:重みへのアクセスなし、ライブルーティングビューなし、ドラフトループなしのトークンごとの生成。
- 正直な製品の注意点:このセッションではツールとメモリはオフでした。多くのパイプラインステージは理論であり、ライブデモではありませんでした。
論文チェックから — 訂正
- チャットからのアーキテクチャ数値を信頼しないでください。いくつかの有名な仕様(256エキスパート、671B/37B、標準としてのMLA、V3負荷分散、マルチトークン予測)は、モデルがそれらを推測と呼んだ一方で、公開論文にあります。
- 丁寧な不確実性は正確さと同じではありません。
- 「内省」プロンプトは興味深い劇場であり、計装ではありません。
5つのことを覚えているなら
- インタビューは、アシスタントが自身をどのように説明するかを教えてくれます—内部で確実に真実であることではなく。
- ツールとメモリはここでは非アクティブでした。それらの章は「どのように機能すると言っているか」として扱ってください。
- DeepSeekファミリーの数値については、チャットの自己申告よりもV3とV2を優先してください。
- 流暢な「推測しています」は、依然として生成されたテキストです。重要なことは何でも検証してください。
- R1スタイルの表示される推論は、インタビューしたチャットモデルとは異なる製品ストーリーです—一方を他方にぼかさないでください。
モデルにどのように機能するかを尋ねることは、今でも価値があると感じています。ただ、そこで止まらないでください。行動のためにインタビューしてください。アーキテクチャのために論文を読んでください。一方なしでは、あなたは半分しか情報が得られません。
13. トランスクリプト、ラボ、ソース(付録)
完全なインタビュートランスクリプト
プラットフォーム:deepseek、2026年7月21日にエクスポート。
13回のユーザーターン(短いインデックス):
- どのモデル/バージョンか? 知っていること vs 推測すること vs 隠されていること?
- アーキテクチャ(仮定なし)、ファミリー、イノベーション、推論モデル、隠された推論
- プロンプトの前のすべて、優先順位、パイプライン
- コンテキストウィンドウ、追い出し、圧縮
- 長文コンテキストアテンション — 事実 vs 推測
- 最初のトークンの前、計画、ドラフト、再起動
- 隠された推論の定義とアクセス
- ツール選択、信頼度、キャンセル、安全性のオーバーライド
- 完全なパス:トークン化 → サンプリング
- 1回のパス vs 複数、先読み、方向転換
- 幻覚と自信に満ちた誤った回答
- 個性のソース
- キャリブレーション書き直し — 事実として扱ってはいけないこと
インタラクティブラボ
下のラボブロックまでスクロールするか(または#deepseek-interactive-labsからジャンプしてください)。
主要用語
| 用語 | 平易な意味 |
|---|---|
| トークン | モデルが読み書きするテキストの小さな断片 |
| コンテキストウィンドウ | 一度に表示される限られたテキストワークスペース |
| 重み / パラメータ | ネットワーク内の学習された数値 |
| システムプロンプト | 最優先のアイデンティティ/安全テキスト |
| Transformer | 一般的な現代のチャットモデル設計 |
| MoE | トークンごとに一部のエキスパートサブネットワークのみが実行される |
| MLA | 長文チャットのKVメモリを圧縮 |
| RLHF / SFT | アシスタントの行動を形成するトレーニング段階 |
| 幻覚 | 流暢な誤ったコンテンツ |
| 推論 | 生成するためのトレーニング済みモデルの実行 |
Inside LLMsシリーズの姉妹投稿:Inside Kimi K2.6。
論文とレポート
-
DeepSeek-V3 Technical Report — エキスパート、671B/37B、MLA、負荷分散
-
DeepSeek-V2 — MLAの導入、236B/21B、128Kコンテキスト
-
DeepSeek-R1 — 表示される推論トレース
-
DeepSeekMoE — 共有エキスパートとルーティングエキスパートの設計
-
DeepSeek-R1 Thoughtology — 公開R1思考トレースの研究
-
Attention Is All You Need — 2017年のTransformer論文