HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

持ち運べないセッション

The Session You Cannot take with you (earendil.com)

683 pointsby apitman196 コメント

要約

AIの推論APIは、当初はシンプルな入出力のやり取りから会話履歴をユーザーが管理できるという約束でしたが、現在ではプロバイダー固有の暗号化された状態が増え、セッションのポータビリティが失われつつあります。これにより、ユーザーはセッションの真の所有権を失い、AIとのやり取りの記録がプロバイダーに依存するようになっています。

全文翻訳

持ち運べないセッション

推論APIの当初の約束は、非常にシンプルでした。入力を送り、出力を受け取る。その両方を保持すれば、会話が成立します。それを検査したり、アーカイブしたり、再生したり、別のモデルに渡したりすることができました。

その抽象化は、完全には真実ではありませんでした。例えば、プロンプトキャッシュは 他人のGPU上に存在し、モデル間でトークン化が異なり、サンプリングは再現不可能(意図的でもあります)です。しかし、会話の「意味的な記録」は、トランスクリプトの形式でユーザーに属し続けることができました。トランスクリプトには、指示、メッセージ、ツール呼び出し、ツールの結果が含まれるべきです。別の十分に能力のあるモデルが同じように続かないかもしれませんが、何が起こったかを理解し、引き継ぐことはできたはずです。

推論APIは、少なくともある程度は、その性質から離れつつあります。ますます、テキストとプロバイダー固有の状態の混合物を返すようになり、それは非常に意図的にポータブルではありません。

  • ユーザーに請求されるが、不透明で暗号化されたブロブとしてのみ返され、せいぜい役に立たない要約しか得られない推論トークン
  • モデルはクライアントが見ることのないソースマテリアルを見るウェブ検索
  • 元のプロバイダーだけが復号できる圧縮されたコンテキスト
  • エージェントを実行しているアプリケーションから隠された、暗号化されたペイロード形式のサブエージェントの指示とメッセージ
  • 他のどこでも解決できないファイル、ベクトルストア、コンテナ、キャッシュへの参照
  • プロバイダーのサーバーに完全に保存されているIDによってのみキー付けされる応答と会話の状態

それぞれの機能には、プロバイダーが簡単に思いつく基本的な正当化があり、それがユーザーにとってなぜ良いのかというもっともな議論も付随しています。しかし、これらすべてが組み合わさることで、AIセッションの所有権の現実が変わります。あなたのマシン上のトランスクリプトは、もはやあなたのセッションではなく、運用状態が推論プロバイダーに属するセッションの部分的なビューになってしまうのです。

私たちはこの方向性を支持しておらず、それがユーザーであるあなたにとって何を意味し、この分野でツールを開発している私たちにとって何を意味するのかについて、少しお話ししたいと思います。

セッション所有権の実践的なテスト

ポータブルなセッションとは、あるモデルから別のモデルに切り替えたときに同じ次のトークンが生成されることを意味するのではありません。それはモデルの能力、学習された個性、コンテキストウィンドウ、ツールの扱い方の違いから当然のことです。そして、そもそもすべてがかなり非決定論的です。ポータビリティとは、もっと控えめな意味です。

const transcript = session.export();
revokeCredentials(oldProvider);
session = newProvider.continueFrom(transcript);

アーカイブには、別のモデルが作業を続行するのに十分な理解可能な情報が含まれているべきです。それは、古いプロバイダーがIDを参照したり、ブロブを復号したり、検索結果を記憶したり、要約を再構築したりする必要があってはなりません。

これにより、5つの有用なテストが得られます。

  1. 検査: ユーザーは、モデルが見たもの、実行したツール呼び出し、エージェント同士が互いに何を伝えたかを見ることができますか?
  2. エクスポート: セッションは、ダウンロード可能な通常のアーティファクトを除いて、自己完結していますか?
  3. 再生: 別の実装が、意味的に同等のコンテキストを再構築できますか?
  4. 監査: 人間は、事後にシステムがなぜそのアクションを取ったのかを説明できますか?
  5. 削除: ユーザーは、セッションが依存するすべてのサーバーサイドコピーを特定し、削除できますか?

応答IDはトランスクリプトではありません(データはサーバーに保存されているため)、暗号文はユーザー制御の状態ではありません(ユーザーはそれを復号できないため)、引用のリストは検索結果によってモデルのコンテキストに配置された証拠ではありません(モデルが取得したのと同じデータを通常取得できないため)。

誰のための暗号化?

これらの機能の名前とマーケティングは誤解を招く可能性があります。「encrypted_content」は、ユーザーの制御下にあるプライバシー機能のように聞こえます。通常、それはクライアントが読み取れず、プロバイダーだけが開くことができるカプセルです。プロバイダーはキーを選択し、独自のモデルのためにコンテンツを復号し、データがどこで再生できるかを定義します。

より良い用語はプロバイダー封印状態です。

プロバイダーの封印は、実際のプライバシー上の利点をもたらす可能性があります。例えば、OpenAIは「store: false」を使用して暗号化された推論をクライアントに返すことができ、中間状態を永続化することなく次のリクエストでメモリ内で復号できます。これは、サーバーサイドの会話ストレージを必要とするよりも優れています。特にゼロデータリテンションの顧客にとっては。しかし、覚えておいてください、そもそも暗号化する必要のあるものは何もありません!

この暗号化は、推論プロバイダーからデータを隠すものではありませんが、あなたからデータを隠します。

保存された会話はトランスクリプトをポインタに変える

OpenAIのResponses APIは、デフォルトで応答を保存します。そのドキュメントによると、応答オブジェクトはデフォルトで少なくとも30日間保持されます。「store: false」が利用可能であり、使用すべきです。これは、完了処理のように機能し、データがOpenAIのサーバーに保存されなくなります。

新しいGemini Interactions APIも同様の選択をしています。デフォルトで「store: true」です。有料プランでは55日間、無料プランでは1日間保持されます。

そして明らかに、サーバーに状態を保存するという考えは非常に魅力的です。

const first = responses.create({
  model: "frontier-model",
  input: "Investigate this production failure",
  store: true,
});

const second = responses.create({
  model: "frontier-model",
  previousResponseId: first.id,
  input: "Now implement the fix",
  store: true,
});

アプリケーションはより少ないデータを送信し、プロバイダーは隠された推論とツール状態を保持でき、キャッシュルーティングが容易になります。しかし、ローカルアプリケーションがユーザーメッセージと最終的なテキストのみを記録する場合、「first.id」は、制御できないデータベースへの外部キーになります。

あなたのための推論はない

すべての主要なラボは、生の思考連鎖を公開しない正当な理由があると主張しています。その結果、非オープンウェイトモデルでは、通常これらのトークンを見ることはありません。

生の推論はAPI経由では表示されません。保存された応答では、以前の推論は「previous_response_id」を通じて回復できます。「store: false」では、APIは「encrypted_content」を返します。これはクライアントが保持して再生する必要があります。永続化された推論は、「reasoning.context: "all_turns"」が後続のサンプルで使用できるようにしても、不透明なままです。

Anthropicは、暗号化された完全な思考を「signature」フィールドに返します。読み取り可能な思考テキストは、有効になっている場合、別のモデルによって生成された要約であり、生の思考連鎖ではありません。思考ブロックは、ツール使用のターン中に変更せずに返される必要があります。Anthropicのドキュメントによると、思考ブロックはそれを生成したモデルに紐付けられており、モデルを切り替える際には削除されるべきです。したがって、これらの推論トレースは、Anthropic内でのポータビリティを試みていません。

閉鎖型モデルでは、この話はすべて繰り返されます。

これらの暗号化メカニズムは、エコシステム内での継続性を可能にしますが、別のプロバイダーのモデルに持ち運べるポータブルなトランスクリプトを作成するものではありません。セッションアーカイブにはブロブが含まれる可能性がありますが、別のモデルはその意味を使用できません。

{"type": "reasoning", "encrypted_content": "gAAAAAB..."}
{"type": "thinking", "thinking": "", "signature": "EqQBCg..."}
{"type": "thought", "summary": [], "signature": "EpoGCp..."}

隠された検索

アナロジーとして、ウェブ検索を考えてみましょう。サーバーサイドのウェブ検索は、ユーザーから隠されたトランスクリプトの穴の最も明確な例の1つです。クライアントサイドの検索ツールは、他のツールと同様に動作します。

const result = search(query);
record({
  query,
  retrievedAt: now(),
  results: result.map((item) => ({
    url: item.url,
    title: item.title,
    passages: item.passages,
  })),
});
model.send({ toolResult: result });

ユーザーはランキングとパッセージを検査したり、ページを再取得したり、コピーをキャッシュしたり、同じ証拠を別のモデルに提供したりできます。

ホストされた検索では、プロバイダーがプライベートなツールループを実行します。OpenAI、Google、Anthropicは、検索アクション、引用、オプションでソースURLのリストを公開しますが、回答を生成するために使用された完全なテキストコンテキストは公開しません。URLは安定した再生手段ではなく、その内容は変更される可能性があり、モデルが見る前にさらに短いスニペットに削減されている可能性があります。

最終的な回答は完璧に良いかもしれません。問題は次のターンに現れます。

3番目のソースと最初のソースを比較し、問題の数値を再確認し、別のモデルを使用してこの調査を続行してください。

新しいモデルは、回答といくつかのURLを受け取ります。結果のランキング、抽出されたパッセージ、フィルタリングされた素材、または最初のモデルが使用した正確な証拠を受け取りません。次のリクエストが他に行われたとしても、古いプロバイダーはセッションの一部であり続けます。引用があり、再取得したとしても、正確なデータを再現することはできません。

ホストされた検索には、クエリ、結果メタデータ、取得されたパッセージ、タイムスタンプ、および保持されたコンテンツを含む、フルフィデリティのエクスポートモードが必要です。簡潔な引用はユーザーインターフェースとして残すことができますが、それだけが記録であってはなりません。

不透明な圧縮

長いエージェントセッションは、最終的に圧縮を必要とします。可視的でクライアント制御の要約は損失がありますが、少なくとも検査可能で転送可能です。ユーザーはそれをレビューしたり、編集したり、別のモデルに別の要約を生成させたりできます。

OpenAIのサーバーサイド圧縮は、代わりに暗号化された圧縮アイテムを発行します。ドキュメントでは、それを「不透明で、人間が解釈することを意図していない」と説明しています。スタンドアロンの/responses/compactエンドポイントは、「正規の次のコンテキストウィンドウ」を返します。これは、クライアントがそのまま渡すように指示されています。

概念的には、遷移は次のようになります。

// 前: コストはかかるがポータブル
let history = [
  userMessage,
  assistantMessage,
  toolCall,
  fullToolResult,
  // ... 200,000以上のトークンの理解可能な履歴
];

// 後: 元のプロバイダーとのみ安価に継続可能
history = [
  {
    type: "compaction",
    encryptedContent: "enc_provider_only_state...",
  },
  ...recentItems,
];

OpenAIは圧縮された意味から継続できますが、別のプロバイダーは読めない文字列と最近のサフィックスを見ます(まあ、見るでしょうが、Piはこのような情報を別のプロバイダーに渡しません)。

これは技術的に必須ではありません。Anthropicのサーバーサイド圧縮は、読み取り可能なcontentフィールドを持つcompactionブロックを返します。クライアントはカスタム要約指示を提供でき、生成された要約は検査して別のモデルに渡すことができます。クライアントサイド圧縮も、どのプロバイダーでも可能です。

OpenAIの封印されたアーティファクトは、プレーンな要約よりも多くのモデル固有の状態を保持し、元のモデルでより良く機能する可能性があります。それは妥当なオプションの最適化ですが、それは単なる要約の代わりではなく、読み取り可能な引き継ぎ要約を伴うべきです。しかし、再び、これの多くは、あなたを1つのエコシステムにさらにロックインするという利点があります。

サブエージェントには隠された指示が付属する

マルチエージェントシステムは問題を増幅させます。なぜなら、もはや単一のトランスクリプトが存在しないからです。セッションのツリーとそれらの間のメッセージのストリームが存在します。通常、それらは人間が書いたかのようにプロンプトですが、今度はマシンが別のマシン用に作成したものです。

OpenAIのホストされたResponses Multi-agentベータ版は、3つの新しいアイテムタイプを返します:multi_agent_call、multi_agent_call_output、agent_message。「spawn_agent」の例には、暗号化されたmessage引数が含まれており、エージェント間のメッセージにはencrypted_contentのみが含まれます。マルチエージェントが有効になっている場合、クライアントが要求しなくても、すべてのエージェントに対して自動サーバーサイド圧縮が暗黙的に有効になります。推論要約はサポートされておらず、APIは開発者が編集または削除できないルートおよびサブエージェントの指示を注入します。

これは、転送不可能な状態のバンドルです:封印された委任、封印されたエージェントメッセージ、個別に圧縮されたコンテキスト、隠された推論、およびプロバイダーホストのオーケストレーション。

関連する変更は、2026年6月にオープンソースのCodexクライアントに導入されました。「Encrypt multi-agent v2 message payloads」と題されたコミットは、フローを直接説明しています。

// Codexによって永続化された親モデルのツール呼び出し
{
  "name": "spawn_agent",
  "arguments": {
    "task_name": "worker",
    "message": "<ciphertext>"
  }
}

// 子モデルの入力
{
  "type": "agent_message",
  "author": "/root",
  "recipient": "/root/worker",
  "content": [
    {
      "type": "encrypted_content",
      "encrypted_content": "<ciphertext>"
    }
  ]
}

Responses APIは、親によって発行されたツール引数を暗号化し、Codexはそれを転送し、APIは内部で子に復号します。Codex自体の「InterAgentCommunication.content」は空です。正確なタスクは、読み取り可能なロールアウトと履歴から欠落しています。

これは単なる抽象的なモデル切り替えの懸念ではないと思われます。子が間違ったファイルを変更したり、秘密を漏洩したり、別のエージェントの作業を重複させたり、悪い仮定に従ったりした場合、ユーザーはそのエージェントに「何をしろと指示されたのか?」という単純な質問に答えられない状況を想像できます。

オープンなCodexの問題は、暗号化された配信に個別の読み取り可能な監査コピーを保持するように求めています。それは最低限許容される設計です。さらに良いことに、プレーンテキストのエージェント間メッセージが標準であるべきです。

「ほとんどの人はセッション中にモデルを切り替えない」

おそらくそうでしょう。ほとんどの人は、毎週オペレーティングシステムや電話プロバイダーを切り替えるわけでもありません。しかし、たとえその自由を利用しなくても、それはプロバイダーとの関係、そしてプロバイダーがあなたとの関係をどのように変えるかという点で重要です。

ユーザーとして、モデルが廃止されたり、サービスが停止したり、価格が変更されたり、ポリシーが次のリクエストをブロックしたり(こんにちはFable)、機密フェーズをローカルで実行する必要があったり、監査人が何が起こったかを再構築する必要があったりするために、セッションを移動する必要がある場合もあります。エージェントはセッションをますます長くしています。コーディングやリサーチセッションは、数日間の決定と証拠を蓄積する可能性があり、パーソナルアシスタントは数年遡るセッションのトランスクリプトを蓄積する可能性があります(おそらく、まだそれほど長くは持っていないため)。

離れるオプションは、規律も生み出します。プロバイダーがユーザーが他に移れることを知っていれば、モデルの品質、価格、信頼性、信頼で競争しなければなりません。ユーザーが蓄積したコンテキストが1つのプロバイダーによってのみ解釈できる場合、それは非常に不幸なインセンティブを設定します。

ポータブルな推論APIが約束すべきこと

推論プロバイダーとエージェントビルダーに、少数のルールを採用してもらいたいと考えています。

  1. ローカルイベントログが標準となる: サーバーストレージはそれをミラーリングまたは加速するかもしれませんが、クライアントはサーバーIDを参照せずにセッションを再構築できます。
  2. ストレージは明示的である: 「store: false」は容易で、文書化されており、できればデフォルトであるべきです。保持を必要とする機能は、使用時点でそれを明記すべきです。
  3. 不透明なアイテムは意味の唯一の担い手ではない: 暗号化された推論、圧縮、ツールの署名は、同じプロバイダーでの品質のために含まれるかもしれませんが、それぞれに読み取り可能でプロバイダーニュートラルな引き継ぎ表現が必要です。
  4. ホストされたツールはフルフィデリティログを持つ: 正確な入力、出力、証拠、フィルタリング、出所、タイムスタンプ、およびコンテンツハッシュを記録します。洗練された回答と引用だけではありません。
  5. サブエージェント通信は監査可能である: すべてのエージェントの正確な読み取り可能なタスク、メッセージ、結果、系統、モデル、およびツール権限を永続化します。
  6. 圧縮は検査可能である: 読み取り可能な要約、それを作成するために使用された指示、および破棄されたものを理解するための十分な系統を返します。
  7. アーティファクトはエクスポート可能である: ファイル、コンテナ出力、検索スナップショット、生成されたメディアは、コンテンツアドレス可能なローカルアーカイブにダウンロードできます。

蒸留は実際には素晴らしい

モデルレイヤーには、ロックインの関連する形態があります。

一部の最大の閉鎖型米国ラボは、外部蒸留に対してますます敵対的になっています。Anthropicの2026年2月の投稿では、DeepSeek、Moonshot、MiniMaxによるとされるキャンペーンについて「蒸留攻撃」と呼んでいます。その商業条件では、顧客は出力の所有権を持つとされていますが、サービスを使用して競合するAIモデルをトレーニングすることは禁止されています。同時に、Anthropic自身の投稿は、「蒸留は、フロンティアラボが独自のモデルで使用する場合、広く使用され正当なトレーニング方法である」と認めています。

Anthropicは、モデル開発のために公開ウェブからデータを収集するためにロボットを使用しており、本をスキャンするために切り刻んだことで有名です。OpenAIも同様に、自由にアクセスできる公開インターネットコンテンツでトレーニングしていると述べており、公開されているインターネット資料でのトレーニングは公正使用であると主張しています。両社とも、自社内で行われる場合、蒸留はより小さなモデルを生成するための通常の方法であると説明しています。OpenAIはまた、より強力なOpenAIモデルの出力をより小さなOpenAIモデルのファインチューニングに使用するための、明示的な第一者API蒸留ワークフローを提供しています。

道徳的な非対称性は見逃しにくいです。ラボは、人間がインターネット上に置いた膨大な量の作品から機械が学習することを社会に受け入れさせようとしています(しばしば事前の個別の許可なしに)、同時に他の機械がラボが生成した出力から学習してはならないと主張しています。その原則の最も広範なバージョンは、学習が閉鎖型モデルに流れ込むことを便利に許可しますが、それらから流れ出すことは許可しません。

蒸留に対するデフォルトの姿勢は、敵対から支援へと移行すべきだと考えています。蒸留は、高価なフロンティア能力を、ローカル、オフライン、制約のあるハードウェア、またはユーザーの制御下で実行できる、より小さく、より安く、より速いモデルに変えることができます。競争を増やし、APIが消滅した場合に能力を維持し、一般的なタスクに必要なコンピューティングとエネルギーを削減できます。

最小限の自由

ユーザーはアカウントを閉じ、セッションを保持し、それを別のモデルに渡せるべきです。新しいモデルは同意しないかもしれませんし、質問をするかもしれませんし、パフォーマンスが悪くなるかもしれません。それは、古いモデルがユーザーの履歴、証拠、計画、委任された作業を見た場所に、暗号文を見つめているべきではありません。

プロバイダーがより良いステートフルAPIを構築することに反対しません。私たちは、より良いパフォーマンスがユーザーコントロールの低下と結びついていることに反対します。ステートフルストレージはオプションであるべきで、ホストされたツールは観察可能であるべきで、圧縮は読み取り可能であるべきで、エージェント通信は監査可能であるべきで、理想的には不透明な推論は不透明ではないか、少なくともポータブルな引き継ぎを持つべきです。蒸留は、能力がより利用可能になるための道であるべきであり、壁をさらに高くすることを正当化するために使用されるタブーであってはなりません。