Piにおけるコンパクションの仕組み
How Compaction Works in Pi (earendil.com)
要約
大規模言語モデル(LLM)は限られたコンテキストウィンドウを持つため、コーディングエージェントのような対話型アプリケーションでは、会話履歴が長くなるとコンテキストオーバーフローが発生します。Piは、この問題を解決するために「コンパクション」というプロセスを採用しています。これは、古い会話履歴をLLMに要約させることで、コンテキストウィンドウ内に収まるように圧縮し、新しいメッセージのためのスペースを確保する仕組みです。
全文翻訳
Piにおけるコンパクションの仕組み
Piのようなコーディングエージェントで長時間コーディングセッションを行ったことがあるなら、コンパクション(圧縮)をトリガーしたことがあるはずです。この記事では、コンパクションがどのように機能し、Piがいつコンパクションを必要とするのかを説明します。
LLMの会話
大規模言語モデル(LLM)には、コンテキストウィンドウの制限があります。コンテキストウィンドウとは、モデルが応答を生成する際に「見ることができる」範囲のことです。LLMが使用するTransformerアーキテクチャは、処理できる入力の量に制限があります。コーディングエージェントのセッションの入力には、以前のすべてのメッセージとツール呼び出しが含まれており、作業が進むにつれてこれは増え続けます。コンテキストウィンドウを超えると、LLMはリクエストを拒否します。
Piのようなコーディングエージェントと対話する場合、エージェントはLLMにリクエストを送信し、応答を受け取ります。各リクエストには、システムプロンプト、ロードされたファイル(例: AGENTS.md)、ツール定義、および会話履歴が含まれます。
コーディングエージェントの最初のLLMリクエストには、この初期コンテキストと最初のユーザーメッセージが含まれます。
request 1:
[system][tools][user]
これで1ターンが始まります。LLMは最初にツール呼び出しを含むアシスタントメッセージを返すことがあります。エージェントプログラムはそれらを実行し、会話全体(ツール結果を含む)を含む新しいリクエストをLLMに送信します。別の Assistant メッセージが返ってきます。アシスタントが出力生成を完了すると、ターンは終了します。
after request 1:
[system][tools][user][assistant: tool call][tool result][assistant]
<-------------------> ^ <--------->
returned by LLM | returned by LLM
|
produced by the agent
作業を続け、別のメッセージを送信します。
request 2:
[system][tools][user][assistant: tool call][tool result][assistant][user]
^
new user message
各ターンで会話は拡張されます。最終的に、履歴がコンテキストの制限を超えます。次のリクエストは Request exceeds the maximum size のようなエラーを返します。
[system][tools][user][assistant][....][tool result][user]
^
exceeds context window
コンテキストオーバーフローの処理
既存の会話をそのまま続行できない場合、2つの選択肢があります。
- 蓄積されたコンテキストなしで、新しく空の会話を開始できます。これにより、以前の決定や未解決の作業を含む履歴が破棄されます。LLMの出力パフォーマンスはコンテキストサイズが大きくなるにつれて低下するため、これは依然として良い考えかもしれません。
- 会話を続けたいので、会話コンテキストのより小さな表現を作成できます。これがコンパクションが行うことです。
コンパクション
理論的には、コンパクションを実装する方法はたくさんあります。例えば、会話の一部を保持し、残りを破棄する決定的な関数を記述できます。しかし、実際には、コンパクションの実装ではLLMリクエストを使用して会話履歴を要約します。
コンパクションは、履歴の一部を圧縮された表現に置き換えることで、追加のメッセージやツール呼び出しのためのスペースを残します。
[system][tools][compaction result][user]
^
new message
Piの実装
Piが具体的にどのようにコンパクションを実装しているかを詳しく見てみましょう。
会話が長くなりすぎると、Piはコンパクションを使用して、最近の作業を保持しながら古いコンテンツを要約します。コンパクションは、コンテキストの制限がコンテキストウィンドウの合計サイズに近づいたときにトリガーされます。/compact コマンドを使用して手動でトリガーすることもできます。
Piはターンの終了後に自動コンパクションをチェックします。それまでは、各リクエストは既存のプロンプトを拡張し、キャッシュされたプレフィックスを再利用できます。Piは、コンテキストオーバーフローエラーが発生した場合、ターン中にコンパクションを実行することもできます。
コンパクションを実行する際、Piは一定数の最近のメッセージをそのまま保持します。
before compaction:
[system + tools][older turns][recent retained messages]
保持されるメッセージの数は変動します。なぜなら、Piは設定可能なトークン予算を使用しているからです。Piの現在のデフォルトである2万トークンは、約5〜20ターンに相当します。このカットオフポイントより前のすべてのメッセージが抽出され、シリアライズされ、要約されます。
Piのコンパクションプロンプト
コーディングエージェントにとって、優れた要約の理想的な結果は、あるシフトから次のシフトへの引き継ぎブリーフィングのようなものです。Piのコンパクションプロンプトは、既存のコンテキストに、もはや関連性のない多くのものが含まれているという事実に焦点を当てています。次のLLMリクエストにとってまだ重要なコンテキストであるものだけを保持すべきです。
したがって、Piは通常の会話とは異なるリクエストをコンパクションのために送信します。
- スタンドアロンのコンパクションリクエストで使用されるシステムプロンプトは異なります。「あなたは熟練したコーディングアシスタントです」とLLMに伝える代わりに、[