HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

エージェントループ:トレンチコートを着た3つのループ

The Agentic Loop: Three loops in a trench coat (bobbytables.io)

60 pointsby btables12 コメント

要約

この記事では、自律型エージェントの構築における「エージェントループ」の概念を、単純な単一ループではなく、実際には3つの連携したループ(推論ループ、ツールループ、人間ループ)から成る複雑な構造として解説しています。各ループの役割と、それらがどのように連携して顧客に「エージェント的」な体験を提供するのかを、具体的なコード例を交えながら説明しています。

全文翻訳

エージェンティックループ:コートを着た3つのループ

エージェントループはしばしば単純化されすぎます。それらは単一のループとして提示されますが、実際には顧客にとって「エージェンティック」な体験を構成する、コートを着た3つのループなのです。私は(信じられないかもしれませんが)エージェントループに関する、またしてもブログ記事を書いています。例のコードブロックは概念を説明するための疑似コードであり、ストリーミングは投稿を複雑にするため省略しましたが、これらの構造は変わりません。

[画像: 投稿者が作成した画像]

推論ループ

大規模言語モデル(LLM)を最も還元的に説明する方法は、テキストを受け取り、次の文字…いや、トークンを予測することです。元カレとは違い、彼らは本当にあなたの文章を完成させてくれます。これは推論ループによって達成されます。

あなたの推論ループには3つの責任があります。

  1. チャット補完API呼び出し(次の単語を推論する)
  2. ツールループへのツール使用リクエストの引き渡し(後述)
  3. チャット履歴の永続化(ツールの結果やユーザーメッセージの管理)

エージェントを構築する際、あなたが作成する最初の「外側の」ループは推論ループです。これは、システムプロンプト、ユーザーメッセージ、アシスタントメッセージ、および利用可能なツールをLLMの「チャット補完」エンドポイントに送信するループです。Anthropicにはそれがあります。OpenAIにもあります。OpenRouterはそれらすべてを簡単に使用できるようにします。

LLMがメッセージを返したら、会話を継続できるように、それらを「チャット履歴」に追加するのはあなたの責任です。これは配列、データベーステーブル、Redisキーなど、何でも構いません。あなたの自由です。

chatMessages = [
  {
    role: "system",
    content: "あなたはカップルセラピストです。人々が関係をうまくいくようにするか、決してうまくいかないことを悟らせるのを助けます。あなたが話しているユーザーはトムという名前です。"
  },
  {
    role: "user",
    content: "元カノのレイニーが少し恋しいんだ、彼女に何て書けばいい?"
  }
]

continueInferenceLoop = true
while continueInferenceLoop
  inferred = aiClient.completeChat(messages: chatMessages)
  
  chatMessages.push({
    role: "assistant",
    content: inferred.message.content,
    toolCalls: inferred.toolCalls,
  })
  
  if inferred.toolCalls.length == 0
    continueInferenceLoop = false
  else
    # ツールを処理する(後述)
  end
end

finalResult = chatMessages.last.content
puts "アシスタントの応答: #{finalResult}"

(ほとんどの)大規模言語モデルプロバイダーのAPI設計はステートレスです。これは、モデルプロバイダーが以前の会話を全く知らないことを意味します。毎回、会話全体を提供する必要があります。 だから、「長い会話はトークンをより速く消費します」という警告が表示されるのです — そう、私はダッシュ(em-dash)を入力しました — なぜなら、元カノに連絡すべきかどうかについての、積み上がったメッセージの書物を送信しているからです。

やめておけ、トム。

ツールループ

LLMは瓶の中の脳です。それ自体では機能的な価値を提供しません。LLMに与えるツールこそが、それをエージェントにするのです。

モデルに「ここにあなたが使えるツールがあります」と外側の推論ループで伝えると、モデルはその推論(応答)でそれらを使用しようとするかもしれません。これは、脳がメールの送信ボタンを押そうとしている指に電気信号を送るのと同じようなものです。トム、境界線を設定する必要があるよ。

APIリクエストに含める個別のツール定義は、通常、モデルが処理するトークンストリームのシステムプロンプトフィールドにシリアライズされます。そして、一度に複数のツールの使用を推論する可能性があります。(したがって:ツールループ)。

chatMessages = [
  {
    role: "system",
    content: "あなたはカップルセラピストです。人々が関係をうまくいくようにするか、決してうまくいかないことを悟らせるのを助けます。あなたが話しているユーザーはトムという名前です。"
  },
  {
    role: "user",
    content: "元カノのレイニーが少し恋しいんだ、彼女に何て書けばいい?"
  }
]

tools = [
  {
    type: "function",
    function: {
      name: "send_ex_girlfriend_an_email",
      parameters: {
        type: "object",
        properties: { email_message: {type: "string"} },
        required: ["email_message"]
      }
    }
  }
]

continueInferenceLoop = true
while continueInferenceLoop
  inferred = aiClient.completeChat(
    messages: chatMessages,
    tools: tools
  )
  
  chatMessages.push({
    role: "assistant",
    content: inferred.message.content,
    toolCalls: inferred.toolCalls,
  })
  
  if inferred.toolCalls.length == 0
    continueInferenceLoop = false
  else
    # 見よ…ツールループだ!
    while tool = inferred.toolCalls.shift
      # ここでメール送信のようなツールの処理を行う
      # 名前に基づいてどのツールを制御するか、switch/case文を使用するかもしれない
      # ツール呼び出しにはIDも含まれる
      toolResult = "...次のセクションを参照..."
      
      # ツール結果の形状はプロバイダーのAPIによって異なる
      chatMessages.push({
        role: "user",
        content: [{
          type: "tool_result",
          toolCallId: tool.toolCallId,
          content: toolResult
        }]
      })
    end
  end
end

あなたのツールループは、モデルが使用すると推論したツールを検索し、モデルが提供したパラメータであなた自身の関数を呼び出す必要があります。しかし、いくつかの点に注意してください。

  1. ツール呼び出しも推論されたテキストであるため、ツール名や関数パラメータが誤って生成される可能性があります。Tool Not Found: "call_my_ex_girlfriend" のようなもので、これらの不正なツール呼び出しに対して防御的に対応すべきです。

  2. APIは tool_call_id(Anthropicを使用している場合は tool_use_id)で応答します。このIDは、APIとモデルが呼び出しと応答を相関させるために使用されます。ツールの呼び出しIDなしで後続の補完リクエストを送信すると、APIはエラーになります。

  3. 一部のプロバイダーでは、ツール結果にエラーコードやエラー状態がありません — 結果のコンテンツがエラーです。エラーを示すためにXMLタグを使用してください。例:<tool_call_error>Phone number blocked</tool_call_error>

    1. Anthropicには is_error フィールドがあります。

人間のループ

このループの名前については議論しました。このループは実際には必要ありません。人間である必要もありません。しかし、AIは人間を助けるべきだと私は信じているので、この名前にします。もしあなたが反論したいなら、「セーフループ」や「正気ループ」と呼ぶこともできます。どちらも適切でしょう。

エージェンティック実装の制御を望むなら、3つ目のループを実装して、ツールを承認/拒否するか、モデルを別の方向に誘導する必要があります。

この「ループ」はプログラム的なループではないことを認めなければなりません。それはむしろ、誰かまたは何かが、ツール呼び出しを続行するかどうかをループしている、ブロックする関数呼び出しです。ループはあなたのコードの範囲内ではなく、承認者の範囲内に存在します。

while tool = inferred.toolCalls.shift
  result = ""
  
  case tool.name
  when "send_ex_girlfriend_an_email"
    # このループをブロックする。
    # これはSMS、メールを送信したり、決定ボタンを表示したりするかもしれない。
    decision = wait_for_approval(tool.parameters)
    
    if decision.approved?
      send_email(tool.parameters["email_message"])
      result = "Email sent"
    elsif decision.denied_with_instructions?
      result = "<tool_call_denied_with_instructions>
        #{decision.instructions}
      </tool_call_denied_with_instructions>"
    else
      result = "<tool_call_error>Tool call was not approved</tool_call_error>"
    end
  else
    result = "<tool_call_error>The tool '#{tool.name}' was not found</tool_call_error>"
  end
  
  chatMessages.push({
    role: "user",
    content: [{
      type: "tool_result", 
      toolCallId: tool.toolCallId, 
      content: result
    }]
  })
end

人間のループは、エージェンティックシステムで実装するのがおそらく最も難しい部分です。数時間もブロックし続けるコード片を持つことはできません。サーバーが再起動したらどうしますか?応答する必要のある他のリクエストが数千件来たらどうしますか?最初の2つのループ(推論とツール)は十分に単純です。人間のループは難易度を上げます。だからこそ、Temporalのような耐久性のある実行フレームワークが存在するのです。

しかし、人間のループは必要です。なぜなら、トムがレイニーにあのメッセージを実際に送るのを止める唯一のものだからです。トム、もう2年も前のことだよ、前に進もう!

ループバック

すべてをまとめると:

  1. 推論ループ - チャット補完APIを呼び出し、ツール呼び出しをあなたの...
  2. ツールループ - モデルが実行しようとしているツール使用リクエストを処理し、承認をあなたの...
  3. 人間のループ - 承認や新しい方向性を求めるために渡します。この結果はツールの結果として伝播します。

これら3つのループは、エージェントシステムの構成要素です。RAG、プログレッシブディスカバリー、自動ツール承認チェックなどで使用されます。

さあ、構築しましょう!