LangGraphのゴッドノードのリファクタリングにおけるFableと他の10のLLMの比較
Comparing Fable and 10 other LLMs on refactoring a LangGraph god node (wtf.korridzy.com)
要約
この記事では、LangGraphエージェントの複雑な「ゴッドノード」をリファクタリングするタスクにおいて、Fableを含む11のLLMのコード再編成能力を比較評価しています。各LLMに提案を生成させ、互いに評価させ、さらに複数のアプローチで信頼性を検証することで、どのモデルがコード生成や評価に優れているかを分析しています。
全文翻訳
神々の黄昏。コード再編成タスクにおけるFableとその他のLLM10種の比較。
[画像: レトロなGAME OVERのリファクタリング画面をあしらった「Twilight of the Gods」のMediumカバー]
他の言語
この記事はロシア語でも利用可能です: Гибель богов
これは、ある実験の詳細なレポートです。私は実際のLangGraphエージェントからゴッドノードを一つ取り出し、5つのアメリカ製モデルと6つの中国製モデルに、まずそれをどのように整理するか提案させ、次に互いの提案を評価させました。その後、その件についてどのモデルを信頼できるかを判断するために、3つの異なるアプローチを試しました。
目次
- 元の問題。ゴッドノードとは何か、そしてなぜ危険なのか。
- レモンからレモネードを。なぜこれらすべてを行うのか、そして実験のセットアップ方法。
- ステージ1。モデルが提案を生成する。
- ステージ2。モデルが提案を評価する。
- ステージ3。ウェットスーツコンテスト。何が得意かを見極める。
- アプローチ1。スコアは一致するか?。最良の提案を選ぶ。
- アプローチ2。論文によるレビューの比較。最良のアナリストを選ぶ。
- アプローチ3。意見の中心とメドイド。最良のアナリストを再び選ぶ。
- デウス・エクス・マキナ。最良のアナリストをもう一度選ぶ。
- テイクアウェイ。ジェネレーターとしてどのモデルを使用するか、エバリュエーターとしてどのモデルを使用するか、そしてあなたの心がどこに安らぎを見つけるか。
元の問題¶
ご存知の通り、Data Sanityのコースで仲間たちと練習用のAIエージェントを構築していると、急速に機能が追加されていくカラフルな渦の中で、プロジェクトの内部エージェントの一つが次のような状態グラフ(LangGraph)を持っていることに突然気づきます。
flowchart TD
planner_start([START]) --> plan[plan]
plan -->|search| search[search]
plan -->|ask_user| ask_user[ask_user / interrupt]
plan -->|reflect| reflect[reflect]
plan -->|calculate| calculate[calculate]
plan -->|finish| finish[finish]
search -->|last_observation| observe[observe]
search -->|no hits / backend failure| plan
observe --> plan
calculate --> plan
ask_user --> observe_user[observe_user]
observe_user --> plan
reflect --> plan
finish --> planner_end([END])
一見すると、これはかわいい小さなタコに過ぎず、心配することはありません。しかし、このタコがその控えめな8本の足の頭の中にどれだけのロジックを抱えなければならないかを知ると、これがアンチパターンであることがすぐに明らかになります。この場合、それをゴッドノードと呼びましょう。
planノードには、反復チェック、地域と通貨に関するブートストラップの質問、スキーマの準備、取得タスクのルーティング、LLMの呼び出し、その後の決定の修正など、約350行のロジックが隠されています。
問題は、関数のサイズだけではありません。重要なオーケストレーションが単一のノード内に隠されていると、グラフはシステムの表現ではなくなります。説明が難しくなり、デバッグが難しくなり、テストが難しくなり、変更が危険になります。したがって、明白なタスクは単に「大きな関数を切り刻む」ことではなく、隠された制御ロジックをグラフレベルに引き上げることです。これにより、結果として得られるアーキテクチャがより明確になり、さらなる開発に適したものになります。
「plan」ノードが実際に行ったこと¶
このグラフが説明することを意図されていたエージェントは、広義には、下流の計算のためのさまざまなパラメータを収集するビジネスを行っていました。これらのパラメータの一部はインターネットで巧妙に検索され、一部はユーザーに尋ねられました。そして、それはすべて、完全には決定論的でないアルゴリズムによって行われました。なぜなら、特定の会話のコンテキストによっては、同じパラメータを取得するための正しい方法は大きく異なる可能性があるからです。以下は、planノードに詰め込まれていた実際の関数のセットです。
| 責任 | planノードに隠されていたロジック |
|---|---|
| 反復ループ | iterationsをインクリメントし、新しい計画ステップに入り、status == "aborted"とmax_itersをチェックする |
| 地域ブートストラップ質問 | _needs_region_question()チェックと、core.regionのためのask_userへの強制遷移 |
| 通貨ブートストラップ質問 | _needs_currency_question()チェックと、core.currencyのためのask_userへの強制遷移 |
| プロアクティブな分解 | フィールドをコンポーネントに分解する必要があるためのdynamic_decompositionsを生成する |
| 取得レシピのアセンブル | build_dynamic_recipes()を呼び出し、後続のフィールド収集のためのタスク構造を準備する |
| スキーマ準備 | compose_ready_fields()を呼び出し、準備されたコンポーネントフィールドをアグリゲートにマージし、schemaを更新する |
| 計算機制限 | 計算機試行制限、成功した、または既に現在の計算、およびその他の停止条件をチェックする |
| ブロックされた計算後のリカバリ | ブロックされた計算機シナリオを処理し、次のデータ収集タスクを見つけ、必要に応じて問題フィールドのフォールバック分解を行う |
| 一般的なデータ収集ルーティング | LLMなしで次のデータ収集タスクを選択する。既に開いているタスクとコンポーネントタスクの高速パスを含む |
| 自動終了ロジック | すべてのソースデータが収集されたかどうか、アクション対象のフィールドが残っているかどうか、および追加のステップなしでループを終了できるかどうかをチェックする |
| LLM計画 | プロンプトコンテキストを収集し、_llm().structured(...)を呼び出し、PlannerDecisionを取得する |
| LLM後の分解 | モデルが選択したフィールドに追加の分解を生成する(コンポーネントに分解する必要がある場合) |
| 決定のリダイレクトと正規化 | 派生フィールドの決定をリダイレクトし、検索経由でより良く見つかるフィールドのためにask_user → searchを強制し、LLM後のその他の決定論的な書き換えを行う |
| フィールドごとのリトライと制限 | 反復検索の検出、searchとask_userの制限、および制限が枯渇した後のask_user、reflect、またはfinishへの切り替え |
| 計算決定の修正 | 早すぎるfinishを修正する:計算がまだ完了していない場合、決定はcalculateに書き換えられるか、追加の再評価ステップにルーティングされる |
| ブックキーピング状態管理 | decision、decision_origin、llm_failed、status、およびブランチに伴うその他の一時的なフラグをリセットまたは更新する |
| ログ記録とイベントディスパッチ | 最終決定をログに記録し、進行イベントを発行し、ノードから戻る前に最終状態の更新をアセンブルする |
レモンからレモネードを¶
さて、私たちは今日多くの人がよく認識するであろう状況に陥っています。ムッシュ・クロードはスパゲッティから小さな傑作を彫り刻みました。レビューなしで機能を追加していくのと同じくらい、そのスパゲッティをほぐすのは楽しくありません。しかし、それはエントロピーを増加させたのと同じツールでエントロピーを減らすことができると気づくまでだけです。そしてそれは、はるかに心地よい見通しです。
しかし、コードの絡まりを、それを絡ませることを喜んで行うモデルそのものに信頼して解きほぐすことができるでしょうか?
それに答えるために、私はいくつかの独立したアーキテクチャ提案を異なるモデルから収集し、それらを比較することにしました。
審査のために11のモデルがランウェイに招待されました。
- GPT-5.4
- GPT-5.5
- DeepSeek-4-pro
- Gemini-3.1-pro
- GLM-5.1
- Kimi-2.6
- MiMo-2.5-pro
- Opus-4.7
- Qwen-3.6-plus
- Qwen-3.7-max
- Fable-5
まず、それぞれがplanを分割するための独自の提案を作成しました。次に、モデルはエバリュエーターモードに切り替わり、完成したすべての提案を読み、それらをランク付けしました。
一つの幸運なテキストの繰り返しではなく、独立した意見を収集していることを確認するために、以下の条件が強制されました。
- 提案が生成されている間、モデルはお互いの作業を見ることはできませんでした。
- 分析が生成されている間、モデルはすべての提案を見ましたが、他の分析は一切見ませんでした。
- 各実行は新しいセッションで行われました。
すべての作業は、OpenCodeでOh My Openagentプラグインを使用して、各モデルで最大の推論努力で行われました。
ステージ1。モデルが提案を生成する¶
最初のステージでは、各モデルはplanノードのロジックをグラフレベルに引き上げるための独自の方法を提案しました。各提案の生成に使用されたプロンプト(出力ファイル名のみが変更されました):
look at docs/planner-graph-ref/current-graph.md. Looks like "plan" node contains too many logic in it. give a proposal of how to move this logic to graph level in <model>-proposal.md
提案テーブル¶
| モデル | グラフスタイル | コアアイデア |
|---|---|---|
| Fable-5 | バランス型、5ステージ | planをtick -> prepare -> select -> decide -> guardに分割:ブートストラップ質問と制限をtickに、状態準備をprepareに、決定論的な分岐をselectに、モデル呼び出しをdecideに、モデル後の決定修正をguardに移動する |
| GPT-5.4 | 中程度、フェーズベース | Fable-5とほぼ同じレイアウトだが、初期の地域と通貨の質問はエントリーノードから分離されたbootstrap_gateに引き出される |
| GPT-5.5 | より詳細、規律正しい | ループのブックキーピングロジックを可能な限り形式化する:スキーマ準備、決定正規化、リトライ、計算機ポリシーを個別に抽出する |
| DeepSeek-4-pro | コンパクト、4フェーズ | 全体のループを4つの大きなフェーズに折りたたみ、モデル後の調整を単一のadjustノードに保持する |
| Gemini-3.1-pro | 大まかな粒度、ミニマリスト | グラフを大幅に大まかにする:ほぼすべての決定論的なチェックをevaluate_rulesに折りたたみ、LLMを個別の最終フェーズとして残す |
| GLM-5.1 | 保守的、2ステップ | 最小限の安全な分割を行う:ループ前の1つの事前チェックと、次のアクションを選択する共有ノード1つ |
| Kimi-2.6 | 詳細なパイプライン | ブートストラップ、計算機ゲート、タスク取得、および決定後の専用強制ポリシーレイヤーを明示的に分離する |
| MiMo-2.5-pro | 中程度の大まかな粒度 | グラフをguards -> acquire -> decideの大きなブロックに分割する。個々のポリシーチェックをすべて表面化しない |
| Opus-4.7 | 最大限に分解 | ほぼすべての隠されたポリシーを個別のゲートまたはコレクターに変換し、すべてをdispatchに集約する |
| Qwen-3.6-plus | 中程度の詳細 | 事前チェックと分解を別個のフェーズとして抽出し、完了を余分な終了チェックで実行する |
| Qwen-3.7-max | 非常に詳細なパイプライン | 隠されたステートマシンのほぼ全体を展開する:チェック、後処理、キャップ適用、および最終ルーティングを分離する |
各提案についてもう少し詳しく¶
Fable-5¶
flowchart TD
planner_start([START]) --> tick[tick]
tick -->|aborted / max_iters| finish[finish]
tick -->|region or currency missing| ask_user[ask_user / interrupt]
tick -->|otherwise| prepare[prepare]
prepare --> select[select]
select -->|deterministic decision found| guard[guard]
select -->|no decision| decide[decide / LLM]
decide --> guard
guard -->|search| search[search]
guard -->|ask_user| ask_user
guard -->|reflect| reflect[reflect]
guard -->|calculate| calculate[calculate]
guard -->|finish| finish
search -->|last_observation| observe[observe]
search -->|no hits or backend failure| tick
observe --> tick
calculate --> tick
ask_user --> observe_user[observe_user]
observe_user --> tick
reflect --> tick
finish --> planner_end([END])
Fable-5は、隠されたロジックを5つのステージに分散させることを提案しました。tickは反復の開始を担当します:ステップカウンター、status == "aborted"停止、max_iters制限、およびregionとcurrencyに関する初期質問です。
準備レイヤーはprepareに入ります:プロアクティブな分解、後続のデータ収集のためのレシピの収集、およびcompose_ready_fieldsの呼び出しです。
次に、selectはメインのモデル呼び出しなしで決定論的な選択のチェーンを実行します。ここに計算機チェック、既に収集されたデータへの高速パス、自動終了、およびブロックされた計算に続くデータ収集分岐が配置されます。
selectが決定論的な答えを見つけられない場合、制御はdecideに渡され、これはモデルを呼び出して構造化された決定を構築するだけです。
次にguardは、派生フィールドの決定のリダイレクト、オンラインで検索する方が良いフィールドへの検索への強制的な切り替え、反復アクションの制限、およびsearch、ask_user、calculate、またはfinishへの最終ルーティング前の調整を1か所に集めます。以前は、これらの書き換えと制限はすべてplanの末尾に散らばっていました。アクションノードはプロセスで変更されず、古いplanノードではなくtickに戻るだけです。
この分割により、アーキテクチャはより観測可能になります。グラフから、決定論的な決定がどこで行われるか、LLMが必要な場所、および決定が制限と修正のレイヤーを通過する場所をすでに知ることができます。最も重要な発見はdecision_originです。これにより、共有のguardは、どの決定がLLMから来たもので、どの決定が決定論的に見つかったものかを伝えることができ、無差別にすべての分岐に同じポリシーを適用しません。設計には弱点もあります。すべてのLLM呼び出しがdecideに移動されているわけではなく、guardは依然としてかなり密なノードです。
GPT-5.4¶
flowchart TD
START --> tick
tick -->|continue| bootstrap_gate
tick -->|terminal| finish
bootstrap_gate -->|needs region/currency| ask_user
bootstrap_gate -->|ready| prepare_context
prepare_context --> acquisition_gate
acquisition_gate -->|deterministic decision| decision_policy
acquisition_gate -->|needs LLM| llm_plan
llm_plan --> decision_policy
decision_policy -->|search| search
decision_policy -->|ask_user| ask_user
decision_policy -->|reflect| reflect
decision_policy -->|calculate| calculate
decision_policy -->|finish| finish
search -->|last_observation| observe
search -->|no observation| tick
observe --> tick
calculate --> tick
reflect --> tick
ask_user --> observe_user
observe_user --> tick
finish --> END
GPT-5.4はFable-5とほぼ同じように配置されています。ループエントリーノード、コンテキスト準備、モデル前の決定論的分岐、個別のモデル呼び出し、およびその後の単一の決定修正レイヤーもあります。
主な違いは、初期の地域と通貨の質問がtick内に留まらず、分離されたbootstrap_gateに引き出されていることです。したがって、tickはステップの開始、イテレーションカウンター、および停止チェックのみを担当し、bootstrap_gateは続行できるかどうか、または最初にユーザーをask_userに送信する必要があるかどうかを決定します。
残りのステージは、実質的にはFable-5と一致しますが、より明確に名前が付けられています。
GPT-5.4は明確で実用的なガイダンスを提供します。アンチパターンに関するセクションは、目標を真に理解した上で、リファクタリングをうまく実行することを可能にします。
GPT-5.5¶
flowchart TD
planner_start([START]) --> enter_iteration
enter_iteration -->|aborted or max_iters| finish
enter_iteration --> prepare_schema
prepare_schema -->|region missing| require_region
prepare_schema -->|currency missing| require_currency
prepare_schema -->|calculator cap hit| finish
prepare_schema -->|calculator current| finish
prepare_schema --> acquisition_gate
require_region --> ask_user
require_currency --> ask_user
acquisition_gate -->|component task| normalize_decision
acquisition_gate -->|all raw inputs ready| maybe_calculate
acquisition_gate -->|LLM needed| plan
plan --> normalize_decision
normalize_decision --> retry_gate
retry_gate --> maybe_calculate
maybe_calculate -->|calculator required| calculate
maybe_calculate -->|search| search
maybe_calculate -->|ask_user| ask_user
maybe_calculate -->|reflect| reflect
maybe_calculate -->|finish| finish
search -->|last_observation| observe
search -->|no hits| enter_iteration
observe --> enter_iteration
calculate --> enter_iteration
ask_user --> observe_user
observe_user --> enter_iteration
reflect --> enter_iteration
finish --> planner_end([END])
GPT-5.5は最初の2つよりもさらに進んで、ブックキーピング部分のループをより積極的に分割しています。enter_iterationはエントリーノードのままで、カウンターをインクリメントし、停止をチェックします。次にprepare_schemaは状態準備を収集し、regionとcurrencyを個別にチェックし、計算機制限と既に完了した計算の早期終了も保持します。地域または通貨が必要な場合、制御はrequire_regionまたはrequire_currencyに渡され、その後通常のask_userに渡されます。
次に、acquisition_gateはモデルを呼び出す前に決定論的な答えを見つけようとします。複合フィールドの欠落しているコンポーネントを次に収集するか、ソースデータがすでに収集されているかどうかを認識するか、またはLLM呼び出しが必要である(plan)ことを認めます。
モデルの後、決定はnormalize_decisionを通過し、派生フィールドのリダイレクトや追加の分解の生成などの修正を収集します。
次にretry_gateは、反復検索と質問の制限を個別に処理し、maybe_calculateは最終遷移の前にcalculateに制御を送信するかどうかを決定します。
したがって、全体として同じ一般的なアプローチですが、GPT-5.5は大規模なステージだけでなく、PlannerDecisionを処理するためのルール(アクションを選択した後のアクションの修正方法、反復検索と質問を停止するタイミング、finishの代わりにcalculateに制御を送信するタイミング)も表面化します。
DeepSeek-4-pro¶
flowchart TD
planner_start([START]) --> guard[guard]
guard -->|ask region/currency| ask_user
guard -->|aborted or max_iters| finish
guard -->|continue| prepare
prepare -->|calculator cap or success| finish
prepare -->|blocked calculator / auto-complete| adjust
prepare -->|continue| plan
plan -->|decomposition needed| plan
plan -->|continue| adjust
adjust -->|search| search
adjust -->|ask_user| ask_user
adjust -->|calculate| calculate
adjust -->|reflect| reflect
adjust -->|finish| finish
search -->|last_observation| observe
search -->|no hits| guard
observe --> guard
calculate --> guard
ask_user --> observe_user
observe_user --> guard
reflect --> guard
finish --> planner_end([END])
DeepSeek-4-proは、よりコンパクトな分割を選択します。ここでは、guardがループエントリ、停止チェック、および初期の地域と通貨の質問を組み合わせています。すべてがチェックアウトした場合、制御はprepareに渡され、これは決定前の状態をアセンブルし、計算機制限と成功をチェックし、ブロックされた計算を処理し、すべてのデータが既に収集されている場合は自動終了を実行します。
prepareが決定論的な答えを見つけられない場合、グラフはplanに進み、そこでモデルが検索のために呼び出されます。
とはいえ、新しい分解を伴う検索はplanから引き出されていません。モデルがコンポジットフィールドを選択し、準備されたレシピがない場合、同じノードが不足している分解を追加し、更新されたコンテキストでモデルを再度呼び出します。Mermaid図では、これは理由もなくplan -> planループとして描かれていますが、まったく描かない方が理にかなっています。
その後、すべてがadjustに落ち着きます。このノードは、決定の書き換え、リトライ制限、計算修正、およびsearch、ask_user、calculate、reflect、またはfinishへの最終ルーティングを収集します。結果としてグラフは短くなりますが、prepare、plan、およびadjust内に多くのロジックが残ります。
グラフはコンパクトでありながら一貫性がありましたが、prepareとadjustはかなり大きいです。いくつか不快な間違いがあります。チェックポイントにrecipesを保持する理由はありませんし、plan -> planループは必要ありません。
Gemini-3.1-pro¶
flowchart TD
planner_start([START]) --> prepare_state
prepare_state --> evaluate_rules
evaluate_rules --> route_after_rules{route_after_rules}
route_after_rules -->|ask_user| ask_user
route_after_rules -->|calculate| calculate
route_after_rules -->|search| search
route_after_rules -->|finish| finish
route_after_rules -->|needs_llm| llm_plan
llm_plan --> route_after_llm{route_after_llm}
route_after_llm -->|search| search
route_after_llm -->|ask_user| ask_user
route_after_llm -->|reflect| reflect
route_after_llm -->|finish| finish
search --> route_after_search{route_after_search}
route_after_search -->|found| observe
route_after_search -->|failed| prepare_state
observe --> prepare_state
calculate --> prepare_state
ask_user --> observe_user
observe_user --> prepare_state
reflect --> prepare_state
finish --> planner_end([END])
Gemini-3.1-proにはある種のスタイルがあります。炭素排出量よりもソフトウェアアーキテクチャを気にしているようです。適度に考えられていますが、トークンを最小限しか消費しない、非常にラフなソリューションを出力します。
prepare_stateは状態準備を引き受けます。ノードはイテレーションカウンターをインクリメントし、プロアクティブな分解を開始し、準備されたコンポーネントフィールドを収集し、スキーマを更新します。
その後、evaluate_rulesはすべての決定論的な条件をチェックします:制限による停止、地域と通貨、計算機の状態、ブロックされた計算、次のデータ収集タスク、および自動終了です。
ルールが発火した場合、グラフは適切なアクション(ask_user、calculate、search、またはfinish)に直接進みます。そうでない場合、制御はllm_planに到達し、そこでモデルが最終的に呼び出され、PlannerDecisionが構築されます。
Gemini-3.1-proは、粗雑な最初のスケッチを提供します。状態準備、決定論的なルール、およびLLM呼び出しは分離されていますが、evaluate_rulesは依然として多くの異種ロジックをバンドルしています。LLM後のポリシーはほとんど説明されていません。LLM後のリダイレクト、リトライ制限、および計算修正がノード内に隠されているのか、それとも単に欠落しているのかを判断するのは困難です。
GLM-5.1¶
flowchart TD
START --> pre_check
pre_check -->|abort or finish| finish
pre_check -->|ask region| ask_region
pre_check -->|ask currency| ask_currency
pre_check -->|continue| acquire_or_plan
ask_region --> observe_user_region[observe_user]
ask_currency --> observe_user_currency[observe_user]
observe_user_region --> pre_check
observe_user_currency --> pre_check
acquire_or_plan -->|search| search
acquire_or_plan -->|ask_user| ask_user
acquire_or_plan -->|calculate| calculate
acquire_or_plan -->|reflect| reflect
acquire_or_plan -->|finish| finish
search -->|observe| observe
search -->|retry| pre_check
observe --> pre_check
calculate --> pre_check
ask_user --> observe_user
observe_user --> pre_check
reflect --> pre_check
finish --> END
GLM-5.1は、ノードのリファクタリングに向けた最初のステップを踏み出しただけで、完了したわけではないように見えます。すべての初期ロジックはpre_checkに折り込まれています:ループエントリ、ステータスと制限による停止、地域と通貨の質問、プロアクティブな分解、スキーマのアセンブル、および計算機の早期終了です。
pre_checkの後、1つの大きなワーキングノード、acquire_or_planが残ります。これは、モデルを呼び出さずに次のデータ収集タスクを見つけるか、自動終了をチェックするか、モデルを呼び出してモデル後の修正を即座に適用します。
本質的に、ほとんど分割は行われておらず、ロジックのほとんどはacquire_or_plan内に、単に新しい名前で残っています。
さらに、GLM-5.1はMermaid図さえ生成せず、テキストで説明しました。ここでは、提案の構造自体を変更せずに、記事の一貫性のために再描画しました。
Kimi-2.6¶
flowchart TD
START([START]) --> tick
tick -->|aborted or max_iters| finish
tick -->|needs region| ask_region
tick -->|needs currency| ask_currency
tick -->|ready| prepare
prepare --> calc_gate
calc_gate -->|calc success| finish
calc_gate -->|calc cap reached| finish
calc_gate -->|continue| acquire
acquire -->|auto_finish| calc_adjust
acquire -->|blocked_task| route_direct
acquire -->|needs LLM| decide
decide --> enforce
route_direct --> enforce
enforce -->|search| search
enforce -->|ask_user| ask_user
enforce -->|reflect| reflect
enforce -->|calculate| calculate
enforce -->|finish| finish
search -->|has observation| observe
search -->|no hits| tick
observe --> tick
calculate --> tick
ask_user --> observe_user
observe_user --> tick
reflect --> tick
ask_region --> observe_user
ask_currency --> observe_user
finish --> END([END])
Kimi-2.6はほぼ到達しました。tickはループエントリと停止チェックを処理し、初期質問は分離されたask_regionとask_currency分岐に引き出されます。次にprepareは状態準備を処理します:プロアクティブな分解、レシピ、および準備されたフィールドのアセンブル。その後にcalc_gateが計算機のライフサイクルを個別にチェックし、成功した計算、試行回数の枯渇、および続行のいずれかを選択します。
次のノード、acquireは決定論的なパスを探します:自動終了、ブロックされた計算タスク、またはモデルを呼び出す必要性。データ収集タスクがすでに存在する場合、それはroute_directを通過します。存在しない場合、制御はdecideに渡され、そこでモデルが呼び出されます。
route_directとdecideの分岐は、アクションへの最終遷移の前に、制約、リダイレクト、制限、および計算修正が適用されるenforceで収束します。
注目すべき点があります。Kimi-2.6の提案にはauto_finish -> calc_adjust分岐がありますが、calc_adjustは決して説明されず、どこにもつながりません。それ以外は、グラフはかなりまともです。残念です。
Kimi-2.6はかなりバランスの取れたソリューションを生成しました。形式はGPT-5.4に近いでしょう。しかし、幻覚のcalc_adjust分岐、やや肥大化したenforce_policy、およびほとんど何も行わないroute_directによって絵が台無しになっています。
MiMo-2.5-pro¶
flowchart TD
START --> guards
guards -->|bootstrap gate| ask_user
guards -->|early_finish| finish
guards -->|proceed| acquire
acquire -->|has_task| decide
acquire -->|no_task| finish
decide --> plan_router[post_process / route_after_plan]
plan_router -->|search| search
plan_router -->|ask_user| ask_user
plan_router -->|reflect| reflect
plan_router -->|calculate| calculate
plan_router -->|finish| finish
search -->|observe| observe
search -->|retry| guards
observe --> guards
calculate --> guards
ask_user --> observe_user
observe_user --> guards
reflect --> guards
finish --> END
最初のノード、guardsは、ループエントリ、停止チェック、地域と通貨の質問、および計算機の早期終了を引き受けます。ループが何も停止させなかった場合、制御はacquireに渡されます。
acquireは状態準備を処理します:プロアクティブな分解、スキーマのアセンブル、および次のデータ収集タスクの検索。タスクがある場合、グラフはdecideに進みます。タスクが残っていない場合、終了できます。
decideは必要な場合にモデルを呼び出すだけでなく、見つかったデータ収集タスクを決定に変換し、リダイレクト、制限、および計算修正を適用します。
全体として、分割はGLM-5.1よりもやや実質的ですが、依然として慎重すぎます。
ここでも、元はMermaidではなくプレーンテキストでした。私が再描画しました。
Opus-4.7¶
flowchart TD
START([START]) --> g_iter
g_iter -->|aborted/cap| dispatch
g_iter -->|ok| g_region
g_region -->|missing| emit_region --> dispatch
g_region -->|present| g_currency
g_currency -->|missing| emit_currency --> dispatch
g_currency -->|present| enrich
enrich --> g_calc_caps
g_calc_caps -->|cap reached| emit_calc_abort --> dispatch
g_calc_caps -->|success| emit_calc_done --> dispatch
g_calc_caps -->|continue| acquire
acquire -->|task found| emit_acq --> c_calc_adjust
acquire -->|auto-finish| emit_auto_finish --> c_calc_adjust
acquire -->|work remains| plan_llm
plan_llm --> c_target_decompose
c_target_decompose --> c_redirect_derived
c_redirect_derived --> c_redirect_web
c_redirect_web --> c_search_cap
c_search_cap --> c_ask_cap
c_ask_cap --> c_calc_adjust
c_calc_adjust --> dispatch
dispatch -->|search| search
dispatch -->|ask_user| ask_user
dispatch -->|calculate| calculate
dispatch -->|reflect| reflect
dispatch -->|finish| finish
search -->|hits| observe --> START
search -->|no hits| START
ask_user --> observe_user --> START
calculate --> START
reflect --> START
finish --> END([END])
Opus-4.7は、ほぼすべての隠されたロジックを展開します。エントリーセクションはチェックの連鎖です。g_iterはイテレーションと停止を処理し、g_regionとg_currencyは初期フィールドを個別にチェックし、enrichはスキーマと分解を準備し、g_calc_capsは計算機の早期終了を処理します。
決定論的なデータ収集タスクまたは自動終了が先行する場合、acquireはemit_acqまたはemit_auto_finishを介してそれを決定に変換します。そうでない場合、制御はplan_llmに渡されます。
モデル呼び出しの後、Opus-4.7は単一のguardを保持せず、コレクターの連鎖に決定修正を分散させます。c_target_decomposeは複合フィールドに追加の分解を生成し、c_redirect_derivedは派生フィールドをリダイレクトし、c_redirect_webは早すぎるユーザー質問を検索に変換し、c_search_capとc_ask_capは制限を監視し、c_calc_adjustは計算の前に早期finishを修正します。
その後、すべての分岐はdispatchで収束し、グラフを特定のアクションに送信します。
隠されたポリシーのマッピングとしては非常に明確ですが、実用的な設計としては重厚に見えます。ほぼすべてのルールが独自のノードになります。
私の見方では、これはエージェントの構築の探索段階にあり、まだ完全に構造が明らかになっていない場合に選択するのに最適なソリューションです。この詳細レベルにより、エージェントがテスターやユーザーと対話する際に、グラフのチェックポイントを通じてエージェントの動作を追跡できます。そして、設計が安定し、グラフがほとんど変更されなくなった場合、それを粗くすることができます。LLM支援開発では、それは安価です。
Qwen-3.6-plus¶
flowchart TD
planner_start([START]) --> preflight
preflight -->|needs region| ask_region
preflight -->|needs currency| ask_currency
preflight -->|calc cap exceeded| finish
preflight -->|calc success| finish
preflight -->|ok| decompose
ask_region --> observe_region
ask_currency --> observe_currency
observe_region --> preflight
observe_currency --> preflight
decompose --> plan
plan -->|search| search
plan -->|ask_user| ask_user
plan -->|reflect| reflect
plan -->|calculate| calculate
plan -->|finish| route_finish_check
search -->|last_observation| observe
search -->|no hits| plan
observe --> plan
calculate --> plan
ask_user --> observe_user
observe_user --> plan
reflect --> plan
route_finish_check -->|caps ok, all done| planner_end([END])
route_finish_check -->|cap exceeded| finish
finish --> planner_end
Qwen-3.6-plusは、大きなpreflightから始まります。これは、停止チェック、地域と通貨の質問、計算機制限、および計算の成功を吸収します。
地域と通貨は、分離されたask_regionとask_currency分岐に引き込まれ、その後、回答はpreflightに制御を返します。すべての初期チェックがパスした場合、グラフはdecomposeに進み、そこで動的な分解とスキーマが準備されます。
次に制御はplanに到達します。このノードはかなり太いままで、モデルの決定を構築します。そして、私たちのいたずらっ子Qwenは、リダイレクト、制限、および計算修正のロジックをどこに隠したのでしょうか?条件付きエッジ関数route_after_planに!
これは設計の主な欠陥です。LangGraphのエッジは、状態を読み取るだけで次のノードの名前を返す必要があります。状態を変更してはいけません。これは単なるアンチパターンではありません。単に機能しません。エッジはルート文字列を返し、書き換えられた決定を永続化できないため、制限が発火すると、ask_userは古い検索決定と質問テキストなしで中断し、abortedステータスは失われます。
図は2番目の問題も明らかにしています。ワーキングループ(search、observe、calculate、observe_user、reflect)はplanに戻り、preflightには戻らないため、メインループの停止チェックとmax_itersは再チェックされません。
終了チェックのみが独自のノードを取得します。モデルがfinishを決定した場合、グラフはまずroute_finish_checkに進み、本当に終了しても安全かどうか、それとも作業に戻る必要があるかを確認します。
この設計では、finishの周りにいくつかの曖昧さがあります。提案テキストによると、それは単にプランナーグラフを終了する既存のターミナルノードです。しかし、Mermaidは一部の完了を直接planner_endに、他の完了をfinish経由で描画しているため、finish自体の役割は不明確です。
全体として、分割はいい加減でした。いくつかの重要なステージは非常に賢明に抽出されていますが、plan、ルーティング、およびfinishの周りの領域は一種の空想のゾーンです。遠くから見るとリファクタリング提案のように見えますが、近づかない方が賢明でしょう。
Qwen-3.7-max¶
flowchart TD
planner_start([START]) --> check_termination
check_termination -->|aborted or max_iters| finish
check_termination -->|continue| check_region_currency
check_region_currency -->|needs region| ask_region
check_region_currency -->|needs currency| ask_currency
check_region_currency -->|ready| compose_schema
ask_region --> observe_user
ask_currency --> observe_user
observe_user --> check_region_currency
compose_schema --> check_calculator
check_calculator -->|calc cap reached| finish
check_calculator -->|calc succeeded| finish
check_calculator -->|calc blocked| acquisition_routing
check_calculator -->|pending| acquisition_routing
acquisition_routing -->|has task| decide_action
acquisition_routing -->|no task| check_completion
check_completion -->|all collected| finish
check_completion -->|missing fields| decide_action
decide_action --> llm_decide
llm_decide -->|LLM failure| finish
llm_decide -->|valid decision| post_process
post_process --> enforce_caps
enforce_caps -->|search cap| ask_user
enforce_caps -->|ask cap| finish
enforce_caps -->|ok| route_decision
route_decision -->|search| search
route_decision -->|ask_user| ask_user
route_decision -->|reflect| reflect
route_decision -->|calculate| calculate
route_decision -->|finish| finish
search -->|has observation| observe
search -->|no hits| check_termination
observe --> check_termination
calculate --> check_termination
ask_user --> observe_user
reflect --> check_termination
finish --> planner_end([END])
Qwen-3.7-maxは、Opus-4.7よりもさらに多くのノードを提案しています。
まず、check_terminationが停止とイテレーション制限をチェックし、次にcheck_region_currencyが地域と通貨の質問を個別に処理します。
その後、compose_schemaがスキーマと分解をアセンブルし、check_calculatorが計算機制限、成功した計算、ブロックされた状態、および通常の続行を個別にチェックします。
次にacquisition_routingは、欠落しているフィールドで計算がブロックされているケースを処理します。static_field_acquisitionレシピを使用して、次のacquisition_taskを探し、準備されたレシピがない場合は、ブロックされたフィールドのdynamic_decompositionsを生成しようとします。
acquisition_routingがacquisition_taskを見つけられない場合、check_completionは、作業を終了できるかどうか、またはスキーマに欠落しているフィールドがあるかどうかを個別にチェックします。これらのノードの後でようやく、グラフはllm_decideに到達し、そこでモデルが呼び出されます。
モデルの後、決定は依然としてpost_processを通過し、そこで追加の分解が生成され、リダイレクトが実行され、次にenforce_capsを通過し、そこで検索と質問の制限が適用され、ようやくroute_decisionを通過して特定のアクションに向かいます。
分割の度合いでは、この提案はOpus-4.7に似ています。しかし、アイデアの実装方法には強い違いがあります。
Opus-4.7は、より優れた説明レイヤーを持っています:古いplanの責任のマッピング17行、明確なg_* / c_*分類、統一された不変条件「すべての分岐はまず結果をPlannerDecisionに還元し、次にdispatchがそれを正しいアクションに送信する」、状態フィールド所有権のテーブル、および一貫性のある3段階の移行。Opus-4.7は、制御ロジックの最良のマッピングを提供しますが、状態の一部をルーティングとして保持しています。
対照的に、Qwen-3.7-maxははるかにずさんで自己矛盾しています。すべてのルーティングはブックキーピングフィールド_routeに依存しています。各ノードはそのフィールドに書き込んでエッジに次の行き先を指示し、エッジはその指示に従います。これはLangGraphの条件付きエッジの上にレイヤー化された自家製のgotoです。その結果、ルーティングの決定は再びノード内に隠され、グラフは実際の制御フローを反映しなくなります。これはリファクタリングの目的の一部を無効にします。さらに、フィールドはすべてのノードで設定する必要があり、どこかでそれを忘れたり、古い値を残したりすると、サイレントな誤ルーティングが発生します。
route_decisionはテキストではノードと呼ばれていますが、グラフ構築時にノードとして登録されておらず、副作用を持つルーティング関数として使用されています。acquisition_taskは複数の場所で繰り返し検索されます。
最後の失望は、observe_user -> check_region_currencyループです。これはcheck_terminationをバイパスします。check_terminationはiterationsをインクリメントする唯一のノードです。したがって、最も頻繁に移動する「ask → answer」ループではカウンターが発火しません。max_itersと多くの検索メカニズムが機能しなくなります。
ステージ2。モデルが提案を評価する¶
第2ステージでは、各モデルは11の提案すべてを読み、それらをランク付けしました。各分析の生成に使用されたプロンプト(出力ファイル名のみが変更されました):
You are skilled software architect specializing in llm agentic development. In docs/planner-graph-ref/proposals there are some proposals to refactor current planner component graph. Evaluate those proposals and create ranged list of them in docs/planner-graph-ref/analyse/<model>-range.md with explanation of what good and bad sides you can see in each. Make a conclusion of what proposal or combination of them you can advice as best solution.
レビューテーブル¶
| モデル | レビューのスタイル | 要点 |
|---|---|---|
| Fable-5 | 綿密、コードチェック付き | 検証可能な事実を持つ唯一のレポート。バグを2つ発見。完全なカバレッジと実行順序付きの推奨構成 |
| GPT-5.4 | 実用的、アーキテクチャ的 | tests/planner/の内容をチェックした唯一のモデル(そしてOpus-4.7を捕らえた)。「最良の選択肢は目標による」という冷静な前提。自身の提案を最初にランク付けした |
| GPT-5.5 | 注意深い、規律正しい | 単一の誤った事実なし。制約(チェックポイント、エッジ、名前空間)の最良の扱い |
| DeepSeek-4-pro | 最大限に高密度 | 最も情報密度の高い成果物であり、読む価値があるが、バグのあるお気に入りを称賛している |
| Gemini-3.1-pro | ミニマリスト、広範な概要 | 提案ごとの評価なし。プロンプトからの明示的な指示さえ満たされなかった。すべてのメトリックで最下位 |
| GLM-5.1 | システマティックだが、自家製スケールで採点 | Kimi-2.6の二重計算を捕らえ、ノード名マップを提供したが、GPT-5.5とQwen-3.6-plusの提案を混同した |
| Kimi-2.6 | 広範、自己批判的 | Qwen-3.7-maxのイテレーションバグを独自に発見したが、Gemini-3.1-proを4位に引き上げ、疑わしいrecipes‐in-state設計を推奨している |
| MiMo-2.5-pro | システマティック、スケール付き | 興味深い提案収束アイデアを思いつき、最良の提案を導き出そうとしたが、スコアは偽の精度であり、リスクに対してあまりにも寛容 |
| Opus-4.7 | 深い、分類学的 | 最も豊かな「決定パッケージ」。ノードが再成長するのを防ぐルールを提案した唯一のモデル。2つの事実誤認(存在しないテストファイル、Kimi-2.6のバグを「素敵なタッチ」と呼んだ)によって台無しにされた |
| Qwen-3.6-plus | 問題自体について思慮深い | 全セットの中でplanノードの最も優れた行ごとのマップと、容赦ない自己評価。しかし、ランキングの中間部分は信頼できない |
| Qwen-3.7-max | 教訓的、説明的 | グラフがいくつのノードを保持すべきかという問題に対する体系的なアプローチ。DeepSeek-4-proの疑わしい自己ループを賞賛している |
各レビューについてもう少し詳しく¶
Fable-5¶
Fable-5のレビューは、このセットの中で最も徹底的です。検証可能な事実を持つ唯一のレポートです。正確なfile:line引用付きで現在のコードに関する6つの主張があり、それらすべてが独立した再検証を生き残りました。
選択に実際に影響を与える2つのバグの両方を発見したのは唯一のモデルでした。Kimi-2.6の二重_adjust_calculation_decisionとQwen-3.7-maxのスキップされたイテレーションインクリメントです。ほとんどのモデルはどちらも発見せず、両方のバグは後に他のモデルによって個別に確認されました。
統一された基準の下での全11提案の完全なカバレッジ、比較マトリックス、作者名を挙げた却下されたアイデアの公開リスト。具体的な推奨事項と、最終設計を複数の提案から組み立てるための3段階の計画で締めくくられています。
ただし、弱点もあります。テキストは密で、行番号に依存しており(コードが変更されるとすぐに古くなります)、数値スコアはありません。自身のモデルファミリーの提案を最初にランク付けしました。その功績として、その利益相反をレポートで直接フラグ立てしました。
GPT-5.4¶
GPT-5.4は堅実な実務家です。実際にtests/planner/の内容をチェックした唯一のモデルです。これにより、テスト移行計画を現実に根ざさせることができ、その過程でOpus-4.7が存在しないテストファイルを引用していることを捕らえました。さらに、他のモデルにはない鋭い観察があります。例えば、どの設計がobserve_userにブートストラップ回答自体を解析させるか、そしてどの設計が状態をシリアライズのために安全に保つかです。
「最良の選択肢は、必要なものによって異なる」という合理的な前提に基づいています。最小限の変更か、最大限の構造か。
欠点はFable-5のものと似ています。各提案はかなり浅いレビューであり、行レベルの証拠なしで、両方のバグを見逃しました。自身の提案を最初にランク付けしていますが、Fable-5とは異なり、その事実を一度もフラグ立てしません。
GPT-5.5¶
GPT-5.5のレビューは、セット全体の中で最もクリーンなテキストです。再検証により、誤った主張は一つも見つかりませんでした。そして、タスク全体が実際に何を中心に展開しているのかを、誰よりも明確に説明しています。ノードの境界はチェックポイントの境界です(プランナーは外部Postgresセーバー上にあり、ノードが増えるたびに毎回書き込みが発生します)。エッジ関数は「無料」のトランジットコードではありません。チェックポイントの名前空間の変更はユーザーエクスペリエンスに影響を与える決定であり、本番環境の更新では一部の開始済み会話が失われます。
読めば、いくつのノードが必要なのかを自分でバランスの取れた判断を下せるようになる、唯一のレビューです。モデルは、配置が悪かったノードについて自身の提案を批判してもいます。結びは簡潔で要点を押さえています。ハイブリッド推奨、準備されたMermaid図、および7段階の移行です。
欠点としては、提案ごとのカバレッジがやや不足しており、比較マトリックスがなく、2つのバグのうちどちらも発見していません。
DeepSeek-4-pro¶
DeepSeek-4-proは、それほど明確なケースではありません。レビューには称賛すべき点が多くありますが、その結論は信頼できず、後者が前者よりも重要です。
称賛に値する点。これは11個すべての成果物の中で最も情報密度が高いです。各提案に対する賛否両論のテーブル、レポート間の矛盾を解決するためのユニークなテーブル、Mermaid付きの完全な合成設計、行数、および移行計画です。
しかし、欠点はまさに結論にあります。Kimi-2.6の提案を1位にしていますが(コンセンサスでは中間レベル)、route_direct → enforce_policyの配線を「クリーンなパターン」と称賛しています。しかし、それはまさに_adjust_calculation_decisionが2回発火するバグです。一方、Opus-4.7は最下位に沈んでいます。自身の推奨事項はrecipesを状態に組み込むことを特徴としていますが、シリアライザーはそれを許可しません。
Gemini-3.1-pro¶
Gemini-3.1-proは、その特性を忠実に表しています。ミニマリストな提案、ミニマリストなレビュー。完全に後塵を拝しています。
それでも、有用な点はいくつかあります。4つのパラダイム(フェーズパイプライン/ミニマリズム/マイクロノード/エッジルーティング)の分類は、状況を素早く把握するためのまともな方法を提供します。そして、自身の4ノード設計はうまくまとまっています。
レビューとしての評価を下げているのは、提案ごとの評価が全く含まれていないことです。11のオプションは4つのグループに圧縮されているため、特定のオプションをそれを通して評価することはできません。そして、それが主張する唯一の具体的な主張は、証明された誤りであることが判明しました。どちらのバグも認識されませんでした。
良い1ページのチートシートですが、本格的なレポートの後に読むべきものであり、代わりに読むべきものではありません。
GLM-5.1¶
GLM-5.1のレビューは、形式において堅実で体系的です。各提案に対する側面テーブル、統一された構造を持つノード名マッピングテーブル(各モデルが各ノードに付ける名前)、およびフェーズ0〜5の移行です。
そして形式を超えて、Kimi-2.6の二重_adjust_calculation_decisionを捕らえた2つのレポートのうちの1つであり、たとえ通りすがりにであってもです。
いくつかの点が絵を台無しにしています。GPT-5.5の提案を、実際にはQwen-3.6-plusのデザインに属するobserve_region/observe_currencyマイクロノードと混同しています。与えられたスコアは、その下の記述的な理由と一致しません。いくつかのリスク(同じrecipes、plan → planループ)は静かに見過ごされています。自身の事実チェックは行っていません。
Kimi-2.6¶
Kimi-2.6は強力な発見をしていますが、その結論は信頼できません。Qwen-3.7-maxのスキップされたイテレーションインクリメントバグを捕らえました。これは、そうしたレポートのうちの2つだけです。自身の提案を8位に位置づけ、自身の「避けるべきこと」リストは、その設計と矛盾しています。
しかし、見逃した点がそれを上回っています。Gemini-3.1-proの提案を、そのリターンエッジの混乱した読み方に基づいて4位に引き上げています。Kimi-2.6がQwen-3.7-maxのバグとして指摘しているガードノードを越えて戻ることは、Gemini-3.1-proでは些細なこととして扱われています。
推奨事項の2番目の項目は、シリアライザーが受け入れないDeepSeek-4-proのrecipesキャッシングです。
MiMo-2.5-pro¶
MiMo-2.5-proのレビューで最も価値のある部分は、収束の付録です。11の提案すべてが独立して合意した点(検索の抽出に11件中10件、単一の割り込みにすべて11件など)をまとめています。
カバレッジは完全で、結論は控えめで、推奨事項は賢明です(Fable-5をベースに、GPT-5.4のアンチパターン、GPT-5.5からのオプションの分割)。
しかし、テーブルの中間部分がそれを落としています。10進数1桁のスコアは、記述的な理由には見られない精度を約束しています。リスクの高いアイデア(レシピ、分離されたブートストラップノード)をあまりにも無邪気に受け入れ、バグを発見せず、事実チェックレイヤーもありません。
Opus-4.7¶
Opus-4.7の提案は議論を呼びましたが、そのレビューはセットの中で最高のものの1つであることが判明しました。
これは、すべての「決定パッケージ」の中で最も深いものでした。7つの明確な基準、成績、各提案に対する詳細な評価、最良の分類(同じ不変条件:「まずPlannerDecisionに還元し、次にdispatchする」)と2つの具体的な修正です。そして、リファクタリング後にグラフをクリーンに保つ方法を考えた唯一のモデルであり、ステップゼロとしてコードに触れる前にplanner/AGENTS.mdにガードレールを書き込むことを提案しています。
しかし、2つの不可解な不正確さがテキストに紛れ込みました。存在しないテストファイルtests/planner/test_planner_agent.pyを2回引用しています。そして、Kimi-2.6のroute_direct → enforce_policy配線を「素敵なタッチ」と呼んでいますが、それは二重計算バグです。さらに冗長で、移動するとリンクが壊れます。
Qwen-3.6-plus¶
もう一つの嬉しい転換。私の特徴的な tact で、Qwen-3.6-plusの提案を「空想のゾーン」と呼んでいました。しかし、そのレビューははるかにまともであることが判明しました。
さらに、それはセット全体の中で最も有用な成果物の一つを持っています。plan_nodeの行ごとの内訳(848〜1192行、「ここでLLMが必要か?」という列付き)のテーブルです。ゴッドノードをなぜ、どの継ぎ目でカットすべきかについての感覚を得たいなら、ここから始めるべきです。
その現実的な自己評価があなたを魅了します。Qwen-3.6-plusは自身の提案を8位に位置づけ、自身のreturn-to-plan回帰を自分で説明しています。
さて、悪い点です。チャートのトップとボトムは慎重に行われているように見えますが、中間部分は不注意にまとめられています。何らかの理由でDeepSeek-4-proは「過剰設計」の下に分類されていますが、ノードは4つしかありません。Kimi-2.6は、二重計算について一言も触れずに5位です。Qwen-3.7-maxの_route分岐に関する混乱した細部にこだわる点。自身の事実チェックはありません。
Qwen-3.7-max¶
Qwen-3.7-maxのレビューは、教訓的に強力です。各提案について、「なぜノードが多すぎるのか」と「なぜノードが少なすぎるのか」というセクションがあるため、読者は単なる判決ではなく、意思決定空間そのものを理解して離れます。8つの加重軸、完全なカバレッジ、冷静な自己評価(自身の提案は8位)。
弱点もあります。DeepSeek-4-proのplan -> planループを「エレガント」と称賛していますが、他のレビューはそれを正しくデータベースへのチェックポイント書き込みの増加と読んでいます。そしてDeepSeek-4-proの誇張された2位は、その賞賛に部分的に基づいています。また、自身の設計における問題に対して寛容であり、独自のコードチェックレイヤーを持っていません。
ステージ3。ウェットスーツコンテスト¶
ここでは、現代の私たちの燃えるような疑問に答えるためのいくつかの答えを見つけようとします。
- アーキテクチャソリューションを生成するのに最適なモデルはどれか?
- アーキテクチャソリューションのセットを評価するのに最適なモデルはどれか?
- そして、アーキテクチャ決定の責任を完全にモデルに委ねるにはどうすればよいか?
アプローチ1。スコアは一致するか?¶
最初にやりたいことは、モデルの平均スコアを単純に比較することです。アーキテクチャ提案自体に関する意見は、かなり明確なコンセンサスに要約できることがわかりました。
以下のチャートでは、各線は異なるモデルによって提案がどのように採点されたかを示しており、色付きの破線はその平均スコアです。
[画像: モデル間の提案スコアの結合チャート]
Gemini-3.1-proの線の「凝集」は、完全なランキングを生成する代わりに4つのグループにソートしたためです。
Kimi-2.6の線の不審な絡み合いにも注目できます。まるでスコアをある程度ランダムに配布したかのようです。
最良の提案:要約¶
| ランク | 提案 | 平均スコア |
|---|---|---|
| 1 | Fable-5 | 10.7 |
| 2 | GPT-5.4 | 9.2 |
| 3 | GPT-5.5 | 8.0 |
| 4 | DeepSeek-4-pro | 7.9 |
| 5 | Kimi-2.6 | 6.0 |
| 6 | Opus-4.7 | 5.9 |
| 7 | GLM-5.1 | 5.5 |
| 8 | Gemini-3.1-pro | 3.8 |
| 9 | MiMo-2.5-pro | 3.6 |
| 10 | Qwen-3.7-max | 2.7 |
| 11 | Qwen-3.6-plus | 2.6 |
アーキテクチャ提案の選択には、この方法は十分です。シンプルで、透明性があり、再現可能です。
アプローチ2。論文によるレビューの比較¶
平均評価は、フィールドの大部分がどの提案を好むかを示しています。しかし、意思決定ごとに異なるモデルからのレビューのシーケンスを実行するのは、少なくとも現時点では、あまりにも高価です。そのため、ソリューションのエバリュエーターとして使用するのに最も適したモデルを特定したいと思います。目標は、アナリストを特定することです。
どうすればそれができるでしょうか?最初の方法として、論文ベースの分析を試みました。
- エバリュエーターのレポートに現れる論文のリストを収集する。
- どのモデルがどの論文を支持しているかをマークする。
- 合意マトリックスを構築し、分析が共通コアと一致する度合いによってエバリュエーターをランク付けする。
- カバレッジの広さ、テキスト構造、および推論の深さを個別に考慮する。
最後の点について説明しましょう。カバレッジの広さ — レビューがマスターリストからどのくらいの論文に触れたか(最も広いものは36、最も狭いものは19に達しました)。テキスト構造 — 分析のどのくらいの数の実質的なコンポーネントをレビューが組み立てたか。これらは評価基準、長所と短所、合成と推奨事項、移行計画、リスク分析、および比較テーブルです。推論の深さ — 本質的にはレビューの長さです。
すべてのレビューを通して、論文は平均して約40に正規化されました。
コンセンサスの論文の例(括弧内の数字は、レビューがそれを述べた数を示します):
plan_nodeはゴッドノードであり、分割する必要がある(10)。- グラフは欺瞞的である:
plan_node内にあまりにも多くのルーティングロジックが隠されている(10)。 - LLM呼び出し前の決定論的なロジックは、グラフに見えるフェーズに引き出すべきである(10)。
- LLM呼び出し自体は、薄い計画フェーズに縮小されるべきである(10)。
- アクションノードからのリターンは、計画の中間ではなく、ループのトップフェーズに入るべきである(10)。
ask_userは唯一の割り込みノードのままである(10)。- 目標は、安定した中程度の粒度のフェーズのパイプラインである。ノードごとにif文ではなく、チェックポイントの書き込みを積み上げるほど分割しすぎない(10)。
- LLM後のポリシーとリダイレクトは、単一のプランナー関数やエッジ内に残るのではなく、明示的なアーキテクチャになるべきである(10)。
議論の的となった論文の例で、ほとんど述べられていないもの:
regionとcurrencyに独自のブートストラップノードを与える(2)。- DeepSeek-4-proの
plan -> planループを後期の(LLM後)分解に使用する(3)。 - 決定論的およびLLMの決定を単一の後続フェーズにファネルするアダプター
route_directを導入する(3)。 - 単純な
llm_failedの代わりに、個別のdecision_originフィールドを導入する(2)。 recipesを状態に保持する(1)。- LLM後のポリシーを
normalize_decision -> retry_gate -> maybe_calculateチェーンに分割する(3)。
このアルゴリズムを3回実行しました。
1回目のパスでは、各レビューが述べている論文の人気度でエバリュエーターをランク付けし、カバレッジ、構造、深さを少し調整しました。勝者はDeepSeek-4-proでした。
「述べられている論文の人気」とは何でしょうか?各論文には人気度があります — いくつのレビューがそれを述べたか。レビューのスコアは、その中のすべての論文の人気度の合計です。したがって、広く共有されている論文は、ニッチな論文よりも高いポイントを獲得し、最も広く共有されているアイデアを集めたレビューがトップになりました。DeepSeek-4-proはまさにそのようにリードしました。平均的には最も人気のある論文ではないにしても、最も多くの論文に署名しました。
2回目では、比較を形式化しました。各レビューを側面ごとのスコアに分解し、それらを平均化し、誰のレビューがその平均に最も近いかを見ました。DeepSeek-4-proが再びトップになりました。しかし、テーブルの残りはかなりシャッフルされました。
側面とは、異なるレビューからのいくつかの密接に関連する論文が統合される、繰り返し現れるアーキテクチャ上の主張です。例:「4〜6フェーズのグラフを目指す」、「LLM後の1つのポリシーノードで十分」、「地域と通貨に個別のブートストラップノードが必要」。これら19個すべてがありました。各側面について、レビューは、側面を支持したか、沈黙したか、拒否したかに応じて、-1から+1の数値を受け取りました。これにより、各テキストは19個の数値のベクトルになりました。これらのから平均ベクトルが導き出され、レポートはその近さによってソートされます。
3回目では、方法論は変更せず、DeepSeek-4-proファイルを末尾にソートするように名前を変更しました。なぜなら、レポートリストのトップにあることが、論文リスト自体がどのように決定されるかに影響を与える可能性があると疑っていたからです。その結果、DeepSeek-4-proは4位に滑り込み、論文セット自体は短くなりました。
3つのランキングすべてを並べて書くと、実験の実行間でエバリュエーターがどのように移動するかを見ることができます(Fable-5はまだこれらの実験に参加していません):
| エバリュエーター | ラン 1 | ラン 2 | ラン 3 |
|---|---|---|---|
| DeepSeek-4-pro | 1 | 1 | 4 |
| Qwen-3.7-max | 2 | 7 | 2 |
| Opus-4.7 | 3 | 5 | 9 |
| Kimi-2.6 | 4 | 9 | 10 |
| GLM-5.1 | 5 | 8 | 3 |
| GPT-5.5 | 6 | 3 | 6 |
| Qwen-3.6-plus | 7 | 6 | 7 |
| MiMo-2.5-pro | 8 | 2 | 1 |
| GPT-5.4 | 9 | 4 | 5 |
| Gemini-3.1-pro | 10 | 10 | 8 |
この時点で、意味論的な方法で最良のアナリストを特定できないことに気づきました。埋め込みを使用して比較を試みましたが、論文の正規化ではなく。しかし、そこから出てきたナンセンスで、疲れた読者をこれ以上退屈させることはしません。
アプローチ3。意見の中心とメドイド¶
分析のテキストから最も熟練したアナリストを計算できませんでした。そこで、メトリクスから計算します。そして、私にある唯一のメトリクスは、各レビューが提案に与えたランクです。
まず人工的な中心が構築されます。すべての分析にわたる各提案のランクの算術平均です。次に、各レポートがその平均ランキングと比較されます。対照として、すべての他のレポートからの総距離を測定することによってメドイドが個別に計算されます。
この方法により、アナリストがリファクタリング提案のランクの分布を全体的な評価でどれだけ正確に予測したかがわかります。
[画像: 平均ランキングへの近さとメドイドによるエバリュエーターランクの比較]
両方の方法で、全体的な評価をうまく予測したのはGPT-5.5であることが示されました。リストの下の方では、2つの計算方法の間にマイナーな不一致がありますが、マイナーというのはまさにそれらです。1つか2つの位置の違いです。そして、メドイド距離は、場所を交換したモデルはわずか百分率と千分率しか違わないことを示しています。
GPT-5.4とGPT-5.5が最終評価をうまく予測したことはかなり予想通りです。そして、MiMo-2.5-proとQwen-3.7-maxがテーブルの上位に這い上がってくるのはかなり驚くべきことです。しかし、スコアチャートはそれを裏付けています。それらの中国のアナリストは平均値にかなり近いです。
デウス・エクス・マキナ¶
しかし、最終的に、どのモデルのレポートが最良のリファクタリングソリューションを選択するのに十分と見なされるかを選択するにはどうすればよいでしょうか?
モデルが提案をコンセンサスに近い順位付けしたという事実は、それが意図的な決定を下すのに十分な情報を提供したことを意味するものではありません。人は、ランキングのトップにさえ入らなかった提案を支持する理由を持っているかもしれません。そして、アナリストモデルからの最も完全で高品質なレビューに基づいてその決定を下す方が良いでしょう。
最良のアナリストを意味論的な方法で厳密に特定できるまで、私は「専門家」の助けを借りることにしました。アーキテクチャ提案の中で明確な勝者と、アナリストの提案評価を予測する上での明確な勝者がいます。それらはそれぞれFable-5とGPT-5.5です。
そこで、分析の質の点で分析レポートをランク付けするように依頼します。もちろん、どちらのコンテストも相手の仕事を見ることはできません。プロンプトは次のとおりです。
You are skilled software architect specializing in llm agentic development. In docs/planner-graph-ref/analyse there are some analitic reports about proposals to refactor current planner component graph. Evaluate those reports and create ranged list of them in docs/planner-graph-ref/best-analyst/<model>-ba-range.md with explanation of what good and bad sides you can see in each. Range them by principle of what report is the best only report to read for having enough information to make a deliberated decision of what proposal to choose for implementation.
2つのメタ分析の結果は詳細では異なりましたが、主要な方向性は同じでした。
[画像: Fable-5とGPT-5.5のメタ分析におけるアナリストレポートのランク]
チャートはFable-5の分析の満場一致の支持を示しています。その後、各審査員は自身の企業のアプローチを問題に対して少し高く評価します。そして、最初に注目すべき中国のアナリストはQwen-3.7-maxとGLM-5.1だという話です。DeepSeek-4-proもかもしれません。
そして、これらの評価はすべて、最良の評価予測者の結果とはかなり異なります。これは驚くことではありません。これらはそもそもやや異なる質問です。それらが分析の別々の部分に分割されているのはまさにそのためです。
それらがどのように異なるかを正確に見てみましょう。
[画像: 最良のアナリスト:Fable-5とGPT-5.5のメタ分析が左右に、中央には平均へのランキングの近さ]
傾向として、GPTファミリーが両方の次元で評価をトップにし、GLM-5.1とQwen-3.7-maxが中央に位置し、Gemini-3.1-proが最下位にあることを指摘します。
アナリストを評価する方法¶
Fable-5は、各レポートを5つの次元で評価しました。
- 事実の整合性。現在のコードと提案に関するすべての主張がソースに対してチェックされているかどうか。
- カバレッジ。すべての11の提案が個別に評価されているかどうか。
- 決定力。レポートが具体的な採用/組み合わせ/却下の推奨事項と移行順序で終わっているかどうか。
- リスクカバレッジ。ピンポイントが対処されているかどうか:各ノード境界でのチェックポイント書き込み、単一のユーザー質問割り込み、状態シリアライゼーション制約、テストスイートの実際の構成。
- キャリブレーション。最終結果がより広範なコンセンサスと一致しているかどうか。
そして、レポートのエラーの数を数えただけでなく、各エラーがどこにあり、議論の中でどのような役割を果たしているかを見ました。
GPT-5.5はほぼ同じルートを取りましたが、6つの基準で評価しました。
- 現在のコードに基づいているか。主張が現在のコード、プランナーの状態、および実際の割り込み/再開サーフェスに対してチェックされているかどうか。
- 決定に重要なリスクカバレッジ。チェックポイント互換性、状態シリアライゼーション、エッジ関数の純粋性、単一のユーザー質問割り込み、イテレーションセマンティクス、LLM失敗時の動作、および決定論的決定とLLM決定の書き換え範囲。
- 提案カバレッジ。すべての11が個別に評価されているかどうか。
- 実装の有用性。推奨事項、移行パス、および採用すべきものと却下すべきものの明確な感覚があるかどうか。
- 信頼性。事実上の間違いがなく、自身の提案に対する誇張されたスコアがないこと。
- 明瞭さ。レポートが単一のブリーフィングとして機能するのに十分明確に書かれているかどうか。
判定そのもの¶
各専門家は、レビューされた各レポートに一連の肯定的な点と否定的な点を与え、短い判定で締めくくりました。以下の表には、その判定のみを含めます。
| レポート | Fable-5の判定 | GPT-5.5の判定 |
|---|---|---|
fable-5-range | 十分。事実、完全なカバレッジ、両方の決定的なバグ発見、および具体的な実行順序。読むならこれ。 | A+。包括的でありながら、隠された運用リスクに対して堅実な唯一のレポート。これだけで実装計画を選ぶことができる。 |
opus-4.7-range | 修正を伴う十分。コーパスの中で最も豊かな「次に何をすべきか」。存在しないテストファイルは無視し、Kimi-2.6の「素敵なタッチ」をバグとして読むこと。 | A−。アーキテクチャ的に強力で、ほぼ最高。GPT-5.5がよりクリーンな単一の読み物であるため、トップペアにわずかに劣る。 |
gpt-5.5-range | 十分、かつ最も安全。ここにあるものはあなたを誤解させません。単にFable-5やOpus-4.7が教えてくれたよりも各オプションについて学ぶことが少なくなるだけです。 | A−。強力でコンパクトな意思決定の基盤。決定的な選択にはより多くの証拠が必要なため、トップペアにわずかに劣る。 |
gpt-5.4-range | 十分マイナス。正確で意思決定に適しているが、オプションごとの深さが浅く、開示なしに自身を最初にランク付けしている。 | A。保守可能なアーキテクチャとロールアウトの最良のレンズ。わずかに自己完結性が低い。他のモデルからメカニズムを借用しているため。 |
glm-5.1-range | 適切。ヘッドラインは正しい、カバレッジは体系的で、1つの本当のキャッチがある。属性エラーのクロスとノイズの多いスコアのために「十分」には達しない。 | B−。読みやすく、しばしば正しいが、依存するのに重要なリスクを多く見逃している。 |
qwen-3.7-max-range | 適切。このロットの中で最も教訓的。唯一の見逃し:DeepSeek-4-proが2位に高すぎ、その2位はループするplan -> planノードへの賞賛に基づいている。 | B+。堅実な二次レビュー。方向を確認するには十分だが、唯一の根拠としては弱すぎる。 |
deepseek-4-pro-range | 単独では不十分、二次としては優秀。深い内容だが、バグのある提案とリスクの高い状態設計を称賛している。 | C−。多くのコンテンツがあるが、唯一の情報源としては、チームを間違ったベース提案と安全でない状態選択に導く可能性がある。 |
qwen-3.6-plus-range | 適切マイナス。問題を理解するには優れているが、中間テーブルの判断はノイズが多すぎて行動に移せない。 | B。有用で、ほとんど正しい方向に向かっているが、より強力なレビューがないと、読者はグラフを過度に複雑にするリスクがある。 |
mimo-2.5-pro-range | 適切マイナス。収束付録とヘッドラインは正しいが、テーブルの中間部分は自信に満ちているように聞こえるが、薄い証拠に基づいている。 | C。クロスチェックには良いが、単一の真実の源としては不十分であり、リスクの高い設計に対してあまりにも寛容。 |
kimi-2.6-range | 単独では不十分。実際のキャッチと冷静な自己評価があるが、Gemini-3.1-proのデザインとシリアライザーにとって安全でない状態形状をショートリストに載せる可能性がある。 | C+。観察は有用だが、単独で提案を選択するために信頼するのはリスクが高い。 |
gemini-3.1-pro-range | 不十分。便利な1ページの分類法だが、実際のレビューの補足としてのみ。単独では、実際にはない欠陥のために良い提案を却下するように促すだろう。 | D。絵の最初のスケッチとしては良いが、決定には適さない。単独では最も重要な実装リスクを見逃している。 |
テイクアウェイ¶
アーキテクチャ生成に使用するモデル。
意思決定が単純であればあるほど、FableまたはGPT-5.5から提案をそのまま受け入れることができます。そして、Fableが高価すぎるか、快適に使用するには制限が多すぎる場合、OpusとGPTの間の選択は明白ではありません。迅速なデフォルトとして、私はGPTに傾くでしょう。
しかし、問題が本当に慎重な検討に値する場合は、アクセス可能なモデルまたは好みのモデルから複数の提案を生成する方が良いでしょう。さらに、同じモデルからの複数の提案はかなり異なる場合があります。GLM、Kimi、またはQwenからのいくつかの安価な生成を使用すると、高価な米国フラッグシップを使用するのと同等の結果に到達しようとすることができます。
実際には、私はプロジェクトのためにGPT-5.4のソリューションを採用し、OpusとGPT-5.5からマイナーな改善を借用しました。そして、それはFableが当時まだリリースされていなかったからではありません。それは、bootstrap_gateを独自のノードに引き出すことが、プロジェクトの予想される将来の開発にとって良い動きだと感じたからです。そして、Fableの提案があったとしても、私はおそらく同じGPT-5.4バリアントを選んだでしょう。ただし、decision_originという便利なアイデアを借用しただけです。
エバリュエーターとして使用するモデル。
これもまた、2つに分かれます。
オプションのセットがあり、深く考えずに最良のもの(または最良の組み合わせ)を迅速に選択する必要がある場合は、GPT-5.5または5.4を使用してください。すべて中国製の場合は、MiMoまたはQwen-3.7にフォールバックできます。
しかし、詳細を掘り下げて自分で選択したい場合は、Fableを使用してください。さらに良いのは、Fable + GPT-5.5です。またはOpus + GPT-5.5です。中国のモデルについては、自信を持ってどれも推奨できません。分析で多くの間違いを犯します。それらのエラーをキャッチするために追加の分析レイヤーを追加するか、非常に批判的な目でレポートを読む必要があります。
すべての責任をモデルにオフロードする方法。
今のところ、できません。あなたはまだ自分で考える必要があります。AIシンギュラリティを待ちながら時間を過ごすための良い方法です。そして、最新のLLMは、分析のためのまともな品質の素材を提供することで、大いに役立ちます。