HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

4回繰り返す(システムプロンプトで)

Say It Four Times (In Your System Prompt) (khola.blog)

5 pointsby nkhola6 コメント

要約

システムプロンプトで指示を繰り返すことは効果がありますが、約4回繰り返すと効果が薄れます。それ以降は迷信であり、トークンを消費するだけです。この発見は、AIコーディングエージェントに関する一般的なアドバイスを検証したもので、指示の繰り返し回数とAIの応答精度との関係を実験的に示しています。

全文翻訳

プロンプトで4回繰り返す

[画像: プロンプトで指示を繰り返すことによるAIの従順性に関する実験結果のグラフ]

TLDR: プロンプトで指示を繰り返すことは、特にモデルのデフォルトの挙動が指示と正反対である場合に役立ちます。

これは、この小さな実験における主要な質的な発見です。上記は、AIに単一のルールを遵守させるために与えられた11のプログラミングタスクの分布を捉えようとしたグラフです。その広がりはあなたの目の前にありますが、無視しにくいのは、これらのタスクの中で、マントラをマシンに2回繰り返すと、中央値のタスクがより従順になるということです。

なぜテストしたのか?

指示を繰り返すことが役立つと多くの人から聞いてきました。実際、散漫と言われようと、私は自分でそれをやってきました。特に長いプロンプトで、まるで思考の流れのようにタイプしているときです(stream of consciousness)。

その後、私の自動AIブリーフィングに論文が登場しました。「When More Becomes Less: Position-Dependent Repetition Effects in Language Models」(論文:arXiv 2608.04021、ブリーフィング:6 August)。論文のバージョンはより複雑な位置依存テストのようですが、私は再現研究ではなく、最初のフィールドテストのために小さく、単純なバージョンを試すことに触発されました。単に繰り返しの回数がモデルの出力と関係があるかどうかを確認したかったのです。

何をしたか

私は単一の制約を選択しました:シングルクォートを使用し、ダブルクォートは絶対に使用しないこと。 そして、Pythonで11の異なるプログラミングタスクを依頼しました。簡単なものです。「HTMLからタグを削除する」「タイトルをスラッグに変換する」「バージョン文字列を解析する」など。最も頑固なモデルの習慣を見つけるために、22のタスクで実験し、これらの11のタスクを選択しました。これらのタスクは、開始時のコンプライアンスが17%から83%の間で、ルールに対する頑固さを示しており、かなり狭いテストとなりました。実際、これらのタスクではコンプライアンスが両方向に動きました。

この制約は、0回、1回、2回、4回、8回、または16回繰り返されました。同じルールですが、繰り返しの回数が増えました。Gemini 2.5 Flash、すべてVertexで、平均コンプライアンス率を得るために、各組み合わせを20回試しました。この制約が選ばれたのは、デフォルトではモデルが常にシングルクォートよりもダブルクォートを使用するためです。以前の「コメントなし」や「型ヒントなし」の試みでは、モデルはすぐにほぼ99%のコンプライアンスを示したため、このようなケースを見つけるのは困難でした。

回答のチェックは非常に簡単でした。Python自身のtokenizeモジュールを使用して、ダブルクォートで囲まれた文字列トークンを数えました。評価者LLMには依存しませんでした。

結果と考察

[画像: 指示の繰り返し回数とモデルのコンプライアンス率の関係を示すグラフ]

前述したように、モデルがダブルクォートに従う傾向は、コントロール行(指定なし)で容易に確認できます。私の実験で気づいたのは、繰り返しが有効かどうかについて、一般的でタスクに依存しないルールを考案するのは難しいということです。

2回の繰り返しで中央値のタスクはすぐに改善しました。難しいケースは、より多くの繰り返しを必要としました。これ以上結論を出すのは難しいです。実際、実際の状況はかなり複雑で(以下参照)、タスクへの依存性が高いことを示しています。実際、2回の繰り返しはhttp_status_nameのケースでは逆効果になり、最終的には改善します。11のタスク全体の中央値曲線は、2回の繰り返しで顕著なジャンプを示し、それ以降は飽和します。したがって、次のプログラミングAI演習でルールに賭けるなら、エージェントに2回繰り返す方が良いでしょう。

[画像: 指示の繰り返し回数とモデルのコンプライアンス率の関係を示す詳細なグラフ]

コンプライアンスの低いケースであるhttp_status_nameとvalidate_configを調べたところ、その原因はドキュメント文字列がダブルクォートを使い続けていることにあり、モデルが指定されていない場合にドキュメント文字列を文字列として扱わない「習慣」があることが明らかになりました。16回まで繰り返すことで、その習慣を軽減することができます。

注意点と重み付け

Hacker Newsの読者(reader)が、以前の6タスクで行ったこの投稿のバージョンにあった欠点について、素晴らしい指摘をしました。私は「4回」をAIに指示を繰り返すための黄金の回数であると主張していました。彼らは詩的にこう表現しました。「6つの岩を100回量っても、山の平均的な重さはわからない。」

彼らの言うことは正しいです。実際、AIプロンプトで指示を繰り返すことについて、グローバルな声明を出すには、実際の状況はかなり複雑です。タスク数を数えると、10の非タイタスクのうち9つで、コンプライアンスは1回から2回に改善しました。符号検定では統計的に有意なp値0.021が得られました。しかし、これは選択されたタスクに関する発見であり、プログラミングタスク全般に関するものではないことを思い出さなければなりません。

[画像: 異なるタスクにおける指示の繰り返し回数とコンプライアンスの関係を示す散布図]

モデルが制約を自身の規約と矛盾すると見なすすべてのケースで、これがうまく一般化すると言うのは難しいです。これは、Gemini 2.5 Flashモデルと11のプログラミングタスクの小さなサンプルを使用した、単純な実験にすぎません。ここでギザギザした知性の端にわずかでも触れたとは思いませんが、将来の実験でこれらのブラックボックスをノックし続け、何を発見できるか見ていきます。