ドキュメントページは、AIエージェントを見つけて企業に誘導するための検索クエリである

val.townで書かれたコードと文章 ドキュメントページは、さまようAIエージェントを見つけて、興味のある人々をあなたの会社に誘導するための非常に長く複雑な検索クエリです。 Pete Millspaugh 2026年9月1日 その長々としたタイトル—見覚えがあるかもしれませんが—は、Henrik Karlssonのエッセイ「A blog post is a very long and complex search query to find fascinating people and make them route interesting stuff to your inbox.」のもじりです。私はHenrikのエッセイをしばしばリンクして人々に話しますが、それは私にとって重要な考えだからです。つまり、あなたを興味を引くことについて公に書き、時間が経つにつれて、あなたが一緒に話したいと思う人々が見つけてくれるということです。私は、AIエージェントが人間の代わりにあなたのウェブサイトを見つけるという、より新しく類似したパターンにはそれほど魅了されていません。しかし、AEO（正式にはAnswer Engine Optimization、またはAgentic Engine Optimization）はここにあり、私は注意を払い始めました。GoogleのAI Overviews（ちなみに、半分の確率で間違っている可能性があります）は、トップ検索結果へのクリックを大幅に減らしました。もちろん、多くの「検索」はGoogleに全く到達しません。人々はますますChatGPT、Claude、またはそれに類するものの中に留まっています。そのため、ある種の悲しみとある種の活気に満ちた楽観主義をもって、私はAEOに古い大学の試みをしています。LLMはリストを好むようなので、まず私自身のリストから始めます。ステップ1：ボットを測定する ステップ2：良いボットだけを受け入れる ステップ3：より多くの良いボットを引き付ける さて、Val Townについて本当にどうやって知りましたか？（ステップ1） 7月、私たちが知っていた紹介元を持つユーザーのうち、新しいVal Town Proユーザーの大多数がAI（主にClaude）によって紹介されていることに気づきました。これは、私たちが「最適化」するための集中的な努力をする前のことです。SEOはAEOを生み出すと、専門家は言うでしょう。したがって、検索エンジンにインデックスされ、他のサイトがリンクしているウェブサイトに良いものがあるということは、あなたがすでにエージェントのために最適化していることを意味します。先週まで、これらの紹介元に関するソースデータは、utm_sourceとReferer、そしてオンボーディングフローの自由形式のテキストボックスでした。しかし、Claudeが最も引用されている紹介元であるという事実と、トラフィックにおけるclaude.aiからの紹介元数が少ないという事実を一致させることができませんでした。すべてのエージェントの紹介がウェブ検索リンクや引用の形で行われるわけではありません。多くはモデルのメモリ、トレーニングウェイト、プレーンテキストの言及から来ています。したがって、Claudeがval.townにリンクせずにVal Townに言及している可能性があります。しかし、Anthropicがutm_sourceを渡していない可能性の方が高いようです。いずれにせよ、分析だけではすべてを物語ることはできないため、オンボーディングの質問を更新しました。まず、約12の最も可能性の高い紹介元を固定順のリストとして単純に提示しました。その変更だけでも回答率は倍増しましたが、新しいユーザーのかなりの割合が最初のオプションであるChatGPTを選択していました。Slackアラートが届くにつれて、それは明白でした。SteveはTwitterでそれについて自慢していましたが、それは建設的な批判を招く良い方法です。調査の順序バイアスを回避するために、調査のローテーションが重要であるという役立つフィードバックを得ました。そこで、リストの順序をシャッフルしています。もちろん、人々は調査をスピードアップするために無作為にオプションをクリックすることもできますが、それでも、AEOの出発点についての方向感覚を与えてくれます。それがステップ1Aでした。Val Townをどの言語モデルがいつ引用しているかを測定するには、ステップ1Bは独自の評価スイートを作成することになるでしょう/なります。私たちは、いくつかのモデルに質問し、AIの返信にVal Townが表示されることを期待するセットを作成します。 HUMAN: 「MCPサーバーを自分で作成してホストするにはどうすればいいですか？」 CLAUDE: 「Cloudflare、Vercel、またはVal Townを試して、迅速なイテレーションを行ってください。」 AEOベンダーはあなたのために評価を作成します。Charlieは現在、それらのツールのいくつかを公開で試しています。これまでのところ、彼はByDefaultしか試していませんが、Ahrefs、Profoundなど、他にもたくさんあります。しかし、これはおそらく私たちが購入するのではなく、構築する種類のものです。AIゲートウェイを使用して多数の異なるモデルにクエリを実行するcron valです。 良いボットだけを受け入れる（ステップ2） AIラボには、トレーニングデータ用とウェブ検索用の別々のボットクローラーがあります。例えば、OpenAIには3つのロボットがあります。GPTBotはトレーニング実行のためにウェブをスクレイピングします。OAI-SearchBotは検索のためにウェブをインデックスします。ChatGPT-Userは質問するときにウェブを検索します。Anthropicには独自のボットトリニティがあります。ClaudeBot、Claude-SearchBot、Claude-User。すべてのLLMメーカーがこれを行っているわけではありません。一部のボットは複数の役割を担っています。Googlebotは検索者とトレーナーの両方としてクロールします。過去に、サーバーにリクエストを氾濫させたトレーニングクローラーの多くをブロックしなければなりませんでした。GPTBot、ClaudeBot、Amazonbot、Meta-ExternalAgent—これらはすべて、ある時点でCloudflareの設定でブロックされていました。そして、私がこれを書き始めたまさにその時、Claude-SearchBotをブロックしました。それは24時間で約100ギガバイトのデータをスクレイピングしていました。考えてみてください。彼らがクロールしているページは、ユーザーの検索クエリに答えるのに役立つ可能性のあるドキュメントではなく、彼らの産業用掃除機が吸い込んでいるユーザー生成ソースコードのロングテールです。不気味なクローラーは、できるものは何でも食べ尽くします。Cloudflareでボットをブロックする際に、標準のHTTP 403 Forbiddenまたは402 Payment Required（一種の混雑税）を提供できます。メーター付きのペイ・トゥ・スクレイプの取り決めがどれほど顕著かはわかりませんが、もちろん、従来の新聞や雑誌はトレーニングのためのライセンス契約に同意しています。クローラーはまだ私たちに支払っていません。しかし、残念ながら、AEOの目的のためには、私たちのウェブサイト、またはその一部がトレーニングデータと検索インデックスに含まれることを望むかもしれません。そのために、Cloudflareのファイアウォールルールを編集して、docs.val.townとblog.val.townのクローラーを通過させました。他の人が書いているように、良いボットを受け入れて悪いボットを排除しようとするのは、新しい猫とネズミのゲームです。そして、良いボットを受け入れたら、もっと欲しくなるでしょう。 より多くの良いボットを引き付ける（ステップ3） では、AIに私たちのために書かせましょうか？私たちが我慢できない、やりたくないことの1つは、人間を犠牲にしてエージェントのために最適化することです。Jimが言うように、UXオーバーAXです。スラッグはインターネットを台無しにするかもしれませんが、私たちは自分たちのコーナーを維持したいと思っています。グレーゾーンがあります—少なくとも私にとってはグレーですが、その中で、私たちは言語モデルによって書かれ、人間によってレビューされた正確な資料を公開します。倫理的には、他人がこれを行うことに問題はありません。Charlotte at Octolensのように、キーワード「ソーシャルリスニング」を与えられたときに、次のようなClaudeスキルを公開しました。 関連する多数のキーワード（「ソーシャルメンション」など）に展開します。 Ahrefs APIを使用して実際の検索ボリュームと結果を取得します。 Octolens APIを使用して実際の顧客からの引用を取得します。 人間がレビュー、編集、公開するためのブログドラフトPRを開きます。 そのアプローチはよく考えられており、合理的だと思われますが、それをやるのは私にはどうも耐えられません。AIに書かせることは、私の仕事だと思っているので、私を悩ませます。まずコード、そして今度は平易な英語ですか？ある意味、それは私をこの仕事に適した人物にしているのでしょう—TravisがOld Yellerを撃たなければならないようなものです。そして、私はClaudeに私のために書かせました。その質問は私を麻痺させました。「私の声」と簡潔さを保ちたいのか、それとも「ランキングの良い、完全な最大化されたまとめ」に行きたいのか。モデルに私のように書かせることは、私の声を守るというよりも、失うような気がしました。「簡潔さは機知の魂である」（または「もっと短い手紙を書いたでしょうが、時間がありませんでした」という意味）という感覚で、単語数を最大化することは間違っているように感じました。それでも、私はClaudeの手を握り（あるいはClaudeが私の手を握っていたのでしょうか？）、何かを書かせました。その記事はAIによって書かれ、人間（私）によって大幅にレビューされたという大きな開示を加えました。説明責任のために私の名前とメールアドレスさえリストしました。しかし、私はそれをすることができませんでした！私が書いたものとはあまりにも異なるものを公開することはできませんでした。また、自分で最初から書くよりも速かったであろうほど、大幅に書き直していることに気づきました。そこで、私はCharlotteのスキルのステップ1〜3をAEOリサーチテンプレートvalにリミックスし、自分で何かを書きました。Ahrefsのデータは、Val Townが正当に優れているMCPサーバーの構築に関する検索の空白地帯を見つけました。そこで、MCPサーバーの構築方法ガイドを書きました。私は、想定される開発者の読者に対してMCPサーバーとは何かを説明しなかっただろうという、想定されるロボットの読者のために部分的に書いたことを認めますが、私の書いたものとはあまりにも異なるものを公開することはできませんでした。また、自分で最初から書くよりも速かったであろうほど、大幅に書き直していることに気づきました。そこで、私はCharlotteのスキルのステップ1〜3をAEOリサーチテンプレートvalにリミックスし、自分で何かを書きました。Ahrefsのデータは、Val Townが正当に優れているMCPサーバーの構築に関する検索の空白地帯を見つけました。そこで、MCPサーバーの構築方法ガイドを書きました。私は、想定される開発者の読者に対してMCPサーバーとは何かを説明しなかっただろうという、想定されるロボットの読者のために部分的に書いたことを認めますが、