Compiler bootstrapping depends on more than you might think
Compiler bootstrapping depends on more than you might think (utcc.utoronto.ca)
要約
ブログの閲覧者が、過度に汎用的なUser-Agentヘッダーを使用しているためにアクセスをブロックされている状況について説明しています。これは、LLMトレーニングデータ収集などの高負荷クローラーに対処するための実験的な措置であり、HTTP User-Agentヘッダーは、ソフトウェアだけでなく使用者を明確に識別すべきであると主張しています。
全文翻訳
あなたは汎用すぎるUser-Agentを持つツールを使用しています
このページを読んでいるのは、おそらく私のブログ (Wandering Thoughts) や、それが属するWikiであるCSpace の一部にアクセスしようとしたためでしょう。残念ながら、あなたが使用しているツールは、HTTP User-Agentヘッダーの値が汎用的すぎるか、あるいは非常に疑わしいものです。残念ながら、2025年初頭から、LLMの学習データ収集などを目的としていると思われる、このような挙動をする高ボリュームのクローラーが蔓延しています。Wandering Thoughts への負荷を軽減するため、私はそれらをすべてブロックする（試みる）実験をしており、あなたはそれに引っかかってしまいました。
すべてのHTTP User-Agentヘッダーは、それが何であるかを明確に識別すべきであり、ブラウザ以外のUser-Agentの場合は、関与しているソフトウェアだけでなく、そのソフトウェアを具体的に誰が使用しているかを識別すべきです。例えば "Go-http-client/1.1" のような非常に汎用的な値は、もはや許容できるものではありません。
特に、HTTP User-Agentヘッダーに、あなたがUser-Agentが示唆するものと『互換性がある』だけであるという明示的なマーカーが含まれている場合、あなたの活動やソフトウェアを説明する、実際のURLを明示的に含める必要があります。"Mozilla/5.0 (compatible; mysoftware)" のような最小限のHTTP User-Agentは許容されません。HTTP User-Agentが、あなたが何らかの『ボット』であると述べている場合も同様です。あなたのボットは、それを説明する動作するURLを必要とします。どちらの場合も、メールアドレスでは不十分です。
Chris Siebenmann, 2026-04-18