ウェブサイトを運営していると、やりたくなくなる
Running web sites makes me not want to (lowkey.party)
要約
著者は数年前にセルフホスティングを始めたが、LLMスクレイパーの増加により、帯域幅の消費やコンテンツの質の低下に悩まされている。特に、クラウドプロバイダーやMetaのような企業からの不必要なトラフィックに直面し、対策を講じている。この状況は、写真サイトの更新を滞らせ、物理的なZine販売への移行を検討させるほど著者を落胆させている。著者は、現代のウェブにおける企業の過剰なまでのスクレイピング行為に不満を感じており、物理的なメディアへの回帰が唯一の解決策かもしれないと考えている。
全文翻訳
ウェブサイトを運営していると、やりたくなくなる
2026年11月8日
最近は本当に落ち込みます。
数年前、私はセルフホスティングを始めました。当初は、すべてをセットアップする方法や学習プロセスに夢中になり、さらに多くのことを学び続け、すべてを維持し信頼性を保つ方法さえ管理していました。しかし、LLMスクレイパーが登場しました。
Anubisを見て、通常の視聴者にとっての読み込み遅延を避けたいと思い、iocaineに移行しました。これは機能が少し異なりますが、問題ありませんでした。しかし、あまりにも多くのスクレイパーが私のサイトにアクセスし、生成されたコンテンツでアップロード帯域幅を飽和させ、それらを養うようになりました。そこで、iocaineを削除し、iftopを数晩(それほど長くはありません)見て、クラウド企業や、私のサイトにアクセスする理由のないMeta(Facebook)のような企業のサーバーが所有するIPアドレスの範囲をいくつか特定しました。Facebookで私のブログへのリンクが共有されているとは到底思えません。Azure、Alibaba…など、他にもたくさんありました。
大規模なクラウドプロバイダーのサーバーは、私のウェブサイトにアクセスする必要はありません。
スクレイパーが、アプリ開発者向けに提供されているSDKを介して、接続を「他のこと」に利用するためのバックドアを追加する住宅用IPアドレス範囲を使用していることも認識しています(ここにリンクを貼る気はありませんが、ウェブの状態についてさらに落ち込みたい場合は自分で検索できます)。しかし、ほとんどのトラフィックは、少数の大規模なクラウド割り当て済み/16 IPアドレス範囲から来ていたため、それらをnftablesでブロックしました。
また、nft-blackholeを、それほど過剰ではないIPリストと組み合わせて追加しました。これも少し役立っているようです。
というわけで、本題に入ります…
私の写真サイトをチェックしている人は、もう数年間更新していないことに気づいたかもしれません。数年前にそれについて話しましたが、写真ウェブサイトを現状のまま削除し、イベントごとに物理的なZineを販売するリンクだけにするという考えに至らせています。
デジタル画像のアップロードはゼロです。
これは私にとってより多くの仕事になりますが、企業がウェブをスクレイピングして、創造性の貧弱な模倣品を私たちに売り返そうとするやり方が、本当に腹立たしいです。私は、その機械を養うことになるものに時間を費やしたくありません。ええ、彼らが今、本を購入して破壊し、新しいデータを供給していることは知っています。オンラインで吸い上げるデータプールは、LLMのゴミで汚染され、独自のトレーニングデータを腐敗させているからです。しかし、ニュージーランドの地元の写真家のひどいZineを購入する可能性は低いでしょう。そして、それは監視できます。
最近、多くの開発者が「昔のウェブ」を恋しく思っているというビデオを見ました。誰もが自分のサイトを持っていた頃です。現在の状況では、ホームサーバーでウェブサイトをホストしている場合に、私たちが対処しなければならない「合法的な」DDOSの量では、これが再び起こるとは思えません。単にカジュアルなテクノロジー愛好家では、十分な制限/保護措置を講じることはできません。ある程度の知識とスキルが必要です。さもなければ…それを前面に置くCDNとして、別の巨大企業に支払うことになります。そして、私が得るはずのトラフィック量を考えると、その答えは非常に気に入らないです。
プロセスをある程度合理化できれば、Zine/本の制作プロセスを楽しめるかもしれません。何か有用なものができたら、もちろんここで更新します。
ごめんなさい。
これは、現在の状況と企業のテクノロジーの過剰なまでの進出という、落ち込んだ現実についてのもう一つの投稿です。しかし、これにより物理世界にのみ存在する何かを作ることを余儀なくされるかもしれません。それが私たちの希望の光です。