RedditはプレーンHTMLを安全でないと判断した
So Reddit has decided that plain HTML is unsafe (cole-k.com)
要約
Redditは、古いフロントエンド(old.reddit.com)を廃止し、ログイン必須化することで、スクレイピング対策を強化しました。著者は、この措置がコミュニティの価値を搾取する目的であり、セキュリティ上の主張は口実だと批判しています。新フロントエンドはJavaScriptへの依存度が高く、より多くのリソースを必要とします。
全文翻訳
So Reddit has decided that plain HTML is unsafe
[画像: Reddit now requires a login to use its old design for 'safety' reasons.]
Reddit-The-Company
Redditを知らない方のために説明すると、Redditは多くの人気フォーラムをホストしています。そして、「猫を見に来て、共感のために残ってください」といったコミュニティを奨励するあらゆる企業と同様に、Redditはそれらのコミュニティを完全に破壊することなく、そこから最大限の価値を引き出すビジネスを行っているようです。
結局のところ、単にコミュニティを育むだけではNew Techにとって十分に高貴な目標ではなく、Redditにとっては幸いなことに、本物の人間が生成したデータはLLM時代においてまさに「金」なのです。彼らがコミュニティから比喩的な肝臓を摘み取ることを決定した前回のことについて、読むことができます。
Reddit-The-Search-Results
私はもうRedditを利用したいとは思っていませんが、特にLLM時代においては、時々訪れます。なぜなら、検索クエリに site: reddit.com を追加することは、本物の人間が書いた結果を見つけるための確実な方法だからです。これは、極めて明確にするために言いますが、私は依然として望ましいと考えています。
今やログイン必須… sort of
昨日そのようなクエリを実行した後、私の喜びは、
[画像: Reddit now requires a login to use its old design for 'safety' reasons.]
これで私が年寄りになったのだと思いますが、私はRedditのオリジナルのフロントエンド、old.reddit.com を使用しています。それがなぜより良いフロントエンドなのかについて説教しないように本当に頑張りますが、それだけのことです!Redditのデザインです。
わかっています、私は少数派ユーザーです。Firefoxを使っています。Noscriptを使っています!問題なく動作していた製品から、それをまだ使用しているたった二人のユーザーのためにサポートを終了するという決定によって強制的に追い出されることには慣れています。
-
8年間使っていた私の電話は、問題なく動作しますが、OSが古すぎます。その小さな栄光の中で安らかに眠ってください。
-
10年間使っていた私のタブレットは、電話よりもさらに良く動作し、同じ理由でバッテリーの持ちも抜群です。
-
アプリストアから長らく削除された古いアプリの私のコピーが使用していたStack ExchangeのAPIに起こりました。これが私を最も傷つけました。1
ここで個人的な感情を抱くのは、Redditがこれをすべて
Redditを安全に保つため
一体誰からRedditを安全に保つのですか?私から?私の知識欲から??
安全性とは一体何なのか?
この件について彼らが何を言っているのか見てみましょう。発表にアクセスしてみます。もちろん、私はRedditをもう読まないので見ていませんでした:https://old.reddit.com/r/modnews/comments/1ujtebf/logging_in_to_use_old_reddit/。ログインしていることを願っています。
Old Redditのログアウト時のエクスペリエンスは、プラットフォームにおける悪意のあるスクレイピングと自動化されたトラフィックの重大な発生源です。
ふむ、OK。しかし、なぜNew Redditはログアウトしたままでもアクセスできるのでしょうか?ああ、誰かがそれを尋ねました。
[質問]:New Redditと何が違うのですか?人々はそれをスクレイピングしようとしませんか?私には、Old Redditにもそれを実装する方が良いように思えます。それに、これで人々はNew Redditをスクレイピングしようとするだけではないでしょうか?
[管理者からの返信]:回答を入力しようとしていたのですが、ちょうどu/Nestramutat-が別のコメントで非常に雄弁な回答をしているのを見ました!
[そのコメント(省略)]:…最初の質問についてですが、悪意のあるトラフィックの形状は常に変化しています。一つの方法を禁止すれば、新しい方法が開発されるという、絶え間ない猫とネズミのゲームになります。後から見れば悪意のあるトラフィックは容易にわかりますが、それを事前にブロックするのはより困難です。彼らがOld Redditには最新のセキュリティスタックがないと主張していることを考えると、これはさらに大きな課題となっている可能性が高いです…
つまり、「最新のセキュリティスタック」を持っていないということです。私はフルスタックの資格を得たわけではないかもしれませんが、右クリックして要素を検証することはできます。なぜそうなるのかを理解するには十分な資格があると言えるでしょう。
Old versus New
Old Reddit
まず、不本意ながらログインして、old.reddit.com の何がそんなに安全でないのかを見てみましょう。テストには彼らの発表スレッドを使用します。ああ、ずっと良い感じです。
Old Redditが何をしていて、それがなぜそんなに安全でないのかを確認します。私が推測できる最善のことですが、彼らの貴重な、貴重なユーザー作成コンテンツはプレーンHTMLで利用可能であるということです。なぜなら、それがOld Redditのほぼすべてだからです。コメントをさらに読み込む場合(どうやって知ったか聞いてください)を除いて、JSは必要ありません。
[画像: Old Reddit does 33 page requests totalling about 1 MB. It takes about 2 seconds to load.]
約1メガバイトをダウンロードし、約500キロバイトを送信します。そこには表示されていませんが、ページのHTML自体が応答の大部分を占めています。もっと悪いものを見たことはありますが、ロード時間はどうでしょうか?GitHubは、その巨大なペイロードを(サイズに対して)約4倍速くロードします。
[画像: Old Reddit takes 2 seconds to load a single HTML page.]
ああ…返信を待つだけで丸2秒。レート制限の匂いがします。それともRedditはいつもこんなに遅かったのでしょうか?
さらにコメントを読み込んでみましょう。(Redditは最初にすべてのコメントを読み込みません)
[画像: Old Reddit takes loads more comments quickly and leanly.]
これはなかなか軽量で、素早かったです。私の秘密が盗み見されているようには見えません。ここにあるのは、Old Redditはかなり普通のウェブページだということです。それが…に比べて安全でないということでしょうか。
New Reddit
New Redditがなぜそんなに優れているのか見てみましょう。もしあなたが非現実的な期待を持っているなら、それを正しておきます:New Redditは、JavaScript(JS)なしでは投稿自体以上のものは何もロードしません。おそらくそれが、より安全にしている理由でしょう。
[画像: New Reddit does 112 requests loading about 5x more content in around 3s.]
ここでロードされるものはたくさんあります(Old Redditの約5倍)、そしてこれが私の分析が科学的でなくなる理由です。「セキュリティ上の問題」(それが何を意味するにせよ)を回避しようとする代わりに、私はコンテンツを取得するために必要な最小限のことだけを行おうとしました。ブラウザ内でです。スクレイパーを書く気にはなれませんでした。
これにより、私は(reddit.com を含む)ドメインへのすべてのリクエストをブロックすることになりましたが、以下を除くのみです。
www.redditstatic.com/js/concatwww.reddit.com/svc/shreddit/more-comments/www.reddit.com/svc/shreddit/comment/
これを行うと、ページははるかに少なくロードされますが、ロードされます。コメントをさらに読み込むためにクリックすると、永遠にスピンしますが、私はトリガーされたリクエストを検査し、コメントテキストを含む応答を取得しました。したがって、私が把握できる限り、ページ上のJavaScriptを実行するだけで、コメントを取得するのに十分な情報を得られるようです。それがスクレイパーを止めているのでしょうか?JavaScriptの実行?
念のため、リクエストフィルターなしでさらにコメントを読み込んでみましょう。
[画像: New Reddit does 94 requests to load another 2 MB of comments in about 3s.]
さて、これはOld Redditよりも確かに軽量ではありません。
私の(再び、非科学的な)実験では、ページを数回リロードし、コメントと返信を読み込もうとしましたが、失敗はありませんでした。一度、リクエストフィルターをオフにしていたとき、リダイレクトされ、クエリパラメータとして送信されたキャプチャフィールドを見ましたが、それを再現できませんでした。コメントに直接突入した場合にキャプチャが表示されるかどうかはわかりません。
しかし、私がスクロールしたりカーソルを動かしたりするたびにRedditに送られてくる、この役立つハートビートに気づきました。
[画像: New Reddit sends heartbeats about every 0.5s.]
これで安心できるでしょうか?
では、何がより安全なのですか?
フロントエンドから発生する安全性の問題があるという考えはすべて払拭しましょう。それは純粋なPRのゴミです。代わりに、行間を読むと、Redditは人々がスクレイピングすることを望んでいません(なぜならそれは彼らの金だからです!)そして、彼らは少数のOld Redditユーザーを切り捨てることでスクレイピングを十分に妨害できると考えています。
これは実際にスクレイピングを止めますか?わかりません!
New Redditをまだスクレイピングできることを証明できたとは主張しません。確かにそれはより難しくなっているはずですが、スクレイパーは驚くべきことに、より軽量なRedditの使用を好むようです。ちなみに、これはデフォルトで8倍のコメントをロードします(200対25。はい、New Redditは最初に25コメントしかロードせず、スクロールすると自動的に35程度まで増えます)。
皮肉なことに、Redditは、ブラウザにさらに多くのものをロードさせて作業させることでスクレイピングを難しくできることを発見したようです。彼らはすでに、素敵なHTMLをウェブコンポーネントなどの5倍も肥大化した塊に書き直すことでそれを実行していました。(編集をしないようにしようとするのを諦めました、すみません)
Redditがold.reddit.comに対して静かに40X/30Xエラーを発行していたら、あるいは「誰もこれを使用しないので、削除します」と言っていたら、私はRedditに不満を持たなかったでしょう。これは残念ですが、予測可能です。セキュリティやスクレイピングに関する曖昧な主張のために、私を裏切る必要があると主張する?それは私を怒らせます。私はAnubisのためにJSを有効にしているのです!
とにかく
このブログが誰を危険にさらすのか、私は考えなければなりません。なぜなら、そのコア機能は、Old Redditと同様に、プレーンHTMLでテキストを提供することだからです。ただし、私のブログは私のコンテンツであり、元々私のものだったので価値が低いので、私にとっては大丈夫かもしれません。Redditが「ビッグスクレイピング」から安全に保とうとしている盗まれたユーザー作成コンテンツの山とは異なり。早い者勝ちです!
しかし、なぜ…
ログイン?
はい。そうするかもしれません。そうしなければならないことに怒らせてください、いいですか?
「New」Redditを使う?
結局そうしなければならないかもしれません。彼らがOld Redditをサポートし続けるかどうかは誰にもわかりません。しかし、私の言葉を覚えておいてください、彼らが許されると思えば、ログアウトしたNew Redditユーザーへの門を閉じるでしょう。
LL…を使う?
かつてあった、そしてまだあり得たインターネットの喪失を嘆くことは許されないのですか?なぜ、私のランダムな質問について人々が何を言っているのかを読むためだけに、世界で最も賢く、最も高価なコンピューターに相談しなければならないのですか?人間が書いたテキストを読むことがそんなに奇妙なのですか?
これをLobste.rsに投稿しました。そこでコメントを確認します。
または直接私に連絡してください。あなたは賢いクッキーです、どうすればいいかわかるはずです。
- Stack Exchangeのホットな新しいキューは、私が長年Redditの使用を制限したときに、モバイルでRedditの完璧な代替品でした。Redditで私が気に入っていたのは興味深いものを読むことであり、Stack Exchangeには興味深いものが不足していませんでした(彼らもいくつかのデリバリングを経験しましたが、それは脚注にするにはあまりにも脱線しすぎます)。私は今Wikipediaを閲覧しています。Wikipedia、私を台無しにしないでください。私は一度あなたのナグに5ドル寄付しました。↩︎