HN 日本語サマリー

← 一覧へ戻る
セキュリティ

Redditのスパム対策内部を覗く

A peek into Reddit's anti-spam internals (lyra.horse)

154 pointsby OuterVale56 コメント

要約

この記事はRedditのスパム対策の内部について詳しく説明しています。モデレーターによる手動削除から、Anti-Evil OperationsやReddit自身の自動システムによる削除、さらにはシャドウバンまで、様々なスパム対策の事例を紹介しています。ドメインの禁止、スパム率の高いコンテンツの削除、禁止された正規表現に一致する投稿の除去など、多岐にわたるスパム対策が具体的なログと共に示されています。

全文翻訳

Redditのスパム対策内部のぞき見

5年前、まだRedditを使っていた頃、珍しい出来事が起こりました。私が愛用していたアプリ、Relay for redditが、削除されたスパムに関する奇妙な通知を大量に送ってきたのです。

これらの通知を受け取る自体は珍しいことではありませんでした。私はいくつかの比較的小さなサブredditのモデレーターを務めており、時折、スパムとして自動的に削除される投稿を目にすることがあったからです。しかし、実際に削除されたスパムを見てみると、本来見るべきではないものを見てしまったのです。

Redditのスパム対策の内部情報を見てしまったのです。

それがすべてです。

Removed: spamurai (*Removing potential spam content from unproved user*: comment `t1_pupp13` (0.7294469 perspective spam) by u/GoodBoyBacon (0.06 days old, spammy: 11, hosted: false, -1 karma, 4 reports, org: `ComcastCable`, email: gmail.com) in r/GoodBoysOnly (guest) posting nil from `oauth.reddit.com` via `nil` from UA: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30, RHS: oc:ac:kT:lw:bV:aX:af:a6:l5:y3:aT:m9:pt:f3:hZ:az:aR:aQ, LANG: en-US,en,q=0.9, TLS: j7bXVc3l/qer8FRj2aEiqOrx1ro=DDZ0TViWlY5HYgOPw1SZqDxwiO8= - referrer: https://www.reddit.com/, thumbnail: `` - )

u/BadGuy67さん、あなたはhttps://www.reddit.com/r/ReallyBadGuys/comments/qw3rt1/if_ur_a_bad_guy_post_here_please/ の人物と同じ人物です。

Removed: Reddit (shadowban applied on 10-27-2021) • GoodBoyBacon • 0 points • 1 hr

私はあの他の人物と同じではありません。私のコメントを読んでください。

Redditのモデレーションの仕組み

Redditは、サブredditと呼ばれる小さなコミュニティで構成されています。例えば、/r/mylittleponyはMy Little Ponyのファンのためのサブredditです。これらのサブredditは誰でも作成でき、サブredditの作成者によって任命されたコミュニティモデレーターのグループによって管理されます。

/r/mylittleponyに行くと、サイドバーにモデレーターのリストが表示されます。

MODERATORS

  • MESSAGE THE MODS
  • message sent.
  • Orschmann
  • optimistic_outcome
  • Chinch335
  • IllusionOf_Integrity
  • spokesthebrony
  • TheeLinker
  • Lankygit
  • Raging_Mouse
  • Searchbar_Trixie
  • gbeaudette
  • ...and ...and

これらのモデレーターは投稿を削除したり、ユーザーをBANしたり、modmailを管理したりできますが、彼らは普通のRedditユーザーです。

モデレーターであれば、誰が投稿を削除したかを見ることができます。

Removed: rebane2001 • ExampleUser • 1 points • 1 hr

私はルールを破っています 😈

これには、ルールベースのモデレーションシステムであるautomodも含まれます。

Removed: AutoModerator • ExampleUser • 1 points • 1 hr

bad word

しかし、時折「Auto」という神秘的な表示も見られます。

Removed: Auto • ExampleUser • 1 points • 1 hr

hi

これは、Redditの謎めいたスパムフィルターに引っかかった場合や、Redditのサイト全体管理者が手動で何かを削除した場合に起こります。

モデレーターログでは、「reddit」や「Anti-Evil Operations」として表示されます。

ExampleSubreddit: moderation log

filter by action: filter by moderator:

You cannot be reasoned with.

13 days agoAnti-Evil Operationsremoved link "[ Removed by Reddit ]" by EvilPoster
27 days agoAnti-Evil Operationsremoved link "[ Removed by Reddit ]" by Rule_Breaker1337
1 month agoredditremoved link "buy my shirt" by xXx_ShirtSeller_xXx
1 month agoredditremoved link "sexy ladies" by SpamBot_00018341
2 months agoAnti-Evil Operationsremoved link "[ Removed by Reddit ]" by PuppyGirlHater

これらのサイト全体でのスパム削除について、この記事の残りで説明していきます。

うっかりミス

2021年に私に起こったのは、Reddit側の何らかのエラーにより、通常の「Removed: Auto」というテキストが実際の削除理由に置き換わってしまったことです。なぜこれが私に起こったのかは分かりません。1時間ほどで元に戻りました。残ったのは、この現象が続いている間に私がなんとか撮影したスクリーンショットの山だけでした。

しかし、推測できないわけではありません!

2017年まで、Redditのソースコードは公開されていました。もちろん、それ以来多くの変更がありましたが、アーカイブされたコードを分析して、何が起こっているのか仮説を立てることは可能です。

モデレーターによる削除を担当する関数は POST_remove です。

def POST_remove(self, thing, spam):
    """Remove a link, comment, or modmail message."""
    ...
    admintools.spam(thing, auto=False,
                    moderator_banned=not c.user_is_admin,
                    banner=c.user.name,
                    train_spam=train_spam)

ここで admintools.spam がいくつかの引数と共に呼び出されているのがわかります。特に重要なのは moderator_banned で、モデレーターか管理者によって削除されたかを示し、banner はBANアクションを実行したユーザー名を示します。

さらに詳しく見ていくと、get_mod_attributes 関数が見つかります。

# Comments added by me for the blogpost
def get_mod_attributes(item):
    data = {}
    # If user is logged in and a moderator
    if c.user_is_loggedin and item.can_ban:
        data["num_reports"] = item.reported
        data["report_reasons"] = Report.get_reasons(item)

        ban_info = getattr(item, "ban_info", {})
        # If post was removed
        if item._spam:
            data["approved_by"] = None
            # If post was removed by a mod
            if ban_info.get('moderator_banned'):
                # Show the banner name
                data["banned_by"] = ban_info.get("banner")
            else: # else, if post was removed by an admin
                # Hide the banner name
                data["banned_by"] = True
        else:
            data["approved_by"] = ban_info.get("unbanner")
            data["banned_by"] = None
    else:
        data["num_reports"] = None
        data["report_reasons"] = None
        data["approved_by"] = None
        data["banned_by"] = None
    return data

これは削除に関する情報を実際に返すAPIの一部です。ban_info の banner は、Relayで見かけた赤いテキストです。そして、それはモデレーターではなく管理者による削除の場合にのみ返されるようです。では、あの「Auto」というテキストはどこから来るのでしょうか? RedditのAPIは実際のユーザー名か True しか返しません。

実は、それはRelay2自体から来ているのです。

// reddit/news/oauth/reddit/model/base/RedditLinkComment.java
if (this.bannedBy.equalsIgnoreCase("true")) {
    this.bannedBy = "Auto";
} else if (this.bannedBy.equalsIgnoreCase("null")) {
    this.bannedBy = "";
}

なるほど、これで説明がつきました。しかし、これらの内部メッセージはどこから来ているのでしょうか?

Redditは banner フィールドを内部の削除理由のために再利用しているようです。

def POST_submit(self, form, jquery, url, selftext, kind, title,
                sr, extension, sendreplies, resubmit):
    """Submit a link to a subreddit."""
    ...
    if not is_self:
        ban = is_banned_domain(url)
        if ban:
            g.stats.simple_event('spam.domainban.link_url')
            admintools.spam(l, banner = "domain (%s)" % ban.banmsg)
            hooks.get_hook('banned_domain.submit').call(item=l, url=url,
                                                        ban=ban)

上記のコードスニペットは、新しいリンクが投稿されるたびに実行されます。ドメインがスパムかどうかをチェックし、もしそうであれば「domain (REASON)」という banner で削除します。

これは、例えば以下のような削除された投稿で見ることができます。

1I_EAT_PONIES in MyLittleOutOfContext

Conga!

Removed: domain (banned as an experiment to see what happens with tubmlr spam ring. - em 5/31/12) • 0 Comments • 24.media.tumblr.com • 9 yrs

どうやら、em は2012年にReddit上のすべてのtumblrリンクを自動削除する実験をしていたようです。

いずれにせよ、Redditは内部のスパム削除理由を banner フィールドに詰め込んでいるようですが、サイト全体管理者にしか見えないようにしています。そして、get_mod_attributes に似たコードパスの何かが数時間の間壊れており、私にそれらの理由を見ることができたのです。

私が垣間見ることができた理由の種類を見てみましょう!

domain (2012 - 現在)

最初のカテゴリはドメイン削除です。ほとんどは「Removed: domain (spam)」ですが、この逸品も見つけました。

1presafur in MyLittleOutOfContext

Just register and look for me here* h9OI5WUQZPL

Removed: domain (le sexxxxy sex spam) • 0 Comments • www.example.com • 5 yrs

私が子供っぽいだけかもしれませんが、スパムフィルターに取り組んでいる人が「le sexxxxy sex spam」と言っているのを想像すると、とても面白いです。

RedditはおそらくTumblrのスパムに問題を抱えていたのでしょう。なぜなら、前述のtubmlr削除に加えて、これも存在したからです。

1JackofH3art in MyLittleOutOfContext

It hurts so good.

Removed: domain (ban - 11/12/12 mg ) • NSFW • 0 Comments • bartl3by.tumblr.com • 8 yrs

この削除は、リンクされた特定のブログではなく、Tumblr全体を対象としていたと確信しています。なぜなら、bartl3by.tumblr.comは正当な(ただしやや倒錯した)ブログのように見えるからです。

ドメイン削除は、公開されているRedditのソースコードで見ることができる唯一のスパム対策の種類だと思います。ただし、それも部分的に隠されています。

spammit (2012 - 現在)

次のカテゴリはspammitで、これは投稿を分析してパーセンテージで評価します。

1Kyderra in MyLittleOutOfContext

I'm very fondling of you

Removed: spammit(72.98% spammy) • 0 Comments • dashie.mylittlefacewhen.com • 8 yrs

はい、spammit と括弧の間にスペースはありません。

削除された投稿のパーセンテージは一般的にかなり高く、最低でも39.71% spammy、最高で98.19%でした。

とはいえ、私がモデレートしているサブredditでは、spammit はあまり正確なスパム対策ではないようです。なぜなら、多くの正当なImgur投稿が70-98%のスパム評価を受けていたからです。

bans (2016 - 現在)

次に、BANされたユーザーによる投稿削除を見てみましょう。

1kaitlynwwrettin in MyLittleOutOfContext

Cost Reduction & Cost Saving Consultants | Puppygirl Consulting

Removed: banned user • 0 Comments • www.example.com • 3 yrs

これらのいくつかは単に「Removed: banned user」とマークされていますが、他のいくつかは「Removed: Reddit (banall performed)」という派手な表示になっています。

1KerryVinebt403 in MyLittleOutOfContext

casino online

Removed: Reddit (banall performed) • 0 Comments • example.com • 3 yrs

このように削除されていた投稿はすべて非常に明白なスパムでした。ほとんどが様々なサービスへの広告でした。これは管理者が明白なスパムボットを見て、それを一掃しているのだと推測します。

shadowbans (2016 - 現在)

Redditがユーザーをシャドウバンすることは知られています。シャドウバンとは、アカウントには何も起こらず、投稿やコメントができるように見えますが、他の誰もあなたの投稿やコメントを見ることができないサイレントなBANです。実際、あなたがシャドウバンされているかどうかを確認するためのサブredditさえ存在します。

しかし今、管理者にシャドウバンがどのように見えるかを見ることができます。

1pickertramontana in trixiemasterrace

Blonde Teen Takes A Massive Meow In Her Bark

Removed: Reddit (shadowban applied on 11-06-2019) • 0 Comments • self.trixiemasterrace • 1 yr

ここでは具体的な会話を共有しませんが、実際にはRedditによってシャドウバンされているのに、モデレーターがすべてのコメントを削除しているとモデレーターを非難している人がいる、非常に面白いコメントのスレッドがありました。

spamurai (2020 - 現在)

さて、スパムフィルター全体の中で最も興味深い部分に来ました。spammitとは異なり、spamuraiは公開されている参照情報を持つシステムです。スライド#28によると、Redditは「ML」にMinskyを、「Rules」にSpamuraiを使用しています。これが削除理由にどのように計算されるのかは分かりませんが、ここでは無視することにします。そして、すべてがspamuraiであると仮定します。

まず、echelonと呼ばれるspamuraiのサブシステムがあるようです。これは、以下のEqG elsagateスパムや、puppyvids.69のような露骨な(OF?Snapchat?)コンテンツなど、特定のキーワードを削除するようです。

1mypham71375 in Pony_irl

Equestria Girls Princess Animation Series - Twilight Sparkle Cutie Mark ...

Removed: spamurai (echelon: Equestria Girls Princess Animation Series) • 1 Comments • youtube.com • 2 yrs

次に、衣料品スパムを標的としたような、ターゲットを絞った削除があります。

Removed: spamurai (approval required on hyperlink comment from high spam score account (suspected shirt affiliate spam)) • Adventurous-ties • 1 points • 5 months

Dog-Women consulting company will open the Ukrainian pharmaceutical market for you!

Hello this is the Ukrainian pharmaceutical market!

This market has been opened to you by the Dog-Women consulting company!

So what would u like to order?

Perspectrogen 2mg

star ratings

Limited time deal

-50%349KARMA

699 KARMA

About this item

With this item you can see the Perspective scores of absolutely everything!

Buy New

349KARMA

In stock

Buy now

No refunds after purchase.

Thank you for your purchase!

No refunds.

Legal note: This is a joke, no pharmaceuticals can actually be ordered from this blog post about Reddit spam filters.

そして、アカウント年齢のような、より一般的なルールベースのフィルターもあります。

Removed: spamurai (comment from account under 30 minutes matching spam conditions) • NewUser67 • 1 points • 23 min

fuck you fuck you fuck you

さて、バナーアートに載せたようなインフォダンプ削除について考えてみましょう。

1AnywhereAlone6851 in Pony_irl

18 Random Facts That Will Blo

Removed: spamurai (*Removing potential spam content from unproved user*: link `t3_phc4xx` (0.12571795 perspective spam) by u/AnywhereAlone6851 (2.948587962963 days old, spammy: 4.5, hosted: false, 28 karma, 5 reports, org: `Skyinfo Online`, email: gmail.com) in r/Pony_irl (guest) posting pinterest.com from `oauth.reddit.com` via `nil` from UA: Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36, RHS: oc:ac:kT:lw:bV:aX:af:a6:l5:y3:aT:m9:pt:f3:hZ:az:aR:aQ, LANG: en-US,en,q=0.9, TLS: SwxwvfHLtTxt/9qbo1dvBLEMSIQ=tT1LosI8/xDmUS7LMVuhb/olIJQ= - referrer: https://www.reddit.com/, thumbnail: `https://b.thumbs.redditmedia.com/K_Q91r66a3AEopEbzGkjkxHOpisoQbxa3hIoHxDerjc.jpg` - ```18 Random Facts That Will Blo ``` https://www.reddit.com/r/Pony_irl/comments/phc4xx/18_random_facts_that_will_blo/ )

これはかなりの情報量です!一つずつ分解してみましょう。

link t3_phc4xx: これは投稿の[