HN 日本語サマリー

← 一覧へ戻る
Web開発

EmDash、プラグインレジストリのモデレーションにClefを使用

EmDash uses Clef to moderate the plugin registry (emdashcms.com)

18 pointsby ascorbic7 コメント

要約

EmDashは、プラグインレジストリに登録されるプラグインのメタデータ、リンク、アイコン、スクリーンショットなどをCloudflareのClef決定モデルで自動審査しています。Clefはテキストと画像を同時に扱えるマルチモーダルモデルであり、フィッシング、なりすまし、不快なコンテンツ、詐欺などを検出し、確率で評価結果を返します。この自動化により、オープンな公開モデルを維持しつつ、悪用を防いでいます。

全文翻訳

How EmDash uses Clef to moderate the plugin registry

公式のEmDashプラグインレジストリのすべてのプラグインリストは、カタログに表示される前にCloudflareのClef決定モデルによって審査されるようになりました。Clefは、フィッシング、なりすまし、不快なコンテンツ、詐欺、モデレーションシステムを操作しようとする試みがないか、リストのメタデータ、アウトバウンドリンク、アイコン、スクリーンショットをレビューします。

レジストリはAT Protocol上に構築されているため、プラグイン著者は自身の Ваккаунтから署名付きリリースを公開します。EmDashは基盤となるレコードを制御しませんが、plugins.emdashcms.comに表示されるものを決定します。自動モデレーションにより、著者はカタログが悪用のための開かれたドアになることを防ぎつつ、そのオープンな公開モデルを維持できます。

テキストと画像のための1つのモデル

Clefは決定モデルです。散文を生成するのではなく、アプリケーションコードが対応できる型付き確率で限定的な質問に答えます。画像も受け入れることができます。これらの2つの特性は、プラグインリストが構造化されたメタデータとリンクを視覚資産と混合するため、レジストリによく適合します。

プラグインが公開されると、EmDashラベラーはClefにテキストとリンクに関する9つの質問を投げかけます。これらは以下をカバーします。

  • 露骨な性的コンテンツ、憎悪的または非人間化するコンテンツ、および生々しい暴力
  • フィッシングまたは認証情報要求、なりすまし、詐欺、スパム
  • 欺瞞的なリンク、誤解を招くメディアまたは主張、およびモデレーションを操作しようとする試み

ラベラーは、各アイコンとスクリーンショットについて、対応する8つの質問をします。リンクは、スパムフィルターやリンクチェックツールの通常のスクリーンショットをフラグ付けすることを避けるため、スクリーンショットからではなく、そのテキストと宛先から評価されます。

Clefは各カテゴリの確率を返します。0.45以上の結果は、リストをオペレーターのレビューに送ります。モデルがプラグインをブロックする最終的な決定を下すことはありません。

Clefアダプターとその質問のソースコードをGitHubで読むことができます。

なぜClefを選んだのか

自動化ツールの使用モデルの選択は常に評価に基づいており、新しいモデルを定期的に評価しています。以前のモデレーションパイプラインでは、2つの汎用モデルがテキストについて合意する必要があり、さらに画像のための別のパスが必要でした。これはより遅く、システムがタイムアウトしたり不完全な結果を返したりする可能性が多くありました。Jevがリリースされたときには評価に興奮しましたが、残念ながらベースラインを下回りました。しかし、Clefの結果ははるかに良好でした。特に、テキストと画像を同じモデルで使用できるマルチモーダルモデルであることに満足しています。

「以前は信頼性の高い結果を得るためにモデルを混在させる必要がありましたが、Clefはすべてを凌駕し、はるかに高速でした。」

Matt Kane, EmDashリードメンテナー

公開されているリグレッションケースと、レジストリ用に構築された別の保護されたコーパスに対してClefをテストしました。レジストリの21の公開テキストフィクスチャを3回繰り返した結果、Clefは63回の実行すべてで期待されるパスまたはレビューの決定を下し、無効な出力や繰り返し間の不一致はありませんでした。これらの63回のフィクスチャ実行全体で、エンドツーエンドのテキストモデレーションレイテンシはp95で1.64秒でした。Clefは、評価を実行したときにレジストリでライブだった37のプラグインプロファイルと43のリスト画像すべてにも合格しました。

以前のバンドルをClefに置き換えることで、レジストリはリスト全体に対して1つのマルチモーダルモデルと1つの確率ベースのインターフェースを持つことになります。これにより、モデレーションが高速化され、実装の検査が容易になり、人間のレビューへのフェイルクローズドパスが維持されます。

プラグインを公開する

モデレーションの変更は、プラグイン著者にとって新しいステップを追加するものではありません。EmDashプラグインCLIを使用してスキャフォールドし、公開すると、レジストリはリリースを発見に追加する前にチェックを実行します。リストがレビューを必要とする場合、EmDashチームがそれを表示するかどうかを決定している間、リリースは署名されたまま Ваккаунтから利用可能になります。

プラグインレジストリを閲覧したり、公開ガイドを読んだり、EmDash Discordに参加して、プラグイン公開の旅を始めましょう。