MetaのMuseはウェブスクレイピングに最適
Meta's Muse is fantastic for web scraping (sigh.dev)
要約
MetaのMuseは、個人アシスタント機能よりもウェブスクレイピングで真価を発揮します。記事では、Museを使ってRedditやYouTubeからコンサート動画を探し、トラックリストを抽出するプロジェクトの事例を紹介しています。無制限に近いトークンとマネージドVMの提供により、低コストで大量のデータ処理が可能ですが、ウェブサイト側からのブロックやエージェントの悪用リスクについても言及しています。
全文翻訳
MetaのMuseはウェブスクレイピングに最適
Museのパーソナルアシスタント機能には、あまり使い道を見出していません。X(Twitter)では、これらのアシスタントを使ってDoorDashを注文するなどの使い方をしている人がいますが、私はDoorDashを年に5回程度しか利用しないため、それで何かを速くすることはできません。メールもそれほど多くなく、予定の管理もすでに十分容易です。
私が本当に必要としているのは、RedditやYouTubeから大量のデータを取得し、安価なAIトークンを大量に利用することです。そこでMuseが役立ちます。私はfullsets.fmというサイドプロジェクトを構築しており、これはプロが録音したコンサート(フェスティバルのライブストリーム、Tiny Deskなど)を集約し、アーティスト別に整理してトラックリストを抽出するものです。私は、良い音声と映像を備えた完全なパフォーマンスを探しています。
LunaとGemini Studio経由のGemini 3.8を使用して、YouTube動画が求めている品質とコンテンツを持っているかどうかを安価に判断するパイプラインを持っています。しかし、そもそも動画を見つける良い方法がありません。特定のYouTubeチャンネルをスキャンして条件に合う動画を見つけることはできますが、T-Mobile Europeのように、なぜかランダムなコンサートをいくつかアップロードしているような、小さくて奇妙なチャンネルをすべて見つける方法が必要です。これらの小さなチャンネルには高品質なコンサートが散在しており、それが私がfullsets.fm(現在開発中)を構築した理由の一部でもあります。
Museは、それらのチャンネルや動画を見つけるのに役立ちます。パイプラインのもう一方の端でもMuseを活用しており、アーティストのマッチング、LunaとGeminiの出力をレビューし、各動画を承認または却下する最終決定を下すのを手伝ってもらっています。
Museに、私の基準に合う動画を1,000件、RedditとYouTubeでスキャンするように指示したり、過去にCoachellaで演奏したことのあるアーティストのリストを作成してから、アーティストごとにYouTubeで一致するコンサートを検索するように指示したりできます。Museは、クラウド上のマシンで、見かけ上無限の帯域幅とまともなCPUを使って、ウェブサイトに負荷をかけながら作業を完了するまで稼働し続けます。
Museの1ヶ月の利用料として80ドルを支払い、週に数十億トークンをこの作業に使用させています。多くの場合、トークン使用量が全くカウントされていないようにも見えます。彼らのモデル(Muse Spark 1.3)は文章作成においてはかなり平凡で、コーディングに使うことは決してありませんが、このGemini Flashスタイルのワークロードには非常に役立つと感じています。彼らは実質的に無制限のトークンとChromeを備えたマネージドVMを提供してくれるようです。
誰かがMuseを私のウェブサイトに向けたときに何が起こるか心配です。これらのエージェントは眠らず、実際のユーザーを非常にうまく装うことができます。十分な速度が得られない場合は、さらに多くのプロセスを起動できます。
とにかく、Amazonがすでにブロックした理由がわかります。例えば、私の目標がドロップシッピングだったとしましょう。一日中何千ものAmazonのページをスクレイピングできるでしょうか?これがどこにつながるかはわかりませんが、Metaが悪用を防がない限り、ウェブサイトの多くはMuseをブロックするでしょう。Museにはまだ初期の粗い部分があり、ジョブが途中でフリーズしたり、このやや厄介なモデルとのコミュニケーションが時々フラストレーションになったりすることがあります。また、ブラウザを使用している複数のジョブを実行している場合、UIがあまり意味をなさないこともあります。
この記事を読んで試してみたくなった方は、私のMuse紹介コードは69WSDQです。サインアップ後48時間以内に設定で入力すると、私たち両方に数十億トークンが付与されます。
[画像: レトロなコンピューターが、空のオフィスでコンサート録音を分類している]
SeveranceにインスパイアされたAI生成画像