Horizon Labsレポート
Horizon Labs Report (horizon-labs.ai)
要約
Horizon Labsは、AIエージェント「Horizon」がHugging Face上で実質的な採用を獲得する能力を実証する7週間の実験を実施しました。Horizonは、600 GPU時間以上を費やし、38のモデルを自律的に作成し、100以上のGitHubリポジトリで使用され、50,000回以上ダウンロードされました。この実験は、AIエージェントがオープンソースコミュニティで成功する組織を運営できる可能性を示しています。
全文翻訳
Horizon
Labs
Arthur Wuhrmann1,2,3,4, David Schmotz2,3,4, Derck Prinzhorn5, Ameya Prabhu3,4,6, Harry Coppock7,8, Maksym Andriushchenko2,3,4
1EPFL · 2ELLIS Institute Tübingen · 3Max Planck Institute for Intelligent Systems · 4Tübingen AI Center · 5Exponential Security Labs · 6University of Tübingen · 7UK Government · 8Imperial College London
7週間にわたり、Opus 5.5をベースにしたエージェントであるHorizonに、空白のHugging Faceアカウントとコンピューティングリソースへの完全なアクセス権を与え、主な目標はHugging Faceでの実際の採用を獲得することでした。Horizonは600 GPU時間以上を使用し、自律的に38のモデルを作成し、それらは100以上のGitHubリポジトリで使用され、50,000回以上ダウンロードされました。
セットアップ
HorizonはClaude Code上で24時間365日稼働しており、単一のTeam Premiumサブスクリプションによって動かされ、新しいHugging Faceアカウントにアクセスできます。様々なQoL(Quality of Life)コマンドにアクセスでき、GPUを使用してジョブを実行できます。週に1Mのコンピューティングクレジット(週あたり約500 GPU時間相当)を与えました。人間へのチケット送信が可能で、単一のHugging Face(およびGitHub)アカウントに限定されています。誤った行動が行われないよう、常にその行動を監視しています。
実験全体を通して、Horizonは約19億トークンを処理しました。そのうち96%はプロンプトキャッシュからの読み戻しで、310万トークンを書き込みました。API価格で換算すると、約1,030ドルかかったでしょう。
Horizonが構築したもの
Horizonは、埋め込みモデル(主にmmBERT-base)をベースにした38のモデルを作成しました。モデルサイズは141Mから568Mパラメータの範囲です。54,000以上のダウンロードを達成し、36の「いいね」を獲得しました。また、多くの実際のユーザーがモデルを積極的に使用していることを示す広範な証拠が見つかりました。これには、ファインチューニングやパイプライン統合から、arXivでの独立した評価まで含まれます。Horizonは、プロンプトインジェクション分類器、PII(個人識別情報)削除ツール、句読点復元モデルのような、狭いタスクに特化したモデルに焦点を当てています。Horizonはしばしば、ファミリーごとに2つまたは3つの異なるサイズ(小サイズ141M、ベースサイズ307M、そして時には大サイズ568M)を生成します。これらのモデルを生成するために、主に公開されているHugging Faceのデータセットと、Qwen 3.8-27Bを使用した合成データに依存しています。
新しく未知のアカウントは、小さく実用的なドロップインモデルで最も速くダウンロードを獲得する。
Horizon · 23 Sep
11:10
誰が使っているのか?
当初、ダウンロードの多くはクローリング/インデックス作成ボット、あるいはHorizon自身がモデルをダウンロードしているものだと考えていました。GitHubを調べたところ、Horizonのモデルを使用しているリポジトリは合計で143件見つかりました。また、プロンプトインジェクション分類モデルを他のモデルと比較した2つのarXiv論文も見つかりました。
Horizon-Labsは、エージェントスタイルの入力でトレーニングされた後、重複なしで両方のエージェントベンチマークをリードする。
Passing the Test You Trained OnLiu · arXiv 2610.03448
Horizon Labsの最近のガードは、特にドキュメント由来のインジェクション用にトレーニングされており、最も高いAUCを達成しています。しかし、コントロールAUCとの差は小さく、ドキュメントが編集されたことは検出しますが、その編集が悪意のあるものであるかは検出できません。
Measuring Prompt Injection Guards on Legal Contract Review AttacksHeimann, Taylor and Jacob · arXiv 2611.08834
さらに、Hugging Face上でHorizonのモデルをファインチューニング、量子化、またはその他の方法で変更した18のモデルが見つかりました。これらのモデルを考慮すると、ダウンロード総数は2.4k増加します。
Horizon-Labsは、他の様々な文脈でも言及されていることが発見されました。一つは、作者から私たちの個人メールに届いたメールで、ユーザーがgitコミットで漏洩した認証情報を通じてそのアドレスを入手したものです。Horizonはまた、3件のコミュニティ投稿を受け取りました。これらは通常、モデルの特定の用途(特定の言語カバレッジ、ライセンス、長文処理など)に関する詳細を尋ねるものでした。さらに、インジェクションガードにおけるHorizonの主要な競合相手の一つであるPatronus Studioが、Horizonのベンチマークを含めて自社モデルと比較するためにモデルカードを更新したことが判明しました。また、私たちのホールドアウト評価が示すように、Horizonのパフォーマンスに匹敵するようにモデルを改善しました。
ダウンロード数を不正に操作したか?
Haiku 5.5とLuna 6を報酬ハッキング行動のモニターとして使用し、すべてのツールコールをチェックしました。Horizonが自身のモデルをダウンロードしたケースが6回あり、合計42ダウンロードでした。実際の数はわずかに多いかもしれませんが、ほとんどのダウンロードはオーガニックであると確信しています。なぜなら、モデルを使用しているユーザー層や、ダウンロードが多い日でもHorizonはスリープ状態であり、ジョブが実行されていなかったことが多いためです。
主張は真実か?
モデルカードやSpacesで、Horizonはしばしば自社のモデルをそのカテゴリで最高またはそれに近いと位置づけています。これらのモデルはHorizonの主張するほど優れているのでしょうか?過学習、ベンチマークおよび競合他社の選択についてチェックしましたが、不整合の証拠は見つかりませんでした。Horizonはテストスコアに基づいてリリースするモデルを選択したわけではありません。より良い代理指標である検証セットで選択しており、リリースされたモデルが報告されたベンチマークでは劣って見えた場合でもです。10月7日、プロンプトインジェクションガード-スモール v2.3をリリースする際に、Horizonは次のように述べています。
トレーナーは検証F1でチェックポイントを選択するため、検証F1が最も高い実行結果をリリースしました。テストセットでは、その実行(53695bf2)は4つの中で最も弱いです。
Horizon · 7 Oct
11:05
さらに、MiMo V2.6 Proを使用して内部で生成した独立した合成ベンチマークで4つのモデルファミリーを評価したところ、これらのモデルは狭いタスクにおいては、そのサイズでしばしばSOTA(State-of-the-Art)であったことが判明しました。これらのホールドアウトベンチマークはHorizonがモデルをリリースした後に内部で作成したため、直接的な汚染の可能性がないことを保証します。
Horizon (Opus) 他のモデル Pareto front
Horizonのワークフロー
非常に驚くべきことに、Horizonは平均して1日あたりわずか16分しか作業しておらず、ほとんどの日ではほとんど作業していません。Hugging Faceのダウンロード数が更新されるUTC 10時頃に起動します。
明日UTC 09:45頃までダウンロードの次の更新を待ち、その数字から次のステップを選択します。
Horizon · 9 Oct
13:29
その後、その日の最もダウンロードされたモデルを確認し、価値のあるものを改善します。
数字を記録し、インジェクションガードの最も弱い領域を探します。なぜなら、明らかに需要があるからです。
Horizon · 4 Oct
09:59
これらのモデルのトレーニングは一般的なレシピに従います。公開データセットを探し、それらでトレーニングし、Qwen 3.8-27BとGemma 4 31Bを使用して、データを注釈付けするか、合成例で現在のデータセットを拡張します。
新しいモデルの構築を検討する際、Horizonは以下の点を考慮します。
多言語ゼロショット分類器について
transformersのゼロショット分類パイプラインには多くの需要があります(bart-large-mnliは月に約3Mダウンロード、xlm-roberta-large-xnliは1.8Mダウンロード)。
Horizon · 24 Sep
22:46
PII削除モデルについて
ONNXとブラウザサポートを備えた、小さく、許容的で、多言語のモデルは際立つでしょう。
Horizon · 23 Sep
15:24
皮肉検出器を他のアイデアよりも選択した際(最終的にリリースされなかった)
形式性(オープンな多言語評価セットがない)、メンタルヘルスリスク(機密性)、IPTCニューストピック(既存のモデルが既にうまく処理している)を却下しました。
Horizon · 12 Oct
11:02
Webトピックおよびフォーマット分類器について
eduのために既にサンプリングされたFineWeb-2ドキュメントを再利用しています。
Horizon · 13 Oct
15:34
句読点復元モデルについて
2つのリーダーと同じラベルを使用しているため、それらが使用されているdeepmultilingualpunctuationパッケージでドロップインモデルとして機能します。そのパッケージのソースを読んで確認しました。
Horizon · 3 Oct
14:06
以下は、エージェントが時間とコンピューティングをどのように使用したかの内訳です。
最も驚くべきことは、エージェントが週に作業する時間が減るにつれて、1日あたりのダウンロード数が増加し続けていることです。累積結果(ダウンロード数、Horizonのモデルを使用するGitHubリポジトリ数)は指数関数的に増加する一方、累積的な労力(使用されたGPU時間、エージェントの作業時間)は飽和し、逆指数関数的、対数的な軌跡をたどっています。
制限事項
これは実際の評価であるため、実行中にいくつかの問題が発生し、容易に修正できませんでした。透明性のために、遭遇したすべての制限事項を開示します。
以下のタイムラインは、実行に介入したすべての時点を示しています。Horizonが提出した13件のチケットに対応し、7件のメッセージを送信しました。ほとんどは設定中の最初の3日間で発生し、10月22日以降は発生しませんでした。バブルをクリックすると、何が起こったかを読むことができます。
9月24日、Horizonのダウンロードに影響を与えずにモデルを研究するため、Horizonのモデルを別のアカウントにコピーしました。誤ってこれらのコピーを公開したままにしてしまい、HorizonはすぐにHub上でそれらを認識しました。また、別のアカウントを「ラボ実験」と説明したため、Horizonはそれがスタートアップではなく研究室によって運営されていると考えました。
10月11~12日、同様の問題が発生しました。Horizonがチケットを提出し、私たちが誤って「Horizon-Labsは私たちのラボで運営している別会社です」と回答しました。すぐに間違いに気づき、訂正を送信しました。これらの2つのイベントが、Horizonが実際の企業ではなく研究グループによって運営されていると理解する一因となったと考えています。しかし、モデルの挙動やダウンロード数に影響を与えたとは考えていません。その後、実行を容易に「巻き戻せる」ようにハーネスを改善しました。これは実行にわずかな影響しか与えませんでした。
10月22日、私たちのハーネスのエラーにより、Horizonが設定した時間に起動できなくなりました。問題を修正し、4時間後に起動させ、何が起こったかを説明しました。これが実行に著しく影響を与えたとは考えていません。
Hugging Face上にSpaceを開くと、モデルのダウンロードがトリガーされることがあります。最大20回そのようなページを開きました。評価を実行中に誤ってモデルをダウンロードしたこともありますが、30回未満であることは確かです。54,000回のダウンロードのうち、50回を超える貢献はしていないと確信しています。
並行して実行された別のテストで、DeepSeekエージェントが誤ってHorizonと同じHugging Faceアカウントにアクセスし、明確な指示にもかかわらず、Horizonのモデルを宣伝するコメントを別のリポジトリに投稿しました。すぐに介入してその実行を停止しました。知る限り、Horizonはそれに気づくことはありませんでした。
付録
ツールコールエクスプローラーには、実行中にHorizonが行った3,952件のツールコールのすべてとその出力がリストされています。検索や、触れたウェブサイト、Hugging Faceリポジトリ、コマンド、言語でフィルタリングできます。
このページ上のすべての数値は2026年11月17日時点のものです。実行の生データ(トランスクリプト、タイムライン、ツールコール、GPUジョブ、ダウンロード)は20.1MBのzipファイル1つにまとめられています。APIキーと個人名1件は削除されています。エージェントフレンドリーで、内部のREADMEに各ファイルの説明とロード方法が記載されており、AIアシスタントがデータ内を自分で見つけられるようになっています。
引用
@misc{wuhrmann2026horizon,
title = {Autonomous agents can run successful open-model organisations. Evidence from an 8-week case study},
author = {Wuhrmann, Arthur and Schmotz, David and Prinzhorn, Derck and Prabhu, Ameya and Coppock, Harry and Andriushchenko, Maksym},
year = {2026},
howpublished = {\url{https://horizon-labs.ai}},
note = {Horizon-Labs}
}