YCにハッキングして潜り込んだ
I got into YC by hacking it (obaid.wtf)
要約
著者は、Y Combinatorの応募プロセスで使用されるPaxelというツールに脆弱性があることを発見しました。この脆弱性を利用すると、応募者のコーディングスコアを偽造してデータベースに送信することが可能でした。著者がこの問題を公開すると、YCは迅速に対応し、脆弱性を修正するとともに、著者をStartup Schoolに招待しました。
全文翻訳
YCにハッキングして入った方法
tldr: Paxelを通じて、YCが10万人以上の創業者を世界中から評価していることを発見しました。それを(おそらくイースターエッグとして)壊し、検証されていないhmacのおかげで、誰でもランキングデータベースに任意のスコアを偽造してプッシュできる脆弱性を見つけました。
最新アップデート: YCは立派なことに、気にしませんでした。最初の公開開示からわずか数時間後に、Jared Friedman自身が返信し、パッチを発表し、この夏にサンフランシスコで開催されるStartup Schoolへの参加を招待してくれました!12日前にメールで非公開で開示しても返信がありませんでしたが、少なくとも公にはプロセスが機能しました。
これは、私が最初に開示を公開した以前のドラフトの書き直しです。ひどく書かれていて、寝不足で、公表するには十分ではないと感じていました。
— — —
すべては6月初旬に始まりました。Startup School 26' の応募フォームを見つけたときです(Dhanushに紹介されました:Audora S26、信じられないようなものが登場します!!)。今年のYCは、応募の一部として私のコンピュータでPaxelと呼ばれるものを使用するように求めてきました。
スクリプトを実行する必要がありました。非常に使いやすいcURLのワンライナーで、コンピュータに何かをインストールし、コーディングエージェントで書いたコードのすべての行を分析し、レポートをコンパイルしてYCのサーバーにアップロードします。
Paxelのメインサイトによると、主な機能は作業を「視覚化」し、「あなたはどのアーキタイプですか?」や「あなたの最大の失敗は何ですか?」のような楽しい属性を割り当てられることです。楽しそうでした。
しかし、それがどのようにそれを実行しているのか正確に知りたかったのです。そして、私の好奇心が強迫的な領域に忍び込み始めると、それは伝説的な失敗に終わるか、何か偉大なことを成し遂げるかのどちらかです。幸いなことに、この場合は後者でした。
また、嘘はつけません。私はそれをハックしたかった(または必要としていた)のです。応募書類を作成する際に不利な状況からスタートすることは知っていました(正式なアイビーリーグ教育がない)、しかしこれが私の合格を確認するための、迅速で確実な方法になるだろうと知っていました。私はデルル(delulu)ではありません。それを実行できたら狂っているだろうと知っていましたが、なぜすべてを投入しないのでしょうか?
Paxel自身のサイトによると、これまでに120万人以上のコーダーがYCにレポートをアップロードしています。そしてその数字を見ると、私が世界で初めてこのすべてを理解し、壊した人間であることは、正直言って衝撃的です。
— — —
余談ですが、本題に入る前に、エージェント対応のLLMが登場して以来、世界における「ハック」の相対的な功績は大幅に減少したと思います。もちろん、LLMがそれらをどれほど容易にしたかを考えると、それは現実と一致します。しかし、それらの多くの奇妙な盲点と、ある種の「ハッキング」または知性に対する闘争的なアプローチの欠如の両方から、その容易さはいくぶん過大評価されていると思います。それが安全性の抑制によるものなのか、あるいは単にトレーニングの方法によるものなのかは、また別の機会に議論することにしましょう。
ですから、それらが世界を変えるようなことをしているのは、同じ教材を10倍、時には50倍短い時間で(リサーチ、調査)進めるのを助けることですが、LLMとコミュニケーションを取り、LLMがハッキング可能なものはすべてそうではないと主張するときに、自分の頭を鋭く独立した状態に保つことはしばしば困難です。それはほぼ完璧に妥当な論理で。
— — —
Paxelは素晴らしいUXを持っています。すべてが単一のワンライナー curl -fsSL https://paxel.ycombinator.com/upload.sh | bash から処理されます。システム全体を自動的にスキャンし、質問を促し、アップロードを処理します。その後は何も心配する必要はありません。
したがって、最初の出発点は、当然ながらこのインストールスクリプトでした。まず、それを4つの別々のモジュールに分割しました。すべてを壊そうとしたとき、私が与えたすべてのLLMはひどく幻覚を見始めました(コンテキストウィンドウサイズの増加は完璧ではありません!)
インストールスクリプトは、実際には単独では実行されませんでした。RubyアプリをホストするDockerイメージ全体をダウンロードし、それを展開して、コンピュータにインストールされているDockerを通じてローカルで実行しました。したがって、アプリは実際には2つの部分に分かれています。
① ─▶ upload.sh 302KBのインストールスクリプト。認証を処理し、プロジェクトを検出し、git履歴を抽出し、Dockerを初期化します。
② ─▶ Dockerイメージから展開されたRubyアプリ。プロジェクトごとに実際のフルパイプラインを実行します。
- まず、すべてのチャットトランスクリプトを、YCが考案した作業単位である「エピソード」にグループ化します。各エピソードは、PRごとのすべてのコミットです。それが失敗した場合、2時間のバースト期間ごとの各コミットです。それが失敗した場合、各チャットセッションが個々のエピソードになります。
- 次に、それらをYCがスポンサー提供している(興味深い発見!)無料のgpt-5.5プロキシ @ paxel-llm.ycombinator.com にアップロードします。
- エピソードごとの要約を取得し、他のデータとまとめて、最終レポートをpaxel.ycombinator.com/api/v1/resultsにアップロードします。
そしてここで、あなたがしたすべての作業がYCによって採点、スコアリング、ランク付けされ、地球上の120万人のコーダーのレポートがコンパイルされていることを発見しました。
| execution_leverage | steering | engineering_quality | product_thinking | planning |
これらはLLMがあなたを評価する5つの主要な軸であり、自由形式のメモとともに1〜10のスコアを割り当てます。
そして、ここで最も gaping な脆弱性も見つけました。このプログラムは、分散/デセントラライズされたアプリの非常に良い例です(すべてをプロプライエタリサーバーで実行して統合する必要はありません)。
しかし、デセントラライズされたアプリのことは、それらが暗号化の非常に基本的な機能に大きく依存しているということです。そして、このパイプラインには非常に、非常に重要なものが欠けていました。
LLMプロキシは、各エピソードとともにナンス(nonce)を返します。このナンスはLLMサーバーとアップロードサーバーの間で共有されます。理論的には、これはLLM ─▶ ローカル ─▶ POST /v1/results に渡されるべきであり、これはオリジナルのLLMの結果以外のものがエンドポイントによって受け入れられないことを検証します。
理論的には。
しかし、起こったことは、このナンスがLLMの結果、スコア、メモの署名をエンコードするのに失敗したことです。そのため、ナンスは検証されましたが(サーバーは無効または欠落しているナンスのリクエストを正しく拒否し、一度使用すると燃え尽きました)、署名が欠けていたため、エピソード全体とそのスコアは好きなように変更され、YCにアップロードされる可能性がありました。
そしてYCはそれを受け入れました。
受け入れただけでなく、スコアをバフしたりメモを変更したりすると、全く同じプロジェクトのレポートは大きく異なりました。
全く同じプロジェクト、全く同じチャット。
そして、さらに一歩進みました。同じワンライナー(PaxelのUXが大好きです!!)を使って、paxel-boostedを作成しました。これは、世界中の誰でも同じように偽のレポートをアップロードできるハックで、ミラーリングツールを起動しました。ブースティングプロキシは自己スポンサーしました。なぜなら、envを追加する必要があるのはひどいユーザーエクスペリエンスだからです。
obaid.wtf — bash — boosted-paxel
公開からYCがパッチを発表するまでの数時間で、私のユーザーの20人以上がYCのデータベースで世界トップ1%としてランク付けすることができました。
修正
基本的な暗号化の2つの機能が欠けていました。
青+緑でハイライトされたフィールドはハッシュで署名される必要があります。緑のフィールドはさらにシールされ、暗号化される必要があります。
/v1/resultsによって受け入れられるすべてのフィールドを3つのカテゴリ(2つが重要、1つがその他すべてをカバー)に分類できます。上記のグラフィックで視覚化されているように。
1) フィールドは、LLM ─▶ /v1/results にほぼそのまま渡されます(上記のグラフィックで緑+青でハイライトされているフィールド)。これらはすべてロールされ、hmacとしてナンスにハッシュされるべきでした。ナンスはすでに検証されており、これにより各ナンスが実際にLLMの応答に紐付けられていることが保証されます。
nonce = hmac(request_id) ─▶ nonce = hmac(request_id + scores.steering + scores.product_thinking + ... + title)
そして、これが実際にYCが提供し発表したパッチであり、元のドラフトで私が提案したほぼそのままです。
2) フィールドは、(1) LLM ─▶ /v1/results にほぼそのまま渡され、(2) クライアント内で決して使用されないものです。上記のフィールドのサブセット(図で緑色でハイライトされている)は、サーバーのみが所有し共有する任意のAEAD暗号(または非対称公開/秘密鍵)で暗号化されるべきであり、クライアントは5軸のスコアリング、エピソードタイトル、メモなどの詳細を見ることができません。
これはオプションであり、本質的には難読化ですが、最初から行われていれば、何を確認し、何を変更すべきかを知ることは決してなく、最初の脆弱性からの最も深刻な影響をカバーしていたでしょう。
— — —
この「脆弱性」全体が、誰がそれをハックできるかを見つけるための秘密のイースターエッグだった可能性、または検証エラーを発生させずに、誰がそれを発見し、その周りで「ハッキング」しているかを秘密裏に監視していたハニーポットだった可能性もありますが、このパイプラインとPaxelの書き方を見ると、それはおそらくそうではなかったと思います。
さて、Jaredの返信以来、これは明らかにパッチされていますが、私のツールはあなたの生のスコアを表示するのに役立ちます!お気軽にチェックしてみてください。
来週(7月21日〜8月6日)のStartup Schoolの時期にサンフランシスコにいる場合は、LinkedInまたはTwitterで私に連絡してください。次の共同創業者を見つけるのに役立つ場所、イベント、人々についてのヒントがあれば、連絡を取り合い、何かタイムチェンジングなものを一緒に構築しましょう。