Recurse Center でやったこと
What I did at Recurse Center (thill.me)
要約
筆者は、友人の勧めでブルックリンにあるプログラミングの合宿施設「Recurse Center(RC)」で夏を過ごした。RCでは、参加者が自由に企画・スケジュールできるスタディグループが活発に行われており、筆者は「Agentic Adventures」(LLMとエージェントに関する議論)、「Practical Deep Learning」(機械学習の入門書を読み進める)、「Math Monday」(数学の学習と構築)、「Reverse engineering a board game AI」(ボードゲームAIの解析)などのグループに参加した。また、自身が開発したミニ言語「dodo」の完成や、DEFLATE圧縮アルゴリズムの実装、LLMを活用した様々なミニプロジェクトなど、多岐にわたる活動を行った。
全文翻訳
RCでやったこと
友人のCoryの勧めで、ブルックリンにあるプログラミングリトリート「Recurse Center」で夏を過ごしました。そこで私がやったことのいくつかを紹介します。
スタディグループに参加した
RCでは、誰でも企画・スケジュールできる定期的なスタディグループがあります。例えば、毎週金曜日には皆で過去のアドベント・オブ・コードの課題を一緒に解いていました。私はエージェンティック・アドベンチャーズ、実践的深層学習、数学マンデー、そしてオープンソースのボードゲームAIを調査する短いシリーズに参加しました。
エージェンティック・アドベンチャーズ
エージェンティック・アドベンチャーズは、最新のLLMとエージェントに興味のある人々のためのディスカッショングループで、毎週異なることを行いました。いくつかのハイライトは以下の通りです:
- Amandaと私は、危険なスキップ権限で実行できる、バイブコーディングエージェントのリモートサンドボックスを構築しました。
- 同様に、Michelleはollamaとdockerを使用してローカルエージェント用のサンドボックス環境をセットアップする方法を教えてくれました。
- これは、エージェントがどのように協力できるかを調査するために構築した「“Just One”ゲーム」です。
- 私たちはminGPTを一緒にいじり、ロミオとジュリエットでトレーニングされた小さなテキスト予測モデルを構築して、シェイクスピアのように話せるようにしました。
- より会話的に話すように小さなモデルをトレーニングするために、基本的なLoRAを行いました。
実践的深層学習
これは、Jeremy HowardとSylvain Guggerによる書籍「Practical Deep Learning」(前半)を一緒に学ぶスタディグループでした。古典的な機械学習アプローチを段階的に学び、既存のモデルを使用または適応させ、その後、実際のニューラルネットワークモデルを構築する方法を学びました。この本は、直感を構築し、それらがどのように機能するか、そしてそれらで何が構築できるかについての感覚を得るのに適した、実践者向けのハイレベルな入門書でした。私自身は研究に興味がないため、このレベルの理解が求めていたものでした。
数学マンデー
コーヒーチャットで、Sophiaと私は数学への情熱を共有していることに気づき、数学的なトピックに関するディスカッショングループを開始することにしました。これは楽しい気晴らしと学習・探求の機会を目的としていたため、各ミーティングの最初の半分を学習に費やし、その後ペアに分かれて学んだことに基づいて物事を構築しました。私たちが取り組んだ楽しいことのいくつかを紹介します:
- Project Eulerの問題を一緒に解きました。
- Peter Winklerの著書「Mathematical Puzzles」からいくつかの問題を考えました。
- フラクタルやその他の生成アートを描きました。
- ボロノイ図を使用したプログラムを構築しました。例えばこのゲームです。
- BenはRocq証明支援システムの入門を教えてくれ、ブール代数の恒等式をいくつか一緒に学びました。
- ペンプロッターで描画するためのヒルベルト曲線を生成するプログラムを書きました。
- Kenjiと私は、Desmosでカオスゲームの楽しい拡張機能をいくつか構築しました:
[画像: Desmosで構築した、写真映えするフラクタルの一部。]
ボードゲームAIのリバースエンジニアリング
Tonyは、ボードゲーム「Race for the Galaxy」をプレイするためのKeldon AIのコードを掘り下げる短いシリーズを開始しました。最初のセッションでは、ルールを学び、AIをプレイするだけで、その後コードを掘り下げました。それは、キュレーションされた特徴を持つ古いタイプの2層ニューラルネットワークでした。Claudeはニューラルネットワークの重みを解釈し、それが何に反応していたかを説明するのに非常に長けていました。Keldon AIが戦略について何を学んだかを理解しようと時間を費やしました。結果として、ベースゲームでは経済戦略が軍事戦略よりもはるかに強力であることがわかりました(プレイヤーの感情とも一致します)。最も強く重み付けされたノードの多くが、個々のカードの存在に対応していたことは、私が注目したことの一つでした。
dodoを完成させた
RCへの応募の一部として作成したミニ言語「dodo」を完成させました。これには、おそらく最も興味深い部分である、マッチステートメントを実装するためのトリッキーな再帰コードの記述が含まれていました。これはLLMとの興味深いバランスでした。LLMにコードを書いてもらうことはしませんでしたが、誰かが仕様をきれいに書き、テストケースやサンプルプログラムを作成してくれるのは良かったです。LLMは、私がやったことを共有するのも簡単にしてくれました。オンラインのバイブコーディングREPLでこちらで試してみてください!
DEFLATEを実装した
RCでは、多くの人が自分のプロジェクトについて話す多くのトークが開催されます。バッチの早い段階で参加したトークの一つは、JoshによるZIPファイル形式と、実装間の不整合に関する彼の調査についてでした。それは私が以前考えたことのないような詳細に踏み込みました。例えば、ウイルススキャナーが使用する解凍ツールが、あなたが使用する解凍ツールとはエッジケースの処理方法がわずかに異なると、ウイルスを解凍しないため、マルウェアを含むファイルを無害と見なす可能性があります。これはセキュリティ上の脆弱性です!
トークの一節で私の注意を引いたのは、zipが使用する圧縮アルゴリズム、DEFLATEに関する脱線でした。Kevanと私は、それを再実装するのは楽しい演習になるだろうと考え、数週間かけて数回のセッションでペアを組んで取り組みました。
DEFLATEは基本的にLZ77(一般化ランレングスエンコーディング)+ハフマン符号です。テキスト(実際には任意のバイトシーケンスですが、ここではテキストとして扱います)を2つの方法で圧縮します。(1) 同じシーケンスを後方参照で置き換える。例えば、「to be or not to be」は「to be or not (13, 5)」となり、括弧内の部分は「13バイト戻って、そこから5バイトコピーする」という意味です。(2) ハフマン符号化。これは、一般的なバイトに短いビットシーケンスを割り当て、まれなバイトに長いシーケンスを割り当てる方法です。例えば、「e」の01100101やベル文字の00000111の代わりに、「e」のような非常に一般的なものにはわずか4〜5ビットを使い、英語のテキストには決して現れないベル文字には16ビット(または表現なし)を使用するかもしれません。
私たちは仕様書(spec)から直接、Rustでデコンプレッサーを書きました。その言語を使うのは初めてでしたが、非常に良いと感じました。(ただし、データライフタイムのルールの一部は理解するのを諦めました。)ほとんどの場合、Cに求めていたもののように感じられました。それでも、ビットパッキングに伴う概念的な難しさを排除するものではありませんでした。デバッグ中に、期待するビットシーケンスを書き出して、取得したものと比較するために停止する必要が頻繁にありました。このプロジェクトほど、自分が真のハッカーだと感じさせてくれたものはありませんでした。
たくさんペアプロした
RCはペアプログラミング、つまり他の人と一緒に問題に取り組むことの価値を強調しています。私はRCの基準から見ても少し内向的ですが、それでもかなりの量のペアプロを行いました。KevanとのDEFLATEの実装はペアプロの最大の例でしたが、他にもいくつかのことを行いました。ZakiとTommyとは、比較的単純な問題に強力なツールを持ち込んで、SATソルバーを使って数独を解きました。Seyoungとはライフゲームを実装し、シェルカーソルを使って各世代で画面をきれいに再描画する方法(またはコマンドを間違えるとそうならない方法)を学びました。Williamとはマスターマインドゲームを実装しました。Billとは、Emacsでmagitの新しいビューを作成しようとしましたが、どちらもEmacs Lispで真剣なコードを書いた経験がほとんどなかったことを考えると、正直言って野心的すぎました。しかし、彼は私にDoom Emacsを試すように説得してくれ、楽しんでいます!
たくさんのミニプロジェクトをバイブコーディングした
RCに来るにあたっての私の目標は、皆が騒いでいる新しいLLMの仕組みを習得することでした。これは明らかにAgentic AdventuresやPractical Deep Learningへの参加の動機の一部ですが、ランダムなものをバイブコーディングして、自分が取り組めることの限界を押し広げようと多くの時間を費やしました。
そのうちの一つは、rcade用のリズムゲームでした。これは、LLMの機能を本当に活用した最初のプロジェクトで、10種類の異なるプロトタイプを作成させ、最も気に入ったものを選びました。
[画像: リズムゲームの曲のオープニング。]
Amandaと私は、エージェントに単独で任せられるタスクの大きさについて実験しました。その結果、学術論文(https://doi.org/10.1007/s00371-020-01920-7)に基づいた気候モデリングを実装したファンタジーマップジェネレーターができました。
[画像: 異なる色で気候帯を示す、地球のピクセル化されたマップ。]
エージェントを組み込んだゲームも実験しました。その一つで、エージェントに単語推測ゲーム「Just One」をプレイさせました:
[画像: 複数のClaude Sonnetインスタンスが単語「crocodile」へのヒントを出そうとしている。]
ゲームの目標は、他のプレイヤーと同じヒントを与えずに秘密の単語へのヒントを与えることです。温度が1でも、プレイしているエージェントがすべて同じヒントを出すことが驚くほど多かったのです。これを解決するために、それぞれに「個性」を与えました。これは実際には単なるトピックでした。例えば、一方のエージェントにはスポーツの文脈で考えるように指示し、そのヒントが「shell」に対して「defense」のようになるようにしました。一方、ヒッピーに指示されたエージェントは、星座の蟹座に対して「cancer」と言うかもしれません。
同様に、エージェントと対話することが主なゲームプレイメカニズムとなる外交ゲームを構築しようとしました。残念ながら、主な教訓は、「プレイヤーが望むものを与えるまで助けるのを保留する」ようにエージェントに指示すると、非常に堅苦しく敵対的なキャラクターになってしまうということでした。キャラクター構築とプロンプトの秘密があったかもしれませんが、それを見つけることはできませんでした。
これらはどちらもブラウザゲームであり、人々が試すときに自分のトークンを消費したくなかったので、人々が自分のアクセスキーや自分のGPU(WebLLM経由)を使用できるようにするコンポーネントをバイブコーディングしました。これにより、それらを共有できるようになりました!
古典的なヤク剃りの罠に陥るリスクを冒して、アクティブなバイブコーディングセッションをリストするためのEmacsモードを作成しました:
[画像: 現在のセッションの一部を表示。]
同様に、Claudeにこのサイトの多くの改善を構築させ、皆さんのためにこの記事を書けるように設定しました。
夏の後半には、自分が慣れていないドメインでこれらのツールを使用して、自分のスキルセットでは答えられないかもしれない質問に答えることに興味を持ちました。異なる言語の単語間にどのくらいの重なりがあるのか疑問に思い、2つの言語で同じ(または非常に似た)発音を持つ単語のシーケンスを見つけるためのツリー検索をバイブコーディングしました。これは、発音体系が似ている言語(PHOIBLEによると、音素構成が似ているインドネシア語とペルシャ語を使用しました)でさえ非常に難しいことが判明しましたが、非常に平凡な詩を完成させ、こちらで見ることができます。
そこで学んだことを基に、新しい人工言語をバイブコーディングしようとしました。これは、コンラング批評家のEsperantoに関するビデオに触発されたものでした。Esperantoは、国際補助言語として望むほど単純ではなく、特に語彙はヨーロッパ中心主義的です。ザメンホフは、彼が最初のものの一つを作っていたので、それについては責められるべきではありませんが、それでも、インターネット上のすべての情報が利用可能になった今、私たちはもっとうまくやれるのではないかと思いました。
これについてはいつか完全な投稿を書く必要があるかもしれませんが(新しい仕事に就いた場合、それを見ることはおそらく不可能でしょう)、ここでは要点を述べます。まず、PHOIBLEのデータを使用して、言語間で一般的な音のセットをまとめました。これには、さまざまな母語を持つ人々が単語を発音可能で区別可能であることを保証するための推奨される同音異音が含まれていました。次に、実際の言語学者が自然言語の文法を記述する際に使用するガイド(Bernard ComrieとNorval SmithによるLingua Descriptive Studies questionnaire)にゆるく従いながら、文法を段階的に構築しました。そこで一つのクールなトリックは、既存のクレオール言語、特にAPiCS(Pidgin and Creole Language StructuresのAtlas)に記述されているピジン言語の証拠に基づいて決定を下したことです。これらの言語は、異なる文法システムに慣れていた人々が協力しなければならなかったときに、実際に収束したことの良いガイドとなりました。そのため、世界中の多くの人々がそれを直感的、あるいは少なくとも理解可能だと感じる可能性が高かったのです。(ボーナス豆知識 - これを行うと、自然と中国語やベトナム語のような、文法情報を伝えるために屈折ではなく機能語を使用する分析言語のような文法になります。)最後に、さまざまな世界の言語の辞書のコレクションから語彙を構築しました。国際的な規範(すでに多くの言語に借用されている単語)から来た語根は、単に借用され、転写されました。(例:「phonology」や「coffee」のような単語は「fonologia」や「kafe」になりました。)他の単語については、広く認識されている単語(広く話されている言語、例えば英語や中国語を優先する)と、ヨーロッパ中心主義を避けるために多くの異なる言語ファミリーを代表する単語の両方を選択するオプティマイザーを作成しました。完全な開示ですが、この部分は実際にはうまくいかず、プレゼンテーション用のサンプルスクリプトを入手するためにClaudeに十分な偽装をさせました。もし完全な投稿を作成することになったら、それを修正することが最初のステップになります。
夏の終わりに、これらのプロジェクトについて講演を行いました。そのスライドはこちらにあります。スライドはもちろんClaudeによって作成されました。
少しブログを書いた?
書くことよりも実行することに興味がありましたが、私が書いたわずかなものはブログインデックスで見ることができます。そして、内部公開のチェックインシリーズを続けました。それがこの記事を書くための参照元です。もしRCに行くなら、たとえその時は面倒でも、チェックインを最後までやり遂げることを強くお勧めします!
いろいろ遊んだ
RCには、試すことができる楽しいランダムなツールやものがたくさんあります。例えば、友人の36歳と私の38歳の誕生日プレゼントに、初めて3Dプリントでキャンドルホルダーを作りました:
[画像: キャンドルホルダーのいくつかのビュー。異なる角度から見ると異なる数字が表示される様子を示しています。]
ハブ(ブルックリンにあるRCの物理的なスペース)には、私たちがいじり回すのが好きなHP 7440Aペンプロッターもあります。有名な囲碁のゲームのスナップショットを描き、Jessと協力してヒルベルト曲線を生成するプログラムを書きました:
[画像: 壊れた梯子ゲームのスナップショットとヒルベルト曲線。ペンプロッターで印刷されています。]
毎週ボードゲームナイトがあり、Danと私は囲碁のティーチングセッションをいくつかリードし、Gowanus Goクラブを訪れる旅行もしました。
他の人のプロジェクトに感嘆した
RCの誰もが独自のクールなプロジェクトを進めており、その喜びの一部は彼らが何に取り組んでいるかを見ることです。このセクションは短くしたいので、クールな写真が付いているプロジェクトのほんの一部をリストします:
Teresaは、皮膚温度などの生体認証に基づいて写真にクールなオーラを与えるフォトスタジオセットアップを作成しました:
[画像: この「unc」はオーラを持っている。]
ペンプロッターで作られたクールな描画がたくさんありました:
[画像: ペンプロッターの壁の写真。]
Jagiは、周囲のノイズに基づいてパターンを反応させて変更する、素晴らしいアクティブな装飾を作成しました。
[画像: JagiのLEDホイール。]
Sarahたちは、古いeインクスクリーンから「nintonio game mother」を作成しました:
[画像: ポケモンをプレイしている「nintonio game mother」。]
Tonyはレシートプリンターを使用してエクスクルージョン・コープスゲームを作成しました。
[動画]
他のリカーサーがRCadeキャビネットで構築したゲームをプレイできました:
[画像: RCade。]
「リターン・ステートメント」を書いた
RCの卒業生は、「リターン・ステートメント」、つまりRCでの時間を振り返る短い声明を書くことが奨励されています。この記事がそれです!
もし興味を持ったなら、将来のバッチに応募することを検討してください!