あなた自身に花を咲かせよう
Build Yourself Flowers (vickiboykis.com)
要約
この記事は、著者が2026年4月に開催されたApplied Machine Learning Conferenceで行った基調講演の編集された記録です。著者は、急速に進化するAI業界で機械学習エンジニアリングの価値と意義を問い直し、いかに自身の「コンテキストウィンドウ」を構築・維持するかが重要であるかを論じています。オランダ黄金時代の花を描いた画家レイチェル・ルイスを例に挙げながら、現代のLLMによるコード生成の時代において、熟練した技術と深い理解の重要性を強調しています。
全文翻訳
自分で花を咲かせる
これは、2026年4月にバージニア州シャーロッツビルで開催されたApplied Machine Learning Conferenceで私が発表した基調講演の編集版です。
この講演のドラフトを最初に手書きで作成しました。この作業に2ヶ月かかりました。
次に、MacWhisperを使って講演バージョンを録音し、ローカルでWhisperで文字起こししました。この作業に45分(練習走行の合計時間)かかりました。
その後、Piで実行されているGemini Flash 2.5にかけ、段落に分割しました。また、Google Slidesから生成したPDFのスライドデッキを、ブログ投稿に挿入するための個々の画像に分割し、ブログレンダリング用にwebp形式に最適化するようにGeminiに依頼しました。この作業に約10分かかりました。
次に、テキストを段落ごとに手動で確認し、修正、冗長な表現やポーズの削除、そして話よりも読みやすくするための明確化を追加しました。この作業に3時間かかりました。
そのすべてを行う前に、この講演のコンテンツを生成しました。この作業に13年かかりました。
私はヴィッキーです。機械学習システムを構築しています。
自己紹介をどうするか、長い間悩みました。データサイエンティストでしょうか?まだ機械学習エンジニアでしょうか?今はAIエンジニアでしょうか?よくわかりません。業界で過去6ヶ月ほどの多くの人がそうであるように、私も実存的な不安を抱えていると思います。ですから、「機械学習システムを構築しています」と答えることにします。
Tumblr、Automattic、Duo、Mozilla.aiでシステムを構築し、壊してきました。現在は、Malachyteでリアルタイムのパーソナライゼーションおよび検索システムを構築しています。
インターネットのあらゆる場所で、LLMを機械学習ワークフローにどのように組み込むべきかについて、多くの異なる議論が交わされてきました。そして私に浮かんだ疑問は、もし私たちがやっていることがすべて生成AIであるなら、従来の機械学習はどこに位置するのか?私たちはまだ機械学習をやっているのだろうか?ですから、私の実存的苦悩の根底にあるより大きな問いは、今日の業界としての機械学習エンジニアリングの状態はどうなっているのか?つまり、機械学習エンジニアリングをすることに、まだ価値はあるのか?ということです。
そして、私に浮かんだ2つ目の疑問は、MLをすることにまだ価値があるだけでなく、LLMが多くのコードを生成する時代において、迅速に出荷し、プロトタイプに素早く到達することが最も重要であるとき、機械学習をうまく行うことにまだ価値はあるのか?ということです。
ですから、45分で私の実存的危機をすべて決定的に解決できることを願っていますが、それまでは、一歩立ち止まって花について話したいと思います。
2024年、PyData Amsterdamの素晴らしい方々が、私に基調講演を依頼してくれました。私はそれを「コンテキストウィンドウを構築し、維持する」と名付けました。ChatGPTはまだ比較的新しく、当時から約1年半しか経っていませんでしたが、誰もがパニックになっていました。私は、ソフトウェアツールや概念の歴史的な理解である、自分自身のコンテキストウィンドウを構築し、維持することの重要性について話しました。これにより、新しいツールを使用し、既存のソフトウェアエンジニアリングの文脈でそれらがどのように適合するかを理解できるようになります。
私が使用したアナロジーは、ChatGPTのUIでした。当時、誰もがテキストインターフェースを使用していました。そこにはサイドバーと大きなテキストボックスがあります。すべてのチャットセッションはサイドバーに表示され、セッションにはタイトルが付いています。私はそれをコンテキストウィンドウの一部として話しました。
コンテキストウィンドウとは、モデルが任意の時点で記憶できるテキストの量であり、トークンで測定されます。入力テキストがコンテキストウィンドウを超えると、モデルは会話の流れを失い、それ以上首尾一貫した応答ができなくなります。応答におけるコンテキストウィンドウを決定するのは、Transformerモデルのアテンションメカニズムです。そして、アテンションメカニズムは実際にはキャッシュであり、キャッシュは実際にはハッシュマップです。したがって、これら4つのすべてと、それらが概念としてどのように連鎖的に現れるかを理解すれば、LLMの出現にそれほど驚かないかもしれません。
この講演を行う前に、アムステルダムで数日間過ごすことができました(9月のオランダで唯一の晴れた2日間だったと聞きました)。特に、オランダの国立美術館であるアムステルステルダム国立美術館を訪れました。
それは途方もなく広大で美しい場所です。数日かけても足りないほどです。しかし、私には数時間しかありませんでしたので、もちろん、レンブラントの代表作である『夜警』を見に行きました。それを見に行ったとき、それは大きなプラスチックの窓で覆われており、その周りには機械が設置されていました。私は「これは何だろう?なぜ絵画を遮っているのだろう?」と思いました。
後でPyData Amsterdamに行ったとき、国立美術館で働いていたRobert Erdmannが、深層学習ベースのインク除去、特に3Dイメージング、ピクセル検出、高解像度写真を使用して、美術館の芸術作品でこれまで誰も見ることができなかった詳細を発見する方法について、素晴らしい講演を行いました。
例えば、『夜警』については、彼らは多くの解像度で何度も撮影できるように、この装置一式を設置しました。その結果、左側の人物のように、アーティストであるレンブラント自身がカメオとして描かれていると考えられている高解像度の写真を得ることができました。さらに、さらにズームインすると、彼の目の中に小さな白いスライスが見えます。
そして問題は、どのようにすれば、ほんの少しの白い点でも、それを見た人には目の虹彩としてレンダリングされると知ることができるほど十分に上手くなれるのか?ということです。そして、それらは、彼がこの写真のおかげで探求できるようになった、熟練の謎をめぐるそのような種類の質問です。
レイチェル・ルイシュ
国立美術館に展示されている絵画の作者の一人に、オランダ黄金時代の代表的な花の画家であるレイチェル・ルイシュがいます。私が本当に話したいのは彼女のことです。オランダ黄金時代の代表的な画家であることは、大きな功績でした。そして、彼女がどのように仕事をしたのかをさらに理解したいと思っています。なぜなら、LLMによるコード生成が盛んなこのクレイジーな時代を乗り切るためのガイドとして、彼女を利用できるかもしれないからです。
では、彼女は誰だったのでしょうか?レイチェルはアムステルダムに住んでおり、彼女がしたことは花の絵を描くことだけでした。15歳から80歳を過ぎるまで、あらゆる形や大きさの、たくさんの、たくさんの異なる花の構図を描きました。
少し立ち止まって、オランダ黄金時代について考えてみましょう。この創造の時代を可能にしたものは何でしょうか?1500年代後半、オランダはスペイン政府からの独立を勝ち取りました。政治的安定に続いて経済的安定とオランダ帝国の台頭がありました。オランダの生活が著しく楽になり、より多くの人々が成長する中間層に加わるにつれて、彼らは芸術を購入したいと思うようになりました。それに応じて、芸術はオランダの国民的性格の重要な側面と見なされるようになり、かつては主に宗教的なテーマであった芸術は世俗的になりました。人々は実生活、科学、自然の場面を描き始めました。これらすべてが何百万もの絵画を生み出し、その多くは科学的または日常生活を描いたものでした。
人々が見たかったのは、正確で、身の回りで起こっていることに忠実な、地元の風景や科学的発見を描いた日常生活の絵でした。宗教や死といったテーマも、異なる方法で伝えられました。
例えば、酒場でタバコを吸ってバックギャモンをしている紳士たちの絵が見たかったのです。冬にスケートをしている人々の絵が見たかったのです。
家の中で、女主人( mistress )が寝ている間に騒いでいる人々の絵が見たかったのです。
そして、これらの絵画すべてを見ると、あることが伝わってくるのがわかります。それは、色が地に足がついていることです。非常にノーマル(normcore)です。
人々が求めたもう一つのことは、たくさんの異なる花の絵、何百、何千もの花の絵でした。
オランダ黄金時代に制作されたと思われる500万から1000万点の絵画のうち、数千点が花でした。なぜ花なのでしょうか?人々は、長いオランダの冬でも枯れない、そして家の主人がどれほど世俗的で興味深い人物であるかを示す、自宅に飾る花を求めていました。特にエキゾチックで珍しい花(有名なオランダのチューリップマニアのチューリップなど)は珍重され、花の画家たちはこのトレンドに応えようとしました。非常に有名なオランダの花の画家が何人もおり、何百、何千もの画家が、すべて花を制作し、それに焦点を当てていました。画家にとって、花を正確かつ写実的に描くことは、熟練の重要な試金石でした。
そしてレイチェル・ルイシュは、人々がこれを要求する時代にそのスキルを身につけました。そして彼女は本当にそれに長けていました。そこで私が抱いた疑問は、もしこれほど多くの人々が花を描いているなら、なぜ良い花を描くことが重要なのでしょうか?なぜ目立ちたいのでしょうか?
そして、コードを書くことが容易で速い世界で、技術的な卓越性はなぜ依然として重要なのか、という同じ疑問です。
これを調べているうちに、NASAのレポートに出くわしました。
最近、アルテミスIIミッションと月周回軌道への飛行、そしてその栄光ある帰還により、NASAが私の念頭にありました。宇宙飛行は非常に困難で、信じられないほどエラーが発生しやすいため、NASAは品質向上のために常にループを回しています。なぜなら、NASAの宇宙飛行士であることはすでに非常に危険だからです。アルテミス計画のクルーは、死ぬ確率が30分の1であることを知っていたとどこかで目にしました。
しかし、NASAは常にリスクを検討しており、2012年に調査を実施し、物事が失敗したときに何が起こるかについてのレポートを発表しました。なぜ失敗するのか?そして彼らはこれらの5つの問題点を特定しました。そして、私に最も響いたのは最初の問題、エンジニアリングの卓越性を洞察と監視に移すことでした。
NASAは、エンジニアリングの多くを下請け業者に委託していた時期がありました。そして起こったのは、実際の経験に基づいた設計とシステム設計を理解していたエンジニアが去ってしまったことでした。その結果生じたシフトは、独立した分析、テスト、およびシステムの理解を排除しました。そしてこれがエンジニアリング品質の低下につながりました。
そして、もしそれが聞き覚えがあるように聞こえるなら、それは、エンジニア、データサイエンティスト、機械学習エンジニアとしての私たちの仕事をすべてAIにアウトソースした場合に起こることのアナロジーが非常に容易だからです。
したがって、業界で技術的な卓越性を追求することは、エンジニアリング、製品、およびコストの問題から私たちを救います。品質は重要です。
2つ目の理由は、ソフトウェアエンジニアリングは絵画と同じようにクラフト(技術・芸術)であるということです。
そして、絵画が上手くなるには時間がかかります。小さな白い虹彩をどこに置けばよいかを理解するには時間がかかります。花の絵が上手くなるには時間がかかります。したがって、品質に到達するには時間がかかることを理解することが重要です。
そして最後に、技術的な卓越性が重要なのは、熟練を目指すことが人間であることの意味そのものだからです。
私たちは人々が物事をうまくこなすのを見るのが好きです。私たちは有能な人々を高く評価します。私たちはシステムがうまく設計され、構築されているのが好きです。機能するシステムの一部であることは、私たちにとって良い気分です。インターネット上で広まっている一時的な考え方の一つに、LLMを見下したり、「愚かだ」と呼んだりすべきではないというものがあります。彼らが理解しているからではなく、彼らは単なるモデルだからですが、それは私たち人間にとって悪いからです。同じように、人間として良いものを追求することが重要です。
さて、良い花を咲かせたいなら、どうすれば良い花を咲かせることができるでしょうか?レイチェルを技術的に卓越させたものは何でしょうか?私たちが再現できるものは何でしょうか?
最初の理由は、彼女が芸術的な家庭にいたことです。彼女はアムステルダムの代表的な家庭の一つに育ち、叔父全員が画家でした。彼女の祖父は芸術に関わっていました。彼女の父は偉大な芸術家であり植物学者であるフレデリック・ルイシュでした。ここに彼が不気味な頭蓋骨と一緒に写っています。彼は多くの非常に不気味な死んだものを収集しており、そこで彼女は科学的な正確さ、防腐処理、花の保存などを学びました。
ここで彼女は規律も学びました。微細なディテールを捉える方法です。彼女は技術的なスキルと、植物園で花を集めて押し花にして、異なる季節の異なる構図を用意したことで知られており、一般的に秩序を重んじ、季節のブーケしか見慣れていなかったオランダ人を驚かせました。彼女の生涯で、彼女の絵はレンブラントの3倍の価格で売れました。
15歳のとき、彼女は当時アムステルダムの代表的な画家の一人であったウィレム・ファン・アエルストに弟子入りしました。当時、師匠が弟子を取り、弟子は師匠のもとに住み込み、筆を洗うことから始めて、絵を描くことまで進み、最終的に師匠が受け入れれば、弟子はそれ自体で師匠になることができるという伝統がありました。ですから、彼女は非常に大きな支援システムを持ち、師弟関係が非常に重要である文化に浸っていました。
第二に、彼女は生涯を通じて絵を描き続けました。彼女は植物学、科学に強い関心を持ち、彼女の芸術が自然の真の姿を反映するようにしました。彼女は60年以上かけてキャリアを磨き、10人の子供を産むことさえせずに、ペースを落とすことなく仕事をし続けました。彼女にとって、キャリアは天職でした。彼女は多くの異なる場所からインスピレーションを得て、同じことを何度も、しかし異なる方法で行いました。
そして最後に、彼女はリミックスし、実験しました。この特定の絵画の背景にはサボテンが見えます。アムステルダムでは、夏でも冬でもサボテンを手に入れるのは簡単ではありません。彼女はアムステルダムの植物学会とのつながりや、常に人々が出入りしていることを知っていたため、新世界からそれを手に入れました。彼女はエキゾチックな花を交換し、保存しました。また、花を乾燥させて異なる季節の花をリミックスしました。彼女は常にそれらを集めていました。彼女は常に自分の仕事のやり方を少しずつ変えていました。
では、これらすべてを踏まえて、私たちエンジニアはどうすればレイチェルのようになれるでしょうか?
Rijksearchの構築
私はこれらのすべてを考え、現在取り組んでいる具体的なサイドプロジェクトにこれらのアイデアをどのように応用できるかを見てみることにしました。そのサイドプロジェクトはセマンティック検索エンジンであるRijksearchです。
セマンティック検索エンジンは、キーワードではなく意図によって検索します。例えば、「チルな男」と入力すると、踊る犬を連れた男性の肖像画のような結果が返ってきます。これは非常に良い結果例だと思います。あるいは、「秘密のチャット」や「パイプを吸う男」など、最後のものは間違いなくチルな男です。つまり、意図で機能する検索エンジンです。
あるいは、「物思いにふける」と入力すると、書斎の哲学者、おそらくはそうではないが、ゴルファーがゴルフについて真剣に考え始めるのを望まない子供、しかし、まあ、これらの結果は悪くない!というようなものが返ってきます。
あるいは「花のパーティー」ですが、これは「花」のキーワードマッチングが「パーティー」のセマンティックマッチングよりも強かったため、あまりうまくいきませんでした。しかし、ここでセマンティック検索のチューニングというクラフトマンシップが活きてきます。
国立美術館自体が提供している素晴らしいツールがたくさんあり、それらを使って公開データで構築したり、Art Explorerのようなものを使用したりできます。
しかし、私は自分で構築することにしました。なぜなら、コンセプトをリミックスしたかったからです。レイチェルは弟子入りや、付き合った画家たちからリミックスする方法を学びました。私はTumblrでそれを学びました。そこでのリブログ機能は、ソーシャルウェブの初期の場所の一つであり、あなたが何かを投稿し、他の誰かがそれに乗っかるという機能を実現しました。
では、何をリミックスしようと考えていたのでしょうか?ああ、頭の中でたくさんのことが渦巻いていました。まず、過去数年間、私は埋め込み(embeddings)についてたくさん考えてきました。実際、今、埋め込みについて考えています。
検索やレコメンデーションでは、埋め込み(テキストや画像(または他のメディア)のベクトル表現)が非常に重要です。LLM自体の中でも埋め込みは重要です。なぜなら、位置埋め込みは、モデルをトレーニングする際にどの概念が互いに関連しているかを決定する方法だからです。私はそれらについて非常に長いテキストを書き、MLシステムにおけるそれらの位置を調べた「埋め込みとは何か?」と題されたものを書きました。そして、それらが私たちのワークフローの文脈にどのように適合するかを理解するのに多くの時間を費やしました。
第二に、私はしばらくの間Redisも使ってきました。それは世界で私のお気に入りのソフトウェアの一つです。なぜなら、それはただ機能するからです。非常にクリーンに設計されています。非常に高速です。非常に信頼性があります。非常にエレガントにまとめられています。ですから、私は以前にもRedisを検索に使ったことがあり、再び使えるかどうか試したかったのです。当時、約1年前、Redisの最初の開発者であるSalvatore Sanfilippo(antirez)が再びRedisの開発に取り組み、vector setsという新しいデータ構造を作成しました。
Redisのvector setsは、スコアによってソートされた一意で重複しない文字列のコレクションであるソート済みセット(sorted sets)と非常によく似ています。vector setsの場合、文字列要素はベクトルに関連付けられています。埋め込みを扱っている人なら誰でも、これは非常に高速で効率的なベクトル操作の多くの可能性を解き放ちます。そして、それらはHNSW(人気があり効率的な近似最近傍探索アルゴリズム)を使用したベクトル類似性検索を可能にします。
第三に、私はAtProtoもいじってきました。これは過去数年で人気となったソーシャルネットワークBlueskyを支えるプロトコルです。Blueskyのコードベースの多くがオープンであることがわかり、調べてみると、Blueskyのサービスの多くがGoで書かれていることがわかりました(TypeScriptでも書かれていますが、私は自分自身をスコープしました)。
第四に、私は以前Python(そして残念ながらJavaやScala)で仕事をしてきましたが、高並行性とスループットのために設計され、Javaの後継となる言語を探求することに興味がありました。私はatprotoでいくつかのプロジェクトを行い、Goでコンテンツのフィードを作成し、他に何ができるかを見てみたいと思いました。
もちろん、私の頭の中で渦巻いていた他のすべてのことはLLMでした。
それについて聞かないのは不可能です。ニュースを遮断できればいいのですが、日常生活で非常に大きな邪魔になるからです。私がLLMに特に興味を持っているのは、小さくローカルなモデルの力です。たとえば、llama.cppが登場し、モデルを直接使用できるようになり、LM StudioのようなアプリでGGUFアーティファクトを提供できるようになると、それに興味を持つようになりました。
また、ホストされた埋め込みAPIにも興味を持つようになりました。なぜなら、それ以前は、自分でトレーニングするか、事前トレーニングされたモデルを自分でホストする必要があるホストモデルで作業していたからです。そして、OpenAIはそれらをAPIエンドポイントとして利用可能にし、Geminiは新しいマルチモーダル埋め込みモデルの提供を開始したため、それらに興味を持つようになりました。
そして最後に、人文科学です。私のプロジェクトの多くは、部分的に人文科学を中心に展開しています。私が書くことの多くは、何らかの形で人文科学に戻ってきます。なぜなら、技術だけを見て、良い製品を開発することのバランスの取れた見方を持つことはできないと思うからです。そして、私は芸術が好きです。ですから、私は常に芸術を見たり使ったりすることに前向きです。
同じことを何度も繰り返して構築する
これらのすべてが約1年間私の心の中で熟成し、その結果、ある時点で、セマンティック検索エンジンであるViberaryを再実装したいと気づきました。
検索エンジンに関する簡単な注釈。それらはいくつかの異なる形式で提供されます。キーワード検索があります。これは、Appleと入力すると、Appleの品種の結果が返ってくるようなものです。そしてセマンティック検索があります。これは、Appleと入力すると、iPhone、そして探しているものによってはAndroidの結果も返ってくるようなものです。だからこそ、「チルな男」というクエリが機能するのです。
セマンティック検索を実装する方法はたくさんあります。私が以前実装した方法の一つは、Viberaryでした。
Viberaryは、Goodreadsのテキストのみの書籍とそのレビューに基づいた2023年のサイドプロジェクトでした。アイデアは、SF、面白いSF、あるいはムーディーなドラマのようなフレーズを入力すると、書籍自体ではなく、雰囲気(vibe)に基づいて推奨される書籍のリストが返ってくるというものでした。これは私が常に望んでいたことです。
私は常に特定のタイトルに気分が合うわけではありませんが、特定の種類の本に気分が合うことがあります。そして、この「感情を伴う面白いSFスペース」という結果の一つにアシモフが返ってきます。まあ、確かに、少しは合っているかもしれません。そして村上春樹も、まあ、少しは意味が通るかもしれません?だから、これらの雰囲気は合っています。
これを可能にするのは、テキストや画像だけを比較しているわけではないということです。それらを埋め込み空間に投影し、それらから密なベクトルを作成し、ベクトル(数値表現)を比較します。
その方法で、「犬」と「鳥」と「飛ぶ」を比較し、「鳥」と「飛ぶ」が意味的に類似しているため、互いに近いことがわかります。そして、これは本質的に、トランスフォーマーのアテンションメカニズムがはるかに、はるかに、はるかに大きなスケールで機能する方法でもあります。
以前は、人々は自分の埋め込みを学習またはファインチューニングすることしかできませんでしたが、今では多くの主要なAIプロバイダーが独自のホスト済み埋め込みセットを持っています。例えば、Googleは最近Gemini用の埋め込みをリリースしました。APIバージョンとローカルバージョンの両方が利用可能です。
2つのタワーアーキテクチャ
セマンティック検索の構築には、検索とレコメンデーションの両方で非常に一般的なパラダイムである2つのタワーモデルの実装が含まれます。これは私が繰り返し利用してきたものです。2つのタワーアーキテクチャとセマンティック検索は、私にとってレイチェルにとっての花のようなものです。
2つのタワーモデルを作成するには、一般的に3つのステップがあります。
- アイテムを一度、バッチで埋め込む。
- 推論時にクエリをリアルタイムで埋め込む。
- それらの間の距離を比較する。
したがって、「チルな男」を検索すると、そのフレーズの埋め込みが生成され、次に類似性計算(通常はコサイン類似性またはドット積を使用しますが、他の距離尺度もあります)を行い、「この埋め込みは埋め込みに最も類似しています」と示し、ここで示すように結果を表示します。
しかし、このプロセスでは、データの制約と作業しているエンジニアリングスペースを見始めるまで明らかにならない多くの決定があります。
これは非常にシンプルな構造ですが、大規模で粗いデータセットに対する高速なインデックス作成と高速な検索を可能にするため、非常にエレガントです。レコメンデーションや検索のために情報検索を行う場合、私たちの目標は、数千万のアイテム、インターネット全体、国立美術館のような80万点の絵画のカタログ全体から、カルーセルや画面、結果リストで見ることができる数十点に絞り込むことです。
2つのタワーは、カタログ全体の埋め込みを事前に計算し、近似最近傍検索を使用してそれらを高速にフィルタリングすることを可能にする方法です。これは、このグループのアイテムには近いが、あのグループのアイテムには近くない、ということを言う高速なアルゴリズムです。
これにより、数千万から数万または数百への最初のパスを実行できます。その後、より高価なモデルを使用して小さな結果セットをランク付けし、それらの最後の、より小さな結果セットをユーザーにどのように提示するかを真剣に検討できます。
多くの大企業は、さまざまな製品サーフェス向けの検索およびレコメンデーションデータソースを作成するために、このアーキテクチャを拡張しています。
例をいくつか示します。例えば、左側はYouTubeのレコメンデーションシステムで、推薦できる数百万の動画を数百に絞り込み、実際に表示される動画をランク付けします。
カスタムトレーニングされたモデルの入力機能には、「以前に視聴した動画」と「検索した動画」、「地理情報」、そしてあなたに関するメタデータが含まれます。クエリは対象の動画です。そして、モデルの類似性検索は、これらのすべての入力データに基づいて、その動画への候補リストを生成します。
Facebook Searchも埋め込みを使用しています。検索テキストと、地理情報や言語などのクエリコンテキストが含まれます。ドキュメント側には、Facebookの名前やページタイトル、そして他の人々との関係のようなグラフから派生したシグナルが含まれます。
このように、これらのシステムには多くのバリエーションが本番環境で稼働しています。Rijksearchでは、具体的にどのように見えるでしょうか?フロントエンドから「happy flowers」という入力クエリが来ます。埋め込みはGemini APIからのものです。そして、すでに事前に埋め込まれたすべてのドキュメントメタデータがあります。インデックス作成アプリはGoで書かれており、Redisのvector setsに書き込みます。サービングWebアプリは純粋なGoで書かれています。Redisはdocker-composeですべてが提供されるWebアプリに接続するdockerコンテナとして提供されます。
これは特に独創的なアイデアではありません。現在、多くのセマンティック画像/雰囲気検索エンジンが存在します。しかし、これは私が個人的に行いたかったものであり、国立美術館とのつながりを築き、彼らが寛大に公開しているデータの量が、作業を楽しくしてくれたからです。
Rijksearchのデータ取得
ここで見落としていることに気づくかもしれませんが、データに携わったことがある人なら、実際のソースデータです。この画像データをどこから取得するのでしょうか?どうやって収集するのでしょうか?そして、それはそれ自体が難しい問題であり、後で話します。
しかし、さて、これをどうやって構築するのでしょうか?すでにViberaryやこのシステムの他のバージョンを以前に構築したことがあると仮定して。私が考えた方法は、すべての企業には約3つのイノベーショントークンがあるということです。これは、Dan McKinleyによる素晴らしく、しばしば引用されるブログ記事からのものです。そこでは、すべての企業にはこれらのトークンの3つがあると言われています。
それらをどのように使うかは自由ですが、その後、供給は固定されます。これは、仕事上のプロジェクトでもサイドプロジェクトでも、あらゆるプロジェクトに当てはまります。特定のプロジェクトについて、イノベーショントークンをどのように考えるかというと、いくつかの次元で新しいことを試すことができます。
- ドメインエリア
- 言語スタック
- アプリアーキテクチャ
- 展開方法/場所
もし、できない、またはやり方を知らない3つの新しいことを行うと、製品で行き詰まるだけです。では、どこにイノベーショントークンを使うべきでしょうか?
私たちは、成長を助けるものにそれらを使うべきです。なぜなら、人間は熟練に到達したいからです。ですから、熟練に到達するのを助けるものにそれらを使うべきです。
ViberaryとRijksearchの同じステップを見てみると、私がどのように違うことを実装したかがわかります。いくつかのステップがあります。まず、データを収集する必要があります。次に、どの埋め込みモデルを使用したいか、どのように埋め込みたいかを考える必要があります。次に、埋め込みをインデックス化する必要があります。これは重要なステップです。そして、埋め込みを提供し、Webサーバーを作成して、実際にフロントエンドを立ち上げ、結果を返す必要があります。
私が最初にViberaryを作成したときは、Goodreadsのテキストのみのデータ、ローカルホストの埋め込みモデルアーティファクト、Redisの検索からのFT.SEARCHを使用したインデックス作成、そしてPythonのFlaskでアプリを提供しました。
以前、イノベーショントークンを3つ使用したと嘘をつきました。ここでは少しごまかして4つ使いました。
Rijksearchのデータについては、テキストと画像の埋め込みを作成したかったので、マルチモーダルなテキストと画像データを使用しました。これにより、データの処理がより複雑になりました。なぜなら、特定のテキストメタデータを画像のリンクに関連付ける必要があり、画像も効率的に処理して、迅速かつ非破壊的にダウンロードできるようにする必要があったからです。
実際の埋め込み推論については、ホストモデルからAPIに変更しました。これはいくつかの点で簡単でしたが、コストとレイテンシの考慮が必要になりました。さらに、テキストと画像の処理は、テキストと画像の集約を一緒に考える必要があるため、より複雑になりました。
インデックス作成については、vector setsに切り替えましたが、vector setsは検索インデックスの構築を必要とせず、ネイティブな構造であるためです。これにより、フィールドを更新する必要がないため容易になりますが、vector setsは検索インデックスのようにメタデータの更新をサポートしていないため(JSONはVSETATTRを通じて追加できますが)、トレードオフがあります。
提供については、FlaskからGoに変更しました。これはかなり大きな変更でした。なぜなら、新しい言語でWeb開発をやり直す必要があったからです。GoはWeb開発のための多くのツールを標準で備えており、並行処理やWebデータの処理もサポートしています。これはおそらく、私が克服するのに最も時間がかかったイノベーショントークンでした。
そして興味深いことに、このプロセス全体を通して、AIがどのように役立ったかのステップも追跡しました。黄色い部分は、AIを含めたか、AIの支援を受けた部分です。
私は自分自身をかなりノーマルなAIユーザーだと考えています。通常、市場に出るまで数ヶ月待ってから試します。もし何か6ヶ月市場に出ていて、それが持続しているなら、それを維持するのが理にかなっているでしょう。そして2023年には、私のロゴの一部を生成するためにMidJourney、質問に答えるためにChatGPT、そしていくつかのオープンモデルが市場に出ていました。当時Mistralは良いオープンモデルを作成しており、私はllama-cpp-python経由でローカルで使用していましたが、要約とタグ付け以上の限定的な結果しか得られませんでした。
Rijksearchを行ったとき、AIのいくつかの新しいユースケースを見つけました。例えば、ClaudeやローカルのGPT-OSS 20Bを使用して、国立美術館からのデータ収集のパラダイムを理解したり、いくつかのクイックデータ分析スクリプトを作成したりするのを助けてもらいました。埋め込みにはGemini APIを、どの埋め込みを使用するかを決定するためにPerplexityを使用しました。そして、フロントエンドコードの一部を生成するためにClaude Codeを、Goについて学ぶためにQwen Coder、GPT-OSS、Perplexityを使用しました。
データセンス
Rijksearchの場合、データ収集もアプリの足場作り以上に大変な作業でした。しかし、MLおよびデータ専門家として、ここで役立つのは、レイチェルを助けたのと同じものです。彼女は家族からの助けと指導を受けました。データ実践者として、私たちが長年この分野で活動し、データ集約的な環境に囲まれていることから得られるのは、データセンスです。私たちは長年、データの収集という過酷な現場にいました。私たちは痛みを理解しています。NaNや、LLMによって生成されるような非決定的なデータフローの抜け穴を理解しています。「データを見る」ことが何を意味するかを理解しています。
そして、これはGoの作成者の一人であるRob Pikeが言ったことです。Rob Pikeのルールです。もし適切なデータ構造を選択し、物事をうまく整理していれば、アルゴリズムはほとんどの場合、データを中心に自己明示的になります。アルゴリズムではなく、データ構造がプログラミングの本質です。そして、これは私にとって非常に重要でした。なぜなら、画像とテキスト間の適切な類似性マッチングは、両方にとって良いデータを必要とするからです。
幸いなことに、国立美術館には大量のデータがあり、すべてオープンで一般に公開されています。それは素晴らしいリソースです。
彼らは80万点のオブジェクトのメタデータと高解像度の写真を持っています。しかし、このデータで作業する上で私にとって新しいことは、彼らがアーティファクトを提供するデータ形式であるOAI-PMHを扱うことでした。それはAPIを通じて利用可能ですが、APIは私が一般的に見てきたものとは大きく異なります。OAI-PMHはHTTP上のXMLベースのプロトコルであり、私が扱ってきたほとんどのJSONベースのREST APIとは異なります。
LLMはここでかなりの助けとなりました。なぜなら、例えば、ListSetレコードが必要であることを理解する必要があったからです。そして、これはオープンデータだったので、APIの結果を簡単にたどり、そのデータセットに何が含まれているかを理解することができました。
そして、理解すべきデータがたくさんあることがわかりました。
まず、レコードファイルから必要なすべての絵画をプルしました。データは複数のコレクションにまたがって保存されているため、「国立美術館の17世紀オランダ絵画」コレクションを選択しました。なぜなら、そのコレクションには最も視覚的に印象的な絵画があったからです。そこから、各エントリを抽出し、短いスニペットだけでなく、完全なメタデータ(タイトル、アーティスト、日付、媒体など)を保持するようにしました。これにより、プロジェクトの残りの部分で作業するための、クリーンで完全なリストが得られました。
このデータをアプリにどのように収集するのでしょうか?ここでGoが非常に役立ちます。Goの構造体(structs)は、Pydanticモデルのように型付けされたコレクションフィールドであり、これをうまく行うことができます。XMLスニペットがある場合、LLMを実行して結果を取得するか、XML to Goのようなサイトを使用できます。コード生成は不要です。しかし、もちろん、Goは型が非常に強いため、LLMはGoで非常にうまく機能します。
すべてのデータを正しい形式に整形するにはかなりの時間がかかります。XMLとして収集してから、Redisにディスクに書き込むまでです。
そして、楽しい部分が始まります。これらのレコードを収集し始めると、すべてのデータが正しくラベル付けされているわけではないことに気づきます。これはどのデータセットにも当てはまることですが、特にここでは、このデータが長年にわたり、多くの異なる言語で、歴史的なコレクションを通じて収集されてきたため、そして私たちの中で、タイトルの言語が間違っていたり、データに重複があったりした経験がない人がいるでしょうか?ここでデータセンスと、実際にデータを見て、それに触れることが役立ちます。
埋め込みモデルの選択
データの2番目の部分は、埋め込みモデルの選択です。Viberaryでは、MiniLMを使用しました。なぜなら、小さく、速く、標準的だったからです。現在では、APIとしてホストされているより大きなモデルがあります。一般的に、ユースケースによっては、ドメイン固有のモデルを使用したり、ファインチューニングしたりすることが理にかなっている場合があります。しかし、サイドプロジェクトでは、一般的なモデルで十分でした。
埋め込みモデルを選択する際には、推論コスト、ストレージコスト、新しいアカウントの設定オーバーヘッドなど、考慮すべき多くの要因があります。私にとって、マルチモーダル性(モデルが画像とテキストの両方でトレーニングされているかどうか)も重要でした。なぜなら、それは検索に関連してくるからです。
選択肢を絞り込むために、Perplexityを使用して比較グリッドを生成し、情報を検証しました。Perplexityの良い点は、情報源を引用しているため、クリックしてモデルが幻覚を見ていないことを確認できることです。
そして、価格とストレージコストに基づいて3つの選択肢に絞り込みました。興味深かったのは、私をブロック解除したのは、すでにGoogleアカウントを持っていてGoogle AIにアクセスできたことでした。そして、CohereやMongoについて良い話を聞いていましたが、それらよりも簡単にアカウントキーを使用し、設定することができました。
そして、使用したいベクトルインデックスを選択する必要があります。インデックスは、関連アイテムをすばやく見つけるのに役立つデータ構造です。
Vector setsは、HNSWをデフォルトで実装しています。これにより、アプリケーションは検索時に非常に高速になります。これは私が気にかけていることです。バッチインデックス作成にどれくらいの時間がかかるかについては、それほど気にしませんでした。なぜなら、最終的にインデックス化する必要があったのは約2,000点の絵画だけだったからです。もし大量の選択肢があった場合、HNSWと、メモリ制約が大きいデータセットに最適なIVFとの選択は、それほど明確ではなくなっていたでしょう。
そして、すべてを埋め込み、結果を得始めます。もちろん、これはデータ集約的なプロジェクトなので、「ボート」とクエリしても、すべての結果で同じものが返ってくるという状況になります。それはボートには全く見えません。しかし、ピラミッドがあり、「なぜこれが起こるのだろう?」と思います。
そこで、ステップバイステップでデバッグしていく必要があります。そして、問題はデータ構造でも、取り込みでも、Geminiの埋め込みでも、インデックス作成でも、Webサーバーでもなく、アートカテゴリが100個のアーティファクトしかなく、クエリがそれらすべてに類似しているという事実にあることが判明します。そして、それもすべて、データを見て理解するプロセスの一部です。
AIが役立った点と役立たなかった点
レイチェルはサボテンを描きました。これは彼女がリミックスし、大きな全体に上品に小さなエキゾチックな要素を追加したものです。私にとって、これはAIであり、良いものを作成し、自分のスキルを向上させるプロセスにAIがどこで役立つか、または害になるかを評価することでした。では、私はどこに着地したのでしょうか?
フロントエンドの構築にAIを使用しました。それはうまくいきました。特に目新しいものではありませんでしたし、実際のコードがどれほど堅牢で、本番環境に対応できるかはわかりませんが、フロントエンド担当者では全くないので、すぐに始められたのは良かったです。そして、私たちは常に良いデモに到達したいと思っています。前回は、このためにブートストラップテンプレートを使用し、少し調整しました。これは、それほど違いはないと思います。
LLMはGoでも役立ちましたが、コードをすべて書くことで役立ったわけではありません。私がGoを学んできた方法は段階的です。まず、古い書籍を読み、次にGo by Exampleを試してから、LLMにさまざまなGoの概念について質問したり、非常に小さく、メソッドレベルのスニペットで作業したりしました。
モデルに直接Goを書かせたときに起こったのは、認知的オフロードにより、私が書いたものを全く理解できなくなり、コンピューターから離れると再現できなくなったことです。しかし、構造体(structs)がどのように機能するか、構造体に何を入れるべきか、チャネル(channel)は何をするのか、といった質問に答えてくれました。シニアの人に絶えず尋ねなければならないような種類のことは、Goは私にとって新しい言語なので、LLMが答えてくれます。特にRAG(Retrieval-Augmented Generation)の結果を持つLLMシステムの場合、Golangは非常に、非常に優れたドキュメンテーションを持っているため、ソースドキュメンテーションに誘導してくれます。そして、それはまさに私たちが強化学習による学習から得たいものです。
LLMはデータフォーマットと探索にも役立ちました。Matplotlibメソッド、Pandasメソッド、APIからデータを取得する必要がある、またはデータを取得する必要がある、といったすべてのコードを書くこと。そのような「グルー」コードの多くは、どのモデルでもうまく機能します。
では、どこで役立たなかったのでしょうか?主にアーキテクチャの変更や意思決定においてです。2つのタワーモデルが必要であること、2つのタワーモデルとは何か、それらが以前に検索やレコメンデーションでどのように使用されていたか、レイテンシの制約を理解すること、このアプリの提供は高速でなければならず、インデックス作成ジョブの速度はそれほど重要ではなかったこと:これらすべては、AIからではなく、私の頭と過去の経験から来ました。
ストレージおよび検索プリミティブとしてvector setsを選択することも同様でした。私は、ベクトル空間で何が起こっているかに細心の注意を払っているため、それらの存在を知っただけです。(笑)それを合成するボットを構築することもできるかもしれませんが、自分で検証する方がはるかに簡単でした。
まだ到達していないGo channelsのようなより複雑な概念も弱点でした。Goで提供されたものが実際に正しいかどうかを確認できませんでしたし、実際の経験豊富なGo開発者に「私の」コードを見てもらいレビューしてもらうまで、多くの非idiomaticなコードがありました。そしてもちろん、AIはこのトークンを書くのには役立ちませんでした。非常に時間がかかり、AIで書かれたものは何もありませんでした。すべて、私の頭の中でゆっくりと組み合わさってきたアイデアから生まれました。それが最後の点につながります。良いものを作るには時間がかかるということです。
良いものを作るには時間がかかる
レイチェルが良い絵を描けるようになるまで60年かかりました。
左に彼女の最初の絵画の一つ、そして右にずっと後の絵画の一つを見ることができます。構図がいかに複雑になったか、花が互いの後ろにどのように配置されているか、背景がいかに繊細になったか、空間における花の動きを見てください。そのようなことに熟達するには非常に時間がかかります。そして、スピードの世界で、プログラミングにもそれが当てはまることを思い出さなければなりません。
Peter Norvigは、10年間でプログラミングを独学する方法について、ずっと前にこの投稿を書きました。意図的な実践(deliberative practice)に近道はありません。それが、私たちが自分で花を咲かせるときにやろうとしていることです。
私にとって、時間がかかったのは、このトークンのためにツイートアーカイブを調べる必要があったからです。2013年には、Pythonを学習していて単語を数えていること、そしてそれに苦労していることについて書きました。それはあまり最適ではなく、RGVとは何かなど、何が起こっているのかを本当に理解していませんでした。そして10年後、意図的な実践を通じてViberaryを完成させることができました。そして3年後、それを再び、Goで、マルチモーダル埋め込みを使って行いました。
そしてもう一つは、私は自分のクラフトを一人でやったわけではないということです。私は、「アルファベットラジオをつけながら」コードを書くことの重要性について書いてきました。これはAnne Lamottの『Bird by Bird』からの概念です。これは書き方についての本ですが、創造的であることについても書かれています。
Anne Lamottは、頭の中で再生されるアルファベットラジオについて語っています。過去にあなたを批判したり賞賛したりしたすべての人々、そしてあなたが作業するときにそれらのいくつかを意図的に無視しなければならないこと。私にとって、それは私のコードをレビューしてくれたすべての人々、そして私が一緒に仕事をした人々、そして私が尊敬する人々が常に頭の中に響いているということです。そのようなフィードバックは、良い指導から得られます。それはレイチェルが経験した弟子入りと同じです。だから、それに熟達するには時間がかかります。
他の機械を教えるのにも時間がかかります。これは、以前に行った別のサイドプロジェクト、Gandinskyからの小さな例です。そこで、Vassily Kandinskyのスタイルで絵を描く敵対的生成ネットワーク(GAN)をトレーニングしようとしました。当時、これはうまくいきませんでした。これは約8年前で、うまくいかなかったのは、GANをトレーニングするには数千のサンプルが必要であり、Kandinskyは彼の芸術的な多作にもかかわらず、残念ながら200枚しか絵を描かなかったからです。
今日では、APIコールでNano Bananaにスタイル転送をほぼ何にでも無料で実行させることができます。なぜなら、私たちはこれらのモデルを長年開発してきたからです。しかし、モデルがこれほど良くなるまでには何年もかかりました。
そして最後に、自分のビジョンを所有するには時間がかかります。これは、antirezの最近の考えにあるエージェント型プログラミングに関する引用です。
自動化されたビジョンとしてのプログラミングは、まだではありません。それは、何度も何度も、何度も作業を繰り返すことによってのみ来ます。したがって、セマンティック検索エンジンの構築には、私が集中して取り組んでから約1ヶ月かかりました(まだ完全に終わっていませんが)。しかし、それは私に10年かかりました。そして、それを念頭に置くことが重要だと思います。
さて、トークンの終わりにたどり着きました。そして質問は、これはまだ重要か?はい、そう思います。データセンスは重要だと思います。これは、長年機械学習とデータサイエンスで働いてきたことから、私たち全員が受け継いでいるものです。熟練は重要だと思います。これは、他者と協力し、メカニカルシンパシーを育むことで得られます。クラフトは依然として重要だと思います。
それでは、自分で花を咲かせましょう。ありがとうございました。