LLM時代の拡張可能なソフトウェア
Extensible Software in the Age of LLMs (jeremymorrell.dev)
要約
現代のウェブソフトウェアは静的で、多くのユーザーのニーズを満たす機能に限定されがちです。しかし、LLMの進化により、個々のユーザーの「ロングテール」のニーズに応える「Small Software」や「LLMネイティブソフトウェア」の可能性が広がっています。この記事では、LLMによる拡張機能の作成コスト低下と、サンドボックス技術によるデプロイの容易さ・セキュリティ向上を背景に、Web上で拡張可能なソフトウェアの新しい機会について論じています。特に、Cloudflare Workersのようなプラットフォームがこのモデルに適している可能性を示唆しています。
全文翻訳
LLM時代の拡張可能なソフトウェア
今日私たちが接するウェブソフトウェアの多くは静的です。開発者には限られた時間と注意しかなく、大多数のユーザーに役立つ機能の構築に集中します。需要曲線のトップは既存のソフトウェアで十分に満たされていますが、ユーザーごとに異なる、満たされていないニーズのロングテールが存在します。
マッピングソフトウェアにおけるユーザーのニーズ
開発者があらゆる機能を追加することに非常に意欲的であったとしても、ユーザーインターフェースは、使用不能になるほど複雑になることには限界があります。 追加される機能が一つ増えるごとに、他のすべてのユーザーにとっての製品が複雑になります。その機能の市場が小さい場合、それを必要としないすべてのユーザーにとって製品を積極的に悪化させる可能性があります。
この文脈において、LLM支援コーディングの台頭は、このロングテールに該当する何かを必要としていたすべての人々にとって、真に力を与えるものとなっています。
ソフトウェアはすべて…「ぐにゃぐにゃ」になった
LLMがSoftware for One(一人用のソフトウェア)の構築に非常に優れていることは、明白になってきました。エンタープライズソフトウェアの複雑さと説明責任を回避し、一人のワークフローにぴったり合うようにカスタムフィットされた個人向けアプリです。
Y CombinatorのPete Koomen氏は、彼らがSmall Softwareと呼んでいるものに機会があると考えています。私は彼らが何か重要なことに気づいていると思います。
エージェントは、自分自身やチームのために個人用ツールを簡単に構築できるようにします。しかし、そのソフトウェアを展開、保護、共有することは、作成することよりもはるかに複雑です。スモールソフトウェアのために構築されたクラウドは、その複雑さを取り除き、カスタムツールをGoogleドキュメントと同じくらい簡単に同僚と共有できるようにする可能性があります。
Piは、私がLLMネイティブソフトウェアと呼び始めているものの良い例です。それは、テスト済みのコアを持ちながら、ほぼ無限に拡張可能であり、ユーザーは自分のカスタマイズを他の人と共有できます。過去1年間で、ユーザーは突然、コードを言葉で生成する能力を獲得しました。 ほとんどの既存のソフトウェアはこの能力を活用できません。Piはそれを活かしています。
[[画像: Meme. User says Add my custom feature. Computer. Adds feature. User says nice]]
私たちは、この自己拡張パターンに従うソフトウェアが増えるだろうと予想しています。しかし、プラグイン可能なソフトウェアの既存の例のほとんどはローカルソフトウェアです。AIエージェント、開発者IDE、ビデオゲームのMOD、Blenderアドオン、CAD拡張機能などです。これらは、参入障壁の高いプロフェッショナルツールになりがちです。
ウェブは、世界で最も成功したソフトウェア配布システムです。 それは取り残されるべきではありません。
私の仮説は、ウェブ上に拡張可能なソフトウェアのための新しい機会があるということです。LLMは拡張機能の作成コストを劇的に下げ、最新のサンドボックスプリミティブはデプロイコストを下げ、良好なセキュリティ境界を提供します。私たちは、堅牢で説明責任のあるコアとしてアプリを構築し、LLMが不足している部分を埋めることで、ユーザーが安全に多くの方向に拡張できるようにすることができます。私たちはユーザーにスーパーパワーを与えることができます。
開示: 私は現在Cloudflareで働いており、Kenton Vardaの執筆に多大な影響を受けています。記事の終盤で、Dynamic Workersがこのモデルに特に適していると主張しますが、まずいくつかの代替案を検討します。
これはどのようになるでしょうか?
今日の多くのウェブシステムは、ユーザーがアプリの変更に対応できるようにするためにWebhooksに依存しています。これはまあまあ機能しますが、拡張には非常に高いハードルを設定します。つまり、完全に独立したサービスを構築・運用し、発生する配信の問題に対処する必要があります。
レコードの更新にフックして、独自のロジックを挿入できるようにしたいです。「レコードにこのタグを付けたら、私の関数を実行する」「毎日、私のタスクを実行する」といった具合です。
実際、私はそれについてまったく考える必要がないようにしたいです。私は自分の「後で読む」アプリにこう言いたいのです。
- 私がお気に入りに入れた4000語以上の記事はすべて、<私が選んだ電子書籍リーダー>に送ってください。
- 毎週<私の専門分野>でarxivに公開される新しい論文を探し、それが私の仕事にどう関連するかについての要約を一番上に追加し、<タグ>を付けてください。
- デフォルトのアルゴリズムは<頻繁に読むサイト>を完全に台無しにします。いくつかの例をプルして、カスタムパーサーを作成してください。
そして、ロボットがコードのくだらない部分を抽出し、いくつかの拡張ポイントにフックして、それを実現してくれるでしょう。また、同じ機能が必要な他の誰とでも、私が作成したものと共有できるようにしたいです。[1]
LLMネイティブ拡張アプローチを見たいと思う、さらにいくつかの分野があります。
AIエージェント
これは明白なものです。pi、deepseek、opencodeなどは、この分野で実験しています。
新しいアイデアをすべてコアに追加するのではなく、Piはツール、コマンド、イベント、UIの安定したフックを提供するため、リクエストを小さなTypeScript拡張機能に変換してインプレースでリロードできます。これらの拡張機能はパッケージにバンドルして共有できるため、エコシステムはハーネス自体を肥大化させることなく、アイデアのロングテールを吸収できます。
[[画像: Still from deepseek video. A cartoon whale and a snake game within an agent harness]]
Deepseekは、ユーザーがプロンプトだけでUIにクジラの友達とヘビゲームを追加するデモを行い、そのハーネスの拡張性を示しました。
しかし、これらの現在の対象者はかなり限られています。ローカルマシンでカスタムソフトウェアを実行することに慣れている必要があります。企業環境では、組織が、誰も見たことがない、または今後も見るつもりのないソフトウェアを実行することに同意する必要があります。Piを自分でサンドボックス化しない限り、Pi拡張機能はPi自体と同じ権限で実行されます。
ソフトウェアエンジニアは方法を見つけるでしょうが、会計士、医師、弁護士、その他数千の職業の人々もより良いツールに値します。彼らは、自分のドメインとワークフローに合わせて安全かつ簡単に調整できるエージェントを必要としています。
より多くの人々がエージェントを使用するようにするには、それらをソフトウェア開発者にするのではなく、ソフトウェアを彼らのニーズに合わせる必要があります。
内部企業プラットフォーム
すべての企業は、大量のデータを抱えることになります。従業員はそれを表示し、クエリし、調査し、他のシステムにある他のデータと相関させ、<問題x>を経験している顧客を見つけ、離職しそうな顧客を見つけ、その他数百万のことを行う必要があります。
多くの企業は、AI愛好家の従業員が独自のツールを「バイブコーディング」し、おそらくPaaSにデプロイできるようにすることに実験しています。これは方向性としては正しいですが、多くの下流の問題を引き起こします。数百または数千ものこれらのアプリができたら、それらをどのように維持しますか?それらは必要なデータにどのようにアクセスしますか?必要なデータにのみアクセスするにはどうすればよいですか?これらのソフトウェアが何をしているかをどのように監査できますか?アクセス トークンに依存している場合、それらのスコープは何ですか?誰がそれらをローテーションしますか?サードパーティに顧客情報をログアウトしていないことをどのように確認できますか?GDPRに違反していないことをどのように確認できますか?
あるいは、実際のビジネスが心配しなければならないコンプライアンスやセキュリティに関する数百万のその他の問題です。
認証トークンが漏洩しない場所にコードをデプロイする場所を提供したらどうでしょうか?データアクセスは、すべてのコンプライアンス要件が満たされていることを保証できる内部プラットフォームチームによって処理されます。彼らに、独自の自動化またはカスタムビューを構築するためのスペースを与え、安全に。[2]
ネタバレ: これは基本的にCloudflare OSです。
サポートプラットフォーム
[[画像: Mockup of a support page with custom sections]]
私はキャリアの多くを複雑なサポートチケットの処理に費やしてきました。必然的に、ダッシュボードを調べたり、ログを検索したり、数百万の異なる場所からデータをプルしたりすることになります。特定のシステムからチケットを開いたユーザーのために、サポートインターフェースにデータを表示する拡張機能を作成できるようにしてください。私がそれを見る前に、最初の調査を行うエージェントを起動できるフックを提供してください。「特定のクォータXをリセットする」のような一般的なタスクがある場合は、それを実行できるボタンをビューに追加できるようにしてください。
そして、それらをチームと共有できるようにして、お互いに助け合えるようにしてください。
オブザーバビリティプラットフォーム
[[画像: Still from deepseek video. A cartoon whale and a snake game within an agent harness]]
すべてのオブザーバビリティツール
多くのオブザーバビリティツールは同じ機能セットに収束しています。上部の小さな棒グラフでログを検索する機能。個々のトレースを表示するためのトレースウォーターフォールビュー。カスタマイズ可能なメトリックダッシュボード。おそらくサービスマップ。いくつか(新しいビジュアライゼーション)を実験しており、特にエージェントの台頭に伴っています。
古くからあるトレースウォーターフォール図は、リクエスト/レスポンスとして形成されるシステムに非常に役立ちます。そこでは主にレイテンシと成功率を気にします。私たちの中には、システムがもう少し…ステートフル…またはダイナミックになっていることに気づく人がいます。最新のアプリは、単一のアクションが数時間または数日かかる可能性のある非決定論的なエージェントまたは永続的なワークフローエンジンを実行しています。トレーススパンは、構築するための信頼できる情報源ですが、独自のビジュアライゼーションを実験(または誰かのものをインストール)できるようにしてください。[3]
見栄えの良いもの以外に、独自のロジックを注入できるようにしてください。
- 取り込み時のデータに対する任意の変換
- アラームが独自のスクリプト(決定論的コードまたは独自のカスタムエージェント)をトリガーするようにする
- リスクが最も高い時間(デプロイまたは機能フラグのロールアウト)に独自のコードを実行するオプションを提供する
- ログに特別な
MyResourceIDがある場合、それを別のプラットフォーム上のそのリソースに直接リンクするリンクに変換する
すべてのソフトウェアはおそらくこのようになるべきです
opencode2で行ったアーキテクチャ変更のほぼすべてが内部プラグインであり、68個のプラグインが組み込みエージェント、統合、設定読み込みなどをカバーしています。これは、任意の動作を無効にできることを意味し、プラグインAPIも適切にドッグフードしています。
ウェブ上の拡張可能なソフトウェアは…より難しい
私はこれらすべてを簡単に聞こえるようにしました。しかし、それはまったくそうではありません。
私はObsidianを、毎日使用するツールとしても、ソフトウェアとしても高く評価しています。
それは基本的なMarkdownエディタのように見えますが、数回のクリックでほぼ何でも実行できるように拡張できます。タスクをカンバンボードで追跡するしたり、ノートをデータベースに変換することができます。すべてのノートをベクトルデータベースに格納してセマンティック検索を行いたいですか?どうぞ!さらに進みたい場合は、基盤となるWeb UIプリミティブは簡単にハックできます。
しかし、その力にはコストが伴います。Obsidianの拡張モデルでは、インストールするすべてのプラグインを信頼する必要があります。プラグインは基本的に何でもできます。Obsidianはこのセキュリティ課題に、自動および手動レビューとプラグイン作成者の検証によって対処しています。
ノートアプリにとっては、これはおそらく適切なトレードオフです。これは、リスクが低く、コミュニティが比較的少ないために機能します。しかし、このモデルは、他の人のデータ(顧客レコード、金融取引、プライベートメッセージ)を保持するソフトウェアで同じレベルの拡張性を望む瞬間から崩壊します。拡張性とWebサービスは常に課題でした。
任意のコードの実行は、セキュリティと悪用の課題に満ちています。不完全なリストです。
- ユーザーコードのエラーまたは無限ループは、サービスをダウンさせるべきではありません。
- キーへのアクセスがあれば、顧客の拡張機能はそれらをサードパーティに転送できます。
- 同様に、機密データを公開した場合、それが漏洩しないことを確認してください。
- このシステムが悪用されてサービス拒否攻撃が行われないことを確認してください。
- ユーザーが誤ってサービス拒否攻撃を行わないようにしてください。
- Spectre攻撃から保護してください。
- 無料のコンピューティングを使用してあなたの費用で暗号通貨をマイニングできる場合、人々はそうするでしょう。
- その他多数…
しかし、誰かがこれをやったはずですよね?
これを実行不可能だと片付ける前に、ウェブ上でこの種の拡張性が大規模に機能した明確な例があります。Salesforceです。
[[画像: Someone taking a photo outside of a Salesforce office building. A bunch of illustrated mascots are on a billboard reading "Engie is a Trailblazer"]]
そう、Salesforceです。そして、彼らは2007年からこれをやっています。(参考として、AWS S3とEC2は2006年にローンチされました)。
[[画像: Salesforce marketing slide showing all their products. There's Slack. Customer 360. MCP for some reason. The word agent is used a lot now that cloud has fallen out of fashion]]
Salesforceが何をしているのか理解しようとすると、ほとんどの技術者は、空白の表情を浮かべるか、「CRMではないのか?」といった返答をするでしょう。しかし、Salesforceを大規模なマルチテナントプログラマブルプラットフォームと説明する方が正確です。黎明期のクラウド時代において、これは主流に逆行していました。コンテナはなく、人々は奇妙なカスタムのJavaライク言語、Apexを書くことを強制されました。
しかし、サーバーレスの台頭により、プラットフォームはより親しみやすいものに見え始めます。いくつかの例を考えてみましょう。
カスタムエンドポイントを公開する必要がある場合、数行のコードで実行できます。プラットフォームはルーティング、認証、テナント分離、実行を処理します。デプロイするWebサーバーはありません。目を細めれば、最新のサーバーレスの前身と見なすことができます。
@RestResource(urlMapping='/customer-health')
global with sharing class CustomerHealthApi {
@HttpGet
global static Account getCustomer() {
String accountId =
RestContext.request.params.get('accountId');
return [
SELECT Id, Name, Health_Score__c, Renewal_Date__c
FROM Account
WHERE Id = :accountId
WITH USER_MODE
LIMIT 1
];
}
}
または、スケジュールされたカスタムロジックの実行はどうでしょうか?
public class RenewalScanner implements Schedulable {
public void execute(SchedulableContext context) {
List<Account> accounts = [
SELECT Id, Needs_Attention__c
FROM Account
WHERE Renewal_Date__c = NEXT_N_DAYS:30
WITH USER_MODE
];
for (Account account : accounts) {
account.Needs_Attention__c = true;
}
update as user accounts;
}
}
// Schedule it to run daily at 2 a.m.:
System.schedule(
'Check upcoming renewals',
'0 0 2 * * ?',
new RenewalScanner()
);
また、より高レベルのプリミティブもあり、ポイントアンドクリックでカスタムアプリケーションを作成できますが、その核心において、Salesforceはトランザクション内で、アプリイベントに直接応答してカスタムロジックを安全に実行し、ビジネスの特殊性をアプリにエンコードできるようにしています。
20年前、Salesforceにはユーザーのためにサンドボックス化されたコードを安価に実行する方法の選択肢が多くなかったため、コンパイラ、型システム、ランタイム、標準ライブラリ、デバッガ、言語への統合SQL、多くの派手なデータベーストリックなどを構築し、さらに教育エコシステム全体を構築しました。それがビジネスのために解決した問題は、特定の開発プラットフォームを専門とする人間を雇用する価値があるほど価値がありました。
私たちは、それを正確にコピーすることなく、そこからインスピレーションを得ることができます。2026年現在、私たちはより多くの選択肢を持っています。この種のものを構築するための技術的要件を見て、次にどの技術が適合するかを検討しましょう。
新しい記事、時々。
投稿をメールで受け取ります。固定スケジュールなし、ノイズなし。
新しいプリミティブ
この拡張性を構築するためのプリミティブが必要です。それが機能するためには、いくつかのプロパティが必要です。
安価 経済的に実行可能
数千または数百万のユーザーがカスタムコードスニペットを実行する場合、ユーザーごとにカスタムコンテナを起動するという考えは現実的ではありません。実行されていないときは~$0、実行ごとに理想的には数セントの数分の一のコストである必要があります。
ビルドまたはコンパイル、ビルド済み成果物の保存、ログの収集などに追加のコストがかかります。特に2026年のRAM価格では、リクエストを処理するために必要なメモリオーバーヘッドの量は、単一のマシンにどれだけのユーザーを詰め込めるかを大きく決定します。
高速コールドスタート
私たちは皆、Webサービスが高速であることを望んでいます。そのため、リクエストへの応答のクリティカルパスの一部としてユーザーコードを実行している場合、1分以上のコンテナ起動を待つことはできません。理想的には、コールドスタートはミリ秒単位で測定されます。
イベントに応答したりスケジュールで実行したりする拡張機能のみを提供する場合、より長い起動時間で済む可能性があります。
制限の制御
プラットフォームのユーザーは、さまざまな奇妙でエッジケースなことを行います。Herokuのエンジニアからの私のお気に入りの話の1つは、ユーザーが次のPythonアプリをデプロイする非常に人気のある入門ガイドを公開したことです。
while True:
print("hello world!");
システムの観点からは、新しいアプリが突然出現し、瞬時に毎秒数百万行のログを吐き出し、決して止まらない状態になり、ユーザーはtailコマンドを実行したときに合理的な結果を期待します。
システムを保護するために、CPU、メモリ、ネットワークリクエストの数とサイズ、応答サイズ、ログの量とレートなど、ほぼすべてに制限を強制する必要があります。
堅牢な分離境界
これは、フォールトアイソレーションとセキュリティアイソレーションの両方の意味で言っています。ユーザーが何をしたとしても、クラッシュ、無限ループの実行、可能な限り高速なメモリ割り当てなど、他のユーザーに影響を与えるべきではありません。
そして、積極的に悪意のあるコードがエスケープしたり、他のテナントを検査したりすることはできません。これには、Spectreのような投機的実行攻撃も含まれます。
コードが(安全に)アクションを実行できるようにする
カスタムコードが何も影響を与えられない場合、それは役に立たないため、ユーザーコードが世界の他の部分と対話するための制御された方法が必要です。最も単純なケースでは、純粋関数としてモデル化できます。ユーザーのコードは入力としてデータを受け取り、回答を返すことができます。I/Oが許可されず、出力が制限されている場合、これは非常に安全ですが、制限的です。
export default function shouldWeOrderPizzaTonight(data: Input): boolean {
// consider the options very carefully
const haveFoodAtHome = data.fridge.hasIngredients;
const haveEnergy = data.body.checkCapacity;
const haveTime = !data.schedule.isTight;
// return haveFoodAtHome && haveEnergy && haveTime;
// we don't believe in data-driven decision making in this household
return true;
}
より多くのものをユーザーに公開する必要がある場合、事態は少しトリッキーになります。私たち自身のコードがAPIを呼び出す必要がある場合、通常はリクエストに添付できる何らかのAPIキーを追加します。
const response = await fetch(api, {
headers: {
Authorization: `Bearer ${env.API_KEY}`,
},
});
しかし、この種の柔軟性は危険です!悪意のあるコードは、それをサードパーティにPOSTすることで、すぐにそのデータを漏洩させる可能性があります。生のfetchを公開することさえ、ユーザーがあなたのインフラストラクチャを使用して誰かをDoS攻撃できることを意味します。
これに対する最も一般的な解決策はプロキシを採用することです。ユーザーには、プロキシのみに意味のある不透明なトークンが提供されます。プロキシはリクエストを検証し、次に不透明なトークンを実際の資格情報に置き換えてから、宛先に転送します。プロキシは、可能な宛先の許可リストとリクエストのレート制限を強制することもできます。これは生のfetchよりも間違いなく優れていますが、まだ問題があります。
const response = await fetch(apiViaProxy, {
headers: {
Authorization: `Bearer REPLACE_THIS_WITH_MY_API_KEY_IN_PROXY`,
},
});
コードができることをAPIが許可するサブセットのみに制限したい場合があります。これには、ほとんどのAPIが提供していない非常にきめ細かな認証が必要です。そのAPIが過剰な権限を提供したり、予期できない方法で悪用されたりした場合、非常に深刻な結果をもたらす可能性があります。
サービスがきめ細かな権限(メールの読み取り能力など)を提供している場合でも、コードに与えたいアクセスよりもはるかに多いアクセス権である可能性があります。コードに1つの特定のメールへのアクセスのみを与えたい場合、通常はこれを許可するトークンを生成する方法はありません。
プロキシでそれを強制しようとすることもできますが、今度は、狭い基準セットに一致しないすべてのリクエストをフィルタリングし、バックエンドAPIが進化するにつれてそれを最新の状態に保つというタスクが課されます。私たちのプロキシコードはすぐに非常に複雑になります。ここでユーザーが何をする可能性があるかをすべて予測することは困難です。このロジックをテストし、それが鉄壁であることを確認するのは困難です。
async function proxyFetch(url: URL, headers: Headers) {
const opaqueToken = headers
.get("Authorization")
?.replace(/^Bearer\s+/i, "");
const grant = await parseToken(opaqueToken);
if (!grant || grant.action !== "read-email") {
throw new Error("Forbidden");
}
const allowedPath =
`/email/v1/users/messages/${encodeURIComponent(grant.messageId)}`;
if (
url.origin !== "https://email.service.com" ||
url.pathname !== allowedPath
) {
throw new Error("Forbidden");
}
const newHeaders = new Headers();
// Forward only explicitly permitted headers.
for (const name of ["accept", "if-none-match"]) {
const value = headers.get(name);
if (value !== null) {
newHeaders.set(name, value);
}
}
// Replace the opaque token with the real credential.
newHeaders.set("Authorization", `Bearer ${EMAIL_API_KEY}`);
return fetch(url, { headers: newHeaders });
}
そして、これは単一のエンドポイントの単一の操作に対するフィルタリングロジックです。一般的に、多くの権限から始めて、それを正確に制限しようとすることは難しい問題です。
より良い方法は、信頼されていないコードに狭い機能(capability)[4]を渡すことです。大まかに言うと、機能は特定の関数への参照と考えることができます。たとえば、事前に承認された単一のメールをフェッチするための関数などです。
// Trusted host code
const getApprovedEmail = () => fetchEmailById(123, auth);
// Untrusted extension code
export default async function doSomethingWithAnEmail(
{ getApprovedEmail }: Capabilities,
) {
const email = await getApprovedEmail();
// do something with the email
}
アンビエントI/Oを削除すると、コードは渡された参照を通じてのみアクションを実行できます。このパターンは、推論するのがはるかに簡単です。複雑なプロキシロジックをいじる必要はありません。API資格情報は、信頼されていないコードにまったく公開されません。そして、他のアウトバウンド機能なしでは、データを漏洩する方法はありません。[4]
ボーナスとして、機能のTypeScript定義からロジックを生成することは、OpenAPI JSON定義の山を渡すよりも、LLMにとってはるかに簡単でトークン効率が良いです。
IFTTTに慣れている場合、Twitter APIキーは提供されず、twitter.post_new_tweet()が提供されます。完全なメールクライアントではなく、email.send_me_emailが提供されます。
これは、安全な拡張可能なソフトウェアの一般的な形状です。
どの技術が適合するか?
よりエージェント的な考え方を持つ人々は、これらがエージェント実行プラットフォームに求めるものと同じプロパティであることに気づいているでしょう。それは偶然ではありません!これは基本的に同じ問題です。ユーザーに代わって、信頼できないロジックを実行するにはどうすればよいでしょうか?
ソリューション空間にはいくつかのオプションがあります。
インタープリタ
独自の言語を構築することは20年前にSalesforceのために機能し、このパターンは今日でも機能しています。
LuaやQuickJSのようなすぐに使える埋め込みインタープリタを使用するか、独自のものを構築することができます。
V8 Isolates
インタープリタアプローチを論理的な結論に導くと、最終的にはバイトコードに移行し、JITを追加したくなるでしょう…
V8に直接ジャンプすることで時間を節約できます。Googleは、V8 JavaScriptエンジンの強化に巨額の資金と開発者の時間を投じてきました。Cloudflareは、Workersの分離境界としてv8 isolatesを使用していますが、この分野で唯一のオプションではありません。
- CloudflareにはDynamic Workersがあります。
- celldはDynamic Workersの一部を実装しました。
- Nodeには
isolated-vmがあります。 - Rivetには
secure-execがあります。
MicroVMs
フルVMは多くの仮想ハードウェア(USB、グラフィックス、ディスクなど)をエミュレートします。これにより、フルデスクトップ環境を実行できますが、それにはコストがかかります。数百万行のコードと、起動してリソースを消費する必要がある複雑さです。MicroVMsはそれを骨まで削ぎ落とし、非常に制限されたオペレーティングシステムを実行しますが、その利点は1秒未満で起動でき、メモリオーバーヘッドが非常に小さく、強力な分離境界を持つことです。
MicroVMsは他のオプションよりもオーバーヘッドがありますが、いくつかの明確な利点があります。
- POSIX
- 多くのCPUとRAMを利用できる可能性
- バイナリを実行できるフルOS
ユーザーにロジックの一部を実行させたり、APIエンドポイントを呼び出させたり、ワークフローを実行させたりしたい場合、このアプローチのオーバーヘッドは過剰になる可能性があります。しかし、V8 IsolatesやWASMを分離プリミティブとして使用する場合でも、MicroVMsはユーザー拡張機能の作成、コンパイル/バンドル、テストに非常に役立つ可能性があります。
これは非常にホットな分野であり、多くのオプションがあります。
- Firecracker
libkrun- AWS Lambda MicroVMs
@deno/sandbox。- smolvm
- Tensorlake
- Daytona
- おそらくさらに百万以上…
WASM + WASI
WebAssemblyは白紙の状態から始まります。コードは実行でき、メモリを割り当てることができますが、HTTPリクエストの作成や環境変数の読み取りのための組み込みモジュールはありません。これはセキュリティの観点から魅力的な候補です!
WASIは、ホストが信頼されていないWASMコードに渡される機能を定義できる標準インターフェースを定義します。
この低レベルで統合することにより、パフォーマンスを大幅に向上させ、ユーザーがWebAssemblyにコンパイルできる任意の言語で記述できるようにすることができますが、ツールチェーンの複雑さは大幅に増加します。
V8 isolateまたはmicroVM内でWebAssemblyを実行することもできます。これらのオプションは相互に排他的ではありません。
分離プリミティブが独自の機能モデルを提供しない場合でも、機能の公開方法を検討するのに役立ちます。プロキシは一部のケースで機能しますが、これらのプリミティブのいずれかとともにObject Capabilityプロトコル(Cap’n Webなど)の使用も検討すべきです。
しかし、ここで特に強調したい解決策が1つあります…
Cloudflare Workersはプラットフォームを構築するためのプラットフォームです。これは少し頭が痛いですが、私たちのプリミティブを考える良い方法だと思います。
CloudflareのDynamic Workers
CloudflareのDynamic Workersは、まさにこの種のユースケースを念頭に置いて構築されました。それらのマーケティングは(理解できるように)コードモードとエージェントのユースケースに焦点を当てていますが、私の意見ではそれよりもはるかに広範です。
私が提案した基準を満たすことに加えて、それらは2026年現在、拡張可能なWebアプリを構築するための本番環境対応のすぐに使えるフレームワークに最も近いものです。(しかし、すぐにさらに増えるでしょう)。
他のソリューションでは自分で構築する必要があるものがいくつかあります。
オブザーバビリティ
(私の仕事と個人的な主張)
あなたとあなたのユーザーは、コードが何をしているかについての可視性を必要としています。Cloudflare Workersは、OpenTelemetryトレーシングをランタイム自体に組み込んでいます。ファーストクラスのプリミティブを備えており、発行されるテレメトリを大幅に制御できます。
マルチテナントデータストレージ
すべての拡張システムでユーザーが独自のデータを保存できる必要はありませんが、これによりユーザーはより多くの柔軟性を得られます。
Durable Object facetを使用して、独自のSQLiteデータベースを提供します。または、独自のR2バケットを提供します。
永続的な実行
Temporalなどの台頭は、多くの問題が永続的な実行から恩恵を受けることを示しています。Dynamic Workflowsを使用すると、ユーザーは適切なリトライとバックオフを使用して、数分または数日にわたってアクションを実行できます。
ソース管理
ユーザーはおそらく拡張機能をバージョン管理し、反復処理する必要があります。そして、すべての人がGitHubを使用することを期待することはできません。製品にソース管理を組み込みます。
ホストされたLLM
ユーザーはLLMを使用して拡張機能のドラフトを作成できますが、Workers AIを介してLLMを公開することもできます。これにより、ユーザーは拡張機能でそれらを使用できます(適切なトークン予算とレート制限付き)。
export async function analyzeArticle(env: Env, article: Article) {
return result = await env.AI.run(
messages: [
{
role: "system",
content: "Decide whether the supplied article talks about cute kittens.",
},
{
role: "user",
content: article.text,
},
],
)
}
JavaScriptツールの自己ホスティング
多くのJavaScriptツール自体がJavaScriptで書かれているため、拡張コードのビルドとテストには個別のコンテナやVMは必要ない場合があります。
import { transform } from 'sucrase';
export function transpileUserCode(source: string): TranspileResult {
try {
const result = transform(source, {
transforms: ['typescript'],
disableESTransforms: true
});
return { type: 'success', code: result.code };
} catch (err) {
return { type: 'failure', error: String(err) } };
}
}
デモの時間
この記事を書いていたとき、「もし静的なブログを世界最小のバイブコーディングプラットフォームに変えたらどうなるだろう?」と考えました。[5]
Dynamic Workersの操作ガイドといくつかのクールなデモを含めたかったのですが、このブログ記事はすでに長すぎます。それをWorking with Dynamic Workersというガイドに分割しましたが、最終的なデモをここに埋め込みたいと思いました。
デモのハーネスは、カスタマイズ可能なスクレイパーのアイデアに基づいています。URLが与えられると、コンテンツを取得し(Cloudflareがブロックしない限り)、そのコンテンツといくつかのユーティリティをユーザーのコードに渡します。完全な説明についてはガイドを参照してください。
すべての例はCloudflare Workersで実行され、ソースは編集可能です。いずれかを変更して独自のスクリプトを実行するか、独自のスクリプトを書きたい場合は「Write your own」を選択すると、開始するためのLLMプロンプトがあります。
各例は同じハーネスを実行しますが、ライブラリと機能の異なる組み合わせを使用します。いずれかを選択し、提案されたURL、または独自のURLを選択して、「Run」をクリックしてください。
ここにはドラゴンがいる
最後に1つの考え。
私は約10年間プラットフォームで働いてきました。「アプリをプラットフォームに変える」ということを簡単だと思わせるつもりはありません。プラットフォームは難しいです。設計が難しく、運用が難しく、デバッグが難しいです。
顧客にAPIを公開することは、多くの事前の検討と長期的なサポートを意味します(ただし、LLMはこれを大幅に容易にするかもしれません)。
しかし、ユーザーとしてもクリエイターとしても、それらは非常に楽しいものです。ユーザーの創造性によって、あなたが考えもしなかった、あるいは不可能だと思っていたことを彼らが実行するのを見て、真に驚かされることがあります。
プラットフォームは難しいですが、それだけの価値はあります。
付録
このブログ記事の執筆に影響を与えたものの一部です。
「@KentonVardaは6ヶ月前に正しかった」という感覚にうんざりしている
- Kenton Vardaの多くの執筆と講演
- Cloudflare OS
- Ink and SwitchのMalleable Software
- Andy MatuschakのApps and programming: two accidental tyrannies
注釈
-
LLMが完全に加速された世界でも、参加の平等は依然として大きな問題になるだろうと推測しています。どのようなエコシステムであっても、作成をどれほど容易にしても、ごく一部の人がほとんどの拡張機能を作者となるでしょう。↩
-
目を細めると、バイブコーディングプラットフォームはこれの一般的なバージョンと見なすことができます。ただし、組織にカスタム機能を提供するのではなく、汎用的なデータストレージとホスティングを提供します。エンタープライズ向けに販売を開始するにつれて、このようなカスタマイズされたホストアクセスを追加し始めると予想されます。↩
-
これは、カスタムコードが機密データにアクセスできる可能性のあるクライアント側のUIのサンドボックス化の必要性を完全に無視しています。そのトピックは独自の投稿に値します。または、ロボットを
cloudflare-osに向け、どのように行われているか尋ねてください。↩ -
Workersに慣れている場合、「これはバインディングに似ている…」と考えているかもしれません。はい!バインディングとService Workersは、Object Capability RPCシステムで動作します。ユーザーに機能を提供することは、特定のサービスに対してバインディングを生成することと考えることができます。↩
-
ただし、独自のバイブスを持ち込む必要があります。無料のLLM使用をインターネットに公開することは、おそらく私の財政的利益にはならないと判断しました。↩