HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

自己ホスト型のAIソフトウェアファクトリ

A self hosted AI software factory (blog.jakesaunders.dev)

77 pointsby jakelsaunders9448 コメント

要約

この記事は、単一のプロンプトからリポジトリの作成、アプリケーションとテストの記述、CIのグリーン化、データベースのプロビジョニング、HTTPSでのデプロイまで、ソフトウェア開発ライフサイクル全体を自律的に実行できる、自己ホスト型のAIソフトウェアファクトリの構築について説明しています。著者は、LLMに完全なルートアクセスを与えることへの懸念から、構造的にLLMを隔離しつつ、ホームサーバー上でクラウドインフラストラクチャの追加コストなしにこれを実現する方法を探求しました。

全文翻訳

自己ホスト型(ほぼ完全)、サンドボックス化された、エージェント型ソフトウェアファクトリの構築

tl;dr: 成功しました!一つのプロンプトから、リポジトリを作成し、アプリケーションとテストを書き、CIをグリーンにし、Postgresをプロビジョニングし、完成したアプリをHTTPSでデプロイしました。私からの追加のメッセージは一切ありませんでした。結果だけを見たい方は、デモ動画をこちらの下部で見ることができます。

LLMが再び楽しくなりました!もしかしたら、ずっとそうだったのかもしれませんが、私は幻滅の谷に囚われていただけかもしれません。最近では、ちょっとしたツールが必要になると、自分で作ってしまいます。

先日ジムでウェイトトラッカーが欲しくなりました。思い描いていたアプリはCRUDの塊のようなものでしたが、アプリストアのバージョンは月額12ポンドも要求してきたので、Claudeで一撃で作ってしまいました。とても楽しかったのですが、LLMに自動モードで私のマシンにルートアクセスを与えるのは、やはり気が進みません。

そこで、課題です。LLMを構造的に封じ込める、完全にリモートでエージェント型の開発環境を、単に信頼するのではなく、どのように作成できるでしょうか?指示を与えて、SDLC全体を自律的に進めてほしいのです。

  • 使用するのに適切なスタックとパッケージを調査する。
  • コードとテストを計画し、記述する。
  • Gitにコミットし、CIパイプラインをビルドして実行する。
  • データベース、オブザーバビリティ、SSL付きドメインを備えた「本番」サーバーに作業をデプロイする。

すべて私のホームサーバー上で、追加のクラウドインフラ費用なしで。この実験に特化した唯一の継続的なコストは、20ポンドのCodexサブスクリプションです。

サーバー

[画像: サーバー]

栄光の姿がここにあります。

下にあるのは、5年間ホームラボとして稼働させている2014年製のデュアルコアi3です。このブログと、Pi-holeから完全なPrometheus / Loki / Grafanaスタックまで、約45個の他のDockerコンテナを立派にホストしています。ルーターからのポート443も転送されています。LLMに壊されたら腹が立つので、今日はこれを使用しません。

上にあるのは、eBayで新品購入した2021年製第10世代i7(32GB RAM)です。完璧です。

スタック

コア開発スタックはCoolifyを通じて自己ホストされています。推論と、Tailscale、Telegram、DNS、ACMEなどの統合は、まだボックスから出ています。推論もホストできますが、私にはそのハードウェアがなく、むしろOpenAIに私の実験を補助してもらいたいと思っています。

コンポーネントメモ
Pi-holeローカルDNSルール。副次的効果として、よりくだらない広告を見なくて済みます。
Tailscale私のホームネットワークをどこへでも持ち運べます。
CoolifyDocker上に構築された、自己ホスト型のHeroku風PaaS。
Forgejo (runners付き)自己ホスト型GitとCI。
Hermes (WebUI付き)OpenClaw風の仮想アシスタント。Codexを推論に使用。
Telegramトイレなど、どこからでもエージェントと会話できます。
Firecrawl (自己ホスト型)エージェントとWeb間のスクレイピング/翻訳レイヤー。
Porkbun (レジストラ) & Let’s EncryptドメインとオンザフライSSL証明書。
その他Postgres、Redis、アプリに必要なもの。結局はDockerです。

ソース

これは完全なハウツーガイドではありません。セットアップ用のAnsibleワンショットスクリプトを書けるかもしれませんが、もし必要なら下のGitHubリポジトリにIssueを残してください。ここまで読んだ方なら、おそらく自分で設定できるでしょう。

ソースメモ
Coolifyセットアップブログ私のCoolify on Hetznerセットアップガイド。
Coolify DockerfilesCoolifyで実際に動作する本番用Dockerfiles。環境変数を追加するだけです。
Forgejo Hermes SkillForgejo CLI用のHermesスキル。キーを提供するだけです。

ネットワーキング

最初のガードレールは明白です。それは独自のハードウェア上にあります。Hermesはrm -rf /を実行できますが、最悪でも再構築に数時間かかるだけです。

次の爆弾対策層はネットワークです。私の古いサーバーはルーターからポート443を転送されていますが、新しいサーバーはそうではありません。外部からの侵入がなく、攻撃対象領域が大幅に削減され、DNS Aレコードを設定したすべてのものに対して、人々が推測で/wp-adminをプローブしてくるインターネットのバックグラウンドノイズもなくなります。

しかし、外部からの侵入がない場合、どうやって以下を実現するのでしょうか?

  • スマートフォンで、クールな新しいアプリすべてにアクセスするには?
  • https://cool-new-app.internal.jakeshomelab.meにアクセスするために、カスタムURLでSSL証明書を生成するには?

Tailscaleをセットアップし、古いサーバーを出口ノードとして使用しています。自宅から離れているときは、それを選択することで、私のトラフィックはそのサーバーとPi-holeを経由してルーティングされます。Pi-holeでは、次のようなdnsmasqルールを追加できます。

address=/internal.jakeshomelab.me/192.168.1.201

*.internal.jakeshomelab.meを要求するものはすべて、私の新しいサーバーに解決されるようになり、そこでCoolifyのリバースプロキシがそれを拾い上げ、私のキラキラした新しいサービスを提供します。

SSL証明書

CaddyやTraefikとDockerラベルを使えば、コンテナXのポート3000をhttps://my-service.internal.jakeshomelab.meから提供できます。Aレコードをサーバーに向ければ、Let's Encryptに連絡し、ACMEチャレンジを完了してSSL証明書を取得します。これを3年前に学びましたが、今でも魔法のように思えます。

問題はAレコードです。サービスにアクセスできるかどうかに関わらず、my-service.internal.jakeshomelab.meを私のIPアドレスに公開で関連付けたくありません。ゴーストサービスのためにSSL証明書が欲しいのです。

この問題を解決するために、DNS-01に頼りました。正直に言うと、これは私にとって新しいことですが、仕組みは以下の通りです。

  • ドメインを購入する(この場合はPorkbunから)。
  • Porkbun APIキーを生成し、Coolifyの環境に書き込みアクセス権とともに追加する。
  • CoolifyのDocker Composeファイルを変更して、legoとPorkbun APIを使用するようにする。
      - '--certificatesresolvers.letsencrypt.acme.dnschallenge=true'
      - '--certificatesresolvers.letsencrypt.acme.dnschallenge.provider=porkbun'
      - '--log.level=INFO'

その後、新しいURLを登録すると、Traefik / Coolifyは以下のようになります。

  • Porkbun APIを使用して、_acme-challenge.my-service.internal.jakeshomelab.meに新しいTXTレコードを作成します。
  • Let's Encryptがチャレンジを検証し、有効なSSL証明書を発行します。
  • Traefikがそれを削除します。

これで完了です!公開されたAまたはAAAAレコードがサービスを指すことなく、Tailnet内で到達可能な有効なHTTPS URLが得られます。ホスト名は公開証明書透明性ログに表示される可能性がありますが、サービスはTailnetからのみ到達可能です。

最も良い点は、Coolifyがこれをオンザフライで行うことです。エージェントは任意のサブドメインでサービスを作成でき、それは✨魔法のように✨すべてを処理します。

したがって、これらすべてをまとめると、次のようになります。

[画像: ネットワーキング図 (少しAIのスラングですみません!)]

同じセットアップがツールにも適用されるため、Coolify、Hermes、Forgejo、Firecrawlはすべて独自のローカルサブドメインで動作します。

開発スタックとMCP

これで(ある程度)分離されたボックスができたので、ツールに進みましょう。ツールはよく知られていますが、それらを連携させるのが楽しい部分です。

Forgejo

コードを永続的に保存し、CIを実行する場所が必要です。GitHubを使用しないことにしたのは以下の理由からです。

  • ボックスにGitHubトークンを与えることは、分離を損なうことになります。また、自己ホストではありません。
  • そのAPIとCI分あたりの制限は、新しいソフトウェアファクトリの規模では機能しません。
  • 最近、ほとんどダウンしています。

Forgejoは素晴らしい自己ホスト型代替品です。上記のDocker ComposeファイルはForgejoとそのランナーを設定します。自分自身とランナーを登録するには、もう少し作業が必要ですが、よく文書化されています。

GitHubへのプロジェクトの同期用のComposeファイルも含まれています。これにより、GHトークンが環境変数に設定されますが、トレードオフはあなた次第です。

Forgejo Hermesスキルは、エージェントにインスタンスの完全な制御権を与えます。

Hermes

Hermesは、エージェント機能を備えたOpenClawスタイルのパーソナルアシスタントです。OpenClawの流行には乗りませんでしたが、Hermesには私が便利だと感じた機能がいくつかあります。

  • Web UI: ラップトップから作業し、スキルを管理するための標準的なChatGPT風インターフェース。
  • 共有ファイルシステム: Dockerホストからワークスペースをマウントし、Samba経由で共有しました。エージェントと私は、Markdownやコードをコピー&ペーストする代わりに、同じファイルを使用できます。
  • Telegram連携: スマートフォンからエージェントとチャットできます。セットアップは2分で完了し、ログイン情報は不要でした。これはサンドボックスアプローチに適していました。
  • 自己ビルドスキル: Hermesは独自のスキルを作成して登録できます。適切なCoolifyスキルが見つからなかったので、ドキュメントを読み、MCPを見て、自分で作成しました。
  • Firecrawl: 自己ホスト型のFirecrawlは、エージェントにSERPデータや大規模なWebスクレイピングへのより良いアクセスを提供します。

HermesとFirecrawlを適切な場所に適切なキーでセットアップするのは、非常に面倒な作業です。上記のリポジトリに、CoolifyフレンドリーなDocker Composeファイルを追加しました。

[画像: Hermesがこのブログ記事のデモWebアプリを構築している様子。]

Coolify

Coolifyは、これをまとめる接着剤です。DockerとCompose上に構築された自己ホスト型PaaSで、アップデートごとに飛躍的に進化しています。自分のハードウェアでHerokuやDigitalOcean App Platformのような利便性を得たいなら、強くお勧めします。

私の好きな機能のいくつかは次のとおりです。

  • 内部的には単なるDockerです。既存のデプロイメントのほとんどは機能し、Coolifyが何か奇妙なことをしない場合は、ラップトップからdocker exec <whatever>を実行できます。抽象化されるのは、あなたが望む場合だけです。
  • 上記で詳しく説明したSSL /ルーティングスタック。
  • Coolifyには、最も一般的なアプリの多くのための既製のレシピが付属しています。Postgres、Redis、Hermes、Forgejo、その他ほとんどすべてが、ワンクリックでデプロイ可能です。
  • S3へのPostgresバックアップは3クリックで完了し、環境変数とユーザー管理が組み込まれています。
  • GitHub Webhookにより、mainへのプッシュ時に自動デプロイが可能です。

Coolifyセットアップの実行中のスクリーンショットをいくつか紹介します。

[画像: Coolifyのツール画面]

[画像: FirecrawlサービスとDocker Compose]

実際に何をしたか

以下のデモはこれを非常によく示していますが、スタートの合図は次のプロンプトでした。

私のカロリー摂取量を追跡するためのアプリを作成してください。MyFitnessPalに似ていますが、後で素早く選択するために特定の食品や食事を追加するためのフォームを備えているようにしてください。

あなたのタスクは、それを構築し、テストとともに新しいリポジトリにコミットし、CIでテストし、http://calories.internal.jakeshomelab.meにデプロイすることです。

データベース層にはDrizzleとPostgresを使用したフルスタックSvelteKitアプリを希望します。CSSにはTailwindを使用してください。モバイルファーストであるべきです。

デプロイにはDockerとDocker Composeを使用し、独自のPostgresインスタンスをデプロイしてください。

そこから、ただ作業を進めました。

  • 新しいGitリポジトリを作成し、SvelteKit、Drizzle、Postgres、Tailwindをブートストラップしました。
  • アプリとそのテストを記述し、作業を合理的な段階でコミットしました。
  • CIパイプラインを作成しました。
  • テストの失敗を乗り越え、CIがグリーンになるまで続けました。
  • アプリとその独自のPostgresインスタンスをDocker Composeでコンテナ化しました。
  • すべてをCoolifyに、独自のURLでデプロイしました。

これらすべて、追加のプロンプトは一切なしで。テストの失敗を乗り越えさせたり、エラーメッセージをチャットにコピー&ペーストしたりすることはありませんでした。アプリが実行されるまで、ただ進み続けました。

その時点で試してみたところ、データを送信する際にCSRFの問題が発生しました。もう一度プロンプトを送信しました。問題が診断され、修正され、回帰テストが追加され、再デプロイされました。

そして、それは機能しました!

それが私が求めていたループです:プロンプト、リポジトリ、コード、テスト、CI、デプロイ、バグ修正。もちろん、複雑なアプリではありませんが、段落からテストされ、デプロイされたソフトウェアになり、その間のすべての面倒な部分を処理しました。それはまだ少し魔術のように感じられます。

もう十分、実物を見せてくれ!

私はYouTuberではありませんが、どうぞ:

分離と次のステップに関する考察

完全にエージェント型の開発とセキュリティの間には、常にトレードオフがあります。これはかなり作り込まれた例でした。アプリは完全に独立して動作します。ほとんどの有用なソフトウェアは他のソフトウェアと通信するため、APIキーの引き渡しが必要になり、キーが増えるたびにサンドボックスに小さな穴が開きます。

このセットアップでも、Hermesは以下のことが可能です。

  • 新しいサーバーとその上のすべての実行中のものを削除する。
  • リポジトリ、データベース、デプロイメントを削除する。
  • 与えられた認証情報を漏洩または悪用する。
  • 年末レビューのように推論トークンを使い果たす。
  • 無関係なアウトバウンドリクエストを行い、インターネットから提供されるどんなゴミでもダウンロードする。
  • ファイアウォールがアクセスを許可している範囲で、私のネットワーク上の他のものにアクセスする。

したがって、無害ではありません。私がやったことは、マシンを犠牲にし、私が気にかけているものの範囲を厳密に制限することです。失敗モードは「eBayのボックスを再構築し、少数のキーをローテーションする」ことであり、「LLMが私の実際のラップトップを熱心に再編成したことを発見する」ことではありません。それは改善されたと思いますが、魔法ではありません。

明白な次のステップは次のとおりです。

  • ボックスを独自のVLANに配置し、自宅のネットワークの残りの部分へのアクセスを明示的にブロックする。
  • プロバイダーが許可する最も狭い範囲で各認証情報をスコープし、定期的にローテーションする。
  • バックアップを自動化し、ボックス全体を再構築する作業をワンショットジョブにする。
    • CoolifyのDBバックアップと私の共有Dockerコンポーズマウントは、これを比較的容易にするはずです。
  • 公開されるものや元に戻すのが難しいものを行う前に、承認を要求する。

しかし、ある時点で、十分な承認ゲートは、あなたの魔法の自律ソフトウェアファクトリを、あなたが記入しなければならないフォームのコレクションに戻してしまいます。「5分ごとに私が必要」と「起動コードを持っている」の間にある有用なポイントを見つけることが、次の実験です。