HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Casita: ソースコードとビルド成果物のためのコンテンツアドレスストア

Casita: A content-addressed store for source code and build artifact (casita.rs)

17 pointsby domenkozar2 コメント

要約

Casitaは、ソースコードとビルド成果物を対象とした新しいコンテンツアドレスストアです。コンテンツアドレス方式を採用することで、これらのアセットの整合性を保証し、効率的な保存と取得を可能にします。このシステムは、`cargo build`の例を用いて、ファイルやチャンクの処理方法を示しています。

全文翻訳

Casitaの紹介:ソースコードとビルド成果物のコンテンツアドレス指定型ストア

2026年9月27日

私たちはNixをRustで書き直しており、それをレイヤーに分割し、近代化する必要があります。

そのストレージ、ビルド機構、高レベルツールは、それぞれ単独で役立つ可能性があります。

スタック全体を採用しなくても、1つのレイヤーを使用できるべきです。

これは、エージェント開発ではさらに重要になります。エージェントは、変更を探索・テストするにつれて、より多くのソースコード、その複数のバージョン、そしてより多くのビルド成果物を生成します。

すべてのコピーを保持することはすぐに高価になりますが、すべてを破棄することは、再び必要になるかもしれない作業を再構築または再生成することを意味します。

開発者は、数時間でディスクがtarget/ディレクトリでいっぱいになったスクリーンショットを共有しています。

これは、/nix/storeのガベージコレクションを余儀なくされたNixユーザーの状況に似ています。どの成果物がまだ有用で、どれが削除でき、他のプロジェクトが必要とするものを失うことなくスペースを回復するにはどうすればよいか、という問題です。

Casitaは、私たちの最初のスタンドアロンレイヤーであり、ソースコードとビルド成果物のためのコンテンツアドレス指定型オブジェクトストアで、共有ストレージ、検証、同期、およびガベージコレクションを備えています。

まだプレリリース段階であり、RustライブラリおよびCLIとして利用可能です。Linux、macOS、Windowsをターゲットとしています。

Cargo パッケージマネージャーにおけるストレージの問題

Cargoパッケージマネージャーにおけるストレージの問題というタイトルのセクション

Rustワークスペースや一時的なチェックアウトは、target/ディレクトリを蓄積する可能性があります。それらを削除すると、後続のビルドで再利用される可能性のある成果物が失われます。保持すると、類似したプロジェクト間でバイトが重複します。Cargoとuvはダウンロードされた依存関係をキャッシュしますが、それらのキャッシュはプロジェクト間のソースバージョンと生成された出力を管理しません。

Cargoがレジストリアーカイブ、Git依存関係、およびワークスペースビルド出力をさまざまなバックエンドを通じて準備および永続化できるように、ArtifactStorageインターフェースを追加しました。ファイルシステムバックエンドは、Cargoの通常の動作を維持します。

Casitaバックエンドは、Cargoがダウンロードとビルドを決定し続ける一方で、ローカルIPCを通じてそのコンテンツをインポートおよび復元します。これはまだ実験的です。インポートと復元のパフォーマンスは、ファイルシステムバックエンドにまだ追いついていません。開発ブランチとCargoガイドに詳細があります。

CargoがCasitaを使用する

Cargoは3つの出力をすべて直接Casitaに書き込みます。

Cargo

$ cargo build --bin uv

libuv.rlib

ACD→

待機中

uv

ABC→

待機中

uv.d

E→

待機中

出力の書き込み

Casita

cargo/builds/uv名前付きルート

出力ディレクトリディレクトリオブジェクト・ファイルエントリ

uvファイルオブジェクト

libuv.rlibファイルオブジェクト

uv.dファイルオブジェクト

Blobファイルコンテンツ

Blobファイルコンテンツ

Blobファイルコンテンツ

Aチャンク

Bチャンク

Cチャンク

Dチャンク

Eチャンク

コンパイル依存関係ではなく、ストレージリンクです。チャンクの境界と共有は例示的であり、ディレクトリペイロードの詳細は省略されています。

uvを実行する

uv

ABC

メタデータを待機中

出力ツリーが準備されました。実行可能ファイルが検出され、実行されました。

提案されたCargo統合・uv 0.12.7・実行可能ファイルの再構築が表示されています。チャンクは例示的です。アプリケーションの実行 →・検証済み成果物 ↗

Casitaのストレージモデルを、汎用化されたGitオブジェクトデータベースと考えてください。Gitにはブロブ、ツリー、コミットがあります。Casitaは不変のバイトブロブと不変のオブジェクトレコードを格納します。各フォーマットは、オブジェクトのIDとその他のオブジェクトへのリンクを定義します。ディレクトリはファイルやサブディレクトリにリンクし、Gitコミットはツリーとその親にリンクします。Casitaはこれらのリンクをたどって、保存された完全なバージョンを見つけます。

すべてのブロブは、その完全なバイトのBLAKE3ハッシュを持っています。BLAKE3はそのハッシュをメルケルツリーのルートとして計算します。Casitaは、リーダーがブロブ全体を読み取らずに範囲をハッシュに対して検証できるように、ツリーの中間ハッシュを含むオプションのBao アウトボードを保持できます。完全なシーケンシャル読み取りは、完全なハッシュをチェックします。ストレージバックエンドは、バイトをアドレスを変更せずにチャンク化および圧縮する場合があります。

オブジェクトレコードは、それらのバイトに意味とリンクを与えます。src/main.rsの場合、ファイルレコードはそのソースコードを含むブロブを指します。src/ディレクトリは独自のレコードを持ち、そのファイルレコードにリンクし、ディレクトリエントリをエンコードするブロブを指します。これらのレコードは、ブロブの上にグラフを形成します。

[画像: オブジェクトストアは、srcディレクトリレコードをmain.rsファイルレコードにリンクします。それぞれがBlob Store内のBLAKE3アドレス指定されたバイトを指します。]

このファイルシステムツリーでは、ハッシュはおおよそ次のように接続されます。

main.rs ID = BLAKE3(ファイルバイト)src/ ID    = BLAKE3(main.rs IDを含む正規のエントリ)

main.rsを変更すると新しいファイルIDが作成され、それがsrc/ディレクトリIDと親ディレクトリのIDを変更します。変更されていないファイルは、そのIDと格納されたバイトを保持します。古いブロブとレコードは書き直されることはありません。

ブロブのBLAKE3ハッシュとソースフォーマットのハッシュは異なる目的を果たします。GitコミットはネイティブGit IDを保持しますが、CasitaはBLAKE3ハッシュによってその本文バイトをアドレス指定します。Nixアーカイブ(NAR)は、その正規シリアライゼーションのSHA-256ハッシュを持っています。CasitaはそのNARハッシュを測定し、アーカイブのファイルをBLAKE3アドレス指定されたブロブのグラフとして格納します。検証済みのオブジェクトレコードにより、Casitaはすべてのペイロードをデコードせずにグラフをたどることができます。

Blob Storageとリポジトリモデルを読んで、詳細な契約を確認してください。NAR IPCガイドは、アーカイブのインポートと復元方法を示しています。

リポジトリワークフロー

リポジトリワークフローというタイトルのセクション

ルートと保持

ルートと保持というタイトルのセクション

アプリケーションは、保存されたグラフにルートと呼ばれる名前を付けます。ルートは1つの正確なオブジェクトを指し、そこから到達可能なすべてを保持します。オブジェクトとブロブは不変のままであり、アプリケーションはニーズの変化に応じてルートを移動または削除できます。

アプリケーションは、明示的に個別のバージョンを保存できます。たとえば、projects/app/v1とprojects/app/v2の下で2つのリビジョンの後でプロジェクトディレクトリをインポートします。インポートは元の作業ディレクトリをそのまま残します。両方の名前はバージョンを利用可能に保ち、同一のファイルは1つのブロブを共有します。アプリケーションは、projects/app/currentをv2と同じオブジェクトにポイントしてから、保存されたグラフを変更せずにその名前を後続のバージョンに移動することもできます。

Casitaはルートからのリンクをたどって、同期と保持のための完全なグラフを見つけます。名前を削除すると、その名前のみが必要とするオブジェクトは、アクティブな作業がそれらを解放した後、ガベージコレクションの対象となります。他のルートと共有されているファイルとチャンクは保持されます。

ルートはデフォルトで永続的であり、保存されたGit履歴やリリースに適しています。再構築可能なデータ(Cargoのtarget/ディレクトリなど)は、代わりに削除可能なルートを使用できます。

casita import ./target --root cargo/my-app/target --retention evictablecasita root ls cargo/my-app/target --long

CLIは、root retentionを使用して後で保持を変更することもできます。Rust APIは、独自のキャッシュルートを管理するアプリケーションのためにset_root_with_retentionとtouch_rootを提供します。ルートを削除可能とマークしても、すぐに削除されるわけではありません。

ファイルシステム、tar、NAR、およびGitインポート

ファイルシステム、tar、NAR、およびGitインポートというタイトルのセクション

インポーターは、入力をCasitaが検証および保持できるグラフに変換します。ファイルシステムインポーターはディレクトリをウォークし、tarインポーターは最初に展開せずにアーカイブを読み取り、NARインポーターはNixアーカイブの正規SHA-256を測定しながら、そのファイルをグラフとして格納します。Gitインポーターは、ネイティブGitオブジェクトIDと選択されたブランチおよびタグのビューを保持します。

各インポーターは、同じリポジトリ公開および保持ルールを使用します。コンテンツがルートの下に保存されると、Casitaはそれを同期し、名前またはアクティブな作業が必要としなくなったときに収集できます。

Casitarは、ポータブルな.casitarアーカイブに完全な保存済みグラフを書き込みます。受信側にソースリポジトリが利用できない場合に、ファイル、パイプ、またはリリース成果物を通じてそれを渡すことができます。インポート時に、Casitaはすべてのペイロードとオブジェクトレコードをチェックし、アーカイブがグラフ全体を含んでいることを検証してから、宛先のルートをまとめて公開します。アーカイブは、ソースリポジトリのパッキングとデータベースレイアウトに依存せずに、オブジェクトIDとバイトを運びます。

Gitオブジェクトデータベースアダプター

実験的なGixオブジェクトデータベースアダプターは、Casitaを通じてネイティブGitオブジェクトを読み書きします。GitのSHA-1またはSHA-256 IDは、Casitaがオブジェクトの本文とそのリンクを検証および格納する間、そのまま維持されます。アダプターはオブジェクトストレージをカバーしており、完全なGitリポジトリにはrefs、インデックス、および作業ツリーの統合も必要です。この例では、ブロブ、ツリー、コミットを書き込み、ストアを再オープンしてコミットを読み戻します。

補完的なCasitaFSクレートは、保存されたファイルシステムツリーを読み取り専用マウントとして提示します。既存のツールは、ツリー全体をチェックアウトする前に、そのファイルをブラウズできます。LinuxではFUSEを使用し、macOS 26以降ではネイティブFSKit拡張機能を使用します。macOS拡張機能は、ユーザーごとに明示的なセットアップが必要です。

2番目のリポジトリがすでにprojects/app/v1を持っていると仮定します。projects/app/v2を同期すると、そこにあるものを再利用し、不足しているコンテンツを送信します。互換性のあるストアは、変更されたファイル内のチャンクも再利用できます。宛先は、受信したオブジェクトをフォーマットのルールに対してチェックし、名前を更新する前に保存されたバージョン全体が到着したことを検証します。中断された転送は、その名前を通じて部分的なバージョンを公開することなく再試行できます。

ローカルリポジトリ同期は、CLIとRustライブラリで実装されています。オプションのSSHソースは接続にOpenSSHを使用しますが、受信側のCasitaリポジトリは到着したものを引き続き検証します。同期はコンテンツを追加します。宛先名の削除と未使用データの収集は別のアクションです。ローカル、SSH、および選択的ワークフローについては、同期を参照してください。

ガベージコレクション

ガベージコレクションというタイトルのセクション

projects/app/v1とprojects/app/v2の両方が名前付けされている場合、Casitaは両方を保持します。最初の名前を削除してコレクションを実行します。v1のみが必要とするバイトは削除でき、v2と共有されているファイルとチャンクは保持されます。アクティブなリーダーとライターも、使用中のデータを使用中に保持します。

ローカルCLIは、gc --dry-runでパスをプレビューしてからgcを実行できます。

自動コレクションは、ビジーなディスクがいっぱいになるのを防ぐのに役立ちます。標準のローカルリポジトリでは、ファイルシステムが少なくとも80%使用されている状態で変更を開始すると、非ブロッキングコレクションの試行がトリガーされます。Casitaはまず、ルートまたはアクティブな操作が必要としないデータを解放します。ディスク使用率が75%以上の場合、削除可能とマークされた最も最近使用されていないルートを解放し、使用率が75%を下回るか、対象となるルートがなくなるまでクリーンアップします。永続的なルートは保持され、手動のgcは削除可能なものを含むすべての名前付きルートを保持します。

コレクションはCasitaリポジトリに適用されます。保持と回復のルールについては、ガベージコレクションを参照してください。

[画像: 2つのプロジェクトバージョンが明示的に保存され、Casitaリポジトリでバイトを共有しています。コレクションは保存されたバージョンが必要としないバイトを回収し、同期は不足しているバイトを送信して検証します。]

共有S3リポジトリ

共有S3リポジトリというタイトルのセクション

2つのランナーは、同じS3バケットとプレフィックスを使用してオブジェクトを公開し、名前付きバージョンを読み取ることができます。それらのペイロードバイトは不変ですが、名前とオブジェクトレコードは新しいバージョンが到着するにつれて変更されます。Casitaは、S3に格納されている書き込み先読みログであるChromaのwal3にそれらの変更を記録します。そのマニフェストへの条件付き更新は、競合するライターに合意された変更順序を提供します。

リーダーとライターは永続的なホールドを登録するため、コレクションは使用中のデータを保持します。S3プロファイルは実験的であり、s3フィーチャーが必要です。放棄されたホールドは明示的な回復が必要です。共有S3ガイドは、独立した所有者が1つのリポジトリをどのように使用できるかを示し、S3メンテナンスはコレクションと回復をカバーしています。

0.1リリースで残っていること

0.1リリースで残っていることというタイトルのセクション

Casitaは現在ソースチェックアウトから実行できますが、v0.1.0をタグ付けしていません。最初のリリース前に、ボトルネックを示すベンチマークのパフォーマンスを改善し、ベンチマークカバレッジを広げ、より多くの実際のプロジェクトとエンドツーエンドワークフローでCasitaを使用する必要があります。その実用的な使用により、0.1の準備が整う前に修正できる問題が明らかになるはずです。

統合にはさらに作業が必要です。CargoのCasitaバックエンドは、ファイルシステムバックエンドに匹敵する前に、より高速なインポートと復元が必要です。Gitオブジェクトストアアダプターは、Gitリポジトリの残りの部分との統合をまだ必要としています。

現在のプレリリースを試す

現在のプレリリースを試すというタイトルのセクション

Casitaソースチェックアウトから、CLIをインストールし、ディレクトリをデフォルトリポジトリにインポートし、ルートをリストし、コレクションをプレビューします。

cargo install --path crates/casitacasita import ./src --root examples/sourcecasita root lscasita gc --dry-run

ルートとオブジェクトレコードが1つのCasitaリポジトリにあり、対応するブロブが別のリポジトリにある場合、同期中にブロブソースを選択します。

casita sync --from ./metadata-store \
  --from-blobs ./blob-store \
  --to ./mirror \
  --root examples/source

同期ガイドは、別のブロブソースの要件を説明しています。

クイックスタートは、チェックアウトと検査を案内し、ライブラリガイドはサポートされているRust APIを示しています。

私たちのファイルシステムベンチマークは、Gitのaddおよびcommitと比較したインポートを比較しています。その実行では、Casitaは大規模ファイルコーパスをより高速にインポートしましたが、Gitは小規模ファイルインポートと変更されていない再インポートでより高速でした。完全なベンチマークリファレンスには、方法論と個別のネイティブGit測定が含まれています。