ゼロからブート可能なイメージへ:Tineビルドシステム
From Thin Air to Bootable Images: The Tine Build System (amutable.com)
要約
この記事では、著者らが開発した新しいビルドシステム「Tine」を紹介しています。TineはBuck2を基盤とし、暗号学的に検証可能な完全性を持つオペレーティングシステムの構築を目指しています。最小限のホスト要件、入力の完全な制御、再現性のあるビルド、迅速なイテレーションといった要件を満たすため、既存のツール(mkosi, OBS, BuildStream, Antlir)の評価を経て、TineはAntlirとmkosiのアイデアを組み合わせ、Buck2をエンジンとして採用しました。
全文翻訳
ゼロからブート可能なイメージへ:tineビルドシステム
2026年9月24日 13分読了
Daan De Meyer および Martin Pitt 著
この記事は、私たちがここ数ヶ月で行ってきたオープンソースの取り組みの一部です。今日は、新しいBuck2ベースのビルドシステムである tine を紹介し、公開します。
私たちの要件
暗号学的に検証可能な整合性を持つオペレーティングシステムを構築するには、まずその特性を持つビルドシステムから始める必要があります。同時に、私たちはより大きなオープンソースコミュニティの一員であり、既存の作業を最大限に活用し、貢献したいと考えています。また、迅速な開発と短いターンアラウンドも目指しています。
これは、ビルドシステムに対する以下の要件に大まかに翻訳されます。
- 最小限のホスト要件。 自己完結型であり、外部依存関係を最小限に抑える必要があり、あらゆる環境で実行できるようにする必要があります。
- 入力の完全な制御。 製品に含まれるすべてのソフトウェアコンポーネントを固定できるようにする必要があります。アップストリームディストリビューション(Fedora、CentOS、Arch、Debianなど)の選択をサポートし、可能な限り既存のパッケージを再利用しつつ、CVEに迅速に対応し、必要に応じてアップストリームのパッケージング決定から(一時的または永続的に)逸脱することを容易にする必要があります。
- 統合されたパッケージ管理機能。 インポートされたパッケージのインポート、更新、マージのためのツールを提供する必要があります。
- 安価なワールドリビルド。 例えばgccの更新後など、オンデマンドでワールド全体を再構築できる必要があります。
- 分離された、再現性のあるビルド。 すべてのコンポーネントとイメージのビルドは、分離された環境で実行され、ビット単位で再現可能な出力を生成する必要があります。
- ネイティブイメージビルド。 ブート可能なオペレーティングシステムイメージと systemd sysext イメージをネイティブかつ並行してビルドできる必要があります。
- モノレポベースのイテレーション。 オペレーティングシステムを単一のトップレベルモノレポで管理し、高速なエンドツーエンドのイテレーションをサポートする必要があります。インポートされたrpmやGo/Rustコンポーネントへの変更は、中間コミットやプッシュなしで、また複雑なバージョンや依存関係の宣言なしで、すべてのイメージセット全体で即座にビルドおよびテスト可能である必要があります。
- ファーストクラスのカスタムコンポーネント。 例えば kubernetes や varlink-http-bridge のような、固定された外部リポジトリからGoおよびRustプロジェクトをネイティブかつ効率的にビルドできる必要があります。
- スキャナー互換性。 ビルドされたイメージは、標準的な SBOM ツールや、syft/grype や trivy のようなセキュリティスキャナーと連携できる必要があります。
- キャッシング。 ビルドは、ローカルおよび/またはグローバルキャッシュから変更されていないコンポーネントを取得できる必要があります。すべてをゼロからビルドすると数時間かかることがあり、開発者は通常、単一のコンポーネントのみを扱います。
既存のツール
独自のビルドツールを構築する前に、いくつかのオプションを評価しました。
mkosi
私たちのチームには mkosi の作成者兼メンテナーが含まれているため、これは自然な最初の候補でした。しかし、すぐに根本的な欠点があるという結論に至りました。アップストリームパッケージに基づいた個々のイメージのビルドには優れていますが、弱く関連付けられた複数のイメージをビルドする場合や、イメージを構成するアーティファクトに対するより多くの制御が必要な場合には制限的になります。複数のイメージのビルドは、「メイン」イメージの一部として出荷されることを意図したイメージに限定されます。
私たちは、イメージだけでなく、さまざまな種類のアーティファクトを統一的かつ堅牢な方法でビルドする必要があります。そのため、ビルドは汎用的で柔軟なツールによってオーケストレーションされる必要があります。メインのビルドファイルは、「cargo crateをコンパイルする」や「UKI をビルドする」といった ライブラリ関数 を呼び出す言語であるべきです。mkosiはその逆で、フレームワーク です。イメージのビルド方法を知っており、他の種類のビルドには自由形式の不透明なフックしか提供しません。これは、イメージ以外のものをビルドしたい場合には悪い経験につながります。
Open Build Service
Open Build Service (OBS) は、SUSEおよびopenSUSEプロジェクトがパッケージからISO、その他の多くのイメージフォーマットまで、すべてのアーティファクトを生成するために主に利用している、強力で完全に統合されたビルドシステムです。強力な依存関係追跡機能を持ち、数多くのディストリビューションをサポートしています。
しかし、それは「最小限のホスト要件」の対極でもあります。サーバーサイドは必須であり、中央集権的で、セルフホストするには簡単ではありません。また、汎用的なビルドシステムではないため、新しいアーティファクトタイプはパッケージとしてモデル化するか、OBSに大幅なパッチを適用する必要があるでしょう。この柔軟性の欠如と全体的なアーキテクチャの組み合わせは、OBSが私たちの要件を満たすことを困難にすると結論付けました。
BuildStream
Apache BuildStream は、オペレーティングシステムイメージをYAMLの「要素」のグラフとして記述します。各要素は独自のソース、依存関係、ビルドコマンドを持ちます。BuildStreamは、Buck2と同様に、各要素をbubblewrap サンドボックスでビルドし、入力されたすべてのもののハッシュの下に結果をキャッシュします。これは成熟しており、freedesktop-sdk、GNOME OS、および WebKitGTK のビルドに使用されています。
BuildStreamに関する私たちの懸念は、主にブートストラップと拡張性に関するものです。BuildStreamはコンパイル済み拡張機能やその他の依存関係を持つPythonアプリケーションです。ホストからの個別のヘルパープログラムやサンドボックスツールに依存しています。それぞれを固定することは可能ですが、異なるメカニズムを通じて行われ、それでも結果はホストのPythonに依存します。実際には、固定されたコンテナイメージから実行しますが、それでも制御できないコンテナランタイム全体に依存することになります。
BuildStreamのYAMLはプレーンなデータ形式であり、Pythonプラグインで拡張されます。YAMLには関数がないため、時間が経つにつれてプロジェクト全体でコピー&ペーストが発生します。最終的に、より良いブートストラップと固定のストーリー、そしてより柔軟な言語を持つツールを選択することにしました。
Antlir
Antlir は、Buck2 ビルドシステムエンジン上に構築されたMetaのOSイメージビルダーです。Buck2は、Metaのオープンソースビルドシステムで、正確性、柔軟性、および可能な限りのキャッシングに重点を置いています。Antlirは、Buck2でイメージをビルドするためのさまざまなルールを実装しています。
AntlirはMetaの内部リポジトリに焦点を当てた高レベルツールであるため、自然に非常に意見が強く、Metaの内部ユースケース向けに設計されています。例えば、btrfsを必要とし、単一のモノレポに強く焦点を当てています。
Antlir自体は採用しませんでしたが、その基盤となるエンジンであるBuck2は適していることが判明し、独自のビルドシステムの基盤として採用することになりました。
私たちのビルドシステム:tine
本質的に、tineはrpm、Rust crate、Goモジュールコンポーネント、UKI、およびイメージをビルドするための意見の強いBuck2ルールのセットです。ハードウェアキーを介した PKCS#11 またはローカルに生成されたキーでイメージに署名することもできます。Antlirとmkosiの最良のアイデアを単一のツールに組み合わせることを意図しています。
tineはビルドホストに3つの要件しかありません:git、python3(自身のブートストラップ用のみで、本番ビルド用ではない)、およびユーザー名前空間です。そこから、固定された宣言から必要なすべてをブートストラップし、再現性があり独立したビルド環境を取得します。これは、必要に応じて古いまたは最新のディストリビューションにすることができます。
重要なtineの概念は「ボックス」であり、ビルドタスクを実行するために宣言され、固定された環境です。コンテナやdistrobox のようなものですが、Buck2の言語でネイティブに宣言され、Buck2のキャッシングとリビルドルールを使用するため、高速かつ自然にビルドされ、再現性を保ち、実行するためにさらなる依存関係を必要としません。tine自体は、rpmbuild、go、またはcargoを実行するためのボックス、またはシステムd-ukifyやQEMU(仮想マシン実行用)を含む、より大きな汎用ボックスであるfedora.rawhide.boxを定義します。独自のプロジェクトも独自のボックスを定義できます。
tineのエンジン:Buck2
この記事と例をよりよく理解するために、MakeまたはMesonに慣れている方向けに、1分でわかるBuck2の入門を以下に示します。
- ビルドファイル: BUCKファイルは、ディレクトリのMakefileに相当します。Starlarkと呼ばれるPythonの方言で書かれており、ビルドできるすべてのターゲットを宣言します。
- セル: 名前付きのビルドグラフのルートです。これらは大まかにgitリポジトリの境界に従います:
//はあなた自身のトップレベルプロジェクト(ビルドしたいOS)であり、tine//はあなたのプロジェクトが取り込むtineのチェックアウトです。 - ターゲット: ビルドグラフ内の名前付きノード、つまりビルドしたい特定のものです。これらは
cell//directory/sub:nameの形式の絶対パスでアドレス指定され、cellのdirectory/sub/BUCKファイルで定義されたターゲット名を指します。セル内では、subdir:nameのような相対パスや、現在のディレクトリのターゲットの場合は単に:nameを使用することもできます。単一のターゲットは、複数の出力バリアント(「サブターゲット」)を公開できます。例::my_cool_os[qcow2]または:my_cool_os[sbom]。 - ルール: mesonの
*_target()に相当するか、Makefileルールの構造です。ターゲットをアクションとそのパラメータのセットに変換するStarlark式です。それ自体では何も実行しません。例えば、bootable_disk(name = “myos”, param1 = …)ルールはmyosターゲットを定義し、bootable_diskルールを呼び出して、「rpmをインストールする」、「systemd-repartを実行する」などのアクションに変換します。 - アクション: 宣言された入力と出力を持つ単一のビルドコマンドであり、Makefileルールのコマンドに相当します。この抽象化により、これらの入力のみを認識するサンドボックスで、すべてを一貫して実行できます。Starlarkが不十分な場合、これらのルールはPythonの全機能で実装できます。
詳細については、Buck2のキーコンセプトページをご覧ください。
MakeやMesonとは異なり、Buck2はタイムスタンプから何をリビルドするかを決定しません。アクションは、ソース、ツールバイナリ、ビルドプラットフォーム構成、およびコマンドライン自体のすべての入力のハッシュによってキー付けされます。これが、インクリメンタルビルドが正確で信頼できる理由であり、アクションの結果を共有キャッシュから取得して再実行しないことも可能になります。
ウォークスルー:ブート可能なイメージのビルド
tineを独自のプロジェクトで使用する方法をウォークスルーで説明します。ここでは、Goプロジェクトを含む非常に基本的な例をゼロからビルドし、それをブートさせます。この例では、テキストターミナルで空き/使用済みディスクスペースを素敵なASCIIアートで表示するCLIツールである duf を使用します。
tineのREADME に従い、tineをプルして初期化する新しいデモgitリポジトリを設定しましょう。
git init tine-demo
cd tine-demo
git submodule add https://github.com/amutable-systems/tine tine
tine/bin/tine init
git add .
git commit -m "initialize"
次にBUCKファイルを追加しましょう。いくつかのブロックに分けて説明しますが、これらはすべて同じファイルに入ります。まず、いくつかの定義をインポートする必要があります。これはStarlarkなので、Pythonのimport文に似ています。
load("@tine//box:defs.bzl", "box")
load("@tine//git:defs.bzl", "git")
load("@tine//go:defs.bzl", "go")
load("@tine//image:defs.bzl", "image")
次に、Goコンパイラ用のビルド環境を定義する必要があります。tineはすでにFedora rawhideカタログを提供しています。そのため、それ(tine// セル)とFedoraのgolangパッケージを使用するだけです。実際のプロジェクトでは、tineのものを盲目的にフォローするのではなく、独自の親OSカタログを定義して追跡する可能性が高いです。
box.new(
name = "go.box",
packages = ["golang"],
release = "tine//catalog:fedora.rawhide.release",
)
ビルドしたいduf Goプロジェクトのgitリポジトリを宣言します。tineはすべての入力を正確に固定する必要があるため、gitコミットIDを指定します。そのgitリポジトリは、上記のgo.boxとgitチェックアウトの両方をバインドする go.package() ルールへの入力として渡されます。これらは相対ターゲット(上記参照)として参照されるため、コロン区切りになります。
git.fetch(
name = "duf.git",
repo = "https://github.com/muesli/duf",
rev = "4636deb4a7b707a9f04c602db033f9837e50b3f6",
)
go.package(
name = "duf",
box = ":go.box", # 現在のディレクトリのターゲット
src = ":duf.git", # 別のターゲット
)
これで、バイナリをビルドして実行できるようになります。
tine/bin/tine buck run :duf
# [...]
# BUILD SUCCEEDED - starting your binary
# 5 local devices
# [...]
そして、最後の大きな部分、ブート可能なイメージです。Goボックスと同様に、Fedora Rawhideからパッケージを取得するtineカタログのパッケージマネージャーを再利用します。これは、仮想マシンでブートするために必要な最小限のセットに、bashを追加したものです。追加のops(操作)として、上記のGoルールからビルドされたhelloバイナリをインストールします。
image.bootable_disk(
name = "demo",
package_manager = "tine//catalog:fedora.rawhide.package-manager",
definitions = image.DEFAULT_USR_VERITY_PARTITIONS,
version = "0.0.0",
package_sets = ["bootable"],
packages = ["bash"],
ops = [
image.copy(":duf[duf]", "/usr/bin/duf"),
],
)
セル内のすべての利用可能なビルドターゲットをBuck2に問い合わせることができます。
tine/bin/tine buck targets //...
# root//:demo
# root//:demo.initrd
# root//:duf
# root//:duf.git
# root//:example.git
# root//:go.box
# root//:go.box.exec
これらすべてを行った後、イメージをビルドできます。しかし、実際にQEMUでライブで見る方がはるかに興味深いです。ここでは、便宜のために自動ログインを備えたVM定義を追加し、tine自身のRawhideカタログからのQEMUおよび関連ツールを使用して、新しくピカピカのデモイメージをブートさせます。
image.vm(
name = "demo-vm",
autologin = "root",
# QEMUなどがすべてインストールされているtineのrawhideボックスを再利用
box = "tine//catalog:fedora.rawhide.box",
image = ":demo",
credentials = {
"firstboot.timezone": "UTC",
}
)
クリーンなツリーからこの単一のコマンドを実行すると、Goプロジェクト、イメージがビルドされ、ブートされます。
tine/bin/tine buck run :demo-vm
以下が表示されるはずです。
[ OK ] Reached target graphical.target - Graphical Interface.
Fedora Linux 46 (Rawhide Prerelease)
Kernel 7.3.0-0.rc3.260916g9b87fdc9af2f.34.fc46.x86_64 on an x86_64 (hvc0)
fedora login: root (automatic login)
-bash-5.3# duf --help
Usage of duf:
--all include pseudo, duplicate, inaccessible file systems
[...]
-bash-5.3# ...
-bash-5.3# systemctl poweroff
SecureBoot/verity OSを生成されたキーまたはハードウェアキーで署名する方法、Go/Rustプロジェクトのビルド方法、tineが提供するさまざまな種類のルールとカスタマイズ、または統合テストの書き方など、さまざまなシナリオのBUCKおよび補助ファイルについては、tineのexamples/ディレクトリをご覧ください。
SBOMは無料です
tineはさらに多くのものを無料で提供します。例えば、Syft SBOMジェネレーターを統合しているため、CycloneDX標準SBOMをビルドするように依頼できます。出力パスも指定できるため、buck-out/ から探し出す必要がなくなります。
tine/bin/tine buck build --out /tmp/demo.cdx.json :demo[sbom][cyclonedx]
まだまだたくさんあります!
この記事では基本的なことしかカバーしていません。より完全な理解を得るには、ドキュメントを参照してください。開始するのに最も役立つと思われるトピックは以下のとおりです。
- FedoraまたはArchからのパッケージのインポート、変更、同期/マージのためのディストロパッケージ管理機能
- 共有ビルドキャッシュの設定と、その脅威モデルと設計の詳細
- PKCS#11を介したハードウェアキーによるビルドの署名
- 監査可能なcargoプロジェクト および Goプロジェクト をイメージビルドに含める方法
- ビルドされたサードパーティgitプロジェクトコンポーネントでの迅速なイテレーション のためのtineマウントの使用
- tineには、依存関係の更新 やカタログの更新 のための組み込みツールがあり、プロジェクトでこれらの定期的なハウスキーピングを自動化し、このような テスト済みのPRを取得するために再利用できます。
- tineはArchもサポートしています!
このシリーズの次の投稿では、これらのイメージやその他のイメージを配布するために構築したアップデートおよびプロビジョニングシステムについて説明します。その時にお会いできるのを楽しみにしています!
タグ:
この記事は、私たちがここ数ヶ月で行ってきたオープンソースの取り組みの一部です。今日は、新しいBuck2ベースのビルドシステムである tine を紹介し、公開します。
私たちの要件
暗号学的に検証可能な整合性を持つオペレーティングシステムを構築するには、まずその特性を持つビルドシステムから始める必要があります。同時に、私たちはより大きなオープンソースコミュニティの一員であり、既存の作業を最大限に活用し、貢献したいと考えています。また、迅速な開発と短いターンアラウンドも目指しています。
これは、ビルドシステムに対する以下の要件に大まかに翻訳されます。
- 最小限のホスト要件。 自己完結型であり、外部依存関係を最小限に抑える必要があり、あらゆる環境で実行できるようにする必要があります。
- 入力の完全な制御。 製品に含まれるすべてのソフトウェアコンポーネントを固定できるようにする必要があります。アップストリームディストリビューション(Fedora、CentOS、Arch、Debianなど)の選択をサポートし、可能な限り既存のパッケージを再利用しつつ、CVEに迅速に対応し、必要に応じてアップストリームのパッケージング決定から(一時的または永続的に)逸脱することを容易にする必要があります。
- 統合されたパッケージ管理機能。 インポートされたパッケージのインポート、更新、マージのためのツールを提供する必要があります。
- 安価なワールドリビルド。 例えばgccの更新後など、オンデマンドでワールド全体を再構築できる必要があります。
- 分離された、再現性のあるビルド。 すべてのコンポーネントとイメージのビルドは、分離された環境で実行され、ビット単位で再現可能な出力を生成する必要があります。
- ネイティブイメージビルド。 ブート可能なオペレーティングシステムイメージと systemd sysext イメージをネイティブかつ並行してビルドできる必要があります。
- モノレポベースのイテレーション。 オペレーティングシステムを単一のトップレベルモノレポで管理し、高速なエンドツーエンドのイテレーションをサポートする必要があります。インポートされたrpmやGo/Rustコンポーネントへの変更は、中間コミットやプッシュなしで、また複雑なバージョンや依存関係の宣言なしで、すべてのイメージセット全体で即座にビルドおよびテスト可能である必要があります。
- ファーストクラスのカスタムコンポーネント。 例えば kubernetes や varlink-http-bridge のような、固定された外部リポジトリからGoおよびRustプロジェクトをネイティブかつ効率的にビルドできる必要があります。
- スキャナー互換性。 ビルドされたイメージは、標準的な SBOM ツールや、syft/grype や trivy のようなセキュリティスキャナーと連携できる必要があります。
- キャッシング。 ビルドは、ローカルおよび/またはグローバルキャッシュから変更されていないコンポーネントを取得できる必要があります。すべてをゼロからビルドすると数時間かかることがあり、開発者は通常、単一のコンポーネントのみを扱います。
既存のツール
独自のビルドツールを構築する前に、いくつかのオプションを評価しました。
mkosi
私たちのチームには mkosi の作成者兼メンテナーが含まれているため、これは自然な最初の候補でした。しかし、すぐに根本的な欠点があるという結論に至りました。アップストリームパッケージに基づいた個々のイメージのビルドには優れていますが、弱く関連付けられた複数のイメージをビルドする場合や、イメージを構成するアーティファクトに対するより多くの制御が必要な場合には制限的になります。複数のイメージのビルドは、「メイン」イメージの一部として出荷されることを意図したイメージに限定されます。
私たちは、イメージだけでなく、さまざまな種類のアーティファクトを統一的かつ堅牢な方法でビルドする必要があります。そのため、ビルドは汎用的で柔軟なツールによってオーケストレーションされる必要があります。メインのビルドファイルは、「cargo crateをコンパイルする」や「UKI をビルドする」といった ライブラリ関数 を呼び出す言語であるべきです。mkosiはその逆で、フレームワーク です。イメージのビルド方法を知っており、他の種類のビルドには自由形式の不透明なフックしか提供しません。これは、イメージ以外のものをビルドしたい場合には悪い経験につながります。
Open Build Service
Open Build Service (OBS) は、SUSEおよびopenSUSEプロジェクトがパッケージからISO、その他の多くのイメージフォーマットまで、すべてのアーティファクトを生成するために主に利用している、強力で完全に統合されたビルドシステムです。強力な依存関係追跡機能を持ち、数多くのディストリビューションをサポートしています。
しかし、それは「最小限のホスト要件」の対極でもあります。サーバーサイドは必須であり、中央集権的で、セルフホストするには簡単ではありません。また、汎用的なビルドシステムではないため、新しいアーティファクトタイプはパッケージとしてモデル化するか、OBSに大幅なパッチを適用する必要があるでしょう。この柔軟性の欠如と全体的なアーキテクチャの組み合わせは、OBSが私たちの要件を満たすことを困難にすると結論付けました。
BuildStream
Apache BuildStream は、オペレーティングシステムイメージをYAMLの「要素」のグラフとして記述します。各要素は独自のソース、依存関係、ビルドコマンドを持ちます。BuildStreamは、Buck2と同様に、各要素をbubblewrap サンドボックスでビルドし、入力されたすべてのもののハッシュの下に結果をキャッシュします。これは成熟しており、freedesktop-sdk、GNOME OS、および WebKitGTK のビルドに使用されています。
BuildStreamに関する私たちの懸念は、主にブートストラップと拡張性に関するものです。BuildStreamはコンパイル済み拡張機能やその他の依存関係を持つPythonアプリケーションです。ホストからの個別のヘルパープログラムやサンドボックスツールに依存しています。それぞれを固定することは可能ですが、異なるメカニズムを通じて行われ、それでも結果はホストのPythonに依存します。実際には、固定されたコンテナイメージから実行しますが、それでも制御できないコンテナランタイム全体に依存することになります。
BuildStreamのYAMLはプレーンなデータ形式であり、Pythonプラグインで拡張されます。YAMLには関数がないため、時間が経つにつれてプロジェクト全体でコピー&ペーストが発生します。最終的に、より良いブートストラップと固定のストーリー、そしてより柔軟な言語を持つツールを選択することにしました。
Antlir
Antlir は、Buck2 ビルドシステムエンジン上に構築されたMetaのOSイメージビルダーです。Buck2は、Metaのオープンソースビルドシステムで、正確性、柔軟性、および可能な限りのキャッシングに重点を置いています。Antlirは、Buck2でイメージをビルドするためのさまざまなルールを実装しています。
AntlirはMetaの内部リポジトリに焦点を当てた高レベルツールであるため、自然に非常に意見が強く、Metaの内部ユースケース向けに設計されています。例えば、btrfsを必要とし、単一のモノレポに強く焦点を当てています。
Antlir自体は採用しませんでしたが、その基盤となるエンジンであるBuck2は適していることが判明し、独自のビルドシステムの基盤として採用することになりました。
私たちのビルドシステム:tine
本質的に、tineはrpm、Rust crate、Goモジュールコンポーネント、UKI、およびイメージをビルドするための意見の強いBuck2ルールのセットです。ハードウェアキーを介した PKCS#11 またはローカルに生成されたキーでイメージに署名することもできます。Antlirとmkosiの最良のアイデアを単一のツールに組み合わせることを意図しています。
tineはビルドホストに3つの要件しかありません:git、python3(自身のブートストラップ用のみで、本番ビルド用ではない)、およびユーザー名前空間です。そこから、固定された宣言から必要なすべてをブートストラップし、再現性があり独立したビルド環境を取得します。これは、必要に応じて古いまたは最新のディストリビューションにすることができます。
重要なtineの概念は「ボックス」であり、ビルドタスクを実行するために宣言され、固定された環境です。コンテナやdistrobox のようなものですが、Buck2の言語でネイティブに宣言され、Buck2のキャッシングとリビルドルールを使用するため、高速かつ自然にビルドされ、再現性を保ち、実行するためにさらなる依存関係を必要としません。tine自体は、rpmbuild、go、またはcargoを実行するためのボックス、またはシステムd-ukifyやQEMU(仮想マシン実行用)を含む、より大きな汎用ボックスであるfedora.rawhide.boxを定義します。独自のプロジェクトも独自のボックスを定義できます。
tineのエンジン:Buck2
この記事と例をよりよく理解するために、MakeまたはMesonに慣れている方向けに、1分でわかるBuck2の入門を以下に示します。
- ビルドファイル: BUCKファイルは、ディレクトリのMakefileに相当します。Starlarkと呼ばれるPythonの方言で書かれており、ビルドできるすべてのターゲットを宣言します。
- セル: 名前付きのビルドグラフのルートです。これらは大まかにgitリポジトリの境界に従います:
//はあなた自身のトップレベルプロジェクト(ビルドしたいOS)であり、tine//はあなたのプロジェクトが取り込むtineのチェックアウトです。 - ターゲット: ビルドグラフ内の名前付きノード、つまりビルドしたい特定のものです。これらは
cell//directory/sub:nameの形式の絶対パスでアドレス指定され、cellのdirectory/sub/BUCKファイルで定義されたターゲット名を指します。セル内では、subdir:nameのような相対パスや、現在のディレクトリのターゲットの場合は単に:nameを使用することもできます。単一のターゲットは、複数の出力バリアント(「サブターゲット」)を公開できます。例::my_cool_os[qcow2]または:my_cool_os[sbom]。 - ルール: mesonの
*_target()に相当するか、Makefileルールの構造です。ターゲットをアクションとそのパラメータのセットに変換するStarlark式です。それ自体では何も実行しません。例えば、bootable_disk(name = “myos”, param1 = …)ルールはmyosターゲットを定義し、bootable_diskルールを呼び出して、「rpmをインストールする」、「systemd-repartを実行する」などのアクションに変換します。 - アクション: 宣言された入力と出力を持つ単一のビルドコマンドであり、Makefileルールのコマンドに相当します。この抽象化により、これらの入力のみを認識するサンドボックスで、すべてを一貫して実行できます。Starlarkが不十分な場合、これらのルールはPythonの全機能で実装できます。
詳細については、Buck2のキーコンセプトページをご覧ください。
MakeやMesonとは異なり、Buck2はタイムスタンプから何をリビルドするかを決定しません。アクションは、ソース、ツールバイナリ、ビルドプラットフォーム構成、およびコマンドライン自体のすべての入力のハッシュによってキー付けされます。これが、インクリメンタルビルドが正確で信頼できる理由であり、アクションの結果を共有キャッシュから取得して再実行しないことも可能になります。
ウォークスルー:ブート可能なイメージのビルド
tineを独自のプロジェクトで使用する方法をウォークスルーで説明します。ここでは、Goプロジェクトを含む非常に基本的な例をゼロからビルドし、それをブートさせます。この例では、テキストターミナルで空き/使用済みディスクスペースを素敵なASCIIアートで表示するCLIツールである duf を使用します。
tineのREADME に従い、tineをプルして初期化する新しいデモgitリポジトリを設定しましょう。
git init tine-demo
cd tine-demo
git submodule add https://github.com/amutable-systems/tine tine
tine/bin/tine init
git add .
git commit -m "initialize"
次にBUCKファイルを追加しましょう。いくつかのブロックに分けて説明しますが、これらはすべて同じファイルに入ります。まず、いくつかの定義をインポートする必要があります。これはStarlarkなので、Pythonのimport文に似ています。
load("@tine//box:defs.bzl", "box")
load("@tine//git:defs.bzl", "git")
load("@tine//go:defs.bzl", "go")
load("@tine//image:defs.bzl", "image")
次に、Goコンパイラ用のビルド環境を定義する必要があります。tineはすでにFedora rawhideカタログを提供しています。そのため、それ(tine// セル)とFedoraのgolangパッケージを使用するだけです。実際のプロジェクトでは、tineのものを盲目的にフォローするのではなく、独自の親OSカタログを定義して追跡する可能性が高いです。
box.new(
name = "go.box",
packages = ["golang"],
release = "tine//catalog:fedora.rawhide.release",
)
ビルドしたいduf Goプロジェクトのgitリポジトリを宣言します。tineはすべての入力を正確に固定する必要があるため、gitコミットIDを指定します。そのgitリポジトリは、上記のgo.boxとgitチェックアウトの両方をバインドする go.package() ルールへの入力として渡されます。これらは相対ターゲット(上記参照)として参照されるため、コロン区切りになります。
git.fetch(
name = "duf.git",
repo = "https://github.com/muesli/duf",
rev = "4636deb4a7b707a9f04c602db033f9837e50b3f6",
)
go.package(
name = "duf",
box = ":go.box", # 現在のディレクトリのターゲット
src = ":duf.git", # 別のターゲット
)
これで、バイナリをビルドして実行できるようになります。
tine/bin/tine buck run :duf
# [...]
# BUILD SUCCEEDED - starting your binary
# 5 local devices
# [...]
そして、最後の大きな部分、ブート可能なイメージです。Goボックスと同様に、Fedora Rawhideからパッケージを取得するtineカタログのパッケージマネージャーを再利用します。これは、仮想マシンでブートするために必要な最小限のセットに、bashを追加したものです。追加のops(操作)として、上記のGoルールからビルドされたhelloバイナリをインストールします。
image.bootable_disk(
name = "demo",
package_manager = "tine//catalog:fedora.rawhide.package-manager",
definitions = image.DEFAULT_USR_VERITY_PARTITIONS,
version = "0.0.0",
package_sets = ["bootable"],
packages = ["bash"],
ops = [
image.copy(":duf[duf]", "/usr/bin/duf"),
],
)
セル内のすべての利用可能なビルドターゲットをBuck2に問い合わせることができます。
tine/bin/tine buck targets //...
# root//:demo
# root//:demo.initrd
# root//:duf
# root//:duf.git
# root//:example.git
# root//:go.box
# root//:go.box.exec
これらすべてを行った後、イメージをビルドできます。しかし、実際にQEMUでライブで見る方がはるかに興味深いです。ここでは、便宜のために自動ログインを備えたVM定義を追加し、tine自身のRawhideカタログからのQEMUおよび関連ツールを使用して、新しくピカピカのデモイメージをブートさせます。
image.vm(
name = "demo-vm",
autologin = "root",
# QEMUなどがすべてインストールされているtineのrawhideボックスを再利用
box = "tine//catalog:fedora.rawhide.box",
image = ":demo",
credentials = {
"firstboot.timezone": "UTC",
}
)
クリーンなツリーからこの単一のコマンドを実行すると、Goプロジェクト、イメージがビルドされ、ブートされます。
tine/bin/tine buck run :demo-vm
以下が表示されるはずです。
[ OK ] Reached target graphical.target - Graphical Interface.
Fedora Linux 46 (Rawhide Prerelease)
Kernel 7.3.0-0.rc3.260916g9b87fdc9af2f.34.fc46.x86_64 on an x86_64 (hvc0)
fedora login: root (automatic login)
-bash-5.3# duf --help
Usage of duf:
--all include pseudo, duplicate, inaccessible file systems
[...]
-bash-5.3# ...
-bash-5.3# systemctl poweroff
SecureBoot/verity OSを生成されたキーまたはハードウェアキーで署名する方法、Go/Rustプロジェクトのビルド方法、tineが提供するさまざまな種類のルールとカスタマイズ、または統合テストの書き方など、さまざまなシナリオのBUCKおよび補助ファイルについては、tineのexamples/ディレクトリをご覧ください。
SBOMは無料です
tineはさらに多くのものを無料で提供します。例えば、Syft SBOMジェネレーターを統合しているため、CycloneDX標準SBOMをビルドするように依頼できます。出力パスも指定できるため、buck-out/ から探し出す必要がなくなります。
tine/bin/tine buck build --out /tmp/demo.cdx.json :demo[sbom][cyclonedx]
まだまだたくさんあります!
この記事では基本的なことしかカバーしていません。より完全な理解を得るには、ドキュメントを参照してください。開始するのに最も役立つと思われるトピックは以下のとおりです。
- FedoraまたはArchからのパッケージのインポート、変更、同期/マージのためのディストロパッケージ管理機能
- 共有ビルドキャッシュの設定と、その脅威モデルと設計の詳細
- PKCS#11を介したハードウェアキーによるビルドの署名
- 監査可能なcargoプロジェクト および Goプロジェクト をイメージビルドに含める方法
- ビルドされたサードパーティgitプロジェクトコンポーネントでの迅速なイテレーション のためのtineマウントの使用
- tineには、依存関係の更新 やカタログの更新 のための組み込みツールがあり、プロジェクトでこれらの定期的なハウスキーピングを自動化し、このような テスト済みのPRを取得するために再利用できます。
- tineはArchもサポートしています!
このシリーズの次の投稿では、これらのイメージやその他のイメージを配布するために構築したアップデートおよびプロビジョニングシステムについて説明します。その時にお会いできるのを楽しみにしています!
タグ: