Fedora 45 ソーセージ工場
The Fedora 45 Sausage Factory (supakeen.com)
要約
この記事は、Fedora 45 におけるソースコードやパッケージが、ISOイメージやクラウドイメージなどの最終的な成果物にどのように変換されるかというプロセスを解説しています。パッケージがPackagerのGitプッシュから始まり、ビルドシステムKoji、アップデート管理システムBodhi、そしてリリースコンポーズシステムPungiを経由する「ソーセージ作り」の工程を追います。著者は、この複雑なプロセスに関する最新の情報を提供することを目指しています。
全文翻訳
The Fedora 45 Sausage Factory
この記事は、Fedoraがソースコードとパッケージを、ダウンロードしてインストールする成果物にどのように変換するかを解説するウォークスルーです。パッケージャーのgit pushから、ISO、クラウドイメージ、コンテナイメージ、そしてOSTreeデプロイメントといったコンポーズされたリリースに至るまでのパッケージの流れを追います。
このウォークスルーでは、Fedora 45時点でのFedoraの「ソーセージ」がどのように作成されるかを説明します。物事は常に変化しています。私はこのドキュメントを各サイクルまたは数サイクルごとに更新する時間を持ちたいと思っています。これにより、歴史的な情報と最新の情報が提供されることを願っています。
実際、この記事はFedora 45がまだリリースされていないため、現在も更新中です。この投稿はリリースまで更新される可能性が高いです。ここに影響を与えるいくつかの変更提案(change proposal)が進行中です。特に、この記事の大部分を占めるboot.isoの生成方法が変更されます。
したがって、もし私が何か間違っている点があれば、私に知らせてください。間違いを見つけた場合は、cmdr@supakeen.comまでメールを送ってください。
開始点:dist-git
すべては、パッケージャーがパッケージのコミットをプッシュすることから始まります。
Fedoraは、各パッケージのソース定義をsrc.fedoraproject.orgにある個別のGitリポジトリに保存しています。各リポジトリには、RPM specファイル、ダウンストリームパッチ、そして別のルックアサイドキャッシュに保存されているアップストリームのtarballを指すsourcesファイルが含まれています。大きなバイナリファイルはGitから除外されています。それ以外のファイルはGit内に存在するため、完全なバージョン管理が行われます。
パッケージャーは通常、fedora-pkgというCLIツールを通じてこれらのリポジトリとやり取りします。このツールは、リポジトリのクローン、ソースtarballのアップロード、ビルドの提出、アップデートの作成といった一般的な操作をラップしています。fedora-pkg buildの重要な点は、それが実際に行うことです。それはGitリポジトリの特定のコミットを指すURLを構築し、それをビルドシステムであるKojiに渡します。ビルドはそのコミットハッシュから完全に再現可能です。
ブランチはリリースに対応します:開発用はrawhide、Fedora 44用はf44です。ホスティングはPagure (src.fedoraproject.org) とForgejo (forge.fedoraproject.org) に分かれており、前者の移行が後者に対して進行中です。
パッケージャーはfedora-pkgを使わずに作業することもできますが、この記事の目的のためには、読者にとって無関係な一部の処理を抽象化してくれるfedora-pkgが使用されていると仮定するのが簡単です。
パッケージのビルド:Koji
fedora-pkg buildがそのGit URLを送信すると、Kojiが引き継ぎます。KojiはFedoraのビルドシステムです。Fedora 7から存在しており、基本的にすべてをビルドしています。
Kojiはハブアンドスポークアーキテクチャに従っています。ハブは、PostgreSQLデータベースの前に配置されたパッシブなXML-RPCサーバーです。ビルダーデーモンはハブから作業をポーリングし、各ビルドのために新しいMock chroot環境を作成し、ビルドを実行し、結果をアップロードします。すべてのビルドはクリーンルームから開始されます。ビルダーに先週何かをインストールしたからといって、異なる結果が得られることはありません。
組織モデルはタグを中心に構築されています。タグはビルドの命名されたコレクションです。ビルドターゲットは、受信したビルド要求を2つのタグにマッピングします:ビルド(ビルド中に利用可能なパッケージであるビルドルートを定義する)とデスティネーション(完成したビルドが配置される場所)です。
KojiはRPMをビルドするだけではありません。プラグインシステムとコンテンツジェネレーターを通じて、イメージビルドもオーケストレーションします:kiwiBuildタスクタイプを介したKiwiイメージ、imageBuilderBuildを介したImage Builderアーティファクト、そしてrunrootタスクを介したOSTreeコンポーズです。それらについては後述します。
アップデートのゲート:Bodhi
Kojiで新しくビルドされたRPMは、自動的にユーザーに届くわけではありません。それはFedoraのアップデート管理システムであるBodhiを経由します。
Bodhiは、フィードバックとテストのサイクルを通じてアップデートのリリースをゲートします。パッケージャーは1つ以上のビルドを含むアップデートを提出します。そのアップデートは、保留中(pending)、テスト中(testing)、安定(stable)という一連の状態を経ます。ユーザーと自動テストはカルマ(+1 / -1)を提供します。アップデートが+3カルマに達するか、テスト中に十分な日数を費やすと、自動的に安定版にプッシュされます。アップデートが+1カルマに達すると、メンテナーは手動で安定版にプッシュできます(クリティカルパスの場合は+2)。
メンテナーは、アップデートの自動プッシュ設定やカルマ制限(の一部)を設定できます。
舞台裏では、BodhiはKojiタグを通じてこれらすべてを管理しています。アップデートがテスト中から安定版に移動すると、Bodhiはビルドをf44-updates-testingタグからf44-updatesタグに移動させます。その後、Pungiを呼び出してアップデートリポジトリをコンポーズします。これは、ユーザーがdnf upgradeを実行したときにプルする実際のyum/dnfリポジトリです。
クリティカルパスパッケージ(システムが起動・機能するために必要なもの)は、より厳しい要件を持ちます:7日ではなく14日間テスト中、そしてより多くのカルマが必要です。Bodhiはまた、GreenwaveとResultsDBと統合してCIテストゲートを行い、自動テストの失敗がアップデートを安定版に到達させるのをブロックできるようにします。
Rawhideの場合、これらのプロセスは異なる設定になっています。非クリティカルパスパッケージは、ゲートポリシー(パッケージがクリティカルパスにあるか、パッケージ自体にポリシーがあるため)がない限り、すぐに安定版になりますが、それでも適用され、パスするまでアップデートは保留される可能性があります。
リリースのコンポーズ:Pungi
個々のRPMは、Bodhiのゲートを経ても、単なるパッケージにすぎません。それらをダウンロードしてインストールできるもの(ISO、クラウドイメージ、リポジトリ)に変換するのは、Pungiの仕事です。
Pungiはコンポーズオーケストレーターです。それ自体は多くの重い作業を行いません。代わりに、それを行うツールを調整し、すべてが同じ一貫したパッケージセットからビルドされることを保証します。
この名前は、ヘビ使いの楽器であるpungiへの参照です。それはFedoraのインストーラーであるAnacondaを「魅了」します。この言葉遊びは2006年から続いています。
コンポーズはpungi-kojiが実行されると開始されます。これは、ナイトリーRawhideコンポーズのためにcronによってトリガーされるか、マイルストーンリリースを手動でトリガーされるかのいずれかです。設定ファイル(Fedoraの場合、pungi-fedoraリポジトリのfedora.conf)をロードし、一連のフェーズを実行します。
パッケージセットのフリーズ
Pungiが行う最初の実際の作業は、Kojiタグからパッケージセットのスナップショットを取ることです。これはPkgsetフェーズであり、非常に重要です。後続のすべてのフェーズはこのフリーズされたセットから作業します。コンポーズ実行中に誰かがKojiに新しいビルドを提出しても、それはコンポーズに忍び込むことはありません。タグベースのスナップショットにより、コンポーズ全体が監査可能になります。どのコンポーズにどのパッケージのどのバージョンが含まれたかを常に正確に特定できます。
何をどこに配置するかを決定する:compsとバリアント
パッケージがフリーズしたら、Pungiはどのパッケージがどの製品に属するかを決定する必要があります。ここで2つのXML入力が登場します。
comps (fedora-comps) は、gnome-desktop、server-product、coreのような関連パッケージのコレクションであるパッケージグループを定義します。グループ内の各パッケージには、必須(mandatory)、デフォルト(default)、オプション(optional)、条件付き(conditional)のタイプがあります。これはdnf group installやAnacondaのソフトウェア選択画面を支えるのと同じグルーピングシステムです。
variants XML (pungi-fedora内のvariants-fedora.xml) は、コンポーズ内の製品を定義します:Everything、Server、Workstation、KDE、Silverblueなど。各バリアントは、含めるcompsグループとサポートするアーキテクチャをリストします。現代のFedoraのほとんどのバリアントは`is_empty=