HN 日本語サマリー

← 一覧へ戻る
プログラミング

Holo Core向けArch Linux Aarch64ポートの構築

Building an Arch Linux Aarch64 Port for Holo Core (collabora.com)

35 pointsby losgehts5 コメント

要約

CollaboraはValveと協力し、Steam Deckの基盤となるaarch64 CPU搭載OSのために、Arch Linuxのaarch64ネイティブポートであるHolo Coreを開発しました。Arch Linuxは公式にaarch64をサポートしていないため、ツールとCIインフラストラクチャの構築が必要でした。本記事では、このポートの作業を公開し、開発者向けのバイナリ、ソース、コンテナを提供して、aarch64上でのArch Linuxの探求を可能にします。

全文翻訳

Arch Linux aarch64版 Holo Core の構築

Valve は、その製品でArch Linuxの改変版を使用しています。CollaboraではValveと協力して、Holo Coreを開発してきました。これは、aarch64 CPUを使用するSteam DeckのOS基盤となる、純粋なaarch64版Arch Linuxです。Arch Linuxは公式にはaarch64アーキテクチャをサポートしていないため、これを可能にするためのツールとCIインフラストラクチャに取り組む必要がありました。

aarch64版の作業を公開する最初の一歩として、準備されたバイナリ、そのソース、およびそれらから構築した開発コンテナを公開します。これにより、誰でもこのポートを探求し、aarch64上のArch Linuxを実験できるようになります。

これらの公開された成果物は、Arch Linuxの“state”リポジトリのコミット 97c0a0b47d15のスナップショットからのパッケージサブセットに対応しており、aarch64アーキテクチャ用にビルドするために必要な変更が加えられています。

舞台裏

この段階では、まだワールド全体(Arch Linuxリポジトリで利用可能なすべてのパッケージ)を再ビルドしていません。最初の目標は、Steam Deckの開発とイメージ作成に必要なパッケージセットを提供することです。このArch Linuxパッケージのサブセットに限定した場合でも、これらのパッケージとそのランタイムおよびビルド依存関係を含めると、数千ものパッケージになります。

このポートの背後にあるアイデアは、選択したパッケージをaarch64アーキテクチャ用に単純に再コンパイルしてインストールするよりもはるかに複雑です。私たちは2つの主要な問題の解決を目指しています。

  • 新しいバージョンのArchパッケージから、外部アーキテクチャ用のバイナリをビルドする。
  • 独自のCIインフラストラクチャを持たないディストリビューション用のバイナリをビルドできるCIシステムを作成する。Arch Linuxはローリングリリースディストリビューションであるため、このCIシステムがディストリビューションの更新に伴って使用すべき正しい依存関係を特定できるようにする。
課題

ポートの作成方法はおおよそ知られています。初期クロスコンパイル、ブートストラップ準備、パッケージの再ビルドなどです。しかし、CIで最初からプロセス全体を再現可能にしたいとなると、話ははるかに複雑になります。

依存関係ツリーの正しいビルド順序を計算する必要もあります。ここで最初の注意点に遭遇します。Arch Linuxのパッケージリポジトリの履歴を追跡しているGitリポジトリの状態に完全に依存することはできません。多くの場合、パッケージのバッチは再ビルドに適さない順序でリポジトリにプッシュされるため、有効なビルドシーケンスを構築するために順序を自分で修正する必要があります。

もう一つの大きな課題は、Arch Linuxのローリングリリースモデルの性質に由来します。初期ポートを準備している間にも、パッケージとその依存関係チェーンは前進し続け、多くの場合、作業していた状態よりも数ステップ先へ進んでいます。開発プロセス中に、すでに数回新しいスナップショットに進んでいますが、パッケージ間の依存関係のため、中間バージョンを単純にスキップすることはできません。後続のバージョンのビルドには、しばしば中間パッケージバージョンが必要であり、それらはさらに他のパッケージバージョンのために必要となります。例えば、rust 1.91を再ビルドする必要がある場合、まず1.90が利用可能でなければならず、それ自体は1.89を必要とし、ブートストラップ中に使用されたバージョンまで遡ります。作成しているCIツールはこれを考慮する必要があります。

同様の問題は、特にpacmanによって必要とされるicuやgpgmeのようなビルドインフラストラクチャ自体のライブラリの一部であるSONAMEの遷移でも発生します。この場合、ビルドを実行するために使用されるパッケージマネージャーは古いライブラリバージョンに依存していますが、ビルドによって生成されるパッケージマネージャーは新しいバージョンに依存する必要があります。したがって、ビルドが実行される際には両方が利用可能でなければなりません。

過去のビルドシーケンスを再現しようとする際に、時間は最大の敵です。数ヶ月または数年前のパッケージを再ビルドしてArch Linuxに追いつこうとすると、必然的にアップストリームの状況が変化していることに気づくでしょう。ソースが移動したり、プロジェクトが異なるホスティングサービスに移行したり、パッケージが作成されたときに使用された短いコミットハッシュがより長い形式に拡張されたためにGitソースのチェックサムが変更されたり、数え切れないほどの他の問題が発生する可能性があります。

また、それらのパッケージバージョンが最初にリリースされたときには存在しなかったインフラストラクチャの問題に直面することもあります。現在、多くのアップストリームサービスは、ダウンロードレートの制限、接続の制限、またはクライアントの一時的なブロックによって、積極的なボットやAIクローラーから自身を防御しています。これは、アップストリームから直接ソースをダウンロードすることに依存するCIパイプラインにとって苦痛となる可能性があります。

さらに、aarch64アーキテクチャと互換性がなく、正しくビルドおよび実行するために追加のパッチを必要とするパッケージについては触れていません。そしてもちろん、独自のArch Linuxポートを維持する際には、常にコーナーケースや人間の間違いに対処する必要があります。これは、ローリングリリースディストリビューションのポートに関わる課題の完全なリストからは程遠いですが、タスクの範囲についてのアイデアを提供するのに役立つはずです。

ビルド再現モデル

Arch Linuxのビルド履歴を再現するために、上記の課題に対処するための複雑なツールのセットを開発する必要がありました。ツールの開発は完全に反復的であり、ブートストラップ、ビルドツリー、デッドロック解決の間を行き来し、これらの問題を解決して先に進むためにツールを修正しました。

リリースしたパッケージツリーは、単なる一度限りのtarballドロップではありません。これは終着点ではありません。このスナップショットは、ツールとCIインフラストラクチャが完全に機能するパッケージツリーを生成でき、製品ローンチをサポートできることを示す概念実証として機能します。

このツールは、完全なビルドツリーを計算し、完全な依存関係チェーンを解決し、初期ブートストラップからstate Gitリポジトリの特定の時点のスナップショットまで、必要なすべての П промежуточный rebuilds を含むArch Linuxパッケージビルドを「再現」できます。GitLabベースのCIは、これらのすべてのパッケージを再現可能な方法でビルドできます。ツールはまだ公開できる状態ではありませんが、私たちのチームはそれに取り組んでいます。

現時点までに開発されたインフラストラクチャは、最初から特定の時点のスナップショットまでビルドする能力がありますが、次のステップは、Arch Linuxの開発を追跡できるシステムにこれを組み込むことです。この作業は、Arch Linux自体をシャドウイングできる継続的に動作するCIシステムの基盤となります。私たちは、ディストリビューションをaarch64アーキテクチャにポートするArchの取り組みを支援し、自動化された再現可能なビルドに向けて協力するために、アップストリームのArch Linuxプロジェクトと連携していきます。

プレビューを使用してaarch64パッケージをビルドする方法

プレビュー状態であっても、このポートはaarch64でのArch Linuxの実験には十分成熟しています。

すでにaarch64ホストを持っている場合は、仮想化サポートや特別なセットアップは必要ありません。しかし、そうでない場合は、x86_64ホスト上でaarch64コンテナを実行したい場合があります。これを行うには、追加の設定が必要です。指示は最近のArch Linuxホストでテストされましたが、ほとんどのLinuxディストリビューションに適しているはずです。

x86_64ホストの準備

ビルドコンテナをaarch64ホストで実行できる場合は、このセクションをスキップしてください。

異なるアーキテクチャのホスト上でaarch64コンテナを実行するには、QEMUユーザーモードエミュレータと適切なbinfmt設定が必要です。コンテナ内で実行されるすべてのバイナリは、このメカニズムを通じて開始されます。

必要なQEMUパッケージがインストールされていることを確認してください。

sudo pacman -S --noconfirm qemu-user-static qemu-user-static-binfmt
オプション: x86_64でsudoを動作させる

Arch Linuxでは、/usr/lib/binfmt.d/qemu-aarch64-static.confのデフォルトのbinfmt設定は:FPフラグを使用しており(カーネルドキュメントのbinfmt-miscを参照)、qemu-aarch64-staticを介したsudoやその他のSUIDバイナリの実行を防ぎます。

$ sudo true
sudo: effective uid is not 0, is /usr/bin/sudo on a file system with the 'nosuid' option set or an NFS file system without root privileges?

これにより、makepkgがビルド依存関係を自動的にインストールできなくなるため、コンテナ内でsudoサポートを有効にすることをお勧めします。

以下の設定は、ホスト全体でSUIDが有効なaarch64バイナリの実行をグローバルに有効にすることに注意してください。

  1. 設定をコピーします。
sudo cp /usr/lib/binfmt.d/qemu-aarch64-static.conf /etc/binfmt.d/qemu-aarch64-static.conf
  1. C(credentials)フラグを追加します。
sudo sed -i -e "s/:FP$/:FCP/" /etc/binfmt.d/qemu-aarch64-static.conf
  1. 設定を再登録します。
sudo systemctl restart systemd-binfmt.service
ビルドコンテナの作成とテスト

base-develコンテナイメージは以下で利用可能です。

registry.gitlab.steamos.cloud/holo/holo-core-aarch64-preview/base-devel

このイメージはDockerまたはPodmanで使用できます。この例では、セットアップを簡素化するためにdistroboxを使用します。

  1. distroboxをインストールします。
sudo pacman -S --noconfirm distrobox
  1. DistroboxはrootlessコンテナにユーザーIDマッピングを使用するため、正しいUID/GIDマッピングが存在することを確認します。
$ grep "$USER" /etc/subuid /etc/subgid
$ sudo usermod --add-subuids 100000-165535 --add-subgids 100000-165535 $USER
  1. コンテナを作成します。
distrobox create \
  --platform linux/arm64 \
  --image registry.gitlab.steamos.cloud/holo/holo-core-aarch64-preview/base-devel:latest \
  --name builder

イメージのダウンロード後、aarch64コンテナに入り、正しく動作することを確認できます。

$ distrobox enter builder
Starting container...                            [ OK ]
Installing basic packages...                     [ OK ]
Setting up devpts mounts...                      [ OK ]
Setting up read-only mounts...                   [ OK ]
Setting up read-write mounts...                  [ OK ]
Setting up host's sockets integration...         [ OK ]
Integrating host's themes, icons, fonts...       [ OK ]
Setting up distrobox profile...                  [ OK ]
Setting up sudo...                               [ OK ]
Setting up user's group list...                  [ OK ]
Setting up existing user - shell...              [ OK ]
Setting up existing user - groups...             [ OK ]
Ensuring user's access...                        [ OK ]
Container Setup Complete!

[user@builder ~]$ file /bin/bash
/bin/bash: ELF 64-bit LSB pie executable, ARM aarch64, version 1 (SYSV), dynamically linked, interpreter /lib/ld-linux-aarch64.so.1, BuildID[sha1]=6b5cf11c690122687bb20c169b56aadf44a9aeb6, for GNU/Linux 4.4.0, stripped

[user@builder ~]$ cat /etc/os-release 
NAME="Holo core Aarch64 port (preview)"
PRETTY_NAME="Holo core Aarch64 port (preview)"
ID=holo-core
ID_LIKE=arch
VARIANT_ID=aarch64-preview
ANSI_COLOR="1;35"
HOME_URL="https://gitlab.steamos.cloud/holo/holo-core-aarch64-preview"
LOGO=holo
VERSION_ID=mash-20251118.1
BUILD_ID=240949

[user@builder ~]$ sudo pacman -Syu
:: Synchronizing package databases...
 core is up to date
 extra is up to date
:: Starting full system upgrade...
 there is nothing to do

[user@builder ~]$ exit
logout
$ 
パッケージのビルド

ビルドコンテナは、プレビューリポジトリで公開されているパッケージを使用してパッケージビルドをテストする準備ができました。

リポジトリをクローンし、利用可能なパッケージをビルドします。

$ git clone https://gitlab.steamos.cloud/holo/holo-core-aarch64-preview
$ cd holo-core-aarch64-preview/core-aarch64/c/coreutils/9.9-1

$ distrobox enter builder -- gpg --import keys/pgp/*.asc
$ distrobox enter builder -- makepkg --cleanbuild --noconfirm --syncdeps

ビルドプロセスには時間がかかる場合があります。x86_64ホストでは、すべてのaarch64バイナリはエミュレーションを通じて実行されることに注意してください。

ビルドが完了すると、aarch64アーキテクチャ用のパッケージが得られます。

今後の展望

私たちはツールの開発を続けており、主な目標は、aarch64ポートを、SteamOSのamd64/x86_64バージョンの将来のバージョン開発に使用されているパッケージリビジョンに効率的に追従できるようにすることです。これまでの成果に誇りを持っており、近い将来ツールのアクセスを提供できることを願っています。私たちは、CIインフラストラクチャとaarch64ポートをアップストリームのArch Linuxディストリビューションにもたらすことに興味のある人々と共通のアプローチで協力し、SteamOSが構築されている基盤を提供するコミュニティに還元することを目指しています!