新しい組み込みLinuxビルドシステムが必要な時期なのか?
Is it time for a new Embedded Linux build system? (yoebuild.org)
要約
組み込みLinux開発は、ハードウェアやオープンソースツールの進化にもかかわらず、特に小規模チームにとって複雑さが増しています。既存のビルドシステム(Yoctoなど)は、クロスコンパイルの課題や最新の言語エコシステムとの統合の難しさから、非効率的になっています。本記事は、現代の言語エコシステムと高速なARMベースのビルドハードウェアを活用し、開発プロセスを刷新することで、迅速な市場投入と効率的なシステム構築を目指す必要性を提唱しています。
全文翻訳
組み込みLinuxのビルドシステムは新世代の時代を迎えたか?
私は過去20年間、組み込みLinuxを使って製品を開発してきました。初めてYoctoの前身であるOpenEmbeddedを試したとき、単一のコマンドを実行するだけでx86ワークステーションから起動可能なARMイメージをビルドできることに、まるで贈り物のように感じました。しかし、状況は変化しています。ハードウェアとソフトウェアの両方で、利用可能なコンポーネントはますます増えています。AIツールもあります。大容量メモリを備えた強力なプロセッサもあります。小規模チーム(スタートアップや、小・中規模のコネクテッド製品を製造する産業界の企業)は、より大きなことを成し遂げたいと考えていますが、それらをすべて連携させることの複雑さに苦労し、出荷期日を逃し、フィールドに出た後のシステム保守に苦慮しています。この記事では、何が変わり、どのようにすれば組み込みLinuxシステムをより効率的に構築・保守できるのかを探ります。
組み込みシステムの黄金時代
私たちは組み込みシステムエンジニアリングにとって、驚くべき時代に生きています。私たちは以下のようなものを持っています。
- 産業用製品の完璧なハードウェアビルディングブロックとなる、多数のLinux System-on-Module (SOM)。
- MCUプラットフォーム上でソフトウェアを構築するための優れたOSであるZephyr。
- 成熟したツール(コンパイラ、ビルドシステムなど)。
- これらのシステムに適用できる、膨大な量のオープンソースソフトウェア。
- 高速で、手頃な価格のプロトタイピング(PCBアセンブリ、機械部品の3Dプリントなど)。
- より多くのベンダーがLinuxカーネルサポートをアップストリームしています。
- イメージやシステムのカスタムパーツをビルドするためのYoctoの堅牢なツール。
そして、これらすべてが、あらゆる規模の企業で利用可能です。それはまるで、広大な邸宅を相続するようなものです。オープンソースは、私たちが自分で決して建てられなかったであろう部屋や機能でいっぱいの広大な家を私たちに手渡してくれ、競争力を維持するためにはそこに住む必要があります。しかし、その家を維持するための道具は誰も私たちに渡してくれませんでした。私たちの能力以外に、私たちを妨げるものは何もありません。
現在の組み込みLinuxシステムの構築方法
組み込みLinuxのビルドシステムは、すべてのピースを組み合わせる問題を解決し、既存のシステムは私たちにうまく役立ってきました。Buildroot (2001) と OpenEmbedded/Yocto (2003) は現在標準となっており、ほとんどのSOC/SOMベンダーにサポートされており、一部のチームはDebian、Ubuntu、あるいはValveがSteam Deckで使用しているArch Linuxでさえも成功裏に出荷しています。
しかし、状況は変化しています…
エッジデバイスはクラウドシステムのように振る舞い始めています。ますます複雑なスタックを実行し、頻繁に更新され、ライフサイクル全体を通じてリモートで管理されます。長期サポート(LTS)の長い凍結期間とクロスコンパイルモデルは、新しいクラスの製品にはもはや適合しません。
一部のソフトウェアはクロスコンパイルモデルを超えています。現代の言語はそれぞれ独自のパッケージエコシステムを持っています。Python(NumPyやPyTorch経由でC/C++/CUDAをラップ)、JavaScript(Cライブラリにリンク)、vcpkg(C/C++用)。そのほとんどはデスクトップ/サーバー向けに書かれており、クロスコンパイル向けではありません。これはクロスコンパイルの負担を組み込み開発者に直接かけ、何千ものパッケージのレシピを維持することは、Yoctoコミュニティにとって継続的な負担となっています。Yoctoは、ビルド中にネットワークアクセスをブロックすることでこれを悪化させます。そのため、言語パッケージツールは複雑な do_fetch 統合なしでは機能しません。これは、すべてのソースを制御する必要がある場合には有用ですが、多くのプロジェクトにとっては不必要な摩擦です。
Yoctoでソースからすべてをビルドすることは、ビルド時間の長さ、メモリ使用量の多さ、そして強力なワークステーションを意味します。組み込みシステムをDebianで構築するためのさまざまな取り組みがありますが、そのどれもYoctoのツールや柔軟性には及びません。そして、4年前のYoctoに凍結されたベンダーBSPは、最新のソフトウェアをまったく統合することを困難にしています。
さらに続けることもできますが、組み込みLinuxは依然として困難です。才能あるチームでさえ、問題は本質的に難しく、ソフトウェアのビルドはますます困難になっているため、かなりの障害に直面しています。
要約すると、3つのことが変わりました。
- 製品は止まらない。 一部のエッジデバイスは、マルチイヤーの凍結ではなく、継続的なアップデートを伴うクラウドシステムのように振る舞うようになりました。
- クロスコンパイルは一部の分野でますます困難になっています。 特にPythonやNode.jsでは、基盤となるソフトウェアの多くが、壊れやすいビルドシステムを持つC/C++で書かれています。確かに、GoやZigのような言語でのクロスコンパイルは容易になっています。
- 古いトレードオフは依然として存在し、ますます顕著になっています。 ソースからのビルド(Yocto)は遅く重いですが、標準ディストリビューション(Debian)はカスタムツールを欠いています。
古いモデルはうまく機能してきました。本当の疑問は、それがまだあなたが構築している製品や、あなたが持っているチームに合っているかどうかです。
小規模チームは異なる問題を抱えているのであって、小さい問題ではない
私は多くの製品開発者と話をしてきましたが、一貫したメッセージを聞いています。第一に、これは依然として非常に難しいということです。第二に、大規模チームでうまくいくものが、小規模チームで常にうまくいくとは限らないということです。
小規模チームやスタートアップは、構築して出荷する必要があります。彼らはしばしば、複数年の開発サイクルを維持するリソースを持っていません。彼らは、複雑なビルドインフラストラクチャを作成し、困難なビルド問題をデバッグする経験を持つ、専任のビルドまたはプラットフォームエンジニアを持っていません。バイナリ再現性のあるビルドや、すべてをゼロからビルドすることよりも、シンプルさとビルド/デプロイの容易さがしばしばより重要になります。最新のオープンソースリリースを簡単にデプロイすることは、新技術を活用するために頻繁に必要とされます。
これらのチームはしばしば、ベンダーBSPが古いYoctoバージョンにロックインすること、重要なコンポーネントがビルドされない場合のフラストレーションの多いデバッグサイクル、そして必要なコンポーネントのバックポートにかかる多大な労力という3つのことで妨げられています。大組織は専任の専門家を雇用し、これらの問題にリソースを投入できます。小規模組織にはその贅沢はありません。
明確にしておくと、小規模 ≠ ホビイストです。これらはしばしば、ワンオフのメイカープロジェクトとコンシューマー規模の大量生産の中間に位置する、中規模(数百から数千ユニット)で生産されるスタートアップや産業用製品です。
新たな機会
BuildrootとOpenEmbeddedは、ARMベースのコンピュータが低速で、強力なx86ワークステーションでソフトウェアをクロスコンパイルすることが唯一現実的な選択肢だった時代に作成されました。C/C++ベースの限られたアプリケーションセットを構築していた頃は、これらのシステムはうまく機能しました。しかし、最近ではいくつかのことが変わりました。
- アプリケーション開発は、最新の言語(Python、JS、Go、Rust、Zig)へと移行しています。これらの言語は独自のパッケージエコシステムやキャッシュなどを持っています。
- ビルドシステムのハードウェア事情が変わりました。現在では、ビルド用の高速なARMコンピュータ(AWS Graviton、Hetzner CAX)が利用可能になり、x86ワークステーションに限定される必要がなくなりました。
- AIが、ビルドシステムを含むソフトウェア作成のための強力なツールとして登場しました。
これらの変化要因を活用し、コネクテッド製品の世界を再考することができます。重要なシフトはこれです。最新のエコシステムの「テクノロジー」だけを借りるのをやめ、「プロセス」も借り始めることです。RustやPythonを採用し、言語は取り入れても、古いビルドプロセスに押し込めると、舗装道路を走る列車のようなものです。勝利は、それが生成するものだけでなく、それらのエコシステムがどのように構築、パッケージ化、キャッシュするかを採用することから生まれます。
今、私たちは組み込みLinuxビルドシステムを再考する機会を得ました。私にとって、これは個人的な問題になりました。最近気づいたのですが、もし私がこれをあと20年続けるつもりなら、何か違うもの、顧客や私が実際に解決しようとしている問題により適したものが欲しいのです。ツールと戦うのではなく。
そこで私は実験してきました。過去数ヶ月間、私はこのプロジェクトの実際の部分をオープンに構築しており、初期の結果は有望です。かつてはクロスコンパイルとの格闘に一日を費やしていたソフトウェアが、今ではラップトップとCIで同じツールを使用して、アイデアからターゲットハードウェア上で実行されるまで数分で完了します。まだ粗削りで初期段階ですが、このアプローチが追求する価値があることを確信するには十分です。
もし…
…もし、以下のようなことができたらどうでしょうか。
- 市場投入までの時間を短縮する。 アイデアから動作する製品までの道のりを短縮する。
- アイデアを数秒から数分でターゲットハードウェア上で実行できるようにする。数日や数週間ではなく。
- クロスコンパイルを必要としない。
- 最新の言語エコシステム(Python、JavaScript、Rust、Go、Zig、pkgbuildなど)を活用する。
- ビルドをキャッシュするため、ソフトウェアの一部が二度ビルドされることはない。
- メインストリームディストリビューションの事前ビルド済みパッケージの利便性と、Yoctoのツールメリットを提供する。
- 小規模チームでより多くのことを成し遂げる。 チーム全体(およびAI)が使用できる単一のツールセット。ビルドの専門家を必要としない。
- アプリケーションとシステムソフトウェアのための単一のビルドシステムを提供する。ラップトップ、クラウドCI、ビルドファームで同じツールを使用する。
- 人間とAIが理解しやすい。
- AIエージェントと連携してうまく機能するツールが含まれている。
- 低レベルの作業の多くをAIに任せる。
- 問題を明確に示すエラーメッセージを提供する。
- 製品を最新の状態に保ち、フィールドでサポート可能にする。 最新のソフトウェアに追従し、デバイスのライフサイクル全体を通じて保守する。
- ベンダーBSPに妨げられることなく、最新のソフトウェアバージョンを簡単に追跡する。
- システムからアプリケーション、CIまで、一貫したツールでスケーリングする。
- フィールドに出たデバイスにアップデートを簡単にデプロイする。
(これらの問題は普遍的であるように思われますが、小規模チームはこれらの問題を解決するための専任リソースをほとんど持っていないため、特に深刻な影響を受けます。)
これは、私がこの次世代組み込みLinuxビルドシステムで実験していることです。このツールが開発を容易にする方法の例をいくつか示します。
- Alpine、Debian、Ubuntu はすべて、世界を再構築することなく迅速に開始できるベースディストリビューションとしてサポートされています。
- 世界と格闘する代わりに、PythonとJavaScript のネイティブパッケージエコシステムを統合します。
- ファーストクラスのAIサポート。
- ターミナルユーザーインターフェース (TUI) は高速で、何が起こっているかを簡単に監視し、必要に応じて詳細情報をドリルダウンできます。
分散キャッシュやリモートビルドランナーなど、いくつかの主要な機能はまだ欠けていますが、これらはまもなく追加される予定です。
古いモデルにも依然として場所がある
これらすべてが、古いモデルが消え去る、あるいは消え去るべきであることを意味するわけではありません。深く組み込まれた規制対象製品(コンプライアンス認証済み、ビット再現性あり、すべてソースからビルドされ、意図的に長年凍結されている)については、Yoctoは実績があり、依然として適切なツールです。それらはそれらの製品が必要とするものを正確に実行し、それをうまく実行します。
私たちはこのパターンを以前にも見てきました。Alpine LinuxはDebianに取って代わったわけではありません。それは異なるニーズ、つまり最小限でコンテナフレンドリーなイメージに応えました。どちらのディストリビューションも今日でも出荷されており、設計空間の異なるポイントに対応しています。誰もそれを競争として捉えていません。それらは単に異なるジョブのために形作られています。
ここでも同じことが言えます。最新の言語で構築された、動的でコネクテッド、頻繁に更新されるデバイスは、異なるジョブであり、そのジョブのために構築されたツールに値します。
では、時期は来たのか?
チームと製品の、実際的かつ成長中のクラスにとって、答えは「はい」だと思います。[yoe] build は、それがどのようなものになりうるかを探求する初期の実験です。まだ1.0未満であり、オープンに開発されており、粗削りな部分もすべて含んでいます。これは、この問題が解決する価値があるという賭けであり、解決策の形を一緒に見つけ出すための招待です。
それはあなた次第です。製品を構築するチームと、それらをサポートするベンダーです。フィードバックを提供してください。私が見落としていることは何ですか?試してみて、どのように機能するか教えてください。ニュースレターに登録してください。ベンダーにこのようなものが必要だと伝えてください。GitHubリポジトリをいいね/ウォッチしてください。興味を持つ可能性のある人に共有してください。改善に貢献してください。開発やインフラストラクチャに資金を提供してください。多くの小規模チームがこれを必要としており、これらの小規模企業は世界経済の大部分(ロングテール)を占めています。スタートアップは多くのイノベーションが起こる場所です。そして、最新のAIツールを活用できるコミュニティが出現すれば、それは起こるでしょう。過去2ヶ月間の進捗状況は、これが可能であることを示しています。