HN 日本語サマリー

← 一覧へ戻る
Web開発

ダウサーバー、スマートクライアント:QuarryによるOSイメージの配布

Dumb servers, smart clients: Distributing OS images with Quarry (amutable.com)

30 pointsby Levitating1 コメント

要約

Amutableは、OSイメージを安全に配布するための新しいツールチェーン「Quarry」を発表しました。Quarryは「ダウ(愚鈍)なサーバー」と「スマートなクライアント」という設計思想に基づき、サーバー側は静的なデータを提供するだけで、クライアント側が更新の判断や適用を行うことで、ミラーリングやキャッシュを容易にし、コストを削減します。これにより、高信頼性のLinuxシステム配布を目指します。

全文翻訳

Dumb servers, smart clients: QuarryによるOSイメージの配布

このシリーズの前回のブログ記事では、Immutableイメージの構築のためのtineを紹介しました。イメージができた今、それらを安全に配布する手段が必要です。

この記事では、私たちの「岩のように単純な」ソフトウェア配信ツールチェーンであるQuarryを紹介します!

ソフトウェア配信

Linuxシステムをユニークなものにしている要因を考えると、最初に思い浮かぶことの一つは、そのソフトウェア配信メカニズム、つまり伝統的にはパッケージマネージャーを介したものです。システム全体のソフトウェアのインストールとアップデートを管理するためのグローバルなシステムは、画期的なアイデアでした。

多くのディストリビューションは、独自のツールを構築してソフトウェアを管理・配布するようになりました。この断片化がLinuxに悪影響を与えたと主張する人もいますが、この状況はおそらく避けられないものであり、各ディストリビューションが構築したツールは、それらのプロジェクトの異なる目標を反映しています。

Amutableでは、高信頼性のLinuxシステムを提供することを目標としています。これは私たちのあらゆる側面に反映されており、ソフトウェア配信も例外ではありません。

主要な要件

次に、私たちの主要な要件を見ていきましょう。

  • 単純であること。 プロトコルは、クライアントへの応答を生成するためにスマートなサーバーに依存しない必要があります。アップデートペイロードとメタデータは、「単純な」静的ホスティングで提供される静的なブロブであるべきで、「知性」はすべてクライアント側に存在します。これにより、ミラーリングの実装が非常に容易になり、キャッシングが非常に柔軟で安価になります(静的ブロブはCDNの主力であり、アウトバウンドコストは「信じられないほど安い」から「無料」の範囲です)。また、将来の代替トランスポートメカニズムに対して多くの柔軟性を提供します。
  • きめ細やかな所有権を提供すること。 署名と一般的な配布モデルは、署名されたデータに対して異なる「所有者」を許可する必要があります。私たちが本当に避けたい主な落とし穴は、「サードパーティ署名キー」モデルであり、すべてのサードパーティデータに対して証明書局のように振る舞うことを余儀なくされます。これは不要な管理オーバーヘッドであるだけでなく、ベンダーのために署名されたオブジェクトがしばしばすべてのマシンに承認されるようになるため、全体的な認証スキームのセキュリティを低下させます。
  • 柔軟なキーエスクローを可能にすること。 きめ細やかな所有権の一部として、私たち(または他の当事者)によるキーエスクローから完全なキー所有権への移行が、クライアントに影響を与えることなく可能であるべきです。これは当然のことのように思えるかもしれませんが、ハードウェアバックアップされた署名キーはしばしばエクスポート不可能であったり、相互運用可能ではないカスタムプロトコルに依存したりするため、考慮することが重要です。また、すべての署名モデルが、何かを署名したエンティティを安全に完全に置き換えることを許可しているわけではありません。
  • 自律的であること。 アップデートスキームは、マシンが完全に自律的なアップデートを実行できるほど堅牢で記述的である必要があります。同時に、ステージングロールアウトやブルーグリーンデプロイメントなど、最新のデプロイメントシステムから期待されるすべてのメカニズムを提供する必要があります。
  • きめ細やかなアドレッシングをサポートすること。 数百万台のマシンに汎用オペレーティングシステムのアップデートをプッシュできることに加えて、より細かいグループ(個々のマシンでさえ)にプッシュできる必要があります。これにより、ソフトウェア配信メカニズムをより一般的な制御およびプロビジョニングメカニズムとしても使用できます。
  • 必要に応じて運用すること。 きめ細やかなアドレッシングの裏返しは、組織のフリートの構造、およびそれらの一般的なデプロイメントスキームが、リポジトリの構造に直接表現されるということです。単一ノードが侵害されても、攻撃者がそのノードが所有する組織全体に関するより多くの情報を得ることはできません。それは、それに直接関連するプロビジョニングデータにのみアクセスできるはずです。
  • 安全であること。 言うまでもないことですが、私たちが使用するスキームは、同様のソフトウェア配布スキームに対するすべての既知の攻撃に対して安全であり、健全なセキュリティ原則を使用して構築されなければなりません。

背景

Quarryがどのように機能するかを理解するために、まず、アーティファクトのインストールと配布に利用するプロジェクトを見ていく必要があります。

systemd-sysupdate

systemd-sysupdateは、主にUnified Kernel Images (UKIs)とDiscoverable Disk Images (DDIs)のインストールとアップデートに焦点を当てた低レベルインストーラーであり、Immutableイメージベースのオペレーティングシステムアップデートのための汎用スキームを提供します。DDIsをディスクパーティションにフラッシュしてインストールしたり、システム拡張(sysextおよびconfext)としてインストールしたり、UKIsをEFIブートパーティションにインストールしたり、リモートソースからローカルターゲットにファイルをインストールするための他の非常に汎用的な機能を提供したりします。

注: この記事の残りの部分では、「sysupdate」はsystemd-sysupdateによって使用される一般的なスキームを指し、systemd-sysupdateは実際のプログラムを指します。

他のLinuxアップデートシステムと比較して、sysupdateはアップデートソースとターゲットのプロパティを記述するためのかなりユニークなメカニズムを持っています。これらのプロパティには以下が含まれます。

  • 存在するペイロードは何ですか?
  • ペイロードはどのようにバージョン管理されますか?
  • 新しいペイロードはどこから取得されるべきですか?
  • ペイロードはどのようにインストールされるべきですか?
  • どのペイロードがグループで一緒に更新される必要がありますか?

これらはすべて、オンディスクの転送ファイルによって表されます。

The Update Framework (TUF)

2000年代半ば、ソフトウェアリポジトリに対するいくつかの注目度の高い攻撃があり、いくつかの研究者がより高レベルな視点で、理論的にどのような種類の攻撃から保護されるべきか、そして実際に何から保護されているのかを調査しました。彼らは、多くのソフトウェア配信システムが根本的なセキュリティ上の問題を抱えており、キー侵害から回復するための堅牢なメカニズムを欠いていることを見出しました。

同時に、Tor Projectは同様のラインで、あらゆる種類の中間者攻撃から保護される必要があるアップデートスキームに取り組んでいました。共同論文が設計を記述するために書かれ、The Update Framework (TUF)が誕生しました。

なぜTUFなのか?

TUFの多くの側面が、私たちがそれをQuarryの非常に堅固な基盤であると結論付ける理由となりました。

TUFの主な焦点の一つは、ソフトウェアリポジトリのキー侵害に対処する方法の問題です(記念碑的な論文のタイトルは「Survivable Key Compromise in Software Update Systems」でした)。彼らは、ほとんどのソフトウェア配布スキームが、単一の署名キーがいくつかの異なる目的で使用されるという欠陥のある所有権モデルを持っており、まれだがリスクの高い操作と一般的でリスクの低い操作を混同することによってスキームのセキュリティを低下させていることを認識していました。

TUFは代わりに、アーティファクト公開フローの異なる段階を、分離された署名キーを持つ個別のロールに分離します。中心的な考え方は、オブジェクトに署名するエンティティが、その正しさに関する最も多くの情報を持っているべきだということです。TUFはその後、どのロールのキーが侵害された場合に安全に解決できるかについての非常に明確な手順を提供します。

  • targetsロールは、アーティファクト名、サイズ、ハッシュのリストに署名します。従来のソフトウェアリポジトリモデルでは、targetsロールのキーは実際の開発者が所有することを想定しています。また、多くの異なる当事者がリポジトリ内で動的にソフトウェアを配布できるように、他のカスタムロール(異なる署名キーを持つ)に委任することもできます(TUFの用語では、アーティファクトは「ターゲットファイル」と呼ばれ、「targetsロール」となります)。
  • snapshotロールは、targetsロールのメタデータ(バージョンとハッシュ)のスナップショットに署名し、クライアントがリポジトリ内のすべてのソフトウェアの一貫したスナップショットを見ることを保証します。これは通常、リポジトリの発行者が所有します。
  • timestampロールは、snapshotロールのバージョンとハッシュに署名するだけです。TUFのすべてのメタデータには、フリーズ攻撃から保護するための明示的な有効期限があります。timestampロールという非常に小さな説明を持つことで、クライアントが他のロールデータを不必要に再プルする必要なしに、非常に短いTUFメタデータの有効期限を設けることができます。これは通常、リポジトリの発行者が所有します。
  • rootロールは、最上位ロールに署名するために許可される公開キーのセット(および各ロールに必要なキーのしきい値)の説明に署名します。これはリポジトリの発行者が所有しますが、キーは最もセキュリティが重要なキーであるため、ほとんどの場合オフラインで保存されます。

以下の図がより明確にするかもしれません。1

図のレンダリング中…

最も良い点は、TUFが完全に静的なファイルを使用して実装されていることです。これは、ミラーリングが非常に簡単な「単純な」プロトコルという私たちのニーズに完璧に合致しています!TUFの作者は、ソフトウェア配布における一般的な落とし穴(フリーズ攻撃、ミックスアンドマッチ攻撃、無限ストリーム攻撃、ファストフォワード攻撃など)についても多くの時間を費やしました。これは、ソフトウェア配布プロトコルに関する私たちの経験と一致しており、そのようなプロトコルが陥りやすい脆弱性の数々を私たちに強く認識させました。

Quarryの紹介

他のスキームを評価し、独自のスキームを構築することを短時間検討した後、TUFを基盤として構築するのが良いと結論付けました。そこで、TUFベースのクライアントおよび公開ツールであるQuarryを発表します。Quarryは、アップストリームツールの多くのギャップ(適切に管理されたプログラム的かつトランザクショナルな公開フローの提供など)を埋め、私たちが不可欠だと感じたいくつかのTUF拡張機能も含まれています。

マシンごとのリポジトリ

必要な粒度を容易にするために、各マシンはそれらにターゲットを絞ったインストール可能なアーティファクトの専用ソースを必要とします。共有アーティファクトを持つグループ化されたマシンは、専用ソースごとにそれらをグループ化して重複排除したいと考えるでしょう。

残念ながら、TUFでこれを行うための唯一の自然な方法は非常にトップダウンです。各組織は単一のリポジトリを持ち、各グループまたはマシンはサブディレクトリとして表され、委任を使用する可能性があります。これは必要に応じた(need-to-know)アプローチとは正反対です。構造的に、各マシンは組織内の他のすべてのマシンがどのように構成されているかを知ることになります!このアプローチを好ましくなくする、より詳細な問題もいくつかあります。

そこで、私たちは代わりにボトムアップのアプローチを採用することにしました。各マシンは、そのマシンを制御するネクサスとなる個別のリポジトリを取得します。インストール可能なアーティファクトは、このリポジトリに直接配置されるか(アーティファクトが別のリポジトリによって管理されている場合)、クライアントが設定済みリポジトリであるかのようにフェッチするリポジトリに「クロスリポジトリリンク」が配置されます。

図のレンダリング中…

この粒度レベルは、マシンが構造的にアクセスを許可されたアーティファクトにのみアクセスできることを意味します。また、キー所有権の移行ストーリーもより明確になります。たとえユーザーに秘密キーをエクスポートできないとしても、リポジトリに署名するためにそれらの公開キーを承認する新しいルートロールアップデートに署名できます。

Quarryはこの正確なセットアップを要求するわけではないことに注意してください。より伝統的なリポジトリデザインも同様にサポートしています。

sysupdateとの統合

sysupdateは低レベルコンポーネントであるため、TUFについては何も知りません。ましてや私たちのTUF拡張機能については知りません。QuarryリポジトリのTUFメタデータをアップデートの権威ある情報源と見なしているため、私たちの目標は、Quarryがすべてのインストール決定を行い、systemd-sysupdateがさまざまなアーティファクトタイプの最小インストーラーとして機能することです。

統合のコア部分は実装されていますが、まだ進行中です。長期的な計画は、UAPI.16マニフェスト形式(Quarry-clientはすでにサポートしています)を使用して、systemd-sysupdateが理解できる形式でTUFターゲットファイルを表現し、オンディスク転送ファイルを、よりリッチで権威あるTUFメタデータから生成される一時的な転送ファイルに置き換えることです。このすべての情報は、varlinkを介してsystemd-sysupdateに提供されます。

TUF拡張機能

前述のように、Quarryは私たちが以下で議論するいくつかのTUF拡張機能を使用しています。

リポジトリリスト

TUFが「ターゲットファイル」(公開リポジトリ内のアーティファクトのTUF用語)を処理するために定義しているアルゴリズムは、すべてクライアントが知っている名前のターゲットファイルをフェッチすることに基づいています。実際には、これは、アーティファクトの最新リリースのみが常に公開される(固定名で)、または最新バージョンに関する情報を格納するために特別なメタファイルが固定名で使用されることを意味します。

残念ながら、systemd-sysupdateの機能はそうではありません。転送ファイルのファイル名パターンにバージョン番号が含まれている必要があります。リポジトリを composable にしたい場合、「最新」の意味を上書きするグローバルファイルという考えは非常に不快でした。また、アップデート間の大きなギャップに特定の途中アップデートのインストールが必要な「踏み台」アップデートを許可するために、履歴バージョンも必要です。

そこで、リポジトリ内のすべてのファイルをリストするための独自のメカニズムを実装しました。これは驚くほど、考えているほど単純ではありません。この実装の過程で、Go TUF参照実装のいくつかのバグを発見し、パッチを送信しました。また、TUF仕様における重大な記述バグを発見し、ほとんどの参照実装がターゲットルックアップで間違った動作を実装していました。

この拡張機能のQuarryの実装は非常に汎用的な方法で行われており、Quarryで作成されたリポジトリだけでなく、任意のTUFリポジトリで機能します。病的なケースの一部が解消されたら、このアルゴリズムをTUF仕様に含めて公式にサポートされるメカニズムとして提案する予定です。

クロスリポジトリリンク

TUFは主に単一のリポジトリに焦点を当てているため、クロスリポジトリリンクのアイデアは少し外れています。TUFを使用してルートロールを配布することについての議論がありましたが、その提案はTUFのスナップショットスケーリング問題に焦点を当てており、独立したリポジトリをリンクすることではありません。静的な、クライアント定義のマルチリポジトリ委任や一部のTUF仕様もあります。対照的に、私たちが設計したモデルは、私たちの要件を満たすために必要な柔軟性を提供します。

A cross-repository link is an extension of the targets role which, like target delegations, specifies another source of target files signed by another entity. But instead of needing to be published in the same repository snapshot it is published as another repository that the client updates from as a regular repository. The following information is stored in a link:

  • クライアントがTUF仕様に従ってローカルメタデータコピーを保存するために使用するリポジトリ名。
  • リンクされたリポジトリの信頼をブートストラップするために使用されるルートロールのコピー。クライアントが、以前のフェッチや「example.comが所有するリポジトリはバンドルされたroot.jsonファイルを使用する必要がある」といったカスタムクライアントポリシーなど、信頼できるルートロールの別のソースを持っていない場合、この埋め込みバージョンが使用されます。
  • リポジトリの発行者が見た最新のスナップショットロールに関する情報。クライアントのアップデートポリシーに基づいて、クライアントはリンクで参照されている正確なスナップショットを使用することを選択できます(厳密なハッシュピンニングリンクとして機能する)か、スナップショットを最小バージョンとして使用し、アップストリームリポジトリからの古いスナップショットを拒否することを選択できます。リンクには、発行者がどちらのモードを好むかについてのヒントがクライアントに含まれています。リンクが異なる発行者によって管理されているリポジトリへのものである場合、厳密なハッシュピンニングはより壊れやすい可能性があります。
  • データとメタデータのルートURLに関する情報。これは、今後の作業で削除される可能性があります。

このメカニズムは多くの他のTUFユーザーにとっても非常に役立つと確信しているため、設計を完全に固めたら、TUF Augmentation Proposal (TAP)を提案したいと考えています。静的なリポジトリのセットが今日使用されている主なメカニズムですが、これらの動的なリポジトリ定義は、上記で参照されているスナップショットスケーリング問題のような、一見無関係な問題に対する多くの潜在的なソリューションを可能にします。

次は何ですか?

これで、この投稿とシリーズは終わりです。このシリーズでは、Linux Kernelとsystemdで行われたいくつかの作業を見てきました。イメージ構築のためのtineと、今回紹介したイメージ配布のためのQuarryの両方をオープンソース化しました。今後数週間で、これらすべてをどのように統合していくかを紹介し始めます。

注釈

  1. これは、元のTUF論文から取られた同様の図の近代化されたバージョンです。 ↩