HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Oxide上のKubernetes:顧客のニーズが統合をどのように形成したか

Kubernetes on Oxide: How Customer Needs Shaped Our Integrations (oxide.computer)

180 pointsby stevehipwell78 コメント

要約

Oxide Computerは、顧客の要望に応える形でKubernetesとの統合を推進してきました。当初はサポートされていなかったKubernetesの統合ですが、顧客の具体的な問題解決のフィードバックループを通じて、Rancher Node Driver、Omni Infrastructure Provider、Cluster API Providerといった複数のプロビジョニング方法が開発されました。さらに、KubernetesとOxideプラットフォーム間の同期を保つためのCloud Controller Managerも実装され、顧客がOxide上でKubernetesを効果的に運用できるようになっています。

全文翻訳

Kubernetes on Oxide: 顧客ニーズがインテグレーションを形成した経緯

2024年後半、顧客や見込み客はOxide上でKubernetesを実行することに熱心でしたが、それを支援するためのサポートされたインテグレーションはまだありませんでした。

KubernetesとOxideは自然な適合性を持っています。Kubernetesは標準的な拡張ポイントを通じて期待するインフラストラクチャの動作を定義し、Oxideはその動作を実装するために必要なプリミティブをAPIを通じて公開します。インテグレーションの基盤はそこにありました。欠けていたのはソフトウェアと、顧客が実際に必要としているインテグレーションの理解でした。

私がOxideの最初のソリューションソフトウェアエンジニアとして入社した時の状況です。¹ 顧客の問題を解決するソフトウェアの構築に注力しました。私の最初の任務は、Oxide上でのKubernetesのデプロイと運用の容易化でした。

最初の週に、開始を助けるための2つのリソースを渡されました。

  1. 顧客が提出したRancherノードドライバーのプルリクエスト
  2. RFD 493 Initial Kubernetes Integrations の初期ドラフト

これら2つのリソースから始まったものは、顧客の問題に導かれたフィードバックループを使用したチームの努力へと成長しました。この記事では、開発の時系列順ではなく、Kubernetesインテグレーションのカテゴリに焦点を当てて、各顧客の問題をどのように解決したかを説明します。

Oxide上でKubernetesクラスターをプロビジョニングするにはどうすればよいですか?

単一のプロビジョニングアプローチではすべての顧客のワークフローに適合しなかったため、私たちは3つのインテグレーションを公開することになりました。

Rancher Node Driver

最初​​の目標は、Rancherノードドライバーのプルリクエストを提出した顧客のブロックを解除することでした。プルリクエストをマージする前に、その仕組みを理解する必要がありました。私はRancherを使ったことも、ノードドライバーで作業したこともなかったので、その貢献をレビューすることは両方を学ぶことを意味しました。

Rancherノードドライバーは、RancherがRancher管理のKubernetesクラスターのノードとして仮想マシンをプロビジョニングできるようにするバイナリであることを学びました。Oxide Rancherノードドライバーは、Oxideの実装です。

テストにより、顧客の貢献が機能することが確認されたため、プルリクエストをマージし、CI/CDとドキュメントの改善を追加して、初期リリースを公開しました。Oxideは公式に最初のKubernetesインテグレーションを獲得し、顧客はすでにそれを本番環境で成功裏に使用していました!

Rancherを使用しており、Oxide上でKubernetesを実行したい場合は、開始するためにRancherガイドを参照してください。

Omni Infrastructure Provider

顧客は、Talos Linuxを実行するKubernetesクラスターをプロビジョニングするためにSidero LabsのOmniを使用することに関心を示しました。Omniは、Talos Linuxインスタンスを作成してOmniに登録するプログラムであるインフラストラクチャプロバイダーを通じてインフラストラクチャプラットフォームに接続します。

KubeCon North America 2025が数ヶ月後に迫っていたため、私たちはSidero Labsと提携してOmni用のOxideインフラストラクチャプロバイダーを構築し、紹介する機会を見出しました。私たちのOxide+Sideroイベントの前に、それを完了するために7週間ありました。² 2番目のプロビジョニングプラットフォームに対して構築することは、異なる顧客ワークフロー全体でOxideのAPIをテストすることにもなりました。

インテグレーション作業により、OmniとTalos Linux全体でいくつかの問題が明らかになりました。私はこれらの問題をSidero Labsにsiderolabs/omni#1633で提起し、彼らのチームは喜んで協力してくれました。これはRFD 68 Partnership as Shared Valuesを思い出させる素晴らしい機会でした。

最も記憶に残る問題はsiderolabs/talos#11948でした。Oxideはcloud-init user-dataにISO 9660ではなくFAT12ファイルシステムを使用しますが、TalosのファイルシステムプローブはNoCloud構成ディスクからISO 9660スーパーブロックを読み取ろうとするだけでした。その読み取りが失敗すると、プローブは他のフォーマット(VFATやMS-DOSなど)を試すのではなく停止しました。その結果、TalosはOmniに参加するために必要な構成を含むOxide user-dataを読み取ることができませんでした。修正はKubeConに間に合わないリリースとなるため、かなり面白い回避策が残りました。

現在の回避策は、user-dataにコメントをパディングしてサイズを増やし、ISO 9660スーパーブロックを使用するようにすることです。

KubeConが到着し、私たちはOxide+Sideroイベントを開催して、Omni用のOxideインフラストラクチャプロバイダーを紹介しました。顧客は現在、このインフラストラクチャプロバイダーを使用して、Omni管理のKubernetesクラスターのノードとしてTalos Linuxを実行するOxideインスタンスをプロビジョニングできるようになりました。

OmniまたはTalos Linuxを使用しており、Oxide上でKubernetesを実行したい場合は、開始するためにOmniガイドを参照してください。

Cluster API Provider

RFD 493 Initial Kubernetes Integrationsを最初に書いたときから、Kubernetes Cluster API (CAPI) インフラストラクチャプロバイダーを構築したいと考えていました。Cluster APIは、最初の2つのインテグレーションにはないものを提供しました。それは、RancherやOmniのようなサードパーティプラットフォームを必要とせずにクラスターを管理するための、アップストリームでプロバイダー拡張可能なAPIです。

CAPIインフラストラクチャプロバイダーの構築は、かなりの投資です。当時、顧客の需要とエンジニアリング能力はその投資を正当化しなかったため、私はプロジェクトを延期しました。

最終的に、顧客はCAPIインフラストラクチャプロバイダーを求め始め、ソリューションソフトウェアエンジニアリングチームは成長しました。私のチームメイトであるJoshとBrandonがプロジェクトを引き継ぎ、Cluster API Provider Oxide (CAPOx)をリリースしました。これにより、顧客はKubernetesネイティブな方法でOxide上にクラスターをプロビジョニングできるようになりました。

Cluster APIは、他のいくつかのインテグレーションを活用し、エンドツーエンドのクラスターワークフローをドッグフード³することを可能にします。Kubernetes Image Builderは、Packerプラグインを使用してCAPI対応のOxide VMイメージを作成し、CAPOxはインスタンスのプロビジョニング時にそれを使用します。CAPOxでプロビジョニングされたクラスターは、別途インストールされたOxide cloud controller manager (CCM)も使用して、実行時にKubernetesとOxideを統合します。

Cluster APIでOxide上にKubernetesクラスターをプロビジョニングしたい場合は、開始するためにCluster APIガイドを参照してください。

KubernetesはOxideインスタンスをどのように追跡しますか?

プロビジョニングインテグレーションはOxideインスタンスを作成・管理しますが、それらのインスタンスをKubernetes Nodeオブジェクトと調整(reconcile)しません。この調整なしでは、クラスターは到達不能なKubernetesノードの状態を判断できません。

各クラスターで実行され、Oxide APIを使用してOxideインフラストラクチャとKubernetesの状態を調整するコンポーネントが必要でした。Kubernetesは、まさにこの目的のためにcloud controller manager (CCM)を提供します。CCMは、KubernetesリソースをインフラストラクチャプロバイダーのAPIと統合します。

KubernetesとOxideを統合するために、Oxide cloud controller managerを構築しました。そのノードコントローラーは、Kubernetes NodeオブジェクトをOxideインスタンスと同期させ、インスタンスID、ネットワークアドレス、インスタンス状態などの詳細を記録します。Kubernetesは、この情報を使用してノードを初期化し、Oxideインスタンスが削除されたときにクラスターから削除します。

CCMはインスタンスを作成したり、クラスターをプロビジョニングしたりしません。それは、Rancher Node Driver、Omni Infrastructure Provider、およびCAPOxのようなプロビジョニングインテグレーションの仕事のままです。CCMはすべてのプロビジョニングインテグレーションと連携し、構築するための統合ポイントを提供します。Oxideが進化するにつれて、すべてのプロビジョニングインテグレーションを更新するのではなく、CCMに新しいコントローラーを追加できます。

その実行時拡張ポイントが配置されたことで、Kubernetesエクスペリエンスの別のレイヤーに対処できるようになりました。アプリケーションの公開です。CCMアーキテクチャは、Kubernetes LoadBalancerサービス用のサービスコントローラーも定義しており、次の顧客の問題に対処する場所を提供します。

LoadBalancerサービスを使用するにはどうすればよいですか?

クラウド統合Kubernetesに顧客が期待する機能の1つは、LoadBalancerタイプのServiceオブジェクトのサポートです。ユーザーがそれを作成すると、KubernetesはCCMのサービスコントローラーにロードバランサーをプロビジョニングし、そのアドレスをServiceステータスに公開するように要求します。ただ1つの問題がありました。Oxideはまだネイティブなロードバランサーを提供していなかったのです。

しかし、OxideにはフローティングIPがありました。フローティングIPは、インスタンスにアタッチおよびデタッチできる外部アドレスであり、それらのインスタンスをVPCの外に公開します。私は、ネイティブロードバランサーの欠如を回避するために、LoadBalancerサービスにフローティングIPを使用することにしました。アイデアは、フローティングIPが単一のKubernetesノードにトラフィックを配信し、Kubernetes Serviceがそのトラフィックを適切なPodに分散するというものでした。

それを機能させるには、OxideフローティングIPがインスタンスにどのように表示されるかを考慮する必要がありました。それらはゲストに対して2つの重要な方法で透過的です。第一に、Oxideは受信トラフィックの宛先アドレスをインスタンスの内部IPに変換してから、トラフィックをインスタンスに送信します。第二に、インスタンスにはフローティングIPで構成されたネットワークインターフェイスがありません。

結果として得られるトラフィックフローは次のようになります。

フローティングIPを使用したLoadBalancerサービスへのトラフィックフロー。

┌────────────────────────────────────────────────────────────┐│ Client                                                     ││ Request to floating IP: 45.154.216.233:80                  │└────────────────────────────────────────────────────────────┘                               │                               ▼┌────────────────────────────────────────────────────────────┐│ Oxide networking                                           ││ Translates destination to internal IP: 172.30.0.5:80       │└────────────────────────────────────────────────────────────┘                               │                               ▼┌────────────────────────────────────────────────────────────┐│ Kubernetes node                                            ││ Packet arrives at internal IP: 172.30.0.5:80               │└────────────────────────────────────────────────────────────┘                               │                               ▼┌────────────────────────────────────────────────────────────┐│ Kubernetes Service                                         ││ Selects a Service endpoint                                 │└────────────────────────────────────────────────────────────┘                               │                               ▼┌────────────────────────────────────────────────────────────┐│ Pod                                                        ││ Receives traffic on its target port                        │└────────────────────────────────────────────────────────────┘

トラフィックは内部IPを使用してインスタンスに到着するため、サービスコントローラーはstatus.loadBalancer.ingressに2つのエントリを公開します。⁴

  1. ProxyモードでのアタッチされたフローティングIP。これにより、クライアントはサービスの外部IPを確認できます。
  2. VIPモードでのノードの内部IP。これにより、KubernetesサービスはフローティングIPからのトラフィックを受け入れることができます。

ステータスエントリは次のようになります。

status:  loadBalancer:    ingress:      - ip: 45.154.216.233        ipMode: Proxy      - ip: 172.30.0.5        ipMode: VIP

このアーキテクチャにより、kubectlの出力も少し奇妙に見えます。

$ kubectl get service nginxNAME    TYPE           CLUSTER-IP       EXTERNAL-IP                 PORT(S)        AGEnginx   LoadBalancer   10.106.122.233   45.154.216.233,172.30.0.5   80:30605/TCP   37h

ユーザーは、フローティングIPのみが外部から到達可能であるにもかかわらず、EXTERNAL-IP列にフローティングIPとノードの内部IPの両方を表示します。これは不完全な抽象化ですが、ネイティブなOxideロードバランサーを待つ間に一般的なKubernetesワークフローをサポートすることを可能にします。

この実装は現在、externalTrafficPolicy: Cluster⁵をサポートしており、選択されたノードがクラスター内のどこでもサービスエンドポイントにトラフィックを転送できるようにします。そのノードが消滅した場合、CCMはフローティングIPを別の適切なノードに移動し、Serviceステータス内の内部アドレスを更新します。

ネイティブなOxideロードバランサーを導入すると、Kubernetesインターフェースを変更することなく、サービスコントローラーを更新してそれを使用できるようになります。顧客は、Oxideロードバランサーによって提供される、これまでと同じLoadBalancerサービスを作成し続けるでしょう。

クラスターにOxide CCMをインストールするには、開始するためにCCMガイドを参照してください。

KubernetesでOxideストレージを使用するにはどうすればよいですか?

クラスターがプロビジョニングされ、Oxideと調整され、VPC外から到達可能になった後、ステートフルワークロードのためのストレージが次に対処すべき問題となりました。KubernetesユーザーはPersistentVolumeClaimオブジェクトを通じて永続ストレージを要求し、基盤となるボリュームの作成、アタッチ、マウントのためにContainer Storage Interface (CSI)プラグインを期待します。Oxideにはディスクがありましたが、Kubernetesにはそれらのライフサイクルを管理するネイティブな方法がありませんでした。

Oxide CSIプラグインがない場合、顧客はLonghornのようなサードパーティのKubernetesストレージシステムをデプロイできました。Longhornは独自のCSIプラグインを提供しており、既存のディスクを使用し、独自のレプリケーションを処理します。当時Oxideがサポートしていた唯一のディスクは、3つのスレッド(sled)にデータをレプリケートする分散ディスクでした。Longhornと分散ディスクを一緒に使用すると、顧客が排除したいと考えていたかなりの書き込みファンアウトが発生しました。

Oxideローカルディスクは、Longhornを使用する際の書き込み増幅を削減する方法を提供してくれました。ローカルディスクには組み込みのレプリケーションがないため、Longhornに適しています。私たちのRancherショーケースはこのアーキテクチャを使用して書き込み増幅を削減しています。これは現在機能しますが、顧客は依然としてネイティブなOxide CSIプラグインを求めていました。

私のチームメイトであるLuizは、Oxide CSIプラグインがどのように機能するかを説明するRFD 595 Oxide CSI Pluginを書きました。すべてが紙の上では順調に見えました。ユーザーがPersistentVolumeClaimを作成し、CSIコントローラーがOxide分散ディスクを作成し、Podを実行しているノードにアタッチし、使用のためにフォーマットします。Podが別のノードに再スケジュールされた場合、CSIコントローラーはディスクをデタッチし、新しいノードに再アタッチします。

さらなる議論とプロトタイピングにより、ブロッカーが明らかになりました。Oxideは、ディスクのアタッチまたはデタッチの前にインスタンスを停止する必要があります。しかし、Kubernetesは、CSIプラグインが実行中のノードにストレージをアタッチすることを期待しています。ノードを停止すると、他のすべてのワークロードが中断され、連鎖的なスケジューリングおよびアタッチ操作がトリガーされる可能性があります。

CSIプラグインをリリースする前に、ハイパーバイザーからAPIに至るまで、Oxideソフトウェアスタック全体にわたるディスクホットプラグのサポートを追加する必要があります。Kubernetesインテグレーションとして始まったことは、Oxideソフトウェアスタックの複数のレイヤーにまたがるプロジェクトになりました。

ディスクホットプラグとOxide CSIプラグインは、執筆時点ではまだ活発な開発中です。それまでの間、顧客はLonghornのようなソフトウェアをOxideローカルディスクと組み合わせて、2層のレプリケーションを積み重ねることなく動的にプロビジョニングされた永続ストレージを使用できます。ネイティブCSIプラグインが出荷されると、顧客はレプリケーションと耐久性が組み込まれたOxide分散ディスクによって直接サポートされる、使い慣れたKubernetesストレージAPIを使用できるようになります。

次は何ですか?

現在、互いにうまく連携するKubernetesインテグレーションの成長するエコシステムがあります。Rancher、Omni、およびCluster APIはKubernetesプロビジョニングを解決し、Oxide CCMはKubernetesノードをOxideインスタンスと調整し、LoadBalancerサービスを処理します。顧客はすでにこれらのインテグレーションの一部を本番環境で使用しており、私たちはそれらのいくつかを独自の運用ワークロードでドッグフードしています。これらは together、構築のための強固な基盤を提供します。

次のステップは、新しくリリースされたCluster APIプロバイダーを使用してドッグフーディングを拡大することです。それを使用して、より多くのクラスターをプロビジョニングおよび運用することで、これらのインテグレーションが日常的にどのように連携するかをテストします。

まだ構築および洗練すべきことはたくさんあります。短期的な作業には、ディスクホットプラグの完了とCSIプラグインの出荷、オートスケーリングサポートの追加、およびCCMサービスコントローラーの外部サブネットをサポートするように拡張することが含まれます。長期的には、リソースタグ付け、OIDCサポート、およびネイティブロードバランシングを出荷するにつれて、それらを利用するようにKubernetesインテグレーションを拡張します。

これらのインテグレーションの構築は、KubernetesとOxideのアーキテクチャが互いをどのように補完するかを示しました。Kubernetesはインフラストラクチャプロバイダーに標準的な拡張ポイントを提供し、OxideはインフラストラクチャプリミティブをAPIを通じて公開します。Oxideのハードウェアとソフトウェアの共同設計により、インテグレーションブロッカーをそれらが属するレイヤーで対処し、必要な変更をフルスタック全体に引き継ぐことができます。

この作業により、顧客の視点からSDKとAPIを行使し、顧客の摩擦を製品改善に変えることもできます。そのフィードバックループは、このエコシステムを成長させ続ける方法です。この記事の各インテグレーションは顧客のニーズによって形成され、次のインテグレーションも同様に形成されるでしょう。

実演を見る

Cluster APIとcloud controller managerインテグレーションを実演で見るには、私がOxide上でKubernetesクラスターをデプロイする以下のビデオをご覧ください。

動画: Cluster APIを使用してOxideでKubernetesをデプロイする