HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

なぜBlacksmithに参加して再びストレージに取り組むことにしたのか

Why I joined Blacksmith to work on storage again (blacksmith.sh)

12 pointsby piobio1 コメント

要約

著者は、Blacksmithで継続的インテグレーション(CI)におけるストレージの問題に取り組むために参加しました。CIワークロードは、大量の短命な仮想マシンを迅速に起動・破棄し、それぞれにデータ(ソース、依存関係、キャッシュなど)を供給する必要があり、従来のストレージソリューションでは対応が難しい、高スループット、高チャーン、低レイテンシーという特殊な要件を持っています。Blacksmithは、このユニークなワークロードに対応するため、ストレージ基盤そのものの再考を目指しています。

全文翻訳

Blacksmithにストレージ開発のために再び参加した理由

継続的インテグレーション(CI)システムに潜むストレージの問題についてお話ししたいと思います。なぜそれが一見思えるよりも面白く、そして珍しいのか、そしてそれが私がBlacksmithに参加した理由であるのかを説明します。それを説明するために、私がどのようにしてここにたどり着いたのかから始めるべきでしょう。

私が仕事に求めるものは、何よりも挑戦です。私は、すぐには答えが出ないようなシステムの問題を追い求めてキャリアを積んできました。Googleでは、最大の汎用ストレージ基盤であるColossusでのストレージ開発、スタートアップではeBPFベースのデバッガ、そしてその後Datadogでは最近では本番環境に基づいたコード最適化に携わってきました。共通しているのは、スタックの特定のレイヤーではなく、まだ誰も明確な答えを持っていない問題に引きつけられることです。

そこで、Blacksmithの人々がまさにそのような問題に取り組んでいると聞き、私の注意を引きました。詳しく調べたところ、Blacksmith(すべてのプッシュとプルリクエストで実行されるビルドとテストである継続的インテグレーションを、自社のマシン群で実行しています)は、内部的には、コンピューティングの問題であると同時に、少なくともストレージの問題でもあることがわかりました。膨大な数の短命な仮想マシンを立ち上げ、破棄し、それぞれに必要なデータ(ソース、依存関係、ビルドキャッシュ、生成される結果)を供給することは、通常使用するツールには適合しないことが判明しました。高スケール、高チャーン、タイトなレイテンシ予算です。「マネージドCI」のために来たのではありません。そのワークロードのために来たのです。

また、現在の業界のストレージに関するエネルギーのほとんどがスタックの上位に費やされていることも観察しています。新しいデータベースやデータレイヤーは、ますますAI指向になり、長年使われてきた同じプリミティブの上に構築されています。Blacksmithに私を引きつけたのは、より稀な機会である、レイヤーを一段下げて、ストレージ基盤そのものを再考することでした。それは、ゼロから始める贅沢としてではなく、ここのワークロードがそれらのプリミティブに疑問を投げかける具体的で確固たる理由を与えてくれるからです。ワークロードが本当にそれを要求するからこそ、新しい基盤を構築できるというのは、私にとって最もエキサイティングなシステム作業の形です。

それでは、そのワークロードを見てみましょう。CIジョブが実際にストレージに対して何を行うのか、私たちが実行するスケールで、そしてなぜ明白な解決策が適合しないのかを示します。

CIジョブが実際に行うこと、スケールで

「ディスクを持つサーバー」というイメージは、いったん忘れてください。Blacksmithでの作業単位は、数分間しか存在しない、新しく一時的なマイクロVMです。すべてのCIジョブは、クリーンなVMを起動し、その作業を行い、破棄されます。通常のサーバーが静かに状態を蓄積していくような、長命なホストはありません。そして、私たちはこれらのVMを膨大な速度で実行しています。毎日、ジョブごとに約250万個のボリュームを作成・破棄しており、ピーク時には1分あたり約1000個の新しいVMが稼働します。

この単一の事実は、以下のすべて事柄の根源です。状態は、毎回、新たに、どこかから、高速に供給されなければなりません。それはジョブが実行される前に始まります。マシンは、起動するために自身のルートファイルシステムを読み込む必要があり、その同じベースイメージは、多数のVMが同時に要求します。

[画像: CIジョブの実行フローを示す図。VMの起動、リポジトリのフェッチ、環境設定、テスト実行、成果物の保存といったステップが示されている。]

VMが起動すると、その作業は、それぞれ独自の特性を持つ、個別のストレージワークロードの集まりになります。

  • リポジトリのフェッチ。 ほとんどすべてのジョブは、ソースコードのプルから始まります。この速度では、同じリポジトリのセットに対して繰り返しの転送が壁となります。同じバイトが何度も支払われ、しばしば遠隔のオリジンから取得されます。各ジョブが求めるものは異なります。ここでは浅い先端、そこでは完全な履歴です。プレッシャーは、ディスク上にあるバイトではなく、ネットワークスループットとローカリティにかかります。
  • 環境設定の繰り返し。 リポジトリのフェッチとほぼ同様に、特定のリポジトリのほとんどすべての実行で、実際の作業が開始される前に、同じコストのかかる設定(ツールチェーン、システムパッケージ、依存関係のインストール)がやり直されます。その設定が生成するバイトは、実行ごとに本質的に同一ですが、毎回ゼロから再生成されます。
  • 依存関係を起動するテスト。 データベース、サービス、フィクスチャ、実行ごとに起動されるシードデータ。これは重い一時的なI/Oであり、ジョブが終了するとほとんどすべてが破棄されます。
  • インクリメンタルキャッシュを必要とするビルド。 Dockerレイヤーキャッシュ、コンパイラおよび依存関係キャッシュ、ビルドツールの状態。これらは書き込み負荷が高く、それらを生成したマシンよりも長く存続する場合にのみ価値があります。キャッシュはマシンよりも長生きしなければなりません。そして、キャッシュのセマンティクス(何を保持し、どのようにキーイングするか)は、ストレージのノブではなく、ビルドツール内に存在します。
  • 実行成果物の永続化。 すべての使い捨てデータとは反対側の側面です。本当に永続化する必要があるもの:ビルド出力、テストレポート、カバレッジ、ログ、下流にプッシュされるイメージ。書き込みの少数派であり、反対の要件を持っています。永続的で、VMがなくなった後も長期間アドレス可能であり、時には大きく、保持ルールによって管理されます。同じシステムが、「ほとんど何も保存しない」と「決して失わない」を同時に行う必要があります。

これらのそれぞれが、開発者がCIの結果を待つクリティカルパス上にあります。各ステップは、1日に数千回、各実行に数秒または数分を追加します。ここでの速度は、単なる利便性ではなく、製品そのものです。そのプレッシャーは、以下のすべてに適用されます。

チャーン(Churn)が包括的な課題

これらのワークロードすべてを貫く糸は、チャーンです。各ジョブは自身の世界を作成し、激しく書き込み、そしてそのほとんどすべてを破棄します。インテグレーションテストジョブはデータベース、サービス、フィクスチャ、シードデータを起動し、作業を行い、そのほとんどは生き残りません。フリート全体で、ジョブは1日あたり約2ペタバイトをジョブごとのボリュームに書き込み、そのうち約95%が破棄されます。約250万回のボリュームライフサイクルにわたってです。作成→書き込み→破棄という単なる速度自体が負荷です。ほとんどのストレージシステムは、蓄積されるデータ用にサイズ設定されていますが、これは数分で蒸発します。

[画像: CIジョブにおける書き込み量と破棄量の関係を示すグラフ。書き込み量が非常に多く、破棄される割合が高いことが示されている。]

スケールは共有データへの同時実行性でもある

速度だけが唯一の軸ではありません。多くの困難は、共有したいデータへの同時実行性です。

読み込み側では、人気のあるリポジトリのミラーを想像してみてください。ピーク時には、単一のキャッシュされたスナップショットに対して、数千のジョブが同時に読み込みを行います。このファンアウトを単一の共有コピーから高速に提供することは、それ自体が問題です。

書き込み側では、難しいのはインクリメンタル更新です。実行をまたいで存在する状態であり、各ジョブがそれに小さな差分を折り込みます。その状態は、大きく、ほとんど静的な共有ベース(ビルドされた依存関係、ウォームアップされたレイヤー、投入されたキャッシュ)であり、差分が着地することを望みます。なぜなら、次の実行はそれが可能であればより高速になるからです。しかし、多くのジョブが同時に同じベースに対して差分を生成します(ワークフローの並列ジョブ、またはホットなリポジトリの多くの実行)。それぞれが、完了すると消滅する一時的なVMであり、調整または圧縮を行う長命な所有者がいません。それらは衝突します。複数の他のライターが同じウィンドウで変更しているベースに、差分がクリーンに着地できないことがよくあります。そのため、競合したり、解決されたり、単に失われたりします。その形状は、見慣れたもの、つまりバックグラウンド圧縮を持つミューテーションログに似ていますが、経済性が破綻します。差分は非常に小さく、各ライターは短命であるため、ログは圧縮がペイするほど大きく成長することはなく、それでもチェーンの深さは蓄積し、圧縮して削除する必要があります。

[画像: 共有キャッシュへの複数ライターの同時書き込みと、それによる競合やデータ損失の可能性を示す図。]

同時実行性は、誰が勝つか、何が失われるかという問題に加えて、もう一つの危険、つまり正しさを追加します。共有キャッシュに対する複数のライターがいる場合、読み取り側は、書き込みがどのように着地したとしても、半更新された状態を決して観察してはなりません。したがって、衝突を解決するだけでは不十分です。すべての読み取り側は、常に一貫性があり、有効なビューを保証される必要があります。

共有がすべてであり、ジョブは互いを信頼しない

上記のほとんどすべての効率的な勝利は、共有から生まれます。1つのベースイメージと1つのリポジトリミラーが数千のVMに提供され、環境が実行ごとに重複排除され、キャッシュがテナント内で実行ごとに再利用されます。しかし、各ジョブは任意のコードであり、数分間しか実行されず、途中で失敗したり、キャンセルされたり、誤動作したりする可能性があります。したがって、効率性を購入するメカニズムそのものが、爆発半径を持つものになります。単一の共有キャッシュエントリを破損すると、数千の後のビルドに静かに伝播する可能性があります。1つの注意深いライターにサービスを提供するストアは、これについて考える必要はありません。共有CI状態は、個々のジョブがそれに何を行っても、正しく保たれる必要があります。

プーリング効果

もう1つの特性があり、それは困難を資産に変えるものです。単一の顧客のCIトラフィックは、スパイク状でバースト的です(しばらく静かで、その後大きなプッシュが着地すると洪水になります)。チャーンはそれをさらに悪化させます。1つのテナントのピークに合わせてプロビジョニングする必要がある場合、多くのアイドル容量を抱えることになります。しかし、フリート全体をプールすると、それらのピークは一致しなくなります。あるテナントのバーストが別のテナントの低迷を埋め、集約された負荷が平滑化されます。フリートが同時にピークに達することはめったにないため、ピークに合わせたプロビジョニングは苦痛ではなくなります。単一のワークロードを苦痛にする同じチャーンとバースト性は、フリートスケールでは統計的利点となり、それは巨大な機会です。私たちは以前、このプーリングの経済性について書きましたので、ここでは再導出する代わりに参照するだけにしておきます。

珍しい信頼性と耐久性のプロファイル

ここでは2つのことが同時に真実であり、それらは反対方向に引っ張ります。

実行中に失敗してはならない。 ジョブを失敗させるストレージのヒックアップは非常に悪いです。CIジョブは安全に、盲目的に再試行可能ではありません。それらは実際の壁時計時間を消費し、副作用を持つ可能性があり、開発者が結果をブロックされています。ジョブがライブである間、その下のストレージは真に信頼性がなければなりません。

しかし、耐久性には階層があります。成果物は本当に永続化する必要があります。キャッシュは保持する価値がありますが、再構築可能です。1つを失うと、結果の損失ではなく、遅い再構築が発生します。そして、膨大な一時的な残りは、耐久性に対する義務をまったく負いません。実行が完了すると、それは単に存在しなくなる可能性があります。

その非対称性(その瞬間には信頼性が高く、必要な場合にのみ耐久性がある)は、緩和された制約であり、緩和された制約は設計空間です。汎用ストレージは、決してバイトを失わないように構築されています。ジョブが実行されている数分間は堅牢である限り、その永続性の一部を速度とコストのために交換できます。

これらの特性のいずれも単独ではエキゾチックではありません。困難なのは、それらすべてが同時に成り立つことです。大量の使い捨てデータの上に乗り、必須のデータを保持する薄いレイヤー、数千が読み込み、多くが同時に変更する共有ベース、そして「今すぐ失敗してはならないが、長持ちする必要はない」という信頼性プロファイル。すべてが開発者のクリティカルパス上にあり、すべてがフリートスケールで。汎用ストレージは、その形状に合わせて調整されていないため、明白な解決策が、自然であるにもかかわらず、それに届かないのです。

なぜ市販のストレージが不十分なのか

GitHub Actionsは長年存在しており、いつの間にか、CIジョブ、特にストレージ負荷の高いジョブは「単に遅い」ということが一般的な認識になりました。その諦めこそが、まさに機会です。実際に見てみると、それらを高速化するための巨大な余地があります。私がここにいる大きな理由の1つは、問題がまだ完全にマッピングされていないことです。作業は、機会を見つけることと同じくらい、修正を構築することでもあります。

では、なぜ明白な解決策はそのギャップを埋めないのでしょうか?それらを順に見ていきましょう。

ジョブごとの仮想ブロックデバイス。 自然なメンタルモデル:各VMにディスクを渡す。しかし、それはチャーンの問題と真っ向から衝突します。汎用ブロックデバイスは、時間をかけて耐久性のある状態を蓄積する単一の所有者を想定しています。CIは、その反対を提供します。一時的な書き込みの洪水、さらに多くの短命なライターからの共有キャッシュデータへの同時変更です。プレーンなブロックデバイスは、それ自体ではそれに対する答えを持っていません。

ツールの独自のキャッシュ。 これらのツールやCIプラットフォームは、一時的なランナーを対象としたキャッシュを出荷しています。Bazelにはリモートキャッシュがあり、BuildKitにはレジストリとghaキャッシュエクスポート機能があり、GitHubはネイティブおよび互換性のあるキャッシュバックエンドの両方を提供しています。それらは現実的であり、役立ちます。しかし、それらが通常行うことは、問題を解決するのではなく、ストレージの問題をあなたに委ねることです。それらのネイティブなローカルキャッシュはすべて、マシンが持続することを想定しています(ディスク上に保持されるgitクローン、デーモン上に保持されるBuildKitのレイヤー、オンホストのBazelキャッシュ)。これはまさに一時的なVMではないものです。スピードアップは、実行ごとに何かがその状態を再構築する場合にのみ現れます。そしてリモートキャッシュが存在する場所では、問題はあなたに移されます。本番環境からの具体的な観察があります。ツールのコンテンツアドレス指定可能なキャッシュをオブジェクトストアに直接配線すると、大量のネットワークトラフィックが発生します。各実行は、実際に変更されたものが非常に少ない場合でも、キャッシュ全体をダウンロードしてアップロードします。これはまさに欠けているものを示しています。よりターゲットを絞った、遅延読み込み(この実行が触れるものだけを取得)とインクリメンタル書き込み(差分のみをプッシュバック)です。あなたはまだバックエンドストア、スループット、ローカリティ、同時実行性、そしてエビクションを所有しています。キャッシュは優れており、フックも存在しますが、それらをうまく使用することがストレージの問題であり、各ツールのキャッシュモデルは独自です。

[画像: ツールのキャッシュメカニズムと、それがストレージの問題をどのように移管するかを示す図。]

ワークロードに適したブロブストア。 オブジェクトストアは特定の目的を持っており、その目的が適用される場所(耐久性があり、スケーラブルで、コンテンツアドレス指定可能な「このブロブを保持する」ワークロード)では、統合は自然に簡単です。しかし、注意点なしではありません。プリミティブはCIのセマンティクスに配線される必要があり、その配線が難しい部分です。あなたはまだ同時アクセス(同じ論理キャッシュに書き込もうとする並列ジョブ)、エビクション(実際に重要なポリシーはサイズノブではなくビルドツール内に存在します。制限を設定しても使用量が暴走する可能性があります)、キーとアドレス指定、ライフサイクルを解決する必要があります。そして、粒度が特にここで問題になります。オブジェクトストアの自然な単位はオブジェクト全体であるため、キャッシュを1つの不透明なブロブとして扱うと、一部しか変更されていない場合でも、同じ全体的なトラフィックの問題が再発生します。ブロブストアは耐久性のあるバイトを提供しますが、それらの周りのCI形状の動作は何も提供しません。

パターン:適合するプリミティブでさえ、そのままでは機能しません。各CIワークロード(ソースフェッチ、ビルドキャッシュ、テストスクラッチ、成果物)は、独自の保持率、独自の同時実行パターン、および独自のネイティブキャッシュモデルを備えています。作業はバックエンドの選択ではなく、統合です。ワークロード自体が珍しい部分であるため、市販の解決策はありません。

私が繰り返し立ち返る問題

これは、実際にホワイトボード越しに話したい部分です。これらのそれぞれは、なぜそれが興味深いのかを示すのに十分なテクスチャを持つ未解決の問題です。解決策の歩き方は意図的に省略しています。それらは、ジョブが行うことの弧に沿っています:フェッチイン、環境の組み立て、実行と書き込み、重要なものの引き渡し、そしてそれらすべてにまたがる1つの問題です。

1. マシン、ソース、依存関係をホストに、高速に、どこにでも配置する

それはジョブが始まる前に始まります。最初のインバウンド配信の問題は、VMのルートファイルシステムをホストに配置してマシンが起動できるようにすることです。そして、その同じベースイメージは、膨大な数のVMから同時に要求されます。これは読み込みファンアウト問題の最も純粋な形です。1つの大きく、ほとんど同一のアーティファクトが、すべて同時に要求され、有用な作業が開始される前にパス上にあります。

次に、ジョブは他のすべてをプルします。ソースは明白なフェッチですが、インバウンドバイトの大部分は依存関係です。典型的な実行ではギガバイト単位で、どのような形式で到着しても、依存関係のソース、パッケージアーカイブ、コンテナイメージ、事前ビルドされたバイナリ、オンデマンドでプルされるツールチェーンです。同じ根本的な形状:大きく、繰り返し、外部でホストされたコンテンツが、ほぼすべての実行の開始時にフェッチされます。

難しい部分:

  • スループット。 1日に数十万回のプルが、少数のホットなリポジトリと一般的な依存関係に集中しています。それぞれを毎回オリジンから取得することは、冗長なバイトの壁です。
  • ローカリティ、2つのスケールで。 キャッシュはコンピューティングの近くに配置する必要があり、クラスタ内でも、コピーが同じホストにあるか、ホップ先にあるかは依然として重要です。コピーはどこに配置され、どのようにウォームに保たれ、最も近いコピーがコールドなジョブはどうなるのでしょうか?
  • 安価 versus キャッシュ可能。 1つのジョブにとって最も安価なプル(現在必要な部分のみ)と、1000のジョブにとって最も再利用可能なプル(すべての人に提供できる完全なコピー)は、同じプルではなく、反対方向に引っ張ります。
  • どのキャッシュよりも大きいワーキングセット。 アクセスは強力なべき乗則に従います。少数のリポジトリと依存関係がトラフィックの大部分を占め、長いコールドテールがあります。何をウォームに保つかは、静的なサイズノブではなく、継続的なライブな決定です。

[画像: CIジョブにおけるリポジトリや依存関係のフェッチ、キャッシュのローカリティ、ワーキングセットのサイズに関する課題を示す図。]

2. 千回再構築される環境

ジョブがソースと依存関係をプルしたら、それらをワーキング環境に組み立てます。そして、その組み立ては、ほとんどすべての実行で同じ作業です。同じツールチェーン、同じパッケージ、同じ依存関係が、フリートスケールで、開発者のクリティカルパス上で、ほぼ同じバイトを繰り返し生成します。

ウォームアップされた状態を再計算せずに保持しようとすると、組み合わせ爆発に遭遇します。リポジトリ、ツールチェーン、バージョン、設定のすべての組み合わせに対して個別のウォームアップされた環境があり、これは数千の大きく、ほぼ同一で、ほとんどのバイトを共有する環境を意味します。それぞれを独立したコピーとして保存するのは絶望的です。ポイントは共有そのものです。したがって、未解決の質問は次のとおりです。各実行にウォームで準備完了の環境をどのように提供し、重複を一度だけ保存し、数千のほぼ重複する環境間の巨大な共有サブ構造を利用し、ジョブごとに正しいものを高速に解決するにはどうすればよいでしょうか?

[画像: 多数のCIジョブで生成される環境の重複と、それを効率的に管理する課題を示す図。]

3. どの書き込みが重要で、どの程度の耐久性が必要かを知ること

これは私が最も時間を費やしている部分であり、ジョブが実際の作業を行う場所、環境の組み立てと結果の引き渡しの間に位置します。

ジョブは書き込みの洪水を放出しますが、それらは非常に不均一です。ほとんどは数分で破棄される純粋なスクラッチです。いくつかは失われるべきではない金です。いくつかはジョブが終わるまで重要ですが、他のいくつかはそれを超えて存続する必要があります。そして、ジョブがほぼ終わるまで、どちらがどちらであるかを判断できないことがよくあります。問題は、ストレージレイヤーがそれらすべてを同じように扱うように求められ、各バイトに対して完全な耐久コストを支払うことですが、データの実際の価値と必要な寿命は広範囲にわたります。

[画像: CIジョブにおける書き込みの分類(一時的なもの、キャッシュ、成果物)と、それぞれの耐久性の要件の違いを示す図。]

したがって、書き込みの価値とその必要な耐久性を、理想的にはオンラインで、ジョブにそれを言わせることなく、どのように分類するのでしょうか?前述の信頼性プロファイルを思い出してください。実行中に失敗してはなりませんが、ほとんどは実行を超えて耐久性を持つ必要はありません。与えられた書き込みは、実際にどのくらいの耐久性コストを負担すべきで、いつ負担すべきでしょうか?「今重要だが後で使い捨て」のデータに対する適切な契約は何でしょうか?その区別を正しく行うことは、ゴミを耐久性を持って保存するためのコストと、重要なものだけのためのコストとの違いです。

4. 失われてはならないものを保持する:実行成果物

最後に、ジョブは、すべての使い捨てデータとは正反対のデータの少数派を生成します。それはVMを超えて永続化され、それを作成したジョブがなくなった後も長期間、耐久性があり、取得可能でなければなりません。ビルド出力、テストレポート、ログ、下流にプッシュされるイメージです。ほぼすべてのものを忘れるように最適化された同じストレージスタックは、これらを決して失わないことを保証しなければなりません。

興味深い質問:一時的なVMが破棄される前に、ジョブを遅くすることなく、どのように成果物を確実に移動させるか?フリートが忙しい場合に生成される量に対して、それらを耐久性があり、アドレス可能で、どこからでも(再びローカリティ)高速に取得できるようにするにはどうすればよいか?保持ルールは何で、ロングテールには誰が支払うのか?それはチャーンストーリーに対する耐久性のカウンターウェイトです。「十分」が許されないバイトです。

5. 1つのジョブが他を壊さないように、積極的に共有する

これはジョブのライフサイクルの段階ではありません。4つすべてにまたがるものであり、最後に配置されています。このポストのすべての効率的な勝利は、共有から来ています。1つのベースイメージと1つのリポジトリミラーが数千のVMに、環境が実行ごとに重複排除され、キャッシュが実行ごとに再利用されます。しかし、各ジョブは任意のコードであり、数分間しか実行されず、途中で何かが間違って書き込まれる可能性があります。したがって、CIを高速化する共有バイトは、共有された爆発半径でもあります。

速度のために積極的に共有しながら、ジョブの失敗が他のジョブの読み込みを破損させないことを保証するにはどうすればよいでしょうか?数千のジョブがそれをビルドする前に、共有エントリがまさに主張するものであることをどのように検証しますか?明白な答え、「共有しない」は、経済性が私たちに許さないことです。

この作業は実際にはどのようなものか

問題自体を超えて、日々の仕事が本当に楽しいものにするいくつかのことがあります。すべての決定は、フリートスケールでの本番環境テレメトリに基づいています。各ジョブがどれだけ書き込み、保持しているかを正確に測定できるため、ワークロードが問題の場所を教えてくれるので、私たちが推測する必要はありません。

これはフルスタックのシステム作業です。1つの問題は、VMとホストの境界から、耐久性のあるストレージを通り、開発者が実際に使用する製品まで伸びています。1つのレイヤーにとどまることはできません。

そして、それはグリーンフィールドでありながら制約があります。実際のユーザー、実際の請求書、実際の正確性の賭けがあり、設計空間は真に開かれています。日々の仕事は、実際のワークロードを測定し、それが適合しない場所を見つけ、そして適合するものを構築することです。

これに取り組むために来てほしい

これらは、私が取り組むために参加した問題です。珍しく、挑戦的で、そして本当に魅力的なものです。もしあなたがそれらに時間を費やしたいと思うようなものであれば、私たちを見つけてください。私たちは、問題をエンドツーエンドで所有したいストレージおよびシステムエンジニアを募集しています。

そして、私たちが実際にこれらの問題をどのように解決しているかを見たいのであれば、それは別の投稿の物語です。続報をお待ちください。