オブジェクトストレージバケットにGitを「話す」方法を教えた
I taught a bucket to speak Git (tigrisdata.com)
要約
この記事は、筆者がオブジェクトストレージバケットをGitリポジリのバックエンドとして機能させる実験について詳述しています。`go-git`ライブラリと`billy`ファイルシステム抽象化レイヤーを組み合わせることで、従来のファイルシステムに依存しないGitサーバーを構築することに成功しました。これにより、Gitのオブジェクトストアとしての性質を活かし、クラウドネイティブ環境でのGitホスティングの課題を解決する可能性を探っています。
全文翻訳
バケットにGitを話せるように教えてみた
[画像: 青い虎の冒険者が霧深い山の谷にある石造りの寺院の縁に立ち、遠くに見える黄金の寺院を背景に、片手から光る魔法の流れをルーン文字で覆われた石の扉に注ぎ込んでいる]
オブジェクトストレージバケットにGitサーバーを向けるとどうなるでしょうか?
以前、agent sandboxesをGoに移植していた頃、私はすべてをbillyというGo向けのファイルシステム抽象化レイヤーの上に構築しました。このプロジェクトのトリックは、Tigrisバケットにファイルシステムのように振る舞わせ、シェルインタープリタとそのツールが違いに気づかないようにすることでした。Billyが、このファサード全体を成り立たせる鍵となるレイヤーでした。
作業が完了した後、私はBillyを通常のユースケースから大きく外れた方法で使用していることに気づきました。Billyは元々、gitのプロトコルとデータフォーマットの純粋なGo実装であるgo-gitのために作られたもので、/usr/bin/gitバイナリが存在することを全く必要としません。Billyのファイルシステムインターフェースの各メソッドは、go-gitが必要とするためだけに存在します。これが私に恐ろしいアイデアをもたらしました。すでにファイルシステムのように振る舞えるバケットがあり、go-gitのネイティブ言語は「ファイルシステム」なのです。
これはうまくいくのでしょうか?調べてみましょう。
Gitは常にオブジェクトストアだった
ポア(表面的な部分)を取り除くと、Gitリポジトリは基本的に4つの要素で構成されます。
- オブジェクト: データの圧縮されたブロブ。個々のリポジトリ内のオブジェクトのほとんどはファイルです。
- ツリー: 他のオブジェクトをマッピングするオブジェクト。要するに、ツリーはフォルダです。
- コミット: 1つのツリーとその親コミットを指すオブジェクト。これにより、論理的な変更セットに属するファイルを特定できます。
- 参照 (Refs): ブランチやタグ。オブジェクトの山を指す小さな変更可能なポインタです。
注意
これに取り組むまで、私はGitは空のフォルダに対するパッチのみを保存し、それでリポジトリの履歴を再構築していると思っていました。実際には、Gitはファイル全体を追跡しており、これが大きなバイナリブロブがツールをそれほど混乱させる理由を説明しています。diffのメンタルモデルは、Gitを日常的に使用するには問題ありませんが、ストレージレイヤー、つまりこの記事の主題であるレイヤーでは間違っています。
例えば、新しいGitリポジトリを作成し、README.mdをコミットしたとしましょう。.gitフォルダのツリーは以下のようになります。
$ tree .git.git├── COMMIT_EDITMSG├── config├── HEAD├── index├── objects│ ├── 5e│ │ └── b8151eb669aa4467b6dea2c4bce19183cd0b41│ ├── 6a│ │ └── 6a8ecfcae2632152486aca3d9150ef83dedd66│ ├── f4│ │ └── d2487a1c6d742c8037c0296ddf80625190bd80│ ├── info│ └── pack└── refs ├── heads │ └── main └── tags
ご覧の通り、3つのオブジェクトがあります。1つはコミット5eb8151eb669aa4467b6dea2c4bce19183cd0b41、次はツリー、最後がREADMEファイルです。mainブランチもそのコミットを指しています。
$ cat .git/refs/heads/main5eb8151eb669aa4467b6dea2c4bce19183cd0b41
クールなのは、この半分がコンテンツアドレス指定されていることです。コンテンツアドレス指定されたビットは、コミットされると決して変更されません。Gitオブジェクトは、Tigrisの内部モデルと非常に相性が良いです。なぜなら、Tigrisの基盤モデルであるappend-onlyストレージと同様に、Gitオブジェクトもappend-onlyストレージだからです。頻繁に変更されるのは参照(Refs)であり、最新のコミットを指すように更新されます。しかし、これらは非常に小さなファイルなので、Tigrisはほとんど労なく処理できます。
しかし、Gitリポジトリをサーバーでホストすると、単一障害点が生じます。私たちのGitリポジトリは、壊れる可能性のある単一のマシンでホストされています。すべての実装は、Gitオブジェクトがファイルシステムオブジェクトと1対1で相関していることに依存しています。なぜなら、誰もが(GitHubでさえ)ファイルを実際に保存するためにGitバイナリをシェルアウトするからです。Gitリポジトリのホスティングは、ステートレスなクラウドネイティブ環境において、最もステートフルなサービスの一つになります。
確かにGitは理論上分散型ですが、私たちのほとんどはそれを、稼働時間が疑わしい単一の大きなストア、つまりGitHubにリポジトリを置くために利用しています。Hubbersに公平を期すために言うと、GitHubは私たちの誰も想像できないような規模で運用しています。彼らは創業以来、負荷を処理するためにEngine Yardにさらに大きなサーバーを構築させなければならなかったほど、限界を押し広げてきました。Gitのツールが他の選択肢を与えないため、彼らはすべてを大きなマウントされたファイルシステムで行わなければなりません。
人間の理解を超えた恐ろしい惨状
この奇妙さが十分に気になり、何か対策を講じたいとしましょう。ローカルファイルシステムにすべてを保存することなしにGitサーバーを構築するには、何らかの方法でGitを話す必要がありますが、従来の選択肢はあまり良くありません。
- Gitバイナリをシェルアウトする場合: あなたの「ライブラリ」はGitプロセスのargvになり、エラー処理は出力のスクレイピングになります。内部的には、Gitは機能全体をライブラリとして公開するのではなく、無数のサブコマンドで実装しています。コードベースは、プロセスを終了させる
die()への負荷のかかる呼び出しによって支えられています。 libgitでGitの内部にリンクする場合: 「問題が発生したらdie()」という動作を引き継ぎ、アプリがランダムにクラッシュし始めます。これは稼働時間にとって良くありません。libgit2(ライブラリとして書き直されたもの)を使用する場合: GPL(リンク例外付き、弁護士に説明してみてください)によって混乱させられているという事実に対処する必要があります。Gitで何かを行うたびに(非常に頻繁に)Cへのジャンプを受け入れる必要があり、開発は停滞し、Goバインディングはアーカイブされ、それでもローカルファイルシステムを想定しています(保証にもかかわらず)。
絶望的に聞こえるかもしれませんね?WebAssemblyなどを使用して(fork()/exec()やposix_spawn()のようなものを実装する良い方法があることを前提として)この狂気を封じ込めることができるかもしれませんが、これらすべてを処理できる純粋なGoライブラリがあったらどうでしょうか?
そこで登場するのがgo-gitです。これはGitプロトコルと内部構造をゼロから純粋なGoで実装したものです。これはcgoや/usr/bin/gitに依存せず、リポジトリがローカルファイルシステムに保存されていることを想定していません。そのストレージインターフェースは、私がすでにTigrisを話せるように教えたまさにそのインターフェースであるbillyに対して書かれています。私はバケット内にあるだけのGitサーバーを欲しており、そのための部品がそこにあり、私を呼んでいました。
ああ、うまくいった
そこで、オブジェクトストレージをバックエンドとするGitサーバー、objgitをハックしました。起動するために追加する必要があった唯一のファイルシステムコールはMkdirAllでした。私はtransportパッケージをソケットに接続してプレーンテキストgitプロトコルを実装し、それをバケットに接続して、現在作業中のリポジトリをプッシュしました。
驚くべきことに、それは機能しました。
Gitはプッシュ、プル、ログ、責め、タグ付けなど、すべてをこなしました。Git自体を実装する必要はありませんでした。ただ、四角いペグを丸い穴に無理やり押し込む作業を大量に行い、ペグが収まるまで続けました。
今になって考えると、これは非常に理にかなっています。ベアリポジトリは、ファイルシステム上の4種類のものの集まりです。ファイルシステムをオブジェクトストレージに置き換えれば、他のすべてがうまく機能する™のは完全に論理的です。Gitのディスク上のフォーマットはそのデータベーススキーマであり、open/stat/renameを十分に説得力のある方法で偽装すれば、APIは私たちを眠らせるために自分自身に語る嘘であるため、ファサード全体が機能し続けます。
多くのハッキングの後、以下のような機能リストができあがりました。
- 3つのトランスポート(HTTP、クラシック
git://、SSH)でのプッシュとプル - 初回プッシュ時にリポジトリをupsert(更新または挿入)
- 認証への努力は一切なし。これは実験であり、認証は面倒で複雑だからです。
- Prometheusメトリクス。これによりファイルシステムレイヤーを最適化できました。
すべてがローカル状態なしの単一のGoバイナリから出力されます。生成されたSSHキーさえもバケットに保存されます。これをKubernetesクラスターで実行でき、必要な変更可能なストレージは、スマートなGitクローンを実行する際の楽観的キャッシュ用のテンポラリファイルのみです。
この記事の残りの部分は、「ああ、うまくいった」から実用的なものに近づくために何が必要だったかについてです。
義務的な免責事項(人生の最良のもののように):これは実験です。徹底的にテストされておらず、正当性も検証されていません。もしそれが半分に壊れたら、両方のピースを保持できます。このシステムに会社のモノレポを移動させてから、火がついたときに私にメールしないでください。
生き残った唯一のPOSIXイディオム
Gitは耐久性に対して非常に用心深く、その戦略全体は多くの場所で見られる単一のUnixイディオムに基づいています。新しいデータをテンポラリファイルに書き込み、それが正しいことを確認してからrename(2)で配置します。POSIXはrenameがアトミックであることを保証するため、リーダーは中間状態ではなく、古いファイルまたは新しいファイルのいずれかを見ます。Packfile(オブジェクトのバンドル)はアップロード時にテンポラリファイルとして着陸し、その後恒久的な場所に移動されます。Refsはロックされたテンポラリファイルとして書き込まれ、その後Refsの上にリネームされます。すべてがリネームで構成されています。
オブジェクトストレージには伝統的にアトミックなリネーム操作がありません。S3の回答は、まさにその中間状態を作成することです。新しい場所へのCopyObjectと古い場所からのDeleteObjectです。これにより、Gitの哲学における最も負荷のかかるイディオムが崩壊します。
幸いなことに、Tigrisにはこれに対する拡張機能があります:RenameObject。これを使用するには、CopyObject呼び出しにX-Tigris-Rename: trueヘッダーを追加します。クライアント側でコピーしてから削除するのではなく、サーバー側でメタデータを移動します。1回の往復で、データ移動なしで、Unixイディオムがバケットに1対1でマッピングされます。ObjgitのRenameの実装は単純です。
// internal/s3fs/basic.go// RenameObject is a Tigris extension that renames in place (no data copy),// so we don't need a separate CopyObject + DeleteObject.copySource := fs3.bucket + "/" + src_, err := fs3.client.RenameObject(ctx, &s3.CopyObjectInput{
Bucket: &fs3.bucket,
CopySource: ©Source,
Key: &dst,
})
2番目の、より巧妙な違反が同じコードパスに隠れています。go-gitがテンポラリファイルを書き込むとき、そのテンポラリファイルを作成し、その後すぐにそれを読み込み用に開いてパックインデックスを構築します。単一のライブオブジェクトでこれを実行することは、どのオブジェクトストレージシステムでもできません。読み取り中か書き込み中かのどちらかであり、両方ではありません。私は、新しく書き込まれたパックファイルのコンテンツをメモリにバッファリングすることで、このチキンレースを機能させました。このパックキャッシュをファイルシステムに書き込むように変更する必要があるかもしれません。なぜなら、gcc.gitをプッシュしようとしたときにRAMが不足したからです。少なくとも、すべてが十分に整合性があるため、Gitは気にしません。勝利です!
千のstat()呼び出しによる死
この正確性が解決されたので、golang/goリポジトリをobjgitにプッシュして、どれくらい時間がかかるか試してみました。うまくいきましたが、永遠にかかりました。前述のPrometheusメトリクスを使用して、膨大な量のHeadObject呼び出しが行われていることがわかりました。一部のブロッキングプロファイル分析は、Gitライブラリがファイルの存在を検出するためにstat()呼び出しを使用していることを示していました。フローは次のようでした。
- クライアントはオブジェクトxを持っています。
- オブジェクトxが存在するかどうかを確認します。
- どのパックにオブジェクトxが含まれているかを確認します。
そして無限に続きます。これはローカルファイルシステム上では問題ありません。なぜなら、これらのシステムコールはマイクロ秒で解決されるからです。私のオフィスから最も近いTigrisリージョンまでの数十ミリ秒ではなく(オタワにも展開してほしいです、本当にそう思います)。
これは、使用していたトランスポート(SSH - クラシックgit://も同じコードパスを共有します)が、プッシュ時に各パックファイルを個別のオブジェクトに展開するという発見によってさらに悪化しました。各個別のオブジェクト書き込みは2回の往復コストがかかりました。ファイルの存在を確認するためのstat()、そしてTigrisにデータを書き込むためのopen()/write()です。これにより、100,000オブジェクトのパックファイルは200,000回のオブジェクトストレージ呼び出しのコストがかかりました。それぞれ10ミリ秒のレイテンシと考えると、ほとんどが「404 Not Found」と応答するのを待つだけで30分以上かかります。
キャッシュもここではあまり役に立ちません。読み取りキャッシュは繰り返し読み込みを吸収しますが、これは100,000のパスへの書き込みの連射であり、おそらく一度も読み取られておらず、再び見られることもないでしょう。
2つのトランスポートのみがこの問題を抱えていた理由は、デッドロックの話です。Gitライブラリの高速パスは、接続からio.EOFまでコピーすることで、PackfileWriterを介して受信したパック全体を保存します。HTTPではそれは問題ありません。リクエストボディが終了し、EOFが到着し、全員が帰宅します。git://とSSHでは、接続は永続的なソケットであり、クライアントはそれを開いたままにし、サーバーのステータスレポートを丁寧に待っています。EOFは決して来ません。コピーは永遠に待ち、クライアントも永遠に待ち、そしてあなたは2つの参加者を持つ分散デッドロックを発明しました。元の回避策は、これらのトランスポートでPackfileWriter機能を隠すことでした。これにより、go-gitはストリーミングパーサーにフォールバックし、すべてのオブジェクトを個別に書き込みました。これがstatストームの原因です。
したがって、解決策はEOFに依存しないことでした。パックファイルは自己区切りです。ヘッダーにはオブジェクトの数が示され、末尾のチェックサムが終了を示します。そのため、パックファイルスキャナーはストリームをウォークし、トレーラーで停止します。一方、TeeReaderは、それらのバイトを正確にPackfileWriterにミラーリングします。これにより、ファサードの残りの部分が機能し、Gitライブラリは満足します。これにより、プッシュは2回のアップロードになりました。1回のパックファイルとそのインデックスで、無意味な往復の嵐ではなく。
クローンについては?
プッシュを修正した後、読み取りパスに移りました。ReadAtをエミュレートするために、Gitライブラリがパックファイルから個々のオブジェクトを読み取れるように、範囲指定されたGetObjectリクエストを使用しました。このハックには満足していましたが、1つの問題がありました。レイテンシの呪いが再び襲ってきました。318個のオブジェクトと200KiBのパックファイルを持つ単純なリポジトリをクローンすると、キャンセルする前に8,500以上のGetObject呼び出しが発生しました。
Gitクライアントがリポジトリをクローンするとき、オブジェクトとデルタベースの候補を何度もウォークしながら、リポジトリのパックファイルを数千回読み取ります。ローカルディスク上では、ページキャッシュがこれを朝食のように食べてしまうため、あなたは決してそれに気づきません。各呼び出しがHTTPリクエストである場合、200KiBのリポジトリは数十メガバイトの往復通信になります。20MiBのリポジトリは事実上提供不可能でした。
つまり、キャッシュが解決するために設計されたワークロードをキャッシュ解除してしまったのです。
修正はGitからの贈り物に依存しています。パックファイルは不変でコンテンツアドレス指定されています。pack-<sha>.packは、存在する限り決して変更されません。これにより、ファイルシステムのようなより高速なローカルメディアに簡単にキャッシュできます。無効化ロジックは不要です。objgitはパックをローカルのテンポラリフォルダにダウンロードし、そこから読み取りを提供しました。安全策として、一時フォルダが予期せず爆発しないように、最小最近使用(LRU)キャッシュを導入しました。これにより、パックファイルへの最初の要求は遅くなりますが、それ以降はすべてファイルシステムの速度で動作します。
はい、これは再びローカルディスクに依存していますが、破棄できるキャッシュとしてのみです。ステートレスな理想を、クローンが妥当な時間で終了するという取引に交換することは、価値のある取引だと考えています。
なぜそんなにListObjectsV2、バットマン?
他の災害が片付いた後、もう1つ残っていました。メトリクスは、クローンが行われるたびにListObjectsV2呼び出しの洪水を示し、完了後もその呼び出しをやめませんでした。
2つの要因が重なりました。まず、Gitがパックされていないオブジェクトを検索するとき、objects/<xx>/<rest-of-hash>にある個別のオブジェクトを探します。objgitはパック全体を保持するため、個別のオブジェクトはありません。そのため、すべてのプローブが失敗し、異なる2文字のプレフィックスごとにディレクトリリストをトリガーして確認していました。256の可能なプレフィックスがあります。単一のクローンで最大256回のListObjectsV2呼び出しが発生し、その集合的な応答は「何もありません」という断固たるものでした。
次に(そしてさらに恥ずかしいことに)、リストキャッシュにはすでにこれに対する最適化がありました。サブツリー全体のルックアップを再帰的なスキャンに折りたたんでいたため、リポジトリの単一のリストでその下のすべてのstat()とプローブに応答できました。これは本番環境では完全に機能していませんでした。キャッシュはリポジトリのルート(refs/)に対して再帰的なプレフィックスを照合していましたが、各リポジトリは独自のディレクトリにchrootされているため、実際のキーはmyrepo.git/refs/heads/mainのようになります。プレフィックスチェックはchrootを認識していなかったため、実際には何も一致しませんでした。キャッシュが「キャッシュなし」に低下しても正しい答えを返すため、誰も気づきませんでした。さらに悪いことに、キャッシュウォーマーは、クローン後10分間、30秒ごとにそれらの無用なプレフィックスをすべて律儀に再リストしていました。有用でないものをキャッシュするために、数千回のバックグラウンドリスト呼び出しが費やされました。
修正は非常に小さかったです。リポジトリのファイルシステムがchrootされるとき、そのchrootをキャッシュ内の再帰的なサブツリールートとして登録します。これにより、キャッシュが実際に有用になり、数百回の呼び出しではなく、1回のListObjectsV2呼び出しで済みました。十分に高度なキャッシュは、グラフ化されるまで操作なしと区別できません。
これらの災害はどれも珍しいものではありませんでした。これらはファイルシステムとカーネルが無料で提供してくれるものです。そして、ネットワークの往復が中心に置かれると、すべての完全に合理的なディスクの仮定が崩壊しました。Gitリポジトリの提供は、偶然のファイルシステムレイテンシベンチマークです。ストレージ抽象化に弱点があれば、Gitはそれを見つけ出し、メトリクスがその問題の場所を示してくれます。
Post-receiveフックはピエロの牢屋に入る
独自のGitサーバーをホストする最も便利な部分の1つは、post-receiveフックの設定です。これらは、コードをサーバーにプッシュしたときに自動デプロイなどの目的で古くから使用されてきました。これの核心は、GitHub Actionsのようなシステムをどのように取得するかです。プッシュが完了したときに実行されるコードです。
--allow-hooksを有効にしてobjgitにプッシュすると、プッシュしたコミットのツリー内の.objgit/hooks/receive-pack(これはGitの内部アクションに対応しており、名前は変更される可能性があります)でpost-receiveフックを探します。次に、プッシュしたコミットのGitリポジトリのチェックアウトを/srcにマウントし、変更可能なテンポラリファイルを/tmpに配置したkefkaサンドボックスを起動します。コアユーティリティのみが含まれ、他には何もありません。ホストファイルシステム、ネットワーク、任意のバイナリはありません。出力は、git push heroku mainのときと同じように、remote:行としてプッシャーにストリームバックされます。将来的には、Tektonパイプラインの変更を適用したり、その方法でCIジョブを開始したりするためのカスタムコマンドを実装したいと考えていますが、今のところこれが機能することに満足しています。
これらのフックを使用してポリシーを実装することはまだできません。取り組んでいます。
次は何?
バケットにGitを話せるように教えてみました。これが次にどうなるか、アイデアが夜も眠れなくさせる順序で示します。
CIは明白な次のステップです。私は「Kubernetesオブジェクトを適用」や「Tektonパイプライン実行を作成」のようなコマンドをワイヤリングして、CIが親愛なるKubernetesクラスターを通じて実行され、その後、合理的なメカニズムを通じて通知されるようにしたいと考えています。それが時間があれば最初に構築するものです。
Web UIがあると良いのですが、これはGitツリー、オブジェクトストレージ、またはその他のものとは関係のない理由で複雑であり、インターネットの現在の状態とすべて関係があります。Gitのルックアップは最良の場合でも高コストであり、現在の非倫理的なスクレイピングの奔流がGitサーバーからあらゆるRAMの断片を略奪していることを考えると、多くの巧妙な最適化なしにこれを実装するのはおそらく悪い考えです。このシステムが/usr/bin/gitに負荷のかかる依存関係を持たないという事実が、スクレイパーに対してより回復力があるかもしれません。オブジェクトストレージに基づいているという事実は、キャッシュがもう少し簡単になる可能性もあります(基本的に無制限のストレージを持つことは、キャッシュにとって控えめなスーパーパワーです)。しかし、主な問題はサーバー負荷になります。これは扱いにくいクッキーです。
パフォーマンスと安定性も改善が必要な分野です。開発ワークステーションでテストしましたが、本番環境でのテストとは大きく異なります。修正しやすい他のパフォーマンスの問題がいくつかありますが、大きな問題はTigrisへのレイテンシです。DevOpsチームに本番環境でk3kクラスターをセットアップしてもらえるかもしれません。
今は実験段階であり、Git-on-object-storageがどのようなものになり得るかの形状を模索しています。ディスクなし、Gitバイナリなし、データベースなしのGitサーバーです。もし興味があれば、GitHubでチェックアウトしてみてください。
あなた自身のバケットにGitを話せるように教えてみましょう
objgitは、Tigrisにリポジトリを直接保存する単一バイナリのGitサーバーです。ディスクなし、Gitバイナリなし、データベースなし。バケットを指してプッシュしてください。