Atuin、packfilesで同期速度を32倍高速化
Making Atuin sync 32x faster with packfiles (blog.atuin.sh)
要約
ターミナル履歴管理ツールAtuinは、エンドツーエンド暗号化の制約の中で、データ同期のパフォーマンスを大幅に向上させる「packfiles」という新機能を導入しました。これにより、数千件のレコードの同期が数秒で完了するようになり、ユーザーエクスペリエンスが劇的に改善されました。この改善は、Gitのpackfilesに着想を得ており、複数のレコードをまとめて圧縮・暗号化することで実現されています。
全文翻訳
PackfilesでAtuinの同期を32倍高速化
TL;DR: Atuinの同期が32倍高速になりました。数千件のレコードを数秒で同期します。
最新のAtuinは
curl --proto '=https' --tlsv1.2 -LsSf https://setup.atuin.sh | shで取得できます。
Atuinはシェル履歴やその他のターミナルデータをエンドツーエンドで暗号化して同期します。これは、サーバーがあなたのデータを読み取ったり、圧縮したり、バンドルしたりできないことを意味します。クライアントは現在、この制約を回避するためにpackfilesを構築しています。他の最適化と合わせて、Atuin Hubの同期が32倍、セルフホストユーザーの同期が16倍高速になったことをお知らせできることを嬉しく思います!
[画像: Atuinのロゴ]
18.20.0リリースにより、同期機能は多くの改善を受けました。Packfiles は複数のレコードを収集し、高速なTigris
バックエンドのオブジェクトストレージに保存されます。通常の履歴エントリと同様に、packfilesは同じPASETOベースのアルゴリズム
で完全に暗号化されます。さらに、レコードのダウンロードをパイプライン化し、SQL挿入のバッチ処理も有効にしました。そして何よりも素晴らしいのは、同期プロトコルのバージョンを更新せずに済んだことです。
これは単なる小さなパフォーマンス改善ではありません。Atuinの同期方法におけるパラダイムシフトです。
— GPU上の多くの数字、2026年8月
この記事では、より技術的な詳細に踏み込みます。興味がない方は、読み飛ばしてください!
Packfiles
Atuin Hubの平均的なユーザーは7,338件のレコードを持っています。そのユーザーの場合、Atuinの同期には約11.7秒かかります。平均的なユーザーは26,075件のレコードを持っており、同期には約40秒かかります。これは許容範囲内ですが、私たちが望むレベルではありません。しかし、Atuinのパワーユーザー、つまり95パーセンタイルと99パーセンタイルでは、同期時間はそれぞれ約2.2分と5.4分になります。私たちはより高い基準を設定しました。
1,000件のレコードの同期は3秒を超えず、追加の10,000件のレコードごとにその時間に1秒しか加算されないようにする
[画像: Atuin 18.19.0 の同期時間。1,000件以上のレコードで満足のいくパフォーマンスが得られないことを示すチャート。]
これは、Atuinの同期が最もアクティブなユーザーに対して最適に機能しておらず、レコードストアが大きくなるにつれてパフォーマンスが低下していることを示しています。同期は本質的にレコード数に対して線形であるため、スケーリングを変更することはできません。しかし、定数を減らすことはできます。
Atuinのレコードストアは、多くの点でライトアヘッドログに似ています。新しいレコードはログへの追加です。ダウンロード同期とは、クライアントがサーバーから欠落している各レコードをダウンロードすることを意味します。Atuin 18.19.0 は、100件ずつのページでレコードをダウンロードします。各ページには暗号化されたレコードの配列が含まれています。残念ながら、これらのページのほとんどは圧縮されておらず、さらに悪いことに、暗号文はノイズと区別がつかないため、圧縮できません。
より賢いアプローチが必要であり、Gitのpackfiles(ただし、私たちのものはよりシンプルです)からインスピレーションを得ました。Atuinのpackfilesの背後にある考え方は同じです。N個の平文レコードを取得し、それらをバンドルして、圧縮してから暗号化する。
鋭い読者はすでに問題に気づいているかもしれません。Atuinサーバーは暗号化キーにアクセスできません!したがって、クライアントがパッキングを担当する必要があります。なぜなら、レコードとpackfileを暗号化するために必要な暗号化キーにアクセスできるのはクライアントだけだからです。
パッキングとアップロード
Atuinデーモンは現在、ローリングバッファの未加工レコードを追跡しています。Atuinを使用するにつれて、このバッファは満杯になります。特定のしきい値に達すると、Atuinデーモンはそのローリングバッファを取得し、packfileに含まれるレコードのウィンドウをエンコードする新しい「packfileマニフェスト」レコードを作成します。ここでは計算負荷の高いタスクは発生していません。レコードを追跡し、それらのための小さなマニフェストオブジェクトをデータベースに作成しただけです。
デーモンが同期を試みる(または手動で atuin sync を呼び出す)たびに、新しいcapabilities systemにより、Atuinはサーバーがpackfilesをサポートしているかどうかを確認できます。サポートしている場合、Atuinはパッキングを実行します。マニフェストが記述する各レコードを見つけ、それらをすべてrmpでバンドルし、zstdで圧縮し、最後に既存のPASETO v4スキームで暗号化します。
Packfilesは通常のレコードとは別にアウトオブバンドでアップロードされます。packfilesをサポートするサーバーには特別なエンドポイントが必要なため、特別なロジックと特別な処理が必要です。
現在、Atuin Hubのみがpackfilesをサポートしています。セルフホストサーバーには準拠した実装がありません。これらの改善は、安定化後にセルフホストサーバーにも提供します。
packfilesのアップロードは、サーバーにクライアントが PUT できる事前署名付きURLを提供するように要求することを意味します。
ダウンロードと同期
ここが面白い部分です。同期を実行する際、まずpackfilesを同期します。これは、サーバーからpackfileマニフェストレコードを取得し、各マニフェストについて、サーバーに事前署名付きダウンロードURLをクエリすることを意味します。クライアントは次に、事前署名付きURLからpackfileをダウンロードし、それを復号化、解凍してから、個々のレコードに分割して独自のテーブルに保存します。
結果
さまざまなレコードサイズの数十年分の合成ベンチマークを実行しました。すべての修正を合わせて、18.20.0は100Kパワーユーザーのパフォーマンスを約30倍改善しました。Packfilesはそのうち約2倍の改善に寄与しています。
[画像: Atuin 18.20.0 同期改善チャート。100,000件の履歴エントリを持つリポジトリで約30倍のパフォーマンス改善を示している。]
これらの新しい同期プロトコルは、私たちのしきい値を容易に満たしています。
将来の改善
「packfiles of packfiles」というアイデアを探求しています。packfileは、レコードだけでなく、複数のpackfileをラップできます。現在、Atuin Hub のpackfilesはすべて1,000レコード幅(約10〜100 KB)ですが、非常に多数のpackfilesを使用するユースケースでは、古いpackfilesをpackfilesのツリーにバンドルすることで、さらなる圧縮とレイテンシの削減が可能になります。
Packfileのダウンロードは、通常のレコードダウンロードと同様にパイプライン化されていますが、複数のpackfileに対して単一の事前署名付きURLを要求することで、さらなるテールレイテンシの削減を実現でき、ラウンドトリップの回数を減らすことができます。
最後に、PASETOv4からプレーンなChaCha20-Poly1305への移行を検討しています。これにより、packfilesをストリーミングチャンクで暗号化および復号化でき、PASETOのBase64およびメタデータのオーバーヘッドを削減できます。
構築したインフラストラクチャにより、実行したコマンドだけでなく、履歴からさらに多くのものをキャプチャできるようになります。将来のリリースでは、Atuinはコマンドの出力、エージェントセッションなどをキャプチャ、記録、検索できるようになります。これは、packfilesに必要なインフラストラクチャによって可能になります。
その他の改善
このリリースの一環として、他にも多くの作業を行いました。
パイプライン化
従来、Atuinはレコードのページを順番にダウンロードし、各レコードをデータベースに挿入していました。次に次のページを取得し、挿入を繰り返し、という具合でした。
このようなアルゴリズムを改善するための一般的な戦略はパイプライン化です。私たちはダウンロード中のイテレーション方法をわずかに調整するだけで、サーバーからページを並列に積極的に要求できることに気づきました。
パイプライン化だけで同期速度が約340%向上しました。
この機能はAtuin 18.20で普遍的に利用可能です。必要なのは atuin update を実行することだけです。
結論
このリリースには本当に興奮しています。Atuinを更新すると、すぐに16倍高速な同期が得られます。今後数週間でpackfilesを段階的に展開していく予定ですので、ご期待ください!
Atuinを更新またはインストールするには、以下を実行してください。
curl --proto '=https' --tlsv1.2 -LsSf https://setup.atuin.sh | sh
今日packfilesを試したい場合は、こちらでアカウントの機能を有効にできます。
ありがとうございます!
— The Atuin team