HN 日本語サマリー

← 一覧へ戻る
プログラミング

Deser: Rustのシリアライゼーションの再考

Deser: Rethinking Rust Serialization (lucumr.pocoo.org)

73 pointsby tosh7 コメント

要約

この記事は、RustのシリアライゼーションライブラリであるSerdeの限界と、それを克服するために開発された新しいライブラリ「Deser」について論じています。Serdeは広く使われていますが、内部タグ付きenum、フラット化されたキー、アダプターの非 composability といった問題があります。Deserは、Serdeとは異なるアーキテクチャを採用し、これらの問題を解決することを目指していますが、コンパイル時間やバイナリサイズ、実行時パフォーマンスにはトレードオフが存在します。

全文翻訳

Deser: Rustのシリアライゼーションを再考する

2026年9月29日執筆

Serde はRustにおける素晴らしいシリアライゼーションライブラリであり、長年にわたり私がRustで生産性を感じられた大きな理由の一つでした。しかし、Sentryにいた頃からそのいくつかの制限にかなり不満を感じていましたが、Serdeがエコシステムに持つ影響力の大きさから、実際にSerdeを置き換えるのは困難です。また、いくつかの痛みを伴う妥協をせずに、実際に改善するのは非常に難しいことです。

ここでは、Serdeの機能間の相互作用の悪さや予期せぬ制限を示す、Serdeのコーナーケースの3つの例を挙げます。

数値がマップである場合

内部タグ付きenumで、serde_jsonのarbitrary_precision機能をオンにした場合:

#[derive(Deserialize)]
#[serde(tag = "type")]
enum Shape {
    Circle { radius: f64 },
}

serde_json::from_str::<Shape>(r#"{"type": "Circle", "radius": 1.5}"#)
// error: invalid type: map, expected f64

Serdeのデータモデルには任意精度の数値のための場所がないため、serde_jsonはマジックキーを持つマップでインバンドシグナリングを使用します。enumはタグを見るまでフィールドをバッファする必要がありますが、バッファはそのマジックキーを知りません。Cargoの機能は統合されているため、依存関係グラフ内の任意のクレートがその機能をオンにするだけで十分です。

Flatteningが整数キーを壊す場合

#[derive(Deserialize)]
struct Stats {
    scores: HashMap<u32, u32>,
}

#[derive(Deserialize)]
struct Report {
    name: String,
    #[serde(flatten)]
    stats: Stats,
}

serde_json::from_str::<Report>(r#"{"name": "x", "scores": {"42": 23}}"#)
// error: invalid type: string "42", expected u32 at line 1 column 35

Stats単体では {"scores": {"42": 23}} を問題なくパースできます。JSONキーは常に文字列であり、serde_jsonは型が整数を要求する場合にのみ整数に変換します。しかし、flattenが値をバッファすると、"42"は単なる文字列になります。エラーはドキュメントの末尾を指しますが、キーを指しません。

アダプターが合成できない場合

fn from_hex<'de, D: Deserializer<'de>>(d: D) -> Result<u32, D::Error> { ... }

#[derive(Deserialize)]
struct Theme {
    #[serde(deserialize_with = "from_hex")]
    primary: u32,
    #[serde(deserialize_with = "from_hex")]
    accent: Option<u32>,
}

//error[E0308]: `?` operator has incompatible types
//  |
//  |     #[serde(deserialize_with = "from_hex")]
//  |                                ^^^^^^^^^^ expected `Option<u32>`, found `u32`
//  |
//help: try wrapping the expression in `Some`
//  |
//  |     #[serde(deserialize_with = Some("from_hex"))]
//  |                                +++++          +

関数は型パラメータとして渡すことができないため、Option、Vec、またはマップの内部にfrom_hexを適用する方法はありません。ラッパーごとに別の関数を作成する必要があり、from_opt_hexを作成しても、#[serde(default)]を追加することを忘れない限り、フィールドはオプションではなくなります。

これらはどれもSerdeで簡単に修正できるバグではありません。それらはその設計から派生しており、その設計はSerdeの安定性保証によって保護されています。

2022年に、私はDeserという実験的なプロジェクトを開始しました。これはRust向けのシリアライゼーションライブラリで、Serdeのユーザーエクスペリエンスを、miniserdeに触発された完全に異なるアーキテクチャの上に構築しています。私はそれを完成させることはなく、数年間放置されていました。それを再び手に取り、今では検討する価値のある段階に達しました。他の人がこの分野を探求したい場合に刺激を与えるだけでも価値があります。

名前とアイデア

名前はSerdeの2つの半分を入れ替えたものです。DeserはSerdeの逆です。Serdeでは、型がデシリアライゼーションプロセスを駆動します。Deserialize implは、デシリアライザに期待する値の型を要求し、フォーマットがビジターにコールバックします。ネストされた各値は再帰によって処理されるため、Serdeのデシリアライゼーションはネストの各レベルで必然的にスタックを成長させます。

一方、Deserはこれを逆転させ、フォーマットが次の値の型を伝え、イベントをシンクにプッシュします。シンクがネストされた値の開始にヒットすると、それにコールするのではなく、新しいシンクをドライバーに渡します。ドライバーはすべての状態をヒープ(実際にはアリーナ)に保持します。出力時には、エミッタは再帰するのではなく、ネストされた値を返します。

これは、protobufのような自己記述的でないフォーマットをサポートできないことも意味します。それらは実際には設計から意図的に除外されています。これは、Serdeを「修正」したい場合、他の妥協をする必要があるという一つの方法です。

Deserのアイデアの多くの理由は、Sentry Relayに戻ります。これは膨大な量の信頼できないJSONを処理します。Sentryにいた数年間、私たちは何度も同じ問題に遭遇し、その多くはSerdeのバグではなく、その設計の結果でした。Serdeの安定性保証は、多くの問題を、すべてのフォーマットとすべての手書き実装を壊さずに修正できないことを意味します。これらの問題のほとんどは、3つの決定から来ています。

  1. すべてのフォーマットに対する1セットのトレイト。 Serdeは、自己記述フォーマット(JSON、YAML、TOMLなど)と、リーダーが事前に型を知る必要があるフォーマット(postcard、bincode、protobufなど)の両方に役立ちます。これは信じられないほど便利ですが、一部の機能は一部のフォーマットでしか機能しないことを意味し、実行時に判明します。Serdeの場合、派生structがJSONでオブジェクトの代わりに配列を静かに受け入れるなど、いくつかの奇妙なしわもあります。
  2. バッファリング時に情報が失われる固定データモデル。 内部タグ付きenum、タグなしenum、flattenは、何をすべきかを知る前に値をバッファする必要があります。バッファはフォーマットが知っていたすべてを保持できず、エラーは場所を失い、エコシステムの拡張は任意精度の数値などのものを表現するためにインバンドシグナリングに依存します。
  3. コールスタック上の再帰。 ネストの各レベルはスタックスペースを使用します。フォーマットは再帰制限でこれに対抗しますが、コードパスに制限がない場合(書き込み、動的値)、深くネストされたデータはプロセスをダウンさせることができます。また、デシリアライゼーションは、より多くの入力を待っている間に一時停止できないことも意味します。

これらのSerdeの問題の多くは何年もオープンになっており、私は以前にSerdeの乱用について書きました。人々は何年にもわたってさまざまな角度からこれに取り組んできました。一部は最小限に抑え、ほとんどの機能を削除して高速なコンパイルと再帰なしを実現しました。dtolnay自身のminiserdeはその最良の例であり、deserのトレイト設計は当初それに倣ってモデル化されていました。他の最近の試みは、実行時リフレクションや、バイナリフォーマットに焦点を当てた新しいデータモデルに向かいました。

Serdeの設計に関する収集された課題をすべて読みたい場合は、ここに長いリストを維持しています。

Serdeの王座を奪う

まず第一に、Serdeを置き換えることができるとはあまり思っていません。オーファンルールは、Serdeをエコシステムに信じられないほどしっかりと定着させています。しかし、クレート作成者の制御範囲内にあるものもあります。Deserの場合、それは完全性です。

Deserは現在、YAML、JSON、TOML、CBOR、JSON5などのすべての重要な自己記述フォーマットを実装していますが、XMLやplistもサポートしてギャップを完全に埋めています。特にXMLはSerdeがサポートを拒否したものであり、それは明らかです(詳細は後述)。少なくともフォーマットサポートはDeserを使用しない理由であってはなりません。

第二の問題は通常、Serdeの問題を実際に解決すると、コンパイル時間や実行時パフォーマンスに大きなコストがかかることです。Deserも例外ではありません。Deserのコンパイル時間はSerdeよりも少し良いですが、バイナリの肥大化はかなり悪く、実行時パフォーマンスはまちまちです。数字を見るとほぼ同等ですが、フォーマット構造によってはトレードオフによって大幅に失われるものがあります。

とはいえ、少なくとも原理的には、トレードオフがユーザーにとってうまく機能する可能性のあるドロップインリプレイスメントの段階に達しました。

Deserの設計

Deserは表面レベルではSerdeと大きく異なることを目指していません。ほとんどの使用例では、SerializeとDeserializeを派生させ、選択したフォーマット実装クレートで使用を開始します。ほとんどの属性は非常に似ていますが、文字列の代わりにRustの式を取ります。

use deser::{Serialize, Deserialize};

#[derive(Debug, Serialize, Deserialize)]
#[deser(rename_all = "camelCase")]
pub struct Account {
    id: u64,
    account_holder: String,
    #[deser(default)]
    is_deactivated: bool,
}

let account: Account = deser_json::from_str(json)?;

設計の違いは、シリアライザまたはデシリアライザを自分で実装する場合に、より顕著になります。再帰的に呼び出し合うビジターの代わりに、型をデシリアライズすると、パーサーによって直接発行されるイベントを受け取るシンクが作成され、シリアライズは値を提供するエミッタを生成します。ネストされたシンクとエミッタはドライバーに返され、ドライバーはそれらをヒープに保持します。この設計は、miniserdeから完全に盗まれたもので、いくつかの興味深い結果をもたらします。

  • スタックオーバーフローなし。 構造体を任意にネストしても問題ありません。信頼できない入力に対しては、レイヤーで制限を設定し、スタック領域とは無関係の快適な数値を選択します。
  • 一時停止可能。 状態はドライバーに格納されるため、デシリアライゼーションは入力が到着するにつれて供給できます。また、Sendなので、IOを待っている間にスレッド間で移動でき、tokioでの使用がはるかに便利になります。JSON、CBOR、MessagePackなどのフォーマットは、必要に応じてストリームとしてパースできます。
  • 拡張可能なデータモデル。 コアデータモデルは小さく、アトム、マップ、シーケンスで構成されています。それ以外のすべてについては、フォーマットが理解しない場合にフォールバックも提供する拡張値(DateTime、Uuidなど)があります。Serdeとは異なり、これはマジックキーを持つオブジェクトのインバンドシグナリングに依存して値を密輸することはありません。
  • ロスレスバッファリング。 値をバッファする必要がある場合(たとえば、内部タグ付きenumのタグが最後に来る場合)、Deserはフォーマットがそれらについて知っていたすべてと共にイベントを記録します。プロトコル固有の拡張型やエラーの場所はすべて保持されます。
  • レイヤーは、フォーマットと型の間にあるミドルウェアシステムであり、パスの追跡、安全制限の強制、キーの名前変更、値の検閲などを、特定のコードパスに触れることなく行うことができます。
  • ネイティブなフラット化で、バッファリングは一切行われません。

これらに加えて、私が望んでいた多くのことがあります。

  • enumタグを文字列だけでなく任意の型にできるようにする
  • 合成可能なアダプター(as = Option<Vec<DisplayFromStr>>)
  • 検証をアダプターとして有効にする
  • 文字列ではなく実際のRust式であるderive属性
  • データモデルにおけるバイトのコア機能
  • デフォルトで拒否される重複キーと問題を示すエラー

ここでは、これらの機能の一部を組み合わせた小さな設定タイプを示します。

use deser::adapters::DisplayFromStr;
use deser::de::Recording;
use deser::{Deserialize, Serialize};
use deser_encoding::Hex;
use deser_validate::{Check, NonEmpty, Range};
use ipnet::IpNet;

#[derive(Debug, Serialize, Deserialize)]
pub struct Config {
    // 少なくとも1つの256ビットキー、それぞれ16進数で記述
    #[deser(as = Check<NonEmpty, Vec<Hex>>)]
    secret_keys: Vec<[u8; 32]>,
    // `IpNet`はdeserについて何も知りませんが、`FromStr`と`Display`を持っています
    #[deser(as = Option<Vec<DisplayFromStr>>)]
    allowed_networks: Option<Vec<IpNet>>,
    listeners: Vec<Listener>,
}

#[derive(Debug, Serialize, Deserialize)]
#[deser(tag = "type", rename_all = "snake_case")]
enum Listener {
    Unix { path: PathBuf },
    Tcp {
        host: IpAddr,
        #[deser(as = Check<Range<1, 65535>>)]
        port: u16,
    },
    // このバージョンが知らない型は保持され、書き戻されます
    #[deser(other)]
    Other(#[deser(tag)] String, Recording),
}

アダプターは型なので、HexはVecの中に、DisplayFromStrはOptionの中のVecの中に入れることができます。バリデーターもアダプターなので、Check<NonEmpty, Vec<Hex>>はキーをデコードしてから、少なくとも1つあることを確認します。キャッチオールバリアントは、後で処理したい人のためにタグと残りのすべての記録を保持します。

エラーは私が非常に気にかけていることなので、値が間違っている場合に何が起こるかを示します。

secret_keys = ["9f86d081884c7d659a2feaa0c55ad015a3bf4f1b2b0b822cd15d6c15b0f00a08"]
allowed_networks = ["10.0.0.0/8", "fd00::/8"]

[[listeners]]
type = "unix"
path = "/run/app.sock"

[[listeners]]
host = "127.0.0.1"
port = 0
type = "tcp"

[[listeners]]
type = "quic"
host = "::1"
alpn = ["h3"]
let config: Config = deser_toml::Deserializer::from_str(input)
    .deserialize_with(|driver| driver.push_layer(PathLayer::new()))?;

ここでは、内部タグ付きenumのタグが最後に来るため、タグが判明するまで値がバッファされる必要があることに注意してください。Serdeではこれはトリッキーであり、トリックを使用して追加した場合に場所を失います。しかし、Deserでは、パスレイヤーが有効になっていると、構造体のどこで問題が発生したかがわかります。

Unexpected: invalid value: must be between 1 and 65535 at line 10 column 8 (path: listeners[1].port)

Deserメタデータ

Deserは本当に拡張可能でありたいと考えており、XMLはDeserとSerdeの違いのより極端な例です。ここでは、Dublin Coreを著者として混合したAtomエントリを示します。

use chrono::{DateTime, Utc};
use deser::Deserialize;
use deser_value::Value;
use deser_xml::DeserializerConfig;

deser_xml::namespace!(
    atom = "http://www.w3.org/2005/Atom",
    dc = "http://purl.org/dc/elements/1.1/",
);

#[derive(Debug, Deserialize)]
struct Entry {
    #[deser(rename = atom!("title"))]
    title: String,
    #[deser(rename = dc!("creator"))]
    creators: Vec<String>,
    #[deser(rename = atom!("updated"))]
    updated: DateTime<Utc>,
}

// 理解できるエントリ、それ以外はそのまま保持されます
#[derive(Debug, Deserialize)]
#[deser(untagged)]
enum Item {
    Entry(Entry),
    Other(Value),
}

let item: Item = DeserializerConfig::new()
    .resolve_namespaces(true)
    .from_str(r#"<entry xmlns="http://www.w3.org/2005/Atom"
           xmlns:d="http://purl.org/dc/elements/1.1/">
  <title>Deser</title>
  <d:creator>John</d:creator>
  <updated>2026-09-29T21:00:00Z</updated>
  <d:creator>Jane</d:creator>
</entry>"#)?;

XMLは名前空間を使用するため、名前はドキュメントが偶然使用するプレフィックスではなく、名前空間によって一致させる必要があります。ここではドキュメントはd:と言い、型はdc!と言います。atom!("title")は単なる文字列{http://www.w3.org/2005/Atom}titleであり、属性は式なので機能します。2人のクリエイターは、それらの間に別の要素があっても、1つのVecに収集され、updatedのテキストは直接chrono datetimeに渡されます。enumはタグなしなので、バリアントが選択される前にエントリをバッファする必要があり、deserのバッファは両方のクリエイターを保持します。したがって、結果はJohnとJaneを持つEntryになります。

Serdeで最も人気のあるXMLクレートであるquick-xmlは、プレフィックスを削除し、名前空間を完全に無視するため、別の名前空間からの<x:title>はエントリのタイトルとして問題なく受け入れられます。分割リストの部分は、さらに悪いです。プレーンなEntryは重複フィールドエラーで失敗します(creatorの場合)、overlapped-lists機能をオンにしない限り(これは、任意のクレートが設定できるグローバルな追加フラグであることを思い出してください)。この機能は、quick-xmlが要素の最後まで先読みし、制限を設定しない限り、すべてをバッファする場合にのみ役立ちます。

しかし、この機能は、quick-xmlが構造体に直接フックされており、バッファリングが行われていない場合にのみ役立ちます。構造体をタグなしenumでラップすると、Serdeはエントリ自体をバッファします。そのバッファから読み取ると、Entryは再びcreatorが2回あると認識して失敗します。フォールバックはマップであり、最後のcreatorのみを保持し、エラーはありません。機能の有無にかかわらず、次のようになります。

Other({"creator": {"$text": "Jane"}, "title": {"$text": "Deser"}, ...})

Johnが消えていることに注意してください。

TOML datetimeのようなフォーマット固有の拡張型も別のケースです。TOMLにはネイティブにそれらがありますが、Serdeのデータモデルにはありません。そのため、tomlクレートはそれらをマジックキーを持つマップとして渡します。Deserでは、datetimeは拡張値であり、それを知っているフォーマットは保持し、他のすべては文字列として書き込みます。

let value: Value = deser_toml::from_str("released = 2026-09-29T21:00:00+02:00")?;

deser_json::to_string(&value)?;
// {"released":"2026-09-29T21:00:00+02:00"}
deser_toml::to_string(&value)?;
// released = 2026-09-29T21:00:00+02:00

serde_json::Valueでも同様の結果になりますが、{"released":{"$__toml_private_datetime":"2026-09-29T21:00:00+02:00"}}となり、値をchrono::DateTimeに読み込むと、invalid type: map, expected an RFC 3339 formatted date and time stringというエラーで完全に失敗します。

コスト

Deserが理論上クールであることがわかった今、それはどのくらいのコストがかかるのでしょうか?

無料ではありません。この設計は動的ディスパッチとヒープ上に存在するシンクとエミッタに依存しており、かなりの実行時オーバーヘッドがあります。JSONに関する私の測定では、Deserはデータに応じて、serde_jsonよりも33%高速から60%低速で読み取ります。平均すると、読み取りでは約10%低速です。書き込みは3倍高速から70%低速で、平均するとほぼ同等です。YAMLとTOMLでは、Serdeベースのクレートよりも著しく高速ですが、これはアーキテクチャよりもフォーマットの実装によるものです。

コンパイル時間はわずかに改善されますが、劇的ではありません。すべてをモノモルフィゼーションしないため、派生コードのリリースビルドはSerdeの場合よりも約2.3倍高速であり、再コンパイルの必要性が少なくなるため、実際のコードではさらにわずかに改善されます。

Deserの設計を機能させるために、内部的にunsafeも使用しています。これのほとんどは、ヒープ上の借用されたシンクのチェーンを維持するためです。Miriとエージェントの時代にはこれは問題ないと思いますが、一部の人々を不安にさせることはわかっています。

そして、最大のコストは、それが単にSerdeではないということです。

どのくらいありますか?

驚くほどたくさんあります。コアに加えて、deriveのサポートがあります。

考えられるすべてのJSONのバリエーションをサポートしています。JSON、JSONC、JSON5、HJSON。(ここで面白い事実:これらはすべて1つの共有パーサーテンプレートから生成されています)バイナリ処理のために、CBORとMessagePackをサポートしています。さらに、YAML 1.1および1.2、TOML、XML、およびAppleのplistの3つのすべてのバリエーション、さらにCSV/TSV、URLエンコードデータ、環境変数を扱います。よりクレイジーな仕掛けのために、パス情報を添付したり、場所データをキャプチャしたり、デバッグ印刷をサポートしたりできます。パース中に検証を実行したり、base64に加えて異なるバイナリエンコーディングを選択したり、serdeとブリッジしたり、動的値をキャプチャしたり、フォーマット間でトランスコードしたり、tokioと連携したりできます。

ドキュメントについては、docs.rs/deserと、GitHubにあるコード自体、および多くの例を参照してください。

この記事はrustタグが付いています。

コピー / 表示 markdown