HN 日本語サマリー

← 一覧へ戻る
プログラミング

アロケーターがすべてだ

It's All about the Allocator (aarol.dev)

40 pointsby ibobev10 コメント

要約

この記事は、AIデータセンターの拡大によるメモリ逼迫と、それによる高価なデバイスやRAMを過剰に消費するアプリケーションの問題を指摘しています。AIが生成するコードはメモリ効率を考慮していない場合が多く、Rustのような言語でも意図しないメモリ割り当てが発生する可能性があることを、具体的なコード例を挙げて説明しています。Zig言語では、すべてのメモリ割り当てが明示的な`Allocator`インターフェイスを通じて行われるため、メモリ管理をより意識的に行うことができると解説しています。

全文翻訳

アロケーターがすべてだ

AIデータセンターの拡大により、グローバルなメモリ供給が驚異的な逼迫状態にある世界に私たちは生きています。これは、より多くのRAMを搭載したデバイスが非常に高価になったことを意味します。MacBook Neoのような新しいデバイスが登場し、RAMはわずか8GBしかありません!

これは、RAMを過剰に消費するアプリケーションに対する精査が増加していることを意味します。Discord、Teams、Spotifyは、すべてChromiumを基盤としているため、悪名高い例です。そしてChromiumはブルートです。

幸いなことに、状況は変化しています。一部の企業は、無限のAIトークン予算を有効活用し始めています。Discordは、デスクトップクライアント全体をRustにポートし始め、gpuiを使用し、モバイルアプリをReact Nativeから適切なネイティブiOS/Androidアプリに移行したと発表しました。

しかし、ClaudeにコードをRustに書き直させるだけでは、すべての問題が解決するわけではありません。このRedditの投稿では、誰かがAIを使用してTypeScriptで書かれた12,000行以上のゲームエンジンをRustに移植しました。最終的には動作し、非常に厳格なテストすべてに合格しましたが、予期せず遅くなりました。OPがコードを監査したところ、技術的にはメモリ安全だが非常に無駄の多いコード(いたるところでクローニングし、std::mem::takeを使用する)を書くための多くのトリックを使用して、「借用チェッカーのなだめ」を行っていたことが判明しました。その結果、プログラムは数ギガバイトの不要なメモリを割り当て、数千ものOSスレッドを生成したようです。

したがって、真にメモリ効率の高いコードを書きたい場合、AIにそれを任せるだけでは不十分かもしれません。AIのトレーニングデータに含まれるほとんどのコードは、メモリ効率(またはパフォーマンス)を念頭に置いて書かれていません。

私のポイントを実証するために、Claudeに次のように依頼しました:

Rustでrust-sfmlを使用して、画面の左上にプレイヤーのスコアを描画したいです。どうすればよいですか?

それが私に与えたもの(抜粋)は次のとおりです。

fn main() {
    let mut window = RenderWindow::new(
        VideoMode::new(800, 600, 32),
        "My Game",
        Style::CLOSE,
        &ContextSettings::default(),
    );
    // フォントは一度だけロードします。ゲームループの外で。
    let font = Font::from_file("assets/arial.ttf").expect("Failed to load font");
    let mut score_text = Text::new("Score: 0", &font, 24);
    score_text.set_fill_color(Color::WHITE);
    score_text.set_position((10.0, 10.0)); // 左上からの小さなマージン
    let mut score: u32 = 0;
    while window.is_open() {
        // ... スコアを変更するゲームロジック ...
        score_text.set_string(&format!("Score: {}", score));
        window.clear(Color::BLACK);
        // ゲームオブジェクトをここに描画します
        window.draw(&score_text); // HUDを最後に描画すると、上に表示されます
        window.display();
    }
}

メインループの問題点を見つけられますか?その通り、format!()はStringを返します。そのため、毎フレームスコアの新しい文字列を割り当てています。

この状況での適切な修正は何でしょうか?さて、それはscoreがどれくらいの頻度で更新されるかによります。1秒に1回変更される場合は、スコアが実際に変更されたときにのみテキストを更新するのが最善です。フレームごとに近い頻度で更新される場合は、最初に1つのStringを割り当て、毎フレームそのメモリを再利用するのが最適なソリューションになります:

use std::fmt::Write;
// ..
let score: i32 = 0;
let mut score_text_buf = String::with_capacity(32);
while window.is_open() {
  // ..
  write!(score_text_buf, "Score: {score}")
    .expect("enough space in score_text_buf");
  score_text.set_string(&score_text_buf);
  // ..
}

これは完璧なソリューションではありません。なぜなら、set_string()は&strを渡してもメモリを割り当てるからです。C++側で独自の文字列表現に変換するためです。

これは些細な問題(そしてこの場合は些細な問題)のように思えるかもしれませんが、プロジェクトがこの1000倍大きい場合、あちこちの小さな割り当てが積み重なっていくと想像できます。

Rustでは、割り当て関数と非割り当て関数の区別はありません。すべての関数が割り当てを行う可能性があり、+演算子のオーバーロードのようなものでさえそうです。

もう1つのより陰湿な例は、私がしばらく前に書いたコードです。JSONから数値をできるだけ速く解析するために使用されていました:

pub fn parse_line(line: &str) -> Coords {
    let bytes = line.as_bytes();
    let x = parse_f32(b"\"x\":", bytes, b',').expect("X found");
    let y = parse_f32(b"\"y\":", bytes, b',').expect("Y found");
    let z = parse_f32(b"\"z\":", bytes, b'\'}').expect("Z found");
    Coords::new(x,y,z);
}

fn parse_f32(needle: &[u8], haystack: &[u8], end_char: u8) -> Option<f32> {
    let x_start = memchr::memmem::find(haystack, needle)? + needle.len();
    let x_end = memchr(end_char, &haystack[x_start..])?;
    let x_str = unsafe { std::str::from_utf8_unchecked(&haystack[x_start..x_start + x_end]) };
    Some(x_str.parse::<f32>().expect(&format!("{}", x_str)))
}

ここで問題点を見つけられますか?はい、それはexpect()に渡される別の文字列割り当てです。パラメータとして渡しているため、使用されていない場合でもその文字列は早期に評価されるため、parse_f32のほとんどの呼び出しは完全に不要な文字列割り当てを行います。

このバグに気づいたのは、コードのプロファイリングを行い、parse_f32内の時間のほとんどを文字列割り当てが占めていることを示したフレイムチャートを見たときでした。

修正はクロージャを使用することです:

Some(x_str.parse::<f32>().unwrap_or_else(|_| panic!("{}", x_str)))

AIにコードベース全体をレビューさせて、これを見つけられるか尋ねましたが、見つけられませんでした(コードにはもっと大きな問題がありました)。

この状況では、メモリがいつ割り当てられているかがわかりやすければ、この問題がより際立って見えたでしょう。

Zigでの割り当て

Zigは異なるアプローチをとっています。Cの後継者、手動メモリ管理を備えたシステムプログラミング言語として設計されています。Zigでは、すべての割り当てはstd.mem.Allocatorインターフェイスを通じて行われます。プログラムのトップレベルで、アロケーターを作成し、割り当てを行いたい関数に渡します。アロケーターの例には、std::heap::DebugAllocator、std::heap::ArenaAllocator、std::heap::FixedBufferAllocatorなどがあります。

標準ライブラリとサードパーティライブラリはこの抽象化を中心に構築されています。これは、各メモリ割り当てが明示的であることを意味します。関数がアロケーターを取らない場合、それは割り当てを行いません。これは強力な概念であり、いつ/どこでメモリを割り当てるかを強制します。

Zigには、Rustのformat!()マクロに直接相当するものはありません。いくつかの選択肢があります:

  1. std.Io.Writerのインスタンスがある場合

    try writer.print("Score: {}", .{score});
    

    Writerは、std::Io::File、std::Io::Writer::fixed(&buf)、またはstd::Io::Writer::Allocatingなどから取得できます。

  2. 新しいスライスを割り当てたい場合は、allocator.printを呼び出します:

    const text: []u8 = try allocator.print("Score: {}", .{score});
    
  3. バッファがある場合は、std::mem.printを使用します:

    var buf: [32]u8 = undefined;
    const slice: []u8 = try std::mem.print(&buf, "Score: {}", .{score});
    

スコアゲームの例では、std::mem.printSentinelを使用できます。これは、文字列の末尾に0バイトを追加できます(sfmlはヌル終端文字列を期待します)。

var score_text_buf: [32]u8 = undefined;
const score_text: []u8 = try std::mem.printSentinel(&score_text_buf, "Score: {}", .{score}, 0);
sf.sfText_setString(self.scoreTextShape, score_text);

明示的なアロケーターを持つことで、どの方法が最も適切かを考えるようになります。ゲームにさらに複雑さがあれば、フレームごとに割り当てを行うための「スクラッチ」を作成し、フレームの終わりにリセットするArenaAllocatorを使用できます。

アリーナアロケーターのもう1つの代表的な例はWebサーバーであり、リクエストごとにメモリを割り当てる必要がある場合があります。サーバーが接続を閉じると、アリーナをリセットして次のリクエストを処理できます。

重い計算を行うプログラムでは、メモリアクセスがボトルネックになることがほとんどです。CPUは機会があれば信じられないほどのことを実行できますが、メモリを半分待っているだけでは意味がありません。メモリ割り当てを理解することは、マシンに対する機械的共感を持つことの一部です。この概念は、TigerStyle(TigerBeetleデータベースの作成者)によって最もよく説明されていると思います。彼らは動的メモリ割り当てをゼロにし、静的割り当てのみを行うという極端なアプローチをとっています。

これらのアイデアは、高レベル言語にも適用できます。割り当てが発生している場所を理解できれば、JavaScriptコードを高速化できます。たとえば、arr.push(1)とarr = [...arr, 1]で配列に数値を加算する場合です。Typed Arraysは、数値演算コードを大幅に高速化することもできます。

私が気に入っているその他のアイデアは、制御フローを上に、データフローを下にプッシュする、構造体の配列 vs 配列の構造体、そして検証するな、解析せよですが、最後のものはパフォーマンスよりも設計に関するものです。