HN 日本語サマリー

← 一覧へ戻る
プログラミング

RubyでCodemastersのBIGFアーカイブフォーマットをリバースエンジニアリングする

Reverse-engineering Codemasters' BIGF archive format in Ruby (davidslv.uk)

21 pointsby davidslv5 コメント

要約

この記事は、Web開発で一般的なRuby言語が、バイナリファイルフォーマットのリバースエンジニアリングにも強力なツールとなり得ることを示しています。著者は、Codemastersのゲームで使用されているBIGFアーカイブフォーマットの解析にRubyのString#unpackメソッドとバイト操作能力を活用した経験を詳述しています。AIとの協力を通じて、Rubyの標準ライブラリと直感的な文字列操作が、低レベルのバイナリ解析タスクにどのように適しているかを実証しています。

全文翻訳

Rubyでバイナリゲームフォーマットを読む

「バイナリファイルフォーマットをリバースエンジニアリングする」と言うと、多くの人はC言語やPythonのstruct、あるいはKaitaiを思い浮かべるでしょう。Rubyを思い浮かべる人はほとんどいないはずです。RubyはWebアプリケーションやDSL、そして快適なコーディングのための言語であり、一般的なイメージでは、2003年のレーシングゲームから浮動小数点数をバイト単位で抜き出すような作業には向いていないと考えられています。

しかし、その一般的なイメージは間違っています。CodemastersのBIGFアーカイブフォーマット(TOCA Race DriverのAIデータを格納するコンテナ)のリーダーは、依存関係のない純粋なRubyで書かれており、4つの異なるゲームのアーカイブを読み込むことができます。その経緯を正直に言うと、これはAIの全面的な支援を受けて行われたリバースエンジニアリングでした。私(筆者)が方向性を定め、何を信頼すべきかを判断し、すべての主張をバイトデータに対して検証しました。AIモデルはコードをドラフトし、標準ライブラリの隅々を思い出し、私がテストする仮説を提案しました。以下に、そのコラボレーションを真に快適にしたRubyの側面を紹介します:Rubyの文字列はバイトバッファであり、String#unpackは、ごく普通に隠れている、小さくて高速なバイナリパーサーなのです。

文字列はバイトである

まず最初に理解すべきことは、RubyのStringは「テキスト」ではないということです。それは、エンコーディングラベルが付与されたバイトのシーケンスです。ファイルをバイナリモードで読み込むと、生のバイトが得られ、他の文字列と同様にインデックス付けやスライスが可能です。

data = File.binread("aib.big")   # ファイル全体をASCII-8BIT Stringとして読み込む
data[0, 4]                        # => "BIGF"  — 最初の4バイト
data.bytesize                     # => 3448832

File.binreadが鍵となります。これはファイルをバイナリ(ASCII-8BIT / BINARYエンコーディング)として読み込むため、UTF-8の解釈が0x80以上のバイトを破損させることはありません。そこから、data[offset, length]でバイト範囲を切り出し、data.index(needle, from)でマジックナンバーやマーカーをファイル内のどこでも見つけることができます。これだけで、すでにパーサーの大部分が完成しています。

unpack:すでに持っているバイナリデコーダー

この作業の中心となるのはString#unpack(およびその単一値版unpack1)です。これにディレクティブのフォーマット文字列を渡すと、バイトをデコードしてくれます。ここで作業の90%を占めた2つのディレクティブは以下の通りです。

  • V — 未署名の32ビット整数、リトルエンディアン。BIGFのすべてのカウント、ブロックインデックス、オフセット、サイズはVです。
  • e — リトルエンディアンの単精度浮動小数点数(32ビット)。AIデータはこれらの配列です:レーシングラインの座標、制御値、パディング。
data[4, 4].unpack1("V")      # => 39        — エントリ数(u32 LEとして)
data[12, 16].unpack("e4")    # => [0.0, 0.0, 137.0, 0.0]   — 4つのfloat32

エンディアンネスはディレクティブ内に存在し、それがすべてです:Vはリトルエンディアンのu32、Nはビッグエンディアンです。eはリトルエンディアンのfloat、gはビッグエンディアンです。CodemastersのPCゲームはリトルエンディアンなので、ここではVとeが使われています。(後でXbox 360のファイル、ビッグエンディアンのPowerPCを見たときには、Nとgを使うことになります — フォーマット文字列だけが変わるのです。)

unpackはインタプリタ内部のC言語で実装されているため、数十万個の浮動小数点数をデコードしても遅くはありません。「スクリプト言語」によるペナルティを支払う必要はないのです。

コンテナのウォークスルー

BIGFはヘッダー、ディレクトリ、データセクションで構成されています。ヘッダーのチェックは1行で完了します。

MAGIC = "BIGF".b
raise "not a BIGF archive" unless data[0, 4] == MAGIC

この.bは注釈に値します。これは文字列リテラルのバイナリコピーを返すため、ソースファイルのエンコーディングに関わらずバイト単位での比較が行われます。私はすべてのバイナリ定数にこれを使用しています。

BIGFには2つのディレクトリレイアウトがあります。1つは固定24バイトレコードのフラットテーブルです — char name[16]; u32 size; u32 offset — これは典型的なunpackループになります。

count = data[4, 4].unpack1("V")
base  = data[8, 4].unpack1("V")    # ヘッダーから読み込まれるデータセクションのベース(仮定しない!)
off   = 0x24                        # レコードは0x20のヘッダー + 4バイトのパディングの後から始まる

count.times do
  rec = data[off, 24]
  name          = rec[0, 16].split("\x00").first.to_s   # NUL終端の名前フィールド
  size, offset  = rec[16, 8].unpack("V2")               # 一度に2つのu32を取得
  members << Entry.new(name:, offset: base + offset, size:)
  off += 24
end

ここで3つの小さなRubyの便利な機能が実質的な作業を行っています。rec[0, 16].split("\x00").firstは、固定幅のNULパディングされたC文字列をRuby文字列に変換します。unpack("V2")は一度に2つの整数を取得します(カウントのサフィックス)。そして — 苦労して得た詳細ですが — baseは0x800と常に仮定されるわけではないことが1,371個の実ファイル測定で示されたため、0x08のヘッダーフィールドから読み込まれ、ハードコードされていません。

もう一方のレイアウトは可変長です:0x44 00 00 00マーカーが散りばめられた名前。ここでString#indexが真価を発揮します — 拡張子をスキャンし、直前のNULまで戻って名前の開始位置を見つけ、そのすぐ後ろのマーカーを探します。

while (idx = data.index(".aib", pos)) && idx < limit
  s = idx
  s -= 1 while s.positive? && data.getbyte(s - 1) != 0   # NULまで戻る
  name = data[s...(idx + 4)]
  # ...マーカーとブロックインデックスが名詞の後に続く...
  pos = idx + 4
end

getbyteはサブ文字列を割り当てることなく、1バイトを整数として読み取ります — タイトな逆方向スキャンで必要なのはまさにこれです。

内部レコードのデコード

メンバーの切り出しは単純なスライスです — data[entry.offset, entry.size] — そしてRubyのスライスは安全です。ファイルの終端を過ぎたバイトを要求しても、クラッシュすることなく短い文字列やnilが返されます。AIプロファイル内では、16バイトごとに4つのfloat32があり、パーサーはビットパターンによって各レコードを分類します。

SENTINEL   = "\x3f\x3f\x3f\x3f".b.unpack1("e")        # => 0.7470588…  (パディング値)
KTAG_MAGIC = "\x0c\x00\x00\x00\x08\x00\x00\x00".b

def classify(bytes)
  return [:ktag, bytes[8, 4].unpack1("e")] if bytes[0, 8] == KTAG_MAGIC

  a, b, c, d = bytes.unpack("e4")
  if [a, b, c, d].all? { |x| (x - SENTINEL).abs < 1e-5 } then :pad
  elsif a.zero? && b.zero? && c.zero? && d.zero?         then :zero
  elsif b.zero? && d.zero?                               then :scalar   # (v,0,v,0)
  elsif [a,b,c,d].all? { |x| coordish?(x) }              then :path     # (x,y,x,y)
  else :other
  end
end

このSENTINEL行は小さな喜びです。誰も「0x3f3f3f3fは何のfloatか?」を電卓で調べる必要はありませんでした — Rubyに4バイトをアンパックさせて教えてもらいました(0.7470588…)。分類器はほとんど文章のように読め、これはフォーマット仕様そのものを特定しようとしているときに重要になります。

coordish?には1つの実際の落とし穴があります:16バイトレコードの中には、浮動小数点数として読み込んだときにデノーマル数やNaNになるものがあります。RubyのFloat#nan?と絶対値のチェックがこれをきれいに処理します — しかし、NaNに対してはx == xがfalseになることを覚えておく必要があります。そのため、ガードは単純な比較ではなく !x.nan? && x.abs < 1e30 && … となります。(RuboCopでさえ、x == xのトリックを書くとnan?を使うように促してきます。)

なぜRubyなのか、特に

この作業を終えて、バイナリREタスクにおけるRubyの利点は具体的になりました。

  • バッファとしての文字列とスライスにより、ナビゲーションが人間工学的になります — カーソルオブジェクトや読み込み/シークの儀式は不要で、単にdata[off, len]を使います。
  • unpackは、あらゆる整数および浮動小数点数の幅とエンディアンネスに対応する、1文字の語彙を持つ、完全で高速なCバックエンドのバイナリデコーダーです。
  • 依存関係ゼロ。 リーダー全体が標準ライブラリです。見知らぬ人のマシンで5年後に実行する必要がある研究ツールは、APIがその後変更されたGemに依存すべきではありません。
  • 仕様のように読める。 レコードを分類するコードが、頭に入れられるほど短い場合、そのコードがフォーマットのドキュメントそのものになります — これがリバースエンジニアリングの目的です。
  • REPLがループを閉じます。 実際の作業中、irbでFile.binreadと1行のunpackを使うのが、「オフセット0x5c00には何があるか?」と尋ねる最も速い方法であり、思考が終わる前に答えを得られます。

落とし穴は少なく、すべてバイナリランドに留まることに関するものです:binreadで読み込み、.bでバイナリ定数を書き込み、エンディアンネスディレクティブを正しく設定し(N/gではなくV/e)、1つの値が欲しい場合は配列ではなくunpack1を使用し、NaNを敬意を持って扱います。これらはRubyのせいではなく、単にバイナリというものがそういうものです。

A 2003年のレーシングゲームのAI、4バイトのマジックナンバー、オフセットのテーブル、そして数十万個のリトルエンディアン浮動小数点数 — これらすべてが、標準ライブラリのRubyの20行で読み込まれました。人々がhas_many :commentsで使う言語が、完璧な逆アセンブラーのノートとしても機能することが判明しました — そして、AIと組み合わせれば、疲れることなく次の16バイトをアンパックし続けることができる高速なツールにもなります。


どこを見るか

完全なリーダーはオープンソースです — 2つのテーブルレイアウトと4つのゲームにわたるString#unpackの活用例です。

  • リポジトリ: github.com/davidslv/bigf (MIT)
  • コンテナパーサー:lib/bigf/archive.rb ・レコードデコーダー:lib/bigf/toca/profile.rb