HN 日本語サマリー

← 一覧へ戻る
プログラミング

自己起動可能なZIPアーカイブの作成

Creating a self booting ZIP archive (goliath32.com)

54 pointsby gdgghhhhh7 コメント

要約

この記事では、ZIPアーカイブの構造と、それを自己起動可能なブートローダーとして機能させるための技術的なトリックについて解説しています。ZIPファイルのローカルファイルヘッダーとマルチブート仕様を組み合わせることで、BIOSやQEMUから直接起動できるアーカイブを作成する方法が説明されています。

全文翻訳

自己起動可能なZIPアーカイブの作成

[画像]ブログインデックスに戻る


はじめに

先日、デバッグセッションの後、初期のユーザースペースとinitrdについてシャワー中に考えを巡らせていました。

Linuxのinitramfsは、CPIO(くだらない、シンプルで標準化されたフォーマット)の展開をサポートしています。TARをサポートするかどうかの議論では、CPIOが標準化されており、断片化が少ないという点が強調されてきました。

幸いなことに、Linux(カーネル)には、実装している標準の特定のバリアントを生成するための独自のツールが含まれています。標準のCPIOツールは、おそらくSUNの下で最も呪われたアーカイバでしょう。

古いDOS/WinDOSの世界では、ZIPはおそらく最も広く普及し、よく知られたアーカイブフォーマットでしたが、2000年代のRARの台頭によりある程度取って代わられました。

フォーマットの設計上、ZIPはあらゆる種類のポリグロット(多言語対応)トリックに最適です。昔は、自己解凍ZIPアーカイブが一般的でした。EXE/ZIPポリグロットは実行して自己展開できるため、アーカイバがインストールされていない場合に便利です。

私がどこに向かっているのか説明する必要はないと思います。ここに結果のZIPアーカイブを構築しました。

[画像]boot.zipをダウンロード

これは完全に通常のZIPアーカイブで、ゼロから自身を構築するために必要なソースコードが含まれています。

$ unzip -t boot.zip
Archive:  boot.zip
    testing: boot/ZIPHEAD.COM         OK
    testing: boot/MESSAGE.TXT         OK
    testing: common/asm.h             OK
    testing: common/multiboot.h       OK
    testing: common/zip.h             OK
    testing: multiboot/console.c      OK
    testing: multiboot/console.h      OK
    testing: multiboot/multiboot.c    OK
    testing: multiboot/string.S       OK
    testing: setup/a20.S              OK
    testing: setup/disk.S             OK
    testing: setup/entry16.S          OK
    testing: setup/entry32.S          OK
    testing: setup/mbload.S           OK
    testing: setup/mem.S              OK
    testing: setup/setup.ld           OK
    testing: util/fixhdr.c            OK
    testing: util/zipglue.c           OK
    testing: util/zippack.c           OK
    testing: mk.sh                    OK
    testing: README.txt               OK
    testing: MESSAGE.txt              OK
    testing: LICENSE.txt              OK
No errors detected in compressed data of boot.zip.

特に興味深いファイルはboot/ZIPHEAD.COMで、アーカイブの起動時に実行される実行可能コードが含まれています。

展開後、mk.shの実行権限を修正する必要があり、ツールにはZlibのコピーがインストールされている必要があります。そのディレクトリからmk.shを実行すると、ブート可能なZIPアーカイブの新しいコピーが得られるはずです。

それを実行する最も簡単な方法は、Qemuの直接カーネルブートに渡すことです。

$ qemu-system-i386 -kernel boot.zip

「それは簡単だ」と言うかもしれません。「QemuはMultibootをサポートしており、ZIPHEAD.COMはアーカイブの先頭にあり、非圧縮で、Multibootヘッダーが含まれている!」

はい、それはすべて真実です!しかし、このZIPアーカイブは独自のブートローダーも搭載しています。それをフロッピーディスクにコピーして、Qemuの前に置くことができます。

$ dd if=/dev/zero of=floppy.img count=2880
$ dd if=boot.zip of=floppy.img conv=notrunc
$ qemu-system-i386 -fda floppy.img

アーカイブの最初の512バイトは有効なブートセクターで、2番目のセクターからさらにコードをロードし、A20が有効になり32ビット保護モードが設定された状態でハイメモリにブートストラップします。

ハードドライブに配置することもできます。それがロードされたINT 13hドライブを検出し、ディスクジオメトリを忠実にクエリします。

試したい場合は、実際のフロッピーディスクにダンプしてPCに挿入することもできます。

[画像]

これはPentium MMXですが、i486 DX2とAm386DX-40でも試しました。私の486では、一時的に息をのむほど遅いフロッピーディスクドライブがありました。画面のテキストはboot/MESSAGE.TXTファイルからのものです。

「しかし、それも特別ではない」とあなたは答えるかもしれません。「ZIPは後ろから読み込まれるので、前に何でも置くことができます。だからブートセクターを前に置いたのでしょう!」

残念ながら、それはもう完全には真実ではありません。それについては後で説明します。しかし、今のところ、アーカイブの最初の数バイトを一緒に見て、本当のトリックを見てみましょう。

$ xxd -g 1 -l 128 boot.zip
00000000: 50 4b 03 04 0a 00 02 80 00 00 eb 44 e4 2e 41 0f  PK.........D..A.
00000010: 01 8f 0a 09 00 00 0a 09 00 00 10 00 00 00 62 6f  ..............bo
00000020: 6f 74 2f 5a 49 50 48 45 41 44 2e 43 4f 4d 00 90  ot/ZIPHEAD.COM..
00000030: 02 b0 ad 1b 03 00 01 00 fb 4f 51 e4 30 00 10 00  .........OQ.0...
00000040: 00 00 10 00 bd 72 10 00 bd 72 10 00 31 03 10 00  .....r...r..1...
00000050: fa fc 31 c0 89 c4 8e d8 8e c0 8e d0 ea 61 7c 00  ..1..........a|.
00000060: 00 bf 00 06 b9 00 02 f3 aa 88 16 98 06 be 0f 7d  ...............}
00000070: e8 8c 00 b8 00 f0 89 c1 50 9d 9c 58 a8 02 74 4a  ........P..X..tJ

ASCIIのPは、Phil(Picardではない)を意味し、Phil Katzにちなんでいます。それに続く03hと04h。これは、boot/ZIPHEAD.COMの完全に有効なZIPローカルファイルヘッダーです。

ああ、そしてZIPヘッダーの後にある他のバイト、02 b0 ad 1bは、人間が読めるエンディアンに並べ替えると、1BADB002となります。これがMultibootマジックです :-)

16ビットリアルモードコードは、Multibootヘッダーのすぐ後、オフセット00000050から始まります。少し混乱しているように感じるかもしれませんが、fileユーティリティも同様です。

$ file boot.zip
boot.zip: DOS/MBR boot sector; partition 1 : ID=0xd, active 0xcd, start-CHS (0x7
2,19,7), end-CHS (0x388,254,6), startsector 2147916342, 243810273 sectors; parti
tion 2 : ID=0x60, active 0x9c, start-CHS (0x366,6,3), end-CHS (0x3f7,49,18), sta
rtsector 2298911798, 4154016209 sectors; partition 4 : ID=0xf8, active 0xe1, sta
rt-CHS (0x2,184,1), end-CHS (0x313,6,13), startsector 3277940231, 0 sectors

最初の行の16進ダンプを詳しく見ると、この小さなマジックトリックを可能にするジャンプ命令が見つかるかもしれません。幸いなことに、Phil Katzのイニシャルは有効なオペコードです。Multibootのエントリポイントは、ファイルのずっと奥、オフセット00000331にあります。

ZIPアーカイブの再訪

[画像]

これはZIPフォーマットに関するWikipediaの記事でおそらく見慣れた画像でしょう。これはローカルコピーで、Wikimedia Commonsには属性とライセンス情報付きのオリジナルがあります。

TARやCPIOアーカイブと同様に、ZIPファイルは密に詰め込まれたファイルの集合体で、その前に短いヘッダーがあり、完全なファイルパスやその他のメタデータを指定します。

typedef struct {
	uint32_t magic;
	uint16_t version;
	uint16_t flags;
	uint16_t method;
	uint16_t modtime;
	uint16_t moddate;
	uuint32_t checksum;
	uint32_t compsize;
	uint32_t origsize;
	uint16_t namelength;
	uint16_t extralength;
	char name[namelength];
	uint8_t extra[extralength];
} __attribute__((packed)) zip_entry_t;

タイムスタンプはDOSの日時、チェックサムはCRC-32、属性やパーミッションビットはありません。完全にDOSの世界です。ディレクトリはファイルパスによって暗示されます。

些細なことですが、はい、中央ディレクトリには「内部」および「外部」属性を格納できるフィールドがあり、その意味はバージョンフィールドのOS IDバイトに依存します。フォーマットの後期バージョンでは、ディレクトリをサポートするための拡張機能が追加されました。異なるWinDOSバージョンやUnixクローンで理解できるポータブルな方法でそれを利用するのは難しいでしょう。

TARやCPIOとは異なり、末尾に中央ディレクトリがあり、アーカイブ内のすべてのファイルヘッダーとファイルへのバック参照がリストされています。従来の「ヘッダーで開始される」ファイルフォーマットとは異なり、ZIPは「フッターで終了する」のです。

この理由は2つあります。

  • アーカイブは単一のフォワードパスで生成できます(メモリ内でディレクトリを収集します)。
  • アーカイブ内の単一ファイルへのアクセスは、ディレクトリをスキャンして直接ファイルに移動することで迅速に行えます。

最後の点は、ZIPアーカイブが複数のフロッピーディスクに分割されていた時代には特に重要でした。ファイルにアクセスするには、最後のフロッピーディスクのディレクトリをスキャンし、ファイルを取得するために挿入する必要のあるフロッピーディスクをユーザーに伝えるだけです。

これに対し、tarball内のファイルにアクセスするには、全体を線形にスキャンする必要があります(これは、テープドライブには好ましいですが、TARの起源です)。

ポリグロットトリック

ZIPアーカイブは後ろから読み込まれるように設計されています。フッターは中央ディレクトリを指し、ディレクトリはファイルを指します。理論上、アーカイバは、2つのファイルの間に何か別のものが含まれるギャップがある場合や、アーカイブの先頭に別のファイルフォーマットのファイルヘッダーのようなものがある場合を気にしません。

ローカルファイルヘッダーは、ヘッダーとファイルデータの間に最大64KBの「追加」データをサポートします。フッターには末尾に「コメント」があり、これも最大64KBです。

フッターを少し見てみると、興味深い設計上の欠陥が見つかるかもしれません。

typedef struct {
	uint32_t magic;
	uint16_t disknum;
	uint16_t diskstart;
	uint16_t num_dir_entries;
	uint16_t total_dir_entries;
	uint32_t dir_size;
	uint32_t dir_start;
	uint16_t comment_length;
	uint8_t comment[comment_length];
} __attribute__((packed)) zip_end_t;

これは可変サイズであり、アーカイバは後ろから検索して見つける必要がありますが、マジックとサイズは両方とも可変サイズのコメントフィールドの前に格納されています。少し考えてみてください。これをアーカイバでどのように実装しますか?コメントがないことを要求しますか?最後の64KBプラス少しを読み込んでスキャンしますか?どちらの方向から?コメントフィールド内に別の有効なフッターが存在したらどうなりますか?実装がこれをどのように処理するかによって、特別に作成されたアーカイブは、異なるアーカイバで表示されたときに異なるファイルを含んでいるように見えることがあります。

フォーマットを拡張可能にしようとした結果、多くの落とし穴が生まれました。そして、長年にわたって公式仕様に追加されてきた無数の拡張機能についても話していません。

多くの最新の実装は、多くの頭痛の種を避けるために、ZIPアーカイブをtarballと同じように、先頭から線形にスキャンするようにしました。アーカイブがローカルヘッダーで始まることを期待し、サイズによってスキップすると次のエントリまたは最終的に中央ディレクトリに到達する必要があります。これが不可能なアーカイブは拒否します。これは、多くのポリグロットトリックを効果的に防ぎますが、おそらく有効なアーカイブを読めなくするという代償を伴います。

自己起動可能なZIPアーカイブの場合、課題は次のようになります。アーカイブはローカルファイルヘッダーで始まる必要があり、ギャップは一切存在せず、すべてがファイル内に適切に含まれている必要があります。

簡単な部分: Multiboot

DIYトイOSチュートリアルを見たことがある人なら誰でも、The Multiboot Specificationにつまずいたことがあるでしょう。これは、x86でプログラムをベアメタルで実行するための、おそらく最も簡単で初心者向けの方法です。

multiboot仕様はGNU/FSFエコシステムに由来し、GRUBやQemu直接カーネルブートのようなブートローダーによって実装されています。SYSLINUXはプラグインを介してそれをサポートしています。MIPSもサポートする、過剰に設計された第2バージョンのドラフトがありますが、これは私たちには関係ありません。

Multiboot 1準拠のカーネルは、単純にマジック値0x1BADB002を最初の8KBのどこかに含んでいます。これにフラグとチェックサムが続きます(3つすべてを合計するとゼロになる必要があります)。フラグに応じて、追加フィールドが続く場合があります。

カーネル自体はELFファイルであることができ、ローダーはロードアドレスとエントリポイントを抽出します。カーネルは、フラットセグメント(ベース=0、リミット=4G)とA20ゲートが有効になった32ビット保護モードで実行されます。

些細なことですが、仕様は実際にはELFを義務付けているわけではなく、「オペレーティングシステムが通常使用するファイル形式の通常の32ビット実行可能ファイル」を義務付けています。その後、ELFまたはa.outのいずれかの情報構造にオプションフィールドを指定します。理論的には、ブートローダーがPEのみをサポートし、仕様に違反しないことも可能です。

プレーンなELFファイルの代わりに、カーネルはメモリレイアウトを手動で指定することもできます(フラグで示される)。これにより、フラットバイナリやその他のファイル形式をロードできます。拡張ヘッダーは次のようになります。

typedef struct {
	uint32_t magic;
	uint32_t flags;
	uint32_t checksum;
	uint32_t hdr_addr;
	uint32_t load_addr;
	uint32_t load_end_addr;
	uint32_t bss_end_addr;
	uint32_t entry_point;
} mb_header_t;

hdr_addrは、ファイルをロードした後のヘッダーのメモリ内アドレスを指定します。これとヘッダーが見つかったファイルのオフセットを使用して、ローダーは他のアドレスをファイルオフセットに変換できます。

このように、load_addrとload_end_addrは、ファイルのどの部分をどこにロードするかを決定するために使用されます。bss_end_addrがそれを過ぎている場合、ローダーはそれをゼロフィルしてから、最後にentry_pointにジャンプしてカーネルを実行します。

Multiboot準拠のローダーは、システム情報(メモリマップ、APMテーブルなど)、カーネルコマンドラインなどを含む構造体も設定し、カーネルへのポインタを渡します(レジスタEBX、EAXのマジック値0x2BADB002)。

Multiboot対応のブート可能なZIPアーカイブを作成するのは簡単です。Multibootヘッダーを持つフラットバイナリを非圧縮ファイルバイナリとしてパックし、それが先頭にあり、アドレスが一致していることを確認します。外部ツールがヘッダーを修正して、アーカイブ全体がロードされるようにできます。

実用的なアプリケーションの場合、ここで止めるのが理にかなっていますが、私たちは「実用的」や「まとも」のためにここにいるのではありません。

BIOSブート可能にする

IBM互換機では、BIOSはインストールされているドライブを順番に処理し、各ドライブから最初のセクターを(0x7c00の位置に)ロードし、最初のセクターの末尾が0xaa55で終わるものを見つけます。その後、最初のバイトにジャンプします。

ファイルシステムでフォーマットされたディスクは、通常、ヘッダーの先頭にジャンプ命令があり、ヘッダーを越えて後続のブートストラップコードにジャンプします。DOS MBRフォーマットは、代わりにパーティションテーブルを最初のセクターの末尾に格納し、すべてのコードを先頭に配置することを選択します。

BIOSブートシグネチャをZIPアーカイブに詰め込むと、少なくともZIPローカルファイルヘッダーの一部が実行されます。最初の数バイトは必須のマジック値であり、ジャンプ命令をそこに置くことはできません。

パズルの演習は、意味のある値をヘッダーフィールドに埋め込み、かつ有効な8086オペコードにもなるようにすることです。少なくとも、自由形式フィールドとして悪用できるものに到達するまで、ジャンプをそこに詰め込むことができます。

あの16進ダンプをもう一度見てみましょう。

00000000: 50 4b 03 04 0a 00 02 80 00 00 eb 44 e4 2e 41 0f  PK.........D..A.
00000010: 01 8f 0a 09 00 00 0a 09 00 00 10 00 00 00 62 6f  ..............bo
00000020: 6f 74 2f 5a 49 50 48 45 41 44 2e 43 4f 4d 00 90  ot/ZIPHEAD.COM..

ジャンプ命令までの関連ヘッダーをハイライトしました:0xebは、1バイトの即値引数を持つ相対ジャンプです。

ヘッダー構造をもう一度見ると、これらのバイトがどのフィールドに対応するかを理解できます。

typedef struct {
	uint32_t magic;
	uint16_t version;
	uint16_t flags;
	uint16_t method;
	uint16_t modtime;
	………

タイムスタンプは、ジャンプ命令を配置できる最初の良い場所です。modtimeの前の2バイトは圧縮methodです。ファイルを扱いにくくしないように、ここでは非圧縮の0x0000を強く望みます。

最初の4バイトはフォーマットのマジック値です。ここでも選択肢はなく、