HN 日本語サマリー

← 一覧へ戻る
プログラミング

16GB iPod Nano 3G アップグレード

16GB iPod Nano 3G Upgrade (tuckerosman.com)

167 pointsby Ivoah32 コメント

要約

この記事は、第3世代iPod Nanoのストレージを16GBにアップグレードするという個人的なプロジェクトについて詳述しています。著者は、はんだ付けやリバースエンジニアリングの経験がない状態から始め、ファームウェアのNANDチップテーブルをパッチするために、ロックボックスブートローダーやEFIブートローダーの解析といった高度な技術を駆使しました。この困難なプロセスを経て、最終的に目標を達成しました。

全文翻訳

16GB iPod Nano 3G アップグレード

最初のビデオを見る

このプロジェクトのアイデアを最初に思いついたのは、パンデミックが始まった2020年4月でした。プロジェクト(あるいはパンデミック)がどれくらい続くか分からず、なぜ誰もこのプロジェクト(パンデミックではない)を試みなかったのか不思議に思っていました。この時点では、はんだ付けの経験もリバースエンジニアリングの経験もなく、5歳からソフトウェアに触れていましたが、ハードウェアに関しては「Adafruit」のようなメイカーレベルのArduinoを扱う程度で、ほとんど経験がありませんでした。すべてをゼロから学ぶ必要があったため、これがどれほど大きな挑戦になるか気づいていませんでした。しかし、今ではやり遂げたと言え、その価値はあったと自信を持って言えます。本来かかるはずだった時間よりも長くかかりましたが、勘弁してください。

問題の紹介

YouTubeでiPod Classicのストレージを1TB、2TB、4TBにアップグレードする人々(RAM不足で失敗する)の動画を見たことがあるかもしれません。大容量iPodのハードドライブは「ユーザーが修理可能」とは言えませんが、iPod Nano、Shuffle、そして現在Appleが製造している他のほとんどのデバイス(AirTagを除く)に見られるNANDチップに比べれば、確かにユーザーサービス可能と言えます。私は単純に、NanoのNANDチップを交換すれば簡単に動作するだろうと安易に考えていました。

iPod Nano 第3世代を選んだ理由は2つあります。第一に、NANDチップに足(BGAはんだ付けよりは私にとって手が届きやすいが、それでも私の手に負えないレベルだった)が付いているNanoの最新リビジョンだからです。第二に、子供の頃から持っていたNanoなので、私の心に最も近い存在だからです。あの頃は本当に気に入っていました。人々はiPodを愛していました。オーストラリアのドラマーでヘビの飼い主がiPodについて語るYouTubeチャンネルの人気がそれを証明していますが、iPodについて作れるコンテンツの量には限りがあるため、実際にはiPodについてのチャンネルではありません。

どんなNanoでも分解するのは地獄です。おそらく破壊せずに分解することは不可能でしょう。しかし、第3世代Nano(以下「n3g」と呼びます)を分解することに成功すると、すぐにNANDチップが見えます。

[画像: Figure 1]

初めて公開されたわけではないiPodの内部

低速ホットエアガンを使えば、はんだを外すのは簡単です。はんだ付けはそれほど簡単ではありません。最初の数台のiPodは、友人のWesleyが彼のガレージではんだ付けしてくれました。

[画像: Figure 2]

文字通り彼のガレージで

「これだ!」と、私はカメラを持って16GBという表示をiPodのUIの「情報」セクションで見られるのを愚かにも期待していました。しかし、そうではありませんでした。代わりに表示されたのは、恐れられている赤いXでした。

[画像: Figure 3]

赤いX

Wesleyのガレージに立って、私はこれが「チップがフォーマットされていない、オペレーティングシステムはどこ?」という意味だと思いました。それは私には理にかなっていました。iPodを復旧しようとしましたが、iTunesでさえ認識できませんでした。Wesleyは組み込みエレクトロニクスに経験があり、通常はファームウェアに許容されるNANDのリストのようなものがあり、チップがそのリストに見つからない場合は停止すると説明しました。私は何が起こっているのかを理解し、これを機能させるために改造しようと決意して家に帰りました。どれほど難しいことだろうか?テーブルを見つけて、NANDチップの詳細でパッチを当てるだけだろう?

私の最初の発見は、Wesleyの言っていたことが正しかったことを確認しました。Rockboxのn2gポートで同様のテーブルを見つけました。

struct nand_device_info_type
{
    uint32_t id;
    uint16_t blocks;
    uint16_t userblocks;
    uint16_t pagesperblock;
    uint8_t blocksizeexponent;
    uint8_t tunk1;
    uint8_t twp;
    uint8_t tunk2;
    uint8_t tunk3;
} __attribute__((packed));

static const struct nand_device_info_type nand_deviceinfotable[] =
{
    {0x1580F1EC, 1024, 968, 0x40, 6, 2, 1, 2, 1},
    {0x1580DAEC, 2048, 1936, 0x40, 6, 2, 1, 2, 1},
    {0x15C1DAEC, 2048, 1936, 0x40, 6, 2, 1, 2, 1},
    {0x1510DCEC, 4096, 3872, 0x40, 6, 2, 1, 2, 1},
    {0x95C1DCEC, 4096, 3872, 0x40, 6, 2, 1, 2, 1},
    ...and a lot more...
};

このテーブルはどこかから来たに違いないので、n3gのファームウェアのどこにあるのかを見つける必要がありました。Rockboxをn3gにポートしようとしていた開発者たちが数年前に残した、半ば完成したリバースエンジニアリングの作業を引き継ぐことになりました。これにはRockboxのブートローダーが含まれており、iPod上でコードを実行させるという私の最初の成功につながりました。コード実行が最初の本当のハードルになることは分かっていましたが、誰かがすでにこれを成し遂げていたというのは、正しい方向への大きな一歩でした。

[画像: Figure 4]

Rockboxブートローダーを初めて実行させた時(2020/7/13、私は非常に興奮していました)

RockboxブートローダーはPwnage 2.0エクスプロイトを使用してコードを実行します。詳細についてはこちらとこちらをお読みください。これは基本的に、初期のApple S5L8xxx BootROMのASN.1/DER証明書解析ロジックのバグを標的としたスタックオーバーフローエクスプロイトです。証明書チェーン解析コンテキスト (der::chain::parse_ctx) 全体がスタック上に割り当てられ、保存されたリンクレジスタ(LR)がその構造体の少し先の既知のオフセットに位置するため、攻撃者は悪意のある最後の証明書を作成し、その大きすぎる signatureValue がバッファを344〜345バイトオーバーフローさせ、保存されたLRを攻撃者が制御できるアドレスで上書きすることができます。攻撃者はそこに任意の実行可能シェルコードを配置でき、上書きされたリターンアドレスは単にそのペイロードに実行をリダイレクトし、BootROMレベルでの完全な署名なしコード実行を達成します。コードを実行できるようになれば、コードを見てダンプすることができます。

最初に触れる必要があるファームウェアの部分は、私がEFIブートローダーと呼んでいるものです。なぜなら、それがまさにEFIブートローダーだからです。これを見たときは少しショックでした。EFI(およびUEFI、しかしAppleがUについて何かをすると期待しないでください)が主にコンピュータのブートローダーであると思っていました。Apple TV、Mac、その他何にでもEFIをフル活用していたのでしょうから、理にかなっています。それでも、これのようなものには重すぎると感じましたし、さらに静的解析をいくらか困難にしていました。

EFI内のNANDテーブルはNANDドライバーにあります。驚くことではありませんが、コードパスをチップIDを識別する場所までたどることができ、そこからNANDドライバーの初期化ルーチンを見つけました。基本的に、初期化中にNANDドライバーはNANDバンクのIDをチェックし、一部のバッファメモリ、VFL、FTLを初期化してから、両方をオープンします。ステップ1で明らかに失敗していたので、テーブルのIDとジオメトリを私が持っていたチップのものに交換しました。

初期の頃、私のパッチ適用方法は非常に煩わしいものでした。RockboxブートローダーはNORフラッシュからの読み書きが可能でした。パッチを試すたびに、これらのひどい手順を踏む必要がありました。

  1. 16進エディタで、バイトを変更して試したいパッチを書き込みます。保存します。
  2. UEFIToolを使用して、NANDドライバーのPE32バイナリを私のものに置き換えます。保存します。
  3. この目的のために作成したバイナリ差分アルゴリズム(おそらく効率は良くない)で実行します。
  4. それをRockboxブートローダーにコンパイルします。
  5. Rockboxブートローダーをアップロードして実行し、NORからEFIをロードして、その上に差分のビットストリームを展開してから、変更されたEFIをNORに書き戻します。
  6. ブートローダーはNORを起動し、私のパッチが表示されるのを待ちます。

このプロセスは非常に手動で楽しくありませんでした。さらに複雑なことに、Excelスプレッドシートでパッチを管理していました。苦痛です。

NANDテーブルのパラメータを変更しても助けにはなりませんでした。相変わらず赤いXが表示されました。その画像はNORでは bdhw と呼ばれています。Bad hardware(ハードウェア不良)です。まだ満足していなかったのです。理由が分かりませんでした。何らかの内部調査が必要でした。EFIはユーザーに見えるものをほとんどエクスポートしません。表示される画像(bdhw、bdsw、lbatなど)はありますが、それはNANDモジュール内から来るものではありません。そのため、私の手元には2つのツールがありました。

ツール1:スピン

これは1段落に値するものでもないので手短に説明します。条件分岐の片方に b . を追加することでコードパスを二分探索できました。iPodがフリーズするかどうかを確認するためです。非常にクールで、特別なことは何もありません。

ツール2:診断モードを通じたデータ抽出

こちらの方が面白いです。最初は、EFIには出力がないと思っていました。すべてをロードし、ブートスプラッシュを表示してから、ロードすべきバイナリにジャンプするだけだと。初期の頃は、「iPodはNANDについてどうやって知るのか?」という答えは、診断モードのNAND LBAフィールドで簡単に見つかるだろうと考えていました。しかし、調べてみると、それはどこか魔法のような場所から値を読み取っているようでした。メモリ内の「sysI」というものを見つけ、オフセットにある値を取得して表示していました。診断モードはNAND自体を扱いません。つまり、どこかから情報が渡されているはずですよね?

さらに調査を進めると、システム情報テーブルを見つけました。EFIは複数のモジュールにわたってこれを構築し、ロードするバイナリに渡します。テーブルには、SysCfg(シリアル番号、モデル番号など)、RAM情報、そして重要なNAND LBAカウントが含まれています。テーブルのこの部分は、ドライバー初期化後のNANDドライバーのエントリポイントで作成されます。初期化コードは計算されたNAND LBAカウントを返しますが、そこから何か別のものを引き上げたらどうなるでしょうか?実際にはNANDを初期化していないので、4バイトずつデータを密かに持ち出すことができるかもしれません。

[画像: Figure 5]

NAND IDをNAND LBAに入れると、診断モードの NAND_SPEC テストに表示されるようになります。

一連のパッチを経て、これが私がやったことです。このパッチの概念実証は、NAND IDを密かに持ち出すことでした。上の写真に示されているのがそれです。これにより、iPodがNANDチップと正常に通信できていることが証明されました。ツール1(条件付きスピンロック)とツール2を組み合わせることで、この時点でNANDドライバーが初期化に失敗していた理由を見つけることができました。

ドライバーが初期化に失敗していた理由

iPodは、未フォーマットのNANDチップに遭遇すると、「プロダクションフォーマット」を試みます。これにはVFLとFTL構造の設定が含まれます。この部分が失敗しており、その理由が分かりませんでした。プロダクションフォーマットパスを二分探索したところ、最初のVFL構造を書き込む関数内で失敗した memcmp にたどり着きました。ブロックを消去し、構造体(この場合はドライバー署名)を書き込み、それを読み戻してNANDに書き込まれたことを確認します。失敗した memcmp により、数回リトライしてから失敗を返し、フォーマットとブートを停止させ、結果として bdhw となります。

NAND_SPECを通じて4バイトずつデータを密かに持ち出すことで、失敗の理由を発見しました。検証読み取りは、チップが書き込まれていないかのようにすべて FF でした。この時点では、書き込み全体が失敗しているのか、最初の4バイトだけが失敗しているのかは不明でしたが、書き込み全体が失敗していると考えるのが最も妥当でした。しかし、なぜでしょうか?

FMISSレイヤー

これは少し脇道にそれますが、この時点で私はNANDペリフェラルとそのNANDチップとの実際の連携方法を理解するのに役立った、巨大なウサギの穴に迷い込んでいました。NANDペリフェラルへの読み書き、アドレス、コマンドなどを期待していましたが、代わりに、バイナリブロブといくつかのパラメータを渡して「実行」と言っているようなものを見ました。これは一体何なのでしょうか?

実際には何と呼ばれているのか分かりません。FMISS、FIL、CS(コードシーケンサー)と呼ばれているのを見ました。それらすべてである可能性もありますし、どれでもない可能性もあります。これはカスタムバイトコード(またはマイクロコード?定義は不明)を実行するコプロセッサで、NANDとのやり取りをオフロードします。他の用途では使用されておらず、直接のFMCと同じアドレス空間にあるため、NANDとの使用が意図されていることは確かです。いずれにせよ、独自のISAを持っており、それが何をするのかを解明することが、このプロジェクト全体で最も満足のいく部分だったでしょう(最終製品を動作させること以外では)。

正確な命令セットについてはこちらで読むことができますが、ここでは実際にどのように機能するかを理解した方法について話す方が適切だと思います。すべてをほぼ機能的に理解するのに十分な数の推測をしたと思います。

私のグランドトゥルースは、n2gのチップに近い古いチップであるS5L8700Xのリークされたデータシートでした。NANDセクションを精読しましたが、FMISSやステートマシンなどへの参照は見つかりませんでした。しかし、レジスタ定義(古いですが多少役立つ)と、開発者がNAND関数をどのように書き込むべきかのステップバイステップのシーケンスを見つけました。iPodがNANDチップにコマンドをどのように書き込むのかを自問自答しながら、しばらくの間本当に壁に頭を打ち付けていました。例えば、READ IDコマンド(0x90)はARMコードには決して現れません。それはバイトコードにあるはずですよね?

そうです。Read IDプログラムとRead Pageプログラムを見ることで、それらのコマンドバイトを見つけることができ、また毎回その前に4バイトがあることも発見しました。この発見により、バイトコードの基本的な構造が明らかになりました。各「命令」は64ビットで、奇妙なエンディアンで構成されていることは明らかでした。私は、知っている命令を単に printf する小さなCプログラムを書きました。これにより、データシートの「NANDのやり方」の指示とクロスリファレンスしながら、より多くの命令を解読することができました。レジスタマップもいくらか役立ちました。シーケンスのどこにいるのか、あとどれくらい期待できるのかが分かったからです。ループがこれらのプログラムで多用されていることを考えると、分岐とジャンプをどのように発見したかについては特に誇りに思っています。

ある時点で、推測を確認するためにファームウェアを変更しました。Read IDマイクロコードを自分のものに置き換え、NAND_SPECテスト結果でその結果を見ました。バイトコードのアセンブラと逆アセンブラを作成しました(大したものではありませんが、読みやすいコードを生成するのに十分でした)。このステートマシンの命令セットの完全なドキュメント化の90%まで到達しました。q3kがいくつかの細かい点を修正し、一緒にQEMUにFMISSエミュレーションを書き込みました。後述します。

良いニュースは悪いニュースでもあります。これは私の問題とは無関係でした。FMISSレイヤーを理解することは間接的に重要だったかもしれませんが、このパスを一度も通らずにこのプロジェクトを完了できたかもしれません。とはいえ、それだけの価値はあったと思います。ドキュメント化されていない命令セットをリバースエンジニアリングする機会が再び得られるとは思えません。非常に満足のいくものでした。

ここで最初のビデオは終わります。スクロールバーを確認してください、まだ先は長いです。

波形

その脱線を脇に置いて、私は前進する唯一の方法に立ち往生していました。NANDバスで実際に何が起こっているのか?このチップがサポートしていない奇妙なことが起こっているのか?私は多くの方法でこれを試みましたが、信頼性の高い信号キャプチャが得られた唯一の方法は、データリカバリ用のスパイダーボードを使用することでした。

[画像: Figure 6]

これがもっと高価だと思っていました。皆さんは「ありがとうアリエクスプレス」と言ってください。

これをDSLogic U3Pro32に取り付け、実際にワイヤ上で何が起こっているのかを調べ始めました。そして見つけたものは残念でしたが、驚くことではありませんでした。

[画像: Figure 7]

コードがやっていることと全く同じなので驚きではありませんが、なぜそうしているのか分かりません。NANDはページプログラムを完全に拒否しています。それは奇妙です。信号をトレースして、奇妙な読み取り/書き込みコマンドを発行しているかどうかを確認しましたが、いいえ、それらは標準的なコマンドです。まるでチップが書き込み禁止になっているかのようです。

チップは書き込み禁止になっていますか?

[動画]

WP# ピンがパッドに接続されていません!

信じられないことに、NANDの WP# ピンがパッドに接続されていませんでした。緩んだ歯のようにぐらついていました。そこで、はんだ付けしたところ、もちろん、さらに進みました。しかし、それほど大きくはありませんでした。ページ6くらいまでは書き込みと検証ができていました。さて、次は何でしょうか?

あと少しだけ

[画像: Figure 9]

[画像: Figure 10]

最初の6ページは順調に書き込まれていました。しかし、ページ6に到達すると、出版物と同じように、それは役に立たずノイズだらけでした。NANDはビット反転しやすいことは知っていますが、これはひどいものでした。

[画像: Figure 11]

同じチップをいくつか使ってこの動作を再現しました。これは異常な数のビット反転でしょうか?その時は知りませんでしたが、今は知っています。MLC NANDとしては異常な数ではありません。しかし、なぜパターンがページ6から始まるのでしょうか?

この混乱と容赦のないパターンは、n3gにフルデジタルBluetoothを追加することに注意を向けたときに、最初の燃え尽き症候群につながりました。しかし、いつものように、私はさらなる苦痛のためにこのプロジェクトに戻ってきました。

私の友人Cooperは、大手NANDメーカーの1社で働いていたことがあり、マネージャーのメールアドレスを教えてくれました。彼のマネージャーは、何が起こっていて、なぜそうなるのかを正確に説明してくれました。NANDは、膨大な数のセルの電荷を閉じ込めることでデータを保存します。シングルレベルセル(SLC)NANDでは、各セルは1ビットを保持します。空のセルは1を読み取り、充電されたセルは0を読み取ります。工場から出荷された状態では、すべてのセルが空なので、すべてのビットは1です。「プログラミング」は選択的にセルに電荷を送り込み、0に変えます。1に戻る唯一の方法は、ブロック全体を消去することです。

マルチレベルセル(MLC)NANDは次のステップです。密度の問題に対処するためにセルを増やすのは高価になります。物理デバイスが大きく複雑になるため、代わりに1つのセルに2ビットを詰め込みます。4つの電圧レベルを定義し、それぞれに2ビット値を割り当てると、1つのセルに2ビットが格納されます。

ここで問題が見えてくるはずです。同じ範囲に4つのレベルが詰め込まれているため、誤読のマージンが狭まります。最初のビットは決定が容易で、マージンが広いです。一方、2番目のビットははるかにタイトです。MLC、TLC、QLCなどのトレードオフはこれです。ビット反転とタイトなマージンを処理するためには、よりスマートなエラー訂正が必要ですが、チップは「安価」なままで、大量のデータを保存できます。

これによりノイズは説明できますが、パターンは説明できません。共有セル内の2ビットは同じページに属しません。それらは異なるページのn番目のビットであり、データシートにはどのページがペアになっているかが記載されています。このチップでは、ページ0とページ6がセルを共有しています。簡単な最初のビットはページ0に送られるため、クリーンに読み取れます。ページ6はタイトな2番目のビットに依存するため、ノイズが多くなります。

これにより、2つの選択肢が残されました。iPodで行われるエラー訂正計算を強化する方法を見つけるか、費用をかけて高価なSLCチップを入手するかです。私はECCの問題を後回しにすることを選び、新しいiPodのチップを16GBのSLCチップに交換しました。もちろん、それはうまくいきました。EFIはチップを正常にフォーマットでき、ディスクモードに到達しました。

これで終わりですよね?ディスクモードを同じようにパッチして、16GBのiPodフラッシュドライブを手に入れるだけですか?いいえ。そうではありませんでした。ディスクモードは複雑です。それは基本的にiPodのフルオペレーティングシステムの簡易版です。どちらもRTXCというリアルタイムオペレーティングシステムに基づいています。そのため、再び図面に戻って何が起こっているのかを理解する必要がありました。

iPodはUSB経由でSCSIと通信します。SCSIの「READ CAPACITY」コマンドは、デバイスのブロック数とブロックサイズを返します。ディスクモードの容量計算は、論理ブロックサイズをNANDページサイズで割り、ページ数でスケーリングすることで論理ブロック数を計算します。n3gで使用されたAppleのすべてのチップでは、その比率は妥当な整数になります。4096バイトのページは1になり、2048バイトのページは2になります。新しいNANDの8192バイトのページでは、4096 / 8192 = 0 と計算されます。そのゼロは2つの異なる場所に格納され、それぞれが異なる方法で失敗します。ページコンバーターはそれに掛け算するため、すべてのリクエストが「ゼロページ」になります。容量計算はそれに割り算するため、完全に失敗します。データアボート、パニック、リセット、そしてブートループが発生します。

そこで、何をしているのかよく分からずに、比率を8192で計算するようにパッチを当てました。それがクラッシュを止めた変更でした。これにより、デバイスは起動しましたが、何もマウントされませんでした。Windowsの「デバイスが接続されました」というチャイムが聞こえましたが(Linux VMで開発していたので心配しないでください)、それ以上進みませんでした。そこで dmesg を見たところ、次のようなメッセージが表示されました。

sd 2:0:0:0: Attached scsi generic sg0 type 0
sd 2:0:0:0: [sda] Unsupported sector size 8192.
sd 2:0:0:0: [sda] 0 512-byte logical blocks: (0 B/0 B)
sd 2:0:0:0: [sda] 8192-byte physical blocks

これはしばらく私を悩ませました。これにより、2回目の燃え尽き症候群が発生し、iPodのQEMUやその他の再ホスティングプロジェクトに集中したり、第3世代iPadをタッチスクリーンとして任意のコンピュータで使用できるように再利用することに時間を費やしました。私はプロジェクトから離れるのに奇妙な方法を使います。

再ホスティング

後で役立つので、再び脱線して再ホスティングの取り組みについて話します。私は基本的に並行して2つの方法を追求しました。

完全エミュレーション

iPodを完全にエミュレートできればクールで役立つだろうと思いました。そうすれば、動的解析を行い、上記の苦痛な二分探索法を止められます。

最初のエミュレーターはUnicorn Engineを使用しました。BootROM(SPIとGPIOがほぼ動作していた)とEFIの大部分を通過できましたが、命令を1つずつエミュレートしていたため、非常に遅かったです。その後、devos50が最初のiPhoneをエミュレートするQEMUフォークを公開したので、それをフォークして取り掛かりました。QEMUが正しい選択であることは最初から分かっていましたが、すべてをゼロから実装するのは少し intimidatting でした。彼の作業と彼がフォークしたベースとの差分を見ると、私もできると確信したので飛び込みました。そして、それはかなりうまくいっていました。初期の大きな進歩は、I2Cペリフェラル、ハードウェアJPEGデコーダー、NANDペリフェラルのFMISS命令セットでした。

その後、iPod Nano DiscordサーバーのメンバーであるIscleが、よりモダンなQEMUバージョンをフォークしてiPod Classicエミュレーターを構築しました。私たちは同じチップをエミュレートしており、彼のプロジェクトレイアウトはdevos50のフォークの奇妙な構成を引き継いでいないため、Nano固有の作業を移植しました。さらに進め、ディスクモードとRetailOSを起動し、USB/IPで列挙できるようになりました。これにより、仮想iPodが仮想的にマシンに接続されます。まだ動作しない、あるいは決して動作しないものが大量にありますが、16GBプロジェクトにとっては基本的に十分です。以下の取り組みには確かに役立ちました。そのプロジェクトはこちらです。

[画像: Figure 12]

QEMUでRetailOSを実行中 - 完全ではありませんが、実行はします!

ユーザー空間エミュレーション

動的解析のための、おそらくより新しいアプローチは、LinuxユーザーランドでNANDドライバーを実行することでした。これを行うためにいくつかの方法を考えましたが、最も簡単な方法は、n3gのEFIブートローダーからNANDドライバーをメモリにロードしてジャンプすることだろうと思いました。NANDと通信するFIL関数を実際に呼び出す部分をパッチアウトすれば、初期化して FTL_Read を永遠に実行できるようになるでしょう。

Raspberry Pi(私の場合は3b+)をターゲットにしました。iPodと同じ32ビットARM CPUなので、コードはまったく同じように実行されるはずです。それはうまくいきましたが、非常に興味深い問題に遭遇しました。ハイライトは次のとおりです。

  1. 後で実行する予定のメモリを動的に割り当てたことはありませんでした。そのため、mmap と PROT_EXEC を使用する方法を学ぶ必要がありました。
  2. NANDドライバーの多くの変数は静的に割り当てられており、参照が多すぎてすべてを確実にパッチすることはできません。そのため、特定の С を持つ mmap を使用しました。これは明らかにコードの悪臭ですが、カーネルは気にしないようです。NANDペリフェラル領域(0x38A00000)にもこれを行いました。なぜなら、一部の関数はこれらのレジスタに直接書き込むため、気にする必要がないからです。
  3. FIL関数のポインタをパッチして、ステップインして必要なデータを提供できるようにしました(FMISSレイヤーの複雑さを考えずに、ログ記録/計装/その他を観察するため)。
  4. メモリ割り当てサービスのポインタをパッチして、通常の malloc を使用するようにしました。
  5. アクセスできないメモリ領域を指さないように、他の関数ポインタをパッチしました。

そして、ポインタから生成されるドライバー初期化関数を呼び出しました。それが機能した後、FTL_Read も機能しました(最初のうちは多くのセグメンテーション違反がありましたが、どうしようもありません)。FTLページを順番にカウントアップしながら、NAND全体をダンプしました(FTL_Read() != 0 まで)。

後で qemu-arm でこれを機能させ、Piを必要としなくなりました。また、ディスクモードのドライバーも機能させました。これは非常に役立ちます。なぜなら、そのドライバーにはログメッセージがすべてそのまま残っているからです。そのため、内部ログバッファを printf への呼び出しに置き換え、そこでも内部動作に関する良い洞察を得ました。しかし、これが私に与えてくれた最も大きなことは、このプロジェクトが可能であることを示してくれたことです。16GBチップのジオメトリを与え、仮想NANDが適切にフォーマットされ使用されるのを見て…それが実際に私が作業を続ける気にさせてくれたのです。そして、そのプロジェクトはこちらです。

新しいアプローチ

さて、本題に戻りましょう。これまでのところ、私の計画は関連する4096値を8192に置き換えることでした。私は、すべてを壊さない置換の順列を見つけようと、本当に試行錯誤でアプローチしていました。一度も見つかりませんでした。クラッシュするか、あるいは嘲笑うかのようにログに記録されました。

sd 2:0:0:0: [sda] Unsupported sector size 8192.

何が起こっているのかは明らかですが、なぜ2のべき乗がサポートされないのでしょうか?答えは、4096がLinux(そしておそらくすべてのOS?)が処理できる上限であるということです。ファームウェアを内部的にどれだけ一貫させても無意味です。接続するコンピュータと互換性がある必要があり、8192はそうではありません。これにより、3つの選択肢が残されました。

アイデア判定
A8192を使用し、カーネルをパッチしてサポートさせるiPodをLinux専用にする - ネイティブサポートへの道がある唯一のプラットフォームですが、その方法も全く分かりません。
B4096バイトのページを持つ16GB NANDを見つけるこれは実際には存在しないと思いますし、もしあったとしても、小国のGDPを支払うことになるでしょう。
CSCSI経由で4096を報告し、NANDドライバーで8192を使用し、その間で翻訳するネタバレ:はい、これは機能します

私を襲った非常に単純な考えは、あまりにも長い時間がかかりました。論理ブロックは物理ページである必要はありません。8192バイトのページは、ちょうど2つの4096バイトブロックに相当します。したがって、残りのファームウェア全体を、それが設計された4KiBの世界で生き続けさせ、リクエストがその世界からチップにクロスする唯一のポイントに翻訳者を配置します。

everything above speaks
4 KiB logical blocks

2:1 translation
(our code)

the NAND stack speaks
8 KiB physical pages

論理ブロック番号は2で割られます(n >> 1)。nが奇数の場合は上位半分、偶数の場合は下位半分を返します。書き込みも同じ算術演算に加えて読み取り・変更・書き込みが必要です。なぜなら、ページの一部だけをプログラムすることはできないからです。1つの4KiBブロックを変更するには、それが格納されている8KiBページを取得し、その半分をスプライスして、全体を書き戻します。これは部分的な書き込みでは追加の読み取りが必要になり、小さなランダム書き込みでは書き込み増幅が約2倍になります。それは良くありませんが、基本的に唯一の選択肢です。

しかし、このパッチのポイントは、上記のどの部分も下の部分も変更されないということです。USBスタック、SCSIレイヤー、コマンドハンドラー、転送実行者は、ありがたいことに変更されていません。この半ページアプローチは、このプロジェクトに構造を取り戻し、「何バイトがすべてを壊すか?」という無限の順列探索から解放してくれました。

ディスクモードのパッチ適用

「新しいアプローチ」までの私のすべての取り組みはEFIレイヤーに焦点を当てていましたが、ディスクモードで作業する方がいくつかの理由で簡単だと思います。

  1. ログがある
  2. RTXCに基づいている。これは作業するのがひどい響きだが、実際そうだった。しかし、複雑さを先に片付けている。RetailOSもRTXCに基づいている。
  3. RetailOSほど複雑ではないが、「フラッシュドライブか?」というテスト可能な目標を持っている。

ディスクモードと、作業の大部分を占めたパッチの物語とパッチは次のとおりです。

壁にもう一つのブロック

上記で示された翻訳者は、論理ブロック(USB配管、SCSIコマンドディスパッチャー、おそらくファームウェアアップデートルーチンなど)を扱うすべてのものの下に、物理ページ(FTL)を扱うすべてのもののの上に配置する必要があります。

ポインタと間接参照の虹をしばらく苦労して追いましたが、論理ユニットごとにぶら下がっている関数ポインタテーブルにたどり着きました。そこには、読み取り、書き込み、ブロックサイズ取得、容量取得の関数を指すポインタがありました。さらに下に降りると、変換が実際に行われる場所を見つけました。

ratio = 4096 / pageSize
lpn   = ratio * sector
count = ratio * count

Apple自身の4KiBセクターからFTLページへのコンバーターは、ページがセクターよりも小さいすべてのチップを処理します。2048バイトのページは比率2になり、乗算は正しく機能します。私のチップは½の比率を必要とするため、ゼロを計算し、カウントにそれを掛けます。以前と同じ状況です。

しかし、翻訳者はデータのみを扱います。他に3つのことがそれに同意する必要があります。

  1. 正しいブロックサイズを報告する。 ブロックサイズ関数は、デバイス構造から生のハードウェアページサイズを返します。READ CAPACITY はその数値をホストにそのまま渡します。これが8192が dmesg に漏れ出した原因です。現在は無条件に4096を返します。2つの命令:定数をロードし、返す。
  2. クラッシュしていた容量計算を修正する。 容量パスは比率で割る場所なので、比率がゼロに固定されていると、ゼロ除算が発生し、常に悪い結果になります。比率は現在既知で固定されているため、計算全体はシフトに収束します。論理ブロック数はページ数の2倍です。ロード、シフト、ストア、そしてかつて除算があった場所には4つの no-op があります。
  3. 正しいブロック数を報告する。 これは、リクエストの範囲チェックに使用される、「ブロックはいくつありますか?」という質問に答える別のパスです。

驚くべきことに、3番目が最も困難でした。なぜか「5ブロック」を返しました。FTLが他のすべての点で正しくジオメトリを計算したチップでです。満足のいく説明は決して得られませんでした。代わりに、FTL自身のジオメトリ構造から容量を直接計算することにしました。ユーザーページ数 × 2 - 上部からの予約。予約は、ジオメトリの数値が正味ではなく総数であるためです。FTLは内部用途のためにチップの上部にスライスを保持しているため、ジオメトリが主張する最も高いページは実際には使用できません。

32,768ページ(256MiB)をトップから削り取り、そのままにしました。それは機能したからです。その数値は推測ではなく経験的なものです。2,048ページでは失敗が再発し、チップの上部から2,107ページまで達しました。したがって、予約は少なくとも約16.5MiBであり、256MiBを確認してそのままにしました。さらに縮小できるかもしれませんが、「起動する」という点では満足しています。

パッチの配置場所

次に、この翻訳者を実際に配置する場所が必要でした。これは、バイナリではコンパイラがまとめてパックするため、通常は問題になります。私はすでに空いているストレッチを探しました。「おそらく未使用」ではなく、実際に誰も読み取ったり参照したりしないことが確認されている場所です。最終的に1つ見つけて、そこにコードを配置しました。

パッチ自体は単純でした。各フックについて、関数のエントリを置き換えるか、関数の中間に分岐を配置しました。ARM分岐は±32MiBに達するため、これは1つの命令で、再配置計算は不要です。そして、最初の命令だけを触っているため、元の関数の残りは到達不能になります。関数全体を置き換える方が良かったかもしれませんが、そうしませんでした。後で元の実装を参照できるように、これはまともなことでした。

その作業中に、ディスクモードのメモリ割り当てプールも拡張しました。これは4K/8K翻訳とは関係ありません。単に8KiBページ(そしてそれより多く)では、それをすべて追跡するためにより多くのRAMが必要だからです。6つのスロットがより大きな定数に引き上げられ、FTLは最終的に作業するためのスペースを得ました。

パッチを扱っていて学んだ2つのこと:

第一に、スクラッチページはSoCのルールに従う必要があります。私の読み取り・変更・書き込みには、完全な8KBページをステージングする場所が必要であり、そのページはDMAターゲットなので、RAM内のアドレスを取得して最善を期待するだけではいけませんでした。ファームウェア自身の割り当て器にバッファを要求する必要がありました。また、キャッシュされていないメモリエイリアスアドレスを使用する必要がありました。これは遅くなるかもしれませんが、正しくなり、データの鮮度を気にする必要がなくなります。

第二に、単純化のために別の速度機能を無効にしました。ディスクモードのSCSIスタックには、データを摂取する方法が2つあります。1つのバッファを繰り返し満たす簡単な方法と、大きなリクエストのために2つのバッファ間でピンポンさせてチップとUSBコントローラーの両方を同時にビジー状態にするスマートな方法です。翻訳を正しく行う際に多くの問題を引き起こすのではないかと心配していたので、それを削除しました。パフォーマンスの低下はありますが、ファームウェア転送とディスクモード操作をわずかに遅くするだけなので、眠れなくなるほどではありません。

消去プレーン

これまでのすべては、数学を一方の世界から他方の世界にマッピングすることについてでした。次に、まったく異なるクラスの問題に進むことができます。チップ構造です。

チップの構造は、私たちが変更したデバイス情報テーブルにエンコードされています。ファームウェアは、NANDチップが256ページからなるブロックとして編成されていると信じています。チップは実際には128ページからなるブロックを持ち、2つのプレーンに配置されており、プレーンは行アドレスの単一ビットで選択されます。したがって、ファームウェアが1つのブロックと呼ぶものは、実際には隣接する2つの物理ブロックです。

何らかの理由で、書き込みパスは両方のプレーンをプログラムします。ブロックのページ0から255までをウォークし、ページ128以降はそのアドレスビットのためにプレーン1に着地します。消去パスは、そのビットがクリアされた状態で1つの消去コマンドを発行します。プレーン0が消去され、プレーン1は消去されません。

未フォーマットのチップでは、プレーン1が空白なので、これに遭遇することはありません。しかし、FTLがブロックをリサイクルしようとするとき、クリーンだと考えているブロックの半分は消去されません。ブロックの前半はプレーン0に着地し、それは消去されて新しいデータを受け入れる準備ができています。しかし、セカンドプレーンは消去されていないため、NANDは消去せずにデータを上書きできないため、チップは書き込みを拒否するか、書き込みを試みて、そこにあったものと意図したものの奇妙な交差が発生します。なぜならNANDはゼロしか書き込めないからです。FTLはその後、自身のメタデータを読み戻し、別のものに属する論理ページ番号を見つけます。

修正は、あなたが思うほど簡単です。2回消去するだけです。

erase(row) # plane 0 erase
wait
if plane 0 succeeded:
    erase(row | plane_bit)  # erase plane 1
    wait

実装はジョークというよりは、消去は単一の命令ではなく、FMISSプログラムの完全な呼び出しだからです。同じ消去を2回実行することは、レジスタを元に戻し、行バッファにプレーンビットを設定し、バイトコードプログラムを再起動することを意味します。その後、トランポリンは元の関数に分岐バックするため、ファームウェアのステータスチェックと戻りは以前とまったく同じように実行されます。

消去されたページがそうでない場合

ドライバーはページをチャンク単位で読み取り、各チャンクに対してエンジンはシンドローム/チェックサム/その他を再計算し、修正できるものを修正し、結果を返します。クリーン、修正済み、または修正不可能。修正不可能とは、データが破壊されていることを意味します。ドライバーはそれを信じています。正常なチップではそれが真実だからです。これは、ECCエンジンが予想するページサイズが2倍大きいこと、そしてそれがどのように設定されているかに関連していると考えています。

ハードウェアには「このページは空白です」という表示がありますが、小さいページサイズでは機能します。8KiBでは決して設定されません。そのため、ECCの判定が唯一の信号として残ります。完全に正常な空のページでも、それは間違っています。これは悪いことです。なぜなら、誰もが「このページは読み取り可能でしたか?」と尋ね、いいえと返され、それぞれがその答えで独自のことを行うからです。不良ブロックのスキャンは、良いメディアを不良とマークします。ガベージコレクションはページを無効とみなし、スタンプします。彼らは間違ったデータで正しいことをしています。

修正は、チャンクごとのステータスを嘘として扱うことですが、データを確認する際にはページレベルの判定を使用します。これは十分な回答だと思います。なぜなら、ガベージパターンはランダムではないからです。大きなすべて0xFFのページのECCエンジンの決定論的な破壊は毎回同じであり、最初の8バイトを認識するだけで十分です。これがエッジケースのエッジケースのエッジケースの端数になる可能性はごくわずかですが、その確率は18 quintillion分の1です。もしそれが起こったら、宝くじを買うでしょう。

スクラブは読み取りを修正しますが、FTLガベージコレクタには独自のチェックがあります。読み取り不可能なページを無効とみなし、それ自体で「このページは無効です」というマーカーをスタンプして、それ以上触れないようにします。ポイズンバグの下では、空白ページは読み取り不可能と読み取られるため、GCは消去されたスペースを不良とマークしていました。コレクターのチェックにも同じパッチが必要でした。ページが空白であることだけが「失敗」した場合、それは不良ではありません。

予期せぬこと:「消去されたページがポイズンとして読み取られる」ことは、チップのプロパティではなく、ドライバーのプロパティであることが判明しました。EFIの同じドライバーのコピーはECCエンジンを異なる方法で設定しており、その読み取りパスでは消去されたページは空白の判定でクリーンな 0xFF として返されます。同じシリコン、異なるファームウェア、異なる真実。ECCは私にとってブラックボックスであり、設定の意味をあまり分解していません。それは将来のタッカーの誰かの問題になるでしょう。

この修正はハードウェア上でのみ検証されています。エミュレーターにはエラー訂正エンジンがありません。そのNANDペリフェラルモデルは、「良好」と「空白」の2つの答えしか知らず、「修正不可能」と言う構造的な能力がないため、バグは文字通りそこに存在せず、テストするものはありません。対照的に、2プレーン消去はエミュレーションで再現可能です(QEMUとユーザー空間ハーネスの両方で)。モデル化されたプレーン分割チップでは、修正は消去回数を2倍にし(ストックで7,796操作、パッチ適用で15,592操作)、プレーンカバレッジをゼロからすべてに引き上げます。しかし、ECC修正?それを可能な限りブラックボックスにしておきたいです。

iPodが自己修復する方法

ディスクモードから始めたのは少し奇妙です。私の「新しいアプローチ」の前にEFIに取り組んでいましたが、ディスクモードに到達した後、それを一時的に無効にし、NAND関連のものをスタブ化してディスクモードに到達できるようにし、ディスクモードに取り組みました。そこで16GBビットが機能するようになったら、スタックの残りの部分に移りました。iPodがどのようにゼロからiPodになるかを知ることは重要なので、プロセス全体を以下に示します。

ステージ0 - ブートROM - S5L8702に焼き付けられています。これは、このチップ(n3gおよびClassic)を使用するすべてのデバイスで同じです。Appleはこのレイヤーのエクスプロイトをパッチできないため、どのデバイスでもこのレイヤーで侵入する方法を見つけることは、彼らが修正できない方法でそれを所有することを意味します。通常の起動時には、NORフラッシュからイメージヘッダーを読み取り、AESエンジンにフューズされたキーに対して署名をチェックし、それを復号化してジャンプします。DFUモードもここにあります。ソフトウェアをロードできない場合や、GPIOが特定の状態(クリックホイールによって駆動され、メニュー+センターを長押しした時間に基づいて決定される)の場合、DFUモードに入ることを決定します。

ステージ1 - WTF - WTFが実際に何の略か誰も知らないと思います。「Where's the firmware?」や「What's the firmware?」などと見ました。DFUモードにWTFペイロードを送信すると、それをチェックして実行します。これは完全にRAMから実行され、NORの内容を受信して書き込むのが仕事です。

ステージ2 - リカバリのアップロード - WTFにリカバリイメージを送信します。これはWTFが待っているNORの内容です。一時的なEFI、ディスクモードなど。一時的と言ったのは、次のステップで永続的で同一のバージョンですべてを書き換えるからです。ペイロード全体が送信されると、WTFはそれをNORに書き込み、iPodを再起動します。期待される結果は、一時的なEFIが完全なリカバリのためにディスクモードに入ることを決定することです。

ステージ3 - ファームウェアのアップロード - ディスクモードはUSB SCSIデバイスとして列挙され、待機します。通常のSCSIコマンドに応答するため、ファイル操作が可能ですが、ファームウェアを送信するいくつかの特別なコマンドがあり、リカバリとアップデートの両方のパスに使用されます。ディスクモードはパーティションテーブルをレイアウトし、セクター63から始まるコンテナにイメージを書き込みます。

そのコンテナ内には、残りのブートに必要なコンポーネントがあります。

エントリ内容
rsrcすべてのUIリソースとフォント、約78MB
ososRetailOS - 実際のiPodオペレーティングシステム
aupdアップデーター。永続的なNORの内容(EFI、ディスクモードなど)を運びます
hash整合性データ

ステージ4 - AUPD - ファームウェアのアップロードが完了すると、ディスクモードはiPodを再起動します。EFI(この時点ではまだ一時的)は aupd が存在することを確認し、それを起動することを決定します。アップデーターの仕事は、永続的なEFIでNORを再フラッシュし、それ自体が使用済みであるとマークして、二度と実行されないようにすることです。

ステージ5 - RetailOS - これでiPodは最初から最後まで、新しくインストールされたRetailOSから起動できるようになります。

これはパッチの適用方法に影響します。

  • NANDを扱うすべてのバイナリには独自のドライバーがあります。 良いニュースは、それらはすべて同じドライバー(ある意味)であるということです。悪いニュースは、多くのパッチが必要だということです。正直なところ、これを回避する最良の方法は分かりません。異なるアーキテクチャなら「すべてにEFI環境を使用する」こともできたかもしれませんが、おそらくそれだけの価値はありませんでした。
  • EFIとディスクモードのコピーが2つずつあります。 それ自体は悪くありません。単にそれらのバイナリを見つけてパッチを適用し、一貫性を保つための作業が増えるだけです。「ディスクモードをパッチする」ということは、プログラムのコピーが格納されているすべての場所を見つけて、それぞれを同一にパッチすることを意味します。DFU経由で送信するリカバリイメージ内のコピーと、チップに書き込まれるアップデーター内のコピーです。幸いなことに、2つしかありません。それは良いことです。

幸いなことに、AUPDのNANDドライバーはディスクモードで出荷されるドライバーとまったく同じなので、何も書き直す必要はありません。それらを再配置するだけです。リセットルーチン、両方の消去パス、ECCチェック、読み取り検証チェック、不良ブロックチェック、ガベージコレクタの墓石抑制。同じ命令、同じレジスタ、すべて同じ…ただ移動するだけです。

したがって、AUPDは独自のパッチを受け取りません。それらは同じパッチを受け取り、異なるアドレスセットでアセンブルされます。それは美しいです。そして、私が唯一無料で何かを得た時でもありました。

EFIとRetailOSはそれほど親切ではありませんでした。EFIのドライバーはTHUMBなので、パッチは同じですが、命令セットが異なります。RetailOSも非常に似ていますが、UIが邪魔になる可能性があります。RetailOSとディスクモードがAUPDのように同じであると期待していましたが、パッチはAUPDと同じように移行しましたが、もう少し必要でした。後述します。

EFIのパッチ適用

EFIは、すべての起動の前に、すべてを実行します。そのNANDドライバーは、未フォーマットのチップをフォーマットし、不良ブロックテーブルを構築し、「フラッシュの準備ができました」というプロトコルを公開します。ブートコードは、それ以外に何も渡さない前にこれを待ちます。そのドライバーが完了しないと、何も起動しません。

構造的にも異なります。おそらく他のNANDドライバーと同じCコードから来ていますが、THUMBにコンパイルされているため、パッチは「Just Work™」しませんでした。THUMB用にパッチを書き直しましたが、おそらく非常に愚かな間違いを犯さなければ、機能したでしょう。

EFIのデバッグの苦痛

EFIとの作業は、静的に解析するのが難しく、内部で何が起こっているのかを把握するのが非常に難しいため、困難です。主な問題は、どこにもデバッグログがなかったことです。EFIにはUARTドライバーさえありませんが、もしあれば、ディスクモードやRetailOSにあるログはEFIのNANDドライバーのコピーには単に欠けています。

そのため、各実験は面倒なループで構成されていました。イメージをビルドし、アップロードし、起動し、画面を見て、待機し、電源を切り、希望する。そして返ってきたのは1ビットの情報でした。ロゴがフリーズしたか、しなかったか?長期間、私は得られた1ビットを誤読していました。フリーズしたロゴを「ドライバーがループに陥っている」と誤読していました。そうではありませんでした。失敗すると、ドライバーはエラーを返しますが、単に「フラッシュの準備ができました」プロトコルを公開しません。ドライバーの失敗と、アサーションによって引き起こされる無限ループは、外部からは区別できません。そして、エミュレーションが私の問題をすべて解決してくれるわけではないことに気づきました。

エミュレーターが完璧すぎた

QEMUと私のユーザー空間リホストは、再ビルドやハードウェアへの再フラッシュが不要になったため、イテレーションをスピードアップしましたが、自信には何も貢献しませんでした。ファームウェアとエミュレーターを間違える可能性があり、2つの間違いは正しくなりません(少なくとも、正しい場所では)。しかし、この場合、もっと早く気づくべきだったことに気づきました。理想化されたハードウェアシナリオをモデル化することが、私を助けるよりも害になっている可能性があります。

例えば、モデルのNANDは失敗できませんでした。プログラムは常に成功しました。消去は常に成功しました。ステータスレジスタは常に準備完了で、失敗ビットはクリアされて返されました。これは妥当な単純化のように聞こえますが、アサーションによって引き起こされていると思われる無限ループを追跡しようとするとどうなるでしょうか。これらのアサーションはNANDスタックのいたるところに散らばっており、FTLまたはVFLが悪化している場合に発生するものもあり、不良ブロックなどが原因である可能性があります。そして、それらをモデル化できませんでした。そのため、これを追跡している間、これらの失敗パスを到達可能にする必要がありました。

そのため、モデルは実際の現実を不良ブロックでモデル化する必要がありました。まず、前述のスーパーブロック消去のものをモデル化しました(元のモデルはスーパーブロック全体を消去しましたが、実際のチップは決してそうしません)。また、特定のブロックでのプログラムと消去のエラーを指定する機能を追加して、NANDの摩耗をモデル化しました。

それらを組み込むと、ハングを再現できました。まあ、あるハングを。後で説明します。

不良ブロックは奇妙だ

チップは不良ブロックを抱えて出荷されます。メーカーは工場でテストし、障害をマークします。そのマークは、不良ブロックの最初の数ページのスペア領域にあります。新しいチップに対するドライバーの最初の仕事は、メディアをウォークし、それらのマークを見つけ、回避すべきブロックのテーブルを構築することです。

EFIのスキャンは、256ページスーパーブロックに対する相対的なページをアドレス指定します。デバイス情報テーブルで選択されたスキャンバリアントによって、スーパーブロックページ0と1、またはページ255、あるいはその両方を読み取ります。スーパーブロック i は物理ブロック 2i と 2i+1 であり、これらのバリアントのすべてがブロック 2i または 2i+1 の末尾にあるページを読み取ります。それらは決してブロック 2i+1 のページ0と1を読み取りません。

そのため、奇数位置に不良ブロックがあり、偶数パートナーが正常なチップの場合、スーパーブロックの半分が壊れているにもかかわらず、クリーンな健康状態を報告します。FTLはテーブルを信頼し、不良な半分をプログラムしますが、プログラムは失敗し、FTLのコンテキストは決して書き込まれず、ドライバーは正しいことを行います。エラーを返し、「フラッシュの準備ができました」プロトコルを公開しません。その後、ブートコードは決して公開されないプロトコルを永遠に待ちます。外部からはハングと区別できません。

修正は、2ページではなく4ページ(両方の物理ハーフのページ0と1)を読み取り、どちらかのハーフがマークされている場合はスーパーブロックを不良とマークすることです。これは実際にも正しいルールです。半分しか使用できないスーパーブロックは、使用できないスーパーブロックです。

私のiPodで使用していたチップには、奇数位置に不良ブロックが1つだけありました(ブロック91)。そのパートナーであるブロック90も不良だったため、スキャンは正しくそれを捉えました。私は別のバグを探しているときにこのバグを見つけましたが、私のセットアップでは実際には発生しませんでした。しかし、それを見つけられてよかったと思います。そうでなければ、奇数不良ブロックを持つ誰かが問題に直面したでしょう。

しかし、それは私の問題を解決しませんでした。EFIはまだハングしていました。

エミュレーションが再び私を失望させた:パート2 エレクトリック・ブーガルー

QEMUではパッチの現在のビルドは完全に機能していました。EFIは喜んでチップをフォーマットし、ディスクモードは喜んで読み取り、フォーマットし、ファイルを保存して保持できるSCSIデバイスを提示しました。しかし、実際のハードウェアでは、これは起こりませんでした。EFIはロゴでフリーズしていました。

これまでのところ、エミュレーションは成果を上げていました。EFIレイヤー(そして実際、すべてのレイヤー)へのこれまでのすべての修正は、ハードウェアに近づけるようにエミュレーターで見つけられました。障害の注入、モデルの洗練、ハードウェアとまったく同じように機能させるためにできる限りのことをしました。このハングは、そのクラスの問題でもあったことが判明しましたが、私のコードの問題ではありませんでした。QEMU自体の問題でした。

ARM926EJ-SのQEMUモデリングが完全に正確であると信頼していました。結局のところ、QEMUは何年も本番システムで使用されてきましたよね?基本的なコードベースのバグは、今までに発見されているはずですよね?答えはノーです。それは真実ではありません。どのように起こったかは覚えていませんが、パッチ中にいくつかの命令を nop にしていました。オンラインで「THUMB nop」を検索したところ、0xbf00 が見つかりました。QEMUはARMv5TEJコア実装でこれを喜んで実行しました。しかし、そうすべきではありませんでした。

0xbf00 はTHUMB-2エンコーディングです。THUMB-1しかサポートしない実際のARM CPUでは、それは不正な命令であり、ハングを引き起こします。QEMUは、不良ブロックの問題を捉えられなかったのと同じ理由で、これを決して捉えることはありませんでした。モデルが間違っていたのです。正しい nop エンコーディングに置き換えました。そして、うまくいきました。

QEMUに貢献できることに興奮しましたが、いいえ、誰かがちょうど私を打ち負かしました。

しかし、それだけです!EFIは現在、喜んで再フォーマットしているようです。3つのレイヤーダウン、あと1つです。そして最後は最も複雑で最も重要なものです:RetailOS。

RetailOSのパッチ適用

RetailOS(osos とも呼ばれます。それがロードする名前なので)は、私たちが愛するiPodインターフェースです。これもディスクモードやAUPDと同じNANDドライバーを持っていることを知っていたので、これも簡単だと思っていました。そして、その部分は実際、比較的簡単でした。すべてを移植しました(ABIの違いを調整しながら)。そして、それはまあまあ…なんとなく動作しました。エミュレーションに基づくと、NANDで正しいことをしていることがわかりましたが、osos は完全にロードされませんでした。実際、データアボートでクラッシュしました。ブリッジにいくつかのバグが見つかりましたが、どれも問題を解決しませんでした。主な問題は、私のコードがnullセーフではなく、割り当て器がスクラッチメモリを要求したときにゼロを返した場合に、喜んで処理を続行することでした。そのため、例外ベクターを介してDMA転送していました。

あなたのスクロールホイールと、私が書き留めなかった理由のために、理論の墓場を省略します。それらはすべて小さな問題で、修正しましたが、実際の問題の原因ではありませんでした。問題の原因は私自身でした。考えていなかったのです。

RetailOSは、NANDスタックとユーザーインターフェースの間で1つのアロケータを共有しています。FTLのメモリプール拡張を移植したとき、ハードウェアで検証され、良好であることがわかっているディスクモードの数値を単純にコピーしました。しかし、ディスクモードには大きなマルチパートUIはありませんよね?1つのプールが両方の顧客にサービスを提供する必要があったため、はるかに早く枯渇していました。

問題は、rsrc パーティションからフォントをロードし始めるときに発生します。グリフビットマップをしばらく喜んで割り当てますが、70番目あたりでアロケータは何も残っておらず、nullを返します。ビットマップコードもnullセーフではありません。そのnullポインタを通じて書き込みます。再び例外ベクターテーブルに書き込みます。最も一般的なプロセッサ例外のエントリが破損するまでです。それ以降のすべてのシステムコールはガベージに着地し、未定義命令状態でループし、ウォッチドッグがデバイスをリセットします。

明らかに、プールをFTLが実際に必要とするサイズに、ディスクモードから盲目的にコピーしたサイズではなく、サイズ設定することです。そして、私が自信を持って測定できた唯一の理由は、アロケータが固定された場所にバイトの累積合計を保持しており、それを読み取るだけでよかったからです。

私が知る限り、何も解放していません。通常は悪いことですが、この場合、この数値はハイウォーターマークです。FTLは1.15MiBを必要とし、UIは残りを必要とし、私はFTLに3.5MiBを渡していました。なぜなら、それらはディスクモードの数値だったからです。修正は、アリーナを測定値にサイズ設定することです。2メガバイトのプール、そのうち1.5MiBはFTLのものです。そして測定値は保持されます。変更後にハイウォーターマークを再度読み取ったところ、同じ値が返されました。変更前後の1.15MiB。FTLの要求量はワークロードではなくジオメトリによって設定されるため、追加の2.35MiBは完全に無駄でした。

その作業中に、ビットマップアロケータにガードを付けました。プールが正しくサイズ設定されていれば、それらは発火しないはずですが、私がたどったシーケンス(アロケータがnullを返し、ビットマップコードがそれを介して書き込み、ベクターテーブルがクラッシュする)は、一度も発生しないはずです。失敗したビットマップ割り当ては、サイズをゼロに設定するようになりました。そのため、最悪の場合でも8192バイトをnullポインタ経由で書き込むのではなく、何も書き込まず、ビットの設定とクリアを行うストアは最初にポインタをチェックします。

FTLが実際に必要としていたサイズではなく、ディスクモードが承認したサイズにプールをサイズ設定したことで、70番目のグリフはメモリを取得しました。80番目、100番目、そしてそれ以降のすべてが取得しました。次の起動時に、テキストがレンダリングされました。そして、それがすべてでした。

動作した…ほとんど!

設定 → 情報によると、15GB と表示されます(予約が機能しており、(1,982,464 − 32,768) × 2 セクター × 4KiB ≈ 15.97GB で、情報では15GBに切り捨てられます)。ファイルシステムはチップ上に作成され、再起動後も保持されます。デバイスは起動し、リソースをマウントし、メニューを描画し、音楽を再生します。Appleが設計したチップの2倍のサイズで、まったく異なるページジオメトリを持つチップ上でです。6年後、見たかった光景です。ついに。

[画像: Figure 13]

ここまで到達したところで壊れた画面を交換しましたが、これは16GB iPod Nano第3世代の最初の画像です!

しかし、もう一つ直面しなければならない問題がありました。それは少し不安定だったことです。

電源とパーティションの問題

RetailOSが実際に使用できるほど安定した後、新しい問題が発生しました。iPodは動作し、その後動作しなくなりました。しばらく使用した後(同期、探索など)、bdsw(「iTunesで復元」画面)が表示され、実際には2つの異なる問題であることが判明しました。幸いなことに、修正しやすい問題でした。

iTunes経由で音楽を同期しても、転送中にiPodがクラッシュしませんでした。それは良いことでしたが、イジェクトしたとき、または「切断しても安全」画面のインデックス作成が完了した後(あるいは、時にはその最中)にクラッシュしました。戻ってきたとき、bdsw が表示され、ファイルシステムパーティションが破損して osos をロードできなくなったことを示唆していました。5曲程度の同期から13GBの同期まで、すべて同じ方法で失敗しました。修正は、再度リカバリするだけで簡単でした(ファームウェアステップだけでも、WTFをスキップしてNORの内容を置き換える)。しかし、それはデータパーティションのすべてを失うことを意味しました。なぜなら、テーブルが書き直されるからです。

実際的な根本原因はバッテリーでした。劣化しており、USBだけではプログラム/消去バースト中にNANDスタックが引き出す電流を供給できませんでした。バッテリーリードにベンチ電源を接続すると、確かに安定性が増しました。iPodはより多くの再起動に耐えましたが、それでも非常に安定しているわけではありませんでした。しばらく使用すると、bdsw が再び表示されました。また、ゲームも起動しませんでした。それは…奇妙です。FTLがそのままなら、それより上のものは何も文句を言うべきではないはずですよね?

デバイスはbdswで停止したので、ディスクモードからディスクをダンプするという退屈なことをしました。パーティションテーブルには1つのエントリがありました。FAT32パーティションです。ファームウェアパーティションのエントリはまったくありませんでした。ファームウェアボリューム(rsrc、osos、aupd を含むMSEコンテナ)はLBA 63にあり、128MiB、LBA 32830まで実行されます。FAT32データパーティションはLBA 256からチップの末尾まで実行されました。オーバーラップはファームウェアボリュームの99.4%でした。

再び、問題は私自身にありました。ディスクをフォーマットするためにgpartedを使用していました。msdosパーティションテーブルを作成し、FAT32パーティションを作成し、iPodにシステムフォルダを作成させ、iTunesと同期し、すべてがうまくいきました。しかし、それは間違ったことでした。復元はファームウェアボリュームを書き込み、次に再パーティションステップでディスクの前面をゼロにし、ファームウェアエントリをドロップし、次にiTunesがLBA 256以降(ブートイメージの直接上)からFAT32ファイルシステムを埋めます。rsrc パーティションが最初に来るため、ゲームはブート前に壊れます。次にディレクトリ、次にosos、そしてEFIのブートチェーンが失敗し、bdswが表示されます。iPodに音楽を詰め込むことが、それを破壊するメカニズムなのです。

私のツールはパーティションテーブルを編集するものでなければなりませんでした。後からgpartedを使うのではなく。実際、私のツールはテーブルを書き込みません。iPodにテーブルを書き込ませます。デバイスには再パーティションコマンドが存在し、それは正しいのですが、私の復元パスでは決して呼び出されませんでした。パーティショニングは私のワークフローでは手動のステップであり、手動で実行した mkfs.fat は、告白としてLBA 256に署名を残しました。

再パーティションすると、テーブルを読み戻し、MSEディレクトリをデバイスから再読み取りします。これにより、rsrc と osos が存在することが必要になり、その後復元完了を呼び出します。データパーティションは、ファームウェアボリュームの末尾の1ブロック後であるLBA 32831から開始されます。まだ mkfs.fat のようなものを使用する必要がありますが、絶対に自分でパーティションテーブルを作成してはいけません。

完成!

電源とパーティションの問題が解決した後、iTunesの「空き容量を音楽で埋める」オプションを使用してiPodを完全に音楽でロードし、それを維持することができました。また、たくさんの映画を入れることもできました。ハリー・ポッターの映画すべてをトランスコードしてアップロードし、たくさんの音楽も持っていました。かなりクールです!

ついに、このiPodは完全に動作し、16GBのデータが入っています。私の実生活の関係よりも長く続いた、断続的なプロジェクトがついに終わりました。iPodのメモリ、iPodのBluetooth、iPadの画面…Apple製品の改造はこれでしばらくやめて、他のことに集中しようと思います。いくつかアイデアがありますが、100%技術プロジェクトチャンネルになりたくはありません。いずれにせよ、これを非常に誇りに思っています。

このプロジェクトのすべてのコードはGitHubで入手可能です:lemonjesus/iPod-n3g-16gb。

AI使用の開示

プロジェクトでAIが意味のある方法で使用された場合、開示されるべきだと信じています。このプロジェクトは、バイブコーディングが登場するよりも長く続いていますが、これらの開示は、数ヶ月とさらなる燃え尽き症候群を要したであろういくつかのハードルを乗り越えるのに役立った、ここ数ヶ月の進捗にのみ適用されます。個人的なAI使用に関する包括的な原則があり、こちらで読むことができますが、このプロジェクトに特化すると:

  • これのいかなる部分も、私がそれを読んで理解せずにリリースされることはありませんでした。コードとドキュメントのすべての行は、私によって書かれたか、私が書かれたことを承認したものです。私またはLLMが書いたすべての行を確認しました。
  • 様々なLLMは、これまで見たことのないファームウェアのパターンを理解するのに役立ち、それを理解するのに役立ちました。ソフトウェアスタックが深くなるにつれて(深くなるほど、バイナリはより絡み合いますが、その助けはありがたかったです)。
  • 1つのパッチカテゴリを除き、すべて私の発見/パイロットまたは私の執筆によるものです。LLM(この場合はClaude)が発見したパッチカテゴリで、私は功績を主張できません。ECCスクラビングパッチです。
  • この記事と、それに付随するYouTube動画のスクリプトは、100%私が書いたものです。

謝辞

このプロジェクトが始まったとき、ツールは少なく、コミュニティは散り散りで、全体的にすべてが「10年前」のようでした。今では、素晴らしいツールと活気のあるコミュニティがiPod Nanoの改造に取り組んでいます。このプロジェクトに特に役立ったもの:

  • q3kのwInd3x - これは私のパッチのベースとなっているエクスプロイト/ツール/などであるだけでなく、EFIパッチの追跡をスプレッドシートに置き換えたものでもあります(狂人がEFI変更エンジンを組み込んだため)。
  • slackware - 最初の連絡先の一つであり、ソフトウェアリサーチサイドの開始を手伝ってくれました。彼はコミュニティでも非常に活発で、freemyipod.orgと関連GitHubプロジェクト(wInd3x、QEMU、iPod用Linuxなどが reside している)を管理しています。
  • benedikt93とCástor Muñoz - NANDのリバースエンジニアリングの多くの基礎を築きました。また、Castorはn3g用のRockboxブートローダーを書きました。これは、私が最初にデバイスを操作する方法でした。彼らの仕事が時間の砂に失われなかったことに非常に感謝しています。
  • Discordコミュニティの数え切れないほどの他の人々が、iPod Nanoモッディングの zeitgeist に貢献してくれました。私たちは素敵なコミュニティを育んできました、そしてぜひ立ち寄ってさらに学び、もしあなたがこの書き込みの最後まで読んだなら貢献してください!