PythonでTCPスタックを書いてみたらどうなるか? (2014)
What happens if you write a TCP stack in Python? (2014) (jvns.ca)
要約
著者は、ネットワークの理解を深めるために、PythonとScapyライブラリを使ってミニチュアTCPスタックの実装を試みました。カーネルの干渉やPythonの処理速度の遅さといった課題に直面しましたが、実験は非常に有益で、基本的なWebページ取得に成功しました。この経験から、不完全な実装でもサーバーと通信できること、そしてPythonでのTCPスタック実装の限界が示されました。
全文翻訳
PythonでTCPスタックを書いてみたらどうなるか?
Hacker Schoolの期間中、ネットワークについてもっと理解を深めたいと思い、その一環としてミニチュアTCPスタックを書いてみることにしました。C言語よりもPythonの方が得意で、最近scapyというネットワークライブラリを発見し、パケットの送信が非常に簡単になりました。
そこで、teeceepeeを書き始めました!
基本的なアイデアは以下の通りでした。
- TCPパケットを送信できる生のネットワークソケットを開く
- google.comに
GETリクエストを送信する - レスポンスを取得して解析する
- 祝杯をあげる!
適切なエラーハンドリングなどはあまり気にしませんでした。ただ、1つのWebページを取得して勝利宣言をしたかったのです :)
ステップ1:TCPハンドシェイク
GoogleとのTCPハンドシェイクから始めました!(これは必ずしも正しく動作するわけではありませんが、原則を説明しています)。各行にコメントを付けました。
TCPハンドシェイクの仕組みは以下の通りです。
- 私: SYN
- Google: SYNACK!
- 私: ACK!!!
とてもシンプルでしょう?コードにしてみましょう。
# 私のローカルネットワークIP
src_ip = "192.168.0.11"
# GoogleのIP
dest_ip = "96.127.250.29"
# IPヘッダー:これは私からGoogle宛てです
ip_header = IP(dst=dest_ip, src=src_ip)
# 自分用に大きなランダムポート番号(59333)、Google用にポート80を指定します。「S」フラグはこれがSYNパケットであることを意味します
syn = TCP(dport=80, sport=59333,
ack=0, flags="S")
# GoogleにSYNパケットを送信します
# scapyは '/' を使ってパケットとヘッダーを結合します
response = srp(ip_header / syn)
# シーケンス番号を追加します
ack = TCP(dport=80, sport=self.src_port,
ack=response.seq, flags="A")
# ACKで返信します
srp(ip_header / ack)
待てよ、シーケンス番号?
シーケンス番号とは何でしょうか?TCPの目的は、パケットが失われた場合に再送信できるようにすることです。シーケンス番号は、パケットが失われたかどうかを確認する方法です。例えば、Googleが私に110、120、200、500バイトの4つのパケットを送信したとしましょう。初期シーケンス番号が0だと仮定します。すると、それらのパケットのシーケンス番号は0、110、230、430になります。
もし、シーケンス番号が2000の100バイトのパケットが突然届いたら、それはパケットを失ったことを意味します!次のシーケンス番号は930になるはずです!
Googleはどうやって私がパケットを失ったことを知ることができるのでしょうか?Googleからパケットを受け取るたびに、私はACK(「シーケンス番号230のパケットを受け取りました、ありがとう!」)を送信する必要があります。Googleサーバーが私がパケットをACKしていないことに気づけば、再送信できます!
TCPプロトコルは非常に複雑で、あらゆる種類のレート制限ロジックが含まれていますが、それについてはここでは触れません。この投稿で知っておくべきTCPに関する情報はこれだけです!
SYNパケットがシーケンス番号にどのように影響するかなど、より詳細な説明については、Understanding TCP sequence numbersが非常に分かりやすいと感じました。
ステップ2:ああ、もうTCPスタックがある!
上記のコードを実行したところ、問題が発生しました。動作しなかったのです。
しかし、それは面白い方法でした!レスポンスが全く得られませんでした。Wireshark(パケットを監視するための素晴らしいツール)で確認したところ、以下のようになっていました。
私: SYN
Google: SYNACK
私: RST
待て、何だって?私はRSTパケットなんて送っていないのに?!RSTは「接続を終了しろ、終わりだ」という意味です。私のコードには全く含まれていません!
ここで、私のコンピューターのカーネルにはすでにTCPスタックがあることを思い出しました。実際に起こっていたことは次のとおりです。
私のPythonプログラム: SYN
Google: SYNACK
私のカーネル: なんだこりゃ、頼んでないぞ!RST!
私のPythonプログラム: ... :(
では、カーネルをバイパスするにはどうすればよいでしょうか?この件について、素晴らしいJari Takkalaさんに相談したところ、彼はARPスプーフィングを使って、別のIPアドレス(例: 192.168.0.129)を持っているかのように見せかけることを提案しました。
新しいやり取りは以下のようになりました。
私: おいルーター!192.168.0.129宛てのパケットを私のMACアドレスに送ってくれ
ルーター: (無言で実行)
私のPythonプログラム: SYN (192.168.0.129から)
Google: SYNACK
カーネル: これは私のIPアドレスじゃない!<無視>
私のPythonプログラム: ACK やったぜ
そして、うまくいきました!よし、これでカーネルに邪魔されることなくパケットを送信し、レスポンスを受け取ることができます!素晴らしい。
ステップ3:Webページを取得する!
ここで、Googleからhttp://google.comのHTMLを取得するのを妨げていた多くの厄介なバグを修正する間があります。最終的にそれらをすべて修正し、勝利を収めました!
以下の作業が必要でした。
- HTTP GETリクエストを含むパケットを組み立てる
- 1つだけでなく、多数のパケットをリッスンできることを確認する
- シーケンス番号に関するバグ修正に多くの時間を費やす
- 接続を適切に閉じようと試みる
ステップ4:Pythonが遅いことに気づく
すべてが機能するようになった後、Wiresharkを使って送受信されたパケットを確認しました。状況は以下のようでした。
私/Google: <TCPハンドシェイク>
私: GET google.com
Google: 100パケット
私: 3つのACK
Google: <再送信を開始>
私: さらに数回のACK
Google: <接続リセット>
Googleからのパケットと私からのACKのシーケンスは、P P P A P P P P P A P P A P P P P A のようなものでした。Googleは私のプログラムがACKを送信するよりもはるかに速い速度でパケットを送信していました。そして、面白かったのは、Googleのサーバーはネットワークの問題で私がACKを送信していないと判断し、接続をリセットすることになったことです。
しかし、接続は問題なかったのです!私のプログラムは完全に反応していました!ただ、私のPythonプログラムは、期待されるミリ秒単位の応答時間に比べてあまりにも遅すぎたのです。
(編集:この診断は間違っているようです :) 議論を読むと、実際には何が起こっていたのかについての洞察が得られます)
人生の教訓
もし実際に本番用のTCPスタックを書くなら、Pythonは使わないでください。(驚き!)また、TCP仕様は非常に複雑ですが、実装が非常にいい加減でもサーバーに応答させることができます。
それでも、実際に動作したことにとても満足しています!ARPスプーフィングは非常にデリケートでしたが、それを使ってcurlのバージョンを作成したところ、約25%の確率で動作しました。この奇妙なコードはすべてhttps://github.com/jvns/teeceepee/で見ることができます。
C言語のような適切な言語でTCPスタックを書こうとするよりも、この方がはるかに楽しくて教育的だったと思います :)