HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

ネットワークとインターネットの基本原則

Networking and the Internet, from First Principles (fazamhd.com)

162 pointsby faza46 コメント

要約

この記事は、インターネットがどのように機能するかを基本原則から解説しています。電話やビデオ通話が瞬時に世界中と繋がる仕組みを、音声やメッセージが電気信号、光信号へと変換され、多数の独立した企業が所有するインフラを介してルーティングされる過程を説明します。インターネットは単一の設計図なしに数十年にわたって構築され、各プロトコルは特定の技術的課題を解決するために考案されたパッチの集まりであることを強調しています。

全文翻訳

ネットワークとインターネット

友人や同僚と大陸を越えてテキストメッセージを送ったり、通話したり、ビデオチャットをしたりする際に、まるで同じ部屋にいるかのように一瞬で返信が届くのはなぜだろうかと思ったことはありますか?舞台裏では、一連の目に見えない変換が行われています。あなたの声、ビデオ、またはメッセージは、部屋を横切ってWi-Fiルーターに届く電波に変換され、次に銅線(または光ファイバー接続の場合は光)の電気パルスに、そしてさらに海の底深くにある髪の毛よりも細いガラス繊維の中を走る光の点滅へと変換されます。そして、反対側でそのシーケンス全体が逆再生されるのです。電気、光、電波の制御された、パターン化された摂動を作り出すだけで、世界中の誰とでも瞬時に通信できるというのは、驚くべきことだと私は思います。

メッセージは、異なる国の数十の独立した企業が所有する機器を通過します。これらの企業は、このメッセージ転送のために互いに特別に調整したわけではなく、また、あなたのデータがたどった正確な経路を誰も知りません。ただ、次の最も近いルートにそれを引き渡すだけです。トラフィックを指示する中央コンピューターはなく、インターネットインフラストラクチャを所有する単一の企業もありません。それにもかかわらず、それは毎秒数十億回も機能し、通話が途切れたりビデオがバッファリングされたりしたときにのみ気づくほど信頼性が高いのです。

interactive a message, end to end

your line

それは別の大陸に渡り、電話を切る前に返信が届きます。

ソフトウェアの記事は、シリコンの電子から実行するソフトウェアまで、単一の機械の物語を追いました。この記事は、それらの機械間の接続の物語を追います。コンピューティングのレイヤーと同様に、インターネットも一度に設計されたわけではありません。それは数十年にわたって蓄積され、各プロトコルは、それが修正するために発明された具体的な制限を見たときにのみ意味をなします。結果を完成された設計図に基づいてエンジニアリングされたものと間違えやすいのは、失敗がまれで、システムが常にこれほど信頼性が高いように感じられるからです。実際には、この記事のすべてのメカニズム、パケットスイッチング、TCP、DNS、TLSは、インターネットがすでに「機能」してから数十年後に展開された特定の問題に対するパッチであり、それらを生成した圧力は止まっていません。それは今や新しい物理リンク、新しい障害シナリオ、そして下のレイヤーが設計されたときには存在しなかったソフトウェアからの新しい要求から来ています。

私の目標は、この理解を基本原理から構築することです。最終的には、インターネット使用における日常の多くの謎が、アドレスバーの南京錠がクレジットカードの詳細をどのように保護するか、ページが表示されないのはウェブサイトのせいか、それともあなたの側の障害か、ギガビット接続でもウェブページが遅く感じられる理由、そして世界の半分を横断する海底ケーブルの障害をデータが動的に迂回する方法など、単一の、首尾一貫したメンタルモデルの下で直感的に理解できるようになるでしょう。

コンピューターが存在する前からビットを送信していた

ネットワークはコンピューティングよりも、さらには電気よりも古いものです。「ネットワーク」という言葉自体は、元々は文字通り、規則的な間隔で交差する糸やコードの網のような織物を意味していました。19世紀初頭、エンジニアたちはこの用語を、運河や鉄道のような相互接続された輸送ルートを説明するために借用しました。1840年代に電信が登場すると、その信号を運ぶワイヤーと駅のシステムを説明するために、この言葉は自然に漂いました。

しかし、ネットワークリンクの基本的な物理原理は、最も単純な機械的接続と同じままです。2つの空き缶を糸でしっかりと結び、一方に話しかけると、糸はアンプやリレーなしで、声の振動をもう一方に機械的な動きとして伝えます。それは、メーターごとに摩擦やたるみによってエネルギーを失う波にすぎません。それは、それ以降に構築されたすべてのリンクの背後にある原則全体です。一方の端で物理量を変化させ、もう一方の端で測定します。糸ができないのは、信号が線路で死ぬことなく、実質的な距離を運ぶことです。電信の真のブレークスルーは、糸を電線に置き換えたことではなく、この距離という物理的な限界を克服したことでした。

1844年、サミュエル・モースはワシントンからボルチモアまで、短く長い電気パルスのシステムであるモールス符号を使用して、銅線で「What hath God wrought」というメッセージを送信しました。電信が実際には何であったかに注目してください。それはデジタルネットワークでした。それは声の音を送信したのではなく、固定されたアルファベットからの離散的なシンボルを送信しました。その選択には、ビクトリア朝の人々がよく理解していた利点がありました。線路沿いの電気機械式リレーは、波自体を通過させる必要はありませんでした。パルスが存在するかどうかを検出するだけで、そのパルスの新しい、きれいなコピーを次のワイヤーセグメントに送信するために再作成すればよかったのです。離散的なシンボルと再生により、メッセージは劣化することなく大陸を横断できました。これはアナログ信号では不可能でした。

ワイヤーが何かを運ぶ前に、送信者と受信者の間の合意が存在しなければならなかったことにも注目してください。電信は、両端が事前に同じ表を持っており、どのパルスがどの文字を表し、オペレーターが「受信済み」または「繰り返し」をどのように信号したかによってのみ機能しました。この共有されたルールブックがプロトコルです。この記事のすべてのプロトコル(IP、TCP、DNS、TLS)は同じであり、メッセージ形式と、独立したマシンが互いに通信できるように、いつ誰が何を言うかについての公開された合意です。

下のシミュレーターは、モースのメッセージをその歴史的な回線に沿って送信します。各ワイヤー区間に沿ってパルスがフェードし、ノイズを拾う様子、そしてリレーがそれに対して何をするかを見てください。次に、リレーを単純な増幅に切り替えて、離散的なアルファベット(現代のコンピューティングがさらにバイナリビットに単純化したもの)がなぜ賢明な選択だったのかを見てください。

interactive telegraph relay
discrete symbols, regenerated at each relay

線路沿いの電気機械式リレーは、波自体を通過させる必要はありませんでした。パルスが存在するかどうかを検出するだけで、そのパルスの新しい、きれいなコピーを次のワイヤーセグメントに送信するために再作成すればよかったのです。

relays

電信ネットワークは、人々によってルーティングも解決しました。小さな町から別の小さな町へのメッセージは、リレーオフィスを通過し、オペレーターはそれを受け取り、紙テープにパンチし、その回線が空き次第、宛先により近い方の送信ラインに再送信しました。メッセージは、忙しい時間帯にはビンにキューイングされました。このアイデアを覚えておいてください。100年後、私たちはそれを電子機器で再構築し、ルーターと呼ぶでしょう。

[画像: パリの中央電信交換局のオペレーター室の彫刻、数十人のオペレーターがテーブルの列で電信機を操作している]

パリの大電信交換局のオペレーター室、1890年代。各テーブルは回線で終わっています。メッセージを受信、キューイング、宛先へ再送信していたオペレーターは、ネットワークのルーターでした。(出典:Popular Science Monthly、1894年、パブリックドメイン)

モース自身の回線は、1つの州を横断するだけで済みました。大洋を横断するには、10年間の費用のかかる後退と、海底ケーブルの物理学に関する苦痛な教育が必要でした。サイラス・フィールドの最初の横断大西洋電信ケーブルは、1858年8月に稼働し、ヴィクトリア女王とブキャナン大統領の間の祝賀交換を運びました。3週間後、それは壊れました。絶縁体が取り扱いで損傷し、一部の人は、それを通過する信号を無理に押し出そうとしたエンジニアの過電圧によって仕上げられたと考えています。成功したケーブルは1866年に敷設されました。当時史上最大の船であり、約4,000キロメートルのケーブルを一度に運ぶことができた唯一の船であったSSグレート・イースタンによって敷設されました。それ以来、海底は通信ケーブルを運んできており、電信線が同軸銅線、そして最終的にはガラス繊維に進化する際に、私たちが再び取り上げる物語です。

それ以降に構築されたすべてのリンクに、基本的なトリックは一般化します。2点間でビットを移動するには、一方の端で物理量を変化させ、合意されたスケジュールで測定します。ビット(binary digitの略)は、情報として可能な限り小さい単位であり、正確に2つの状態の間の単一の選択です。慣習的には1または0と書かれます。この記事で測定、送信、または保存されるすべては、最終的にはこれらのビットの数です(ソフトウェアの記事では、トランジスタとロジックゲートからこれを構築しています。それも理解したい場合は参照してください)。それらを8つグループ化すると、バイトになります。256の状態があり、テキストの1文字または小さな数に対応できます。そのため、この記事全体で、パケットヘッダー、フレーム、ファイルなどのサイズは、ビットではなくバイトで数えられます。

ワイヤーに1の電圧をかけ、0の場合はオフのままにし、毎秒100万回測定すると、ワイヤーは毎秒100万ビットを運びます。光ファイバーは、ガラス繊維の中でレーザーをオンオフすることでこれを実現します。1の場合は光、0の場合は暗闇で、毎秒数百万回です。Wi-Fiは、電波の形状を変化させることでこれを実現します(その方法は、今後のワイヤレス記事の主題です)。

すべてのそのようなリンクは2つの数値によって特徴付けられます。それらを区別しておくと、日常の多くの混乱が解消されます。

  • 帯域幅は、リンクが毎秒運ぶビット数です。
  • レイテンシは、1ビットが一方の端からもう一方の端に到達するのにかかる時間です。

帯域幅はエンジニアリングの問題であり、エンジニアはそれを勝ち続けています。単一の最新の光ファイバーは、多くの波長の光を同時に送信することでテラビット/秒を運びます。レイテンシは物理学であり、ガラス中の光は約秒速20万キロメートル(真空中の速度の3分の2)をカバーするため、ニューヨークからロンドンまでの片道のハードフロアは約28ミリ秒(往復でその倍)であり、どれだけのお金やエンジニアリングを費やしても低くすることはできません。これが、ビデオストリームとビデオ通話の感じ方が異なる理由です。ストリームは帯域幅を必要とし、レイテンシを許容します(数秒先までバッファリングします)。一方、通話は低レイテンシと控えめな帯域幅を必要とします。ページが高速接続で遅く感じる場合、通常はレイテンシが原因です。後述するように、単一のページロードには、コンテンツが実際に移動し始める前に、複数の往復(DNS、TCP、TLS用)が必要です。

帯域幅とレイテンシは、異なる場所から来るため、互いにトレードオフしません。帯域幅は送信者のスケジュールから、レイテンシはワイヤーの長さから来ます。下のシミュレーターは、同じ8ビットを1つのリンクに沿って送信します。帯域幅を調整すると、パルスの間隔のみが変化します。距離を調整すると、最初のパルスが到着するまでの遅延のみが変化します。

interactive bandwidth and latency in signal propagation
drag to seek

NowIdle.

WhyThe propagation delay dominates here, latency dwarfs how long sending actually takes.

bandwidth1 Mbpsearly broadband

distance6,000 kmtransatlantic cable

Replay slowed. Delay bar is to scale.

会話ごとの専用回線

電信はオフィス間でテキストを運びました。電話は、1876年以降、家庭にライブ音声を運び、それを実現するために、ネットワークは回線交換というまったく異なる原理で機能しました。電話をかけると、システムはあなたの電話と受信者の電話の間に専用の電気経路を組み立てました。当初はオペレーターがパッチコードをスイッチボードに差し込むことによって、後に電気機械式リレーが自動的に同じことを行うことによって行われました。通話中は、その銅線のチェーンは、エンドツーエンドで、あなたの会話専用でした。

[画像: 1943年、ベルシステム国際電話交換台で働く女性たち]

1943年、ベルシステム国際電話交換台で働く女性たち。オペレーターは、各会話のために一時的な専用電気経路を確立するために、スイッチボードにパッチコードを差し込むことによって、手動で回線スイッチを接続しました。(出典:米国国立公文書館、パブリックドメイン)

音声の場合、これは合理的な設計です。電話の通話はほぼ常に流れる連続信号であるため、予約された回線は実際に使用されます。そのため、コンピューターが最初に長距離通信を必要とした1950年代と60年代には、彼らは可能な唯一のこと、つまり電話回線でダイヤルしました。しかし、電話回線は人間の声、つまりアナログ音声波を運ぶために構築されたものであり、直接のデジタル電気パルスを運ぶためではありませんでした。コンピューターは、モデム(モジュレーター・デモジュレーターの略)を使用する必要がありました。モデムは、コンピューターのデジタルバイナリビットを、ダイヤルアップハンドシェイクのチープ、ビープ、スタティックとして聞こえるアナログオーディオトーンに変換し、音声ネットワークを介して送信できるようにし、反対側でそれらの音をデジタルビットに変換しました。

初期のモデム、たとえば300ボーのベル103は、電信のオンオフパルスと同じトリックであるFSK(周波数シフトキーイング)を使用してこれを実行しましたが、連続トーンしか運べず、クリーンなオンオフ電圧を運べないワイヤーでした。各1ビットは、その持続時間全体で1つの安定したトーンを再生し、各0ビットは異なる、より低いトーンを再生します。反対側のモデムは、どのトーンが存在するかを聞いてビットを読み取ります。1バイト、文字「A」がトーンにモジュレートされ、ビットに戻ってデモジュレートされる様子を見てください。

interactive modem
modulation / demodulation, one byte

送信ビット0、モデムはこのビットの持続時間全体で低い「スペース」トーンを再生します。

その予約された回線でデータが移動する前に、2つのモデムは、まず同じ音声グレードの回路を介して、どれくらいの速さで通信できるか、そしてノイズの多い銅線ペアが必然的に導入するエラーをどのように修正するかについて合意しなければなりませんでした。1981年のHayes Smartmodem以降のモデムは、スピーカーを配線したままにして、人間が通話接続、ダイヤルトーンから呼び出し音、そしてコンピューターが引き継ぐ前にビジー信号または間違った番号にヒットしなかったことを確認できるようにしました。スピーカーはハンドシェイク中もオンのままで、交渉が完了したときにのみオフになりました。そのため、その交渉も聞こえたのです。1990年代から2000年代初頭にかけてインターネットを使用していた場合、このトーンを覚えていますか?

interactivedial-up handshake
audio recording

2つのダイヤルアップモデム間の実際のハンドシェイク。6つのフェーズを30秒未満で高速化。再生を押して聞いて、どのフェーズがその音を出しているかを見てください。

録音:「ダイヤルアップモデムのノイズ。」パブリックドメイン、Wikimedia Commons。

そのノイズの多いハンドシェイクは、2000年代初頭までほとんどの人がインターネットに接続する方法でしたが、ブロードバンドがそれを引退させるまで続きました。DSLとケーブルは同じ電話線とテレビ線を再利用しましたが、常にオンのデジタルリンクとして、ダイヤルする必要はなく、家庭用光ファイバーは音声ネットワークのワイヤーを完全にドロップしました。

しかし、より深い不一致は、モデムの変換ではありませんでした。それはブロードバンドよりも数十年前に明らかでした。コンピューターのトラフィックはバースト的です。端末はミリ秒単位でキーストロークまたはリクエストを送信し、その後、人間が読んだりプロセッサが計算したりする間、回線はサイレントになります。(今日のビデオストリームも、連続的に感じられますが、実際にはパケットの短い集中的なバーストで配信され、再生バッファを埋め、視聴中にサイレントになります。)セッション全体で測定すると、コンピューターの会話のために予約された回線は大部分の時間アイドル状態ですが、他のすべての人のためのその容量をブロックします。さらに悪いことに、パスは通話設定時に固定されているため、その沿いのどこかの壊れたリンクまたはスイッチングオフィスが接続を完全に切断します。

1960年代初頭までに、3つの圧力はこの回線交換設計に収束していました。研究用コンピューターが増加し、高価な長距離回線を効率的に共有する必要がありました。インタラクティブコンピューティングはバースト性を極端にしました。そして、冷戦の真っただ中にあった米国軍は、その一部を失った後も機能し続けるコマンドネットワークを望んでいました。これは、中央スイッチングオフィスを経由する固定パスのネットワークでは決して不可能でした。

メッセージをパケットに分割する

その代替案は、互いの仕事を知らなかった2人、生存性を設計していたRAND Corporationのポール・バランと、回線共有を設計していた英国国立物理学研究所のドナルド・デイビスによって独立して考案されました。彼はこのアイデアにパケットという名前を付けました。

パスを予約してデータをストリーミングする代わりに、すべてのメッセージを小さく自己完結したユニットに分割します。各パケットは、ソースと宛先の住所を含む数バイトの制御情報であるヘッダー、それに続くデータチャンクであるペイロードを運びます。途中にあるすべてのスイッチングポイント、つまりルーターは、パケット全体を受信し、ヘッダーの宛先アドレスを読み取り、その宛先に近い送信ラインのテーブルを参照し、それをダウンしてパケットを転送します。これはストアアンドフォワードスイッチングであり、電信リレーオフィスが電子機器で再構築されたもので、紙テープはメモリに置き換えられ、オペレーターはルックアップテーブルに置き換えられました。

数十億台のマシンにスケールするために、ルーターは個々のアドレスをリストしません。代わりに、それらのテーブルはネットワーク、つまり単一のネクストホップの下にグループ化されたアドレスの範囲をリストします。これらのアドレスの正確な構造、およびそれらが範囲に対してどのように比較されるかは、パケットヘッダーのプロトコルに依存します(バランとデイビスはそれぞれ独自のものを設計しました)。この記事では、インターネットのバージョンであるIPを詳細に探求します。ネットワークの接続で。

この設計では、何千もの無関係な会話からのパケットが同じワイヤー上でインターリーブされるため、誰かがデータを送信したい場合でも、回線がアイドル状態になることはありません。そして、各パケットは独立してルーティングされるため、ネットワークは損傷を回避して流れます。会話の途中でルーターが死んでも、後続のパケットは単に隣接するものを通過します。バランはこれを分散ネットワークと呼びました。つまり、その損失が2つに分割できるような一点がないネットワークです。

下のシミュレーターは、小さなパケット交換メッシュです。左側のクライアントは、右側のサーバーとパケットを交換します。どちらもホストの例です。ホストとは、ネットワーク上のアドレス指定可能なデバイス(コンピューター、電話、サーバーなど)の一般的な名前です。この2つの役割自体は重要なので、この記事ではそれらに繰り返し言及します。クライアントは会話を開始し、サーバーは既知の固定アドレスにあり、到達されるのを待ちます。間の各ルーターはローカルな決定のみを行い、各パケットを宛先に向かって転送しながら、すでにビジーなリンクを回避します。同じ会話からのパケットが異なるパスをたどり、輻輳がリアルタイムでルートを再形成する様子をご覧ください。そして、ルーターをクリックして破壊すると、回復が即時ではないことに注意してください。数秒間、その隣接ルーターは古い情報でギャップに転送し続け、それらのパケットは失われます。障害のニュースが広がり、ルートがその周りに落ち着くまで、これは収束と呼ばれるキャッチアッププロセスであり、ルーティングプロトコルで見たときに探求します。

interactive packet vs circuit switching

SWITCHING MODE:

2つのクライアント、2つのサーバー、間に12台のルーターがあり、各パケットはホップごとにルーティングされます。

best-effort delivery0 arrived0 dropped

Click a router to break it. Hover to inspect its local routes.

シミュレーターでさらに1つのことに注目してください。パケットが単にドロップされることがあります。パケットがルーターに、送信ラインがそれらを排出できる速度よりも速く到着すると、ルーターはメモリにキューイングし、キューがいっぱいになると、保持できないものを破棄します。これは設計の失敗ではありません。それは設計そのものです。ネットワークはベストエフォート配信のみを約束します。パケットは失われたり、重複したり、順序が狂って到着したりする可能性があり、ネットワーク自体はそれを修正するために何も行いません。ネットワークの中央部分をこのようにシンプルに保ち、信頼性のすべての責任をエッジのコンピューターに押し付けることは、インターネットのアーキテクチャにおける最も重要な決定であり、グローバルネットワークにスケールした方法の鍵です。

最初のパケットネットワーク

1969年、米国の先端研究プロジェクト庁(ARPA)は、国内の大学で既に資金提供していた研究用コンピューターを接続するために、最初の実際のパケット交換ネットワークであるARPANETに資金を提供しました。

すぐに、日常的な障害が発生しました。各サイトのメインフレームは異なるメーカー製で、互換性のないオペレーティングシステムを実行しており、パケットをリアルタイムでスイッチングするための余剰能力がありませんでした。エンジニアリング会社であるBolt Beranek and Newman(BBN)は、専用のマシン、インターフェースメッセージプロセッサ(IMP)でこれを解決しました。これは、メッセージをパケットに分割し、ルーティングし、遠端で再組み立てすることだけを目的とした頑丈なミニコンピューターでした。各サイトは、メインフレームをローカルIMPに接続し、IMPsはリースされた電話線で互いに通信しました。ARPANET独自のプロトコル文書は、各サイトの2つのマシン、つまり単一のジョブを持つ単純なスイッチングハードウェアであるIMPと、その背後にある、誰もが気にかけている計算を実際にホストするマシンであるホストとの間に明確な線を引きました。その言葉はハードウェアよりも長生きしました。今日のホストは、トラフィックを送受信するあらゆるコンピューター、電話、サーバーであり、ルーターまたはスイッチは、ホストではなくインフラストラクチャであるIMPsの古いジョブを継承したものです。IMPは最初のルーターであり、そのパターン、つまり背後のコンピューターがネットワークのプロトコルを話す必要がないようにする専用ボックスは、現在アンテナが付いた自宅にあります。

[画像: BBNインターフェースメッセージプロセッサ(IMP)、トグルスイッチとインジケーターライトのフロントパネルを備えた冷蔵庫サイズのキャビネット]

コンピューター歴史博物館にあるBBNインターフェースメッセージプロセッサ(IMP)。堅牢なHoneywell DDP-516ミニコンピューターから構築されたIMPは、パケットルーターの最初の世代でした。(写真:Steve Jurvetson、CC BY 2.0、Wikimedia Commons経由)

最初の送信は1969年10月29日にUCLAからスタンフォード研究所で行われました。学生プログラマーのチャーリー・クラインは、リモートマシンにログインするために「LOGIN」と入力し始めました。彼は「L」と入力し、電話でそれが到着したことを確認し、「O」と入力すると、受信システムがクラッシュしました。インターネットの祖先によって運ばれた最初のメッセージは「LO」でした。12月までにネットワークは4つのノードになり、1973年までに大西洋をノルウェーとロンドンに横断しました。

[画像: 1969年12月のARPANET論理マップ]

1969年12月のARPANETの論理マップ:UCLA、スタンフォード研究所、カリフォルニア大学サンタバーバラ校、ユタ大学。インターネット全体はここから始まりました。(出典:DARPA、パブリックドメイン)

ARPANETのために構築されたパケット交換ネットワークは、リースされたポイントツーポイント回線を介して遠隔地を接続し、WAN(広域ネットワーク)を形成しました。パケット送信の同じコアアイデアは、より小さく、はるかにローカルな問題も解決しました。1つのオフィスにある数十台のマシン、つまりLAN(ローカルエリアネットワーク)を、各ペアの間に専用ワイヤーを走らせることなく接続するにはどうすればよいでしょうか?

1973年、Xerox PARCのロバート・メトカルフェはイーサネットを設計しました。その衝突処理は、ハワイ諸島を結ぶ以前の無線ネットワークであるALOHAnetから直接引き継がれました。そのコアアイデアは爽快に率直でした。ステーションは送信したいものがあるときに送信し、最初に許可を求めるのではなく、他の誰かの送信と衝突したかどうかを聞くだけでした。メトカルフェの設計は、建物のすべてのコンピューターを1つの共有同軸ケーブルに接続しました。彼はそれを「イーサ」と呼びました。同軸とは、同じ中心軸上に2つの導体があることを意味します。単一の銅コアが信号を運び、絶縁層で包まれ、次に円筒形の編組またはホイルシールド、次にプラスチックジャケットが続きます。シールドはリターンパスとしても機能し、外部からの干渉がコアに到達するのを防ぎます。これにより、1本の長いケーブルが建物のすべてのデスクを通過するクリーンな信号を運ぶことができました。どのマシンもケーブルに送信でき、すべてのマシンが宛先アドレスを持つパケットのみを保持して、すべてを受信しました。

共有メディアには明らかな欠点があります。2台のマシンが同時に送信すると、互いに台無しになります。これは衝突です。イーサネットは、送信前に聞く、ケーブルがビジーなら待つ、送信中に聞き続け、衝突を聞いたらすぐに停止する、その後ランダムな遅延後に再試行するという、いくつかの純粋にローカルなルールでそれを処理しました。衝突するたびにそのランダム遅延の範囲を2倍にする戦略、指数バックオフと呼ばれる戦略により、衝突するマシンは回線を永久に詰まらせるのではなく、互いに離れていきます。このスキームはCSMA/CD(Carrier Sense Multiple Access with Collision Detection)と呼ばれます。「キャリアセンス」は話す前に聞くことであり、「衝突検出」はノイズを聞いたらすぐに停止することです。パケットルーティングと同様に、秩序ある共有は、調整者を必要としない、同一のローカルルールから生まれます。

共有ケーブル自体は生き残りませんでした。オフィスはスイッチに移行し、同軸ケーブルもそれに伴って廃止され、各デバイスからスイッチへの1本の専用配線に代わって、電話ジャックよりもわずかに広いクリアプラスチッククリップであるRJ-45コネクタで終端されるツイストペア銅線に置き換えられました。

スイッチはルーターと同じ問題を解決します。つまり、データを宛先にのみ配信しますが、グローバルネットワークアドレスではなくローカルハードウェアアドレスで動作し、まったく異なるメカニズムで動作します。ルーターはパケットの宛先アドレスを読み取り、誰かが設定したテーブルからラインを選択します。スイッチは、フレーム(イーサネット独自のデータ単位名、パケットの1層下の対応物)のMAC(Media Access Control)アドレス、デバイスのネットワークハードウェアに焼き付けられた識別子を読み取り、トラフィックを監視することによって完全に自分で構築したテーブルからポートを選択します。

MACアドレスは、コロンで区切られた6組の16進数の数字として記述されます。例:00:1A:2B:3C:4D:5E。

16進数とは、基数10ではなく基数16であり、16進数ごとに16個の数字、つまり0から9、そしてAからF(10から15を表す)です。これは、伝統よりも具体的な理由で選択されました。16は2の累乗であるため、1つの16進数桁は常に正確に4ビットをエンコードし、剰余はありません。2つの16進数桁は常に正確に1バイトをエンコードします。1Aは値26の1バイトです。10進数にはそのようなアライメントがなく、3桁の10進数はバイトを保持する場合と保持しない場合があるため、エンジニアは生のビットを実際に確認する場所では16進数を使用しますが、1と0で書き出すよりもコンパクトなものを求めています。これは、パケットヘッダーバイトやプロトコル番号でそれが再び現れるのと同じ理由です。生のビットをより少ない文字で表したものであり、異なる種類の数値ではありません。

この48ビットアドレスを製造元プレフィックス(最初の3組、OUIまたはOrganizationally Unique Identifierとして知られる)とシリアル番号(最後の3組)に分割することにより、地球上のすべてのネットワークインターフェイスカードにグローバルに一意のIDが確実に付与されます。Wi-FiチップとBluetoothチップの両方について、接続されているすべてのデバイス(スマートフォンを含む)がこれらの識別子を保持しています。

Manufacturer (OUI)
00:1A:2B
Identifies the hardware vendor (e.g., Apple, Intel, Cisco)

Serial Number (NIC)
3C:4D:5E
Unique identifier assigned to this specific chip

永続的なハードウェアアドレスは決して変更されないため、公開Wi-Fiネットワーク(ショッピングモールなど)を運営している人は、MACアドレスをログに記録して、時間の経過とともに物理的な移動を追跡できます。これを防ぐために、最新のオペレーティングシステムは、ネットワークをスキャンしたり、パブリックWi-Fiに接続したりする際に、一時的なランダム化されたMACアドレスを生成します。スイッチは気にしません。それは、現在部屋にいる少数のデバイスの中でアドレスが一意であることだけが必要であり、ランダムに生成された48ビットの番号はそれを容易に保証します。

[画像: アンマネージドスイッチのRJ-45イーサネットポート。パッチケーブルが差し込まれてリンクライトが点灯しているものもあれば、空のものもあります]

下のメカニズムの物理的な側面。スイッチの各ポートは1つのデバイス(または別のスイッチ)へのワイヤーであり、スイッチの唯一の仕事は正しいポートを選択することです。(写真:ProjectManhattan、CC BY-SA 3.0、Wikimedia Commons経由)

スイッチの電源を入れると、転送テーブルは空のままです。フレームが到着するたびに、スイッチは宛先がどこにあるかを確認する前に、どこから来たかを記録します。その送信元MACアドレスと到着したポートをペアにすることで、スイッチは新しいエントリを記録します。このプロセスは学習と呼ばれます。これは、スイッチ宛てのフレームだけでなく、通過するすべてのフレームで発生します。なぜなら、スイッチはネットワークのレイアウトを指示されるのではなく、トラフィックをパッシブに観察することによってテーブルを構築するからです。その後、フレームの宛先MACをテーブルで確認します。結果は2つあります。

  • 宛先が不明な場合(そのデバイスがまだフレームを送信していないため)、スイッチはフレームを他のすべてのポートにフラッドします。これにより、他のデバイスが無視しても、ターゲットに確実に到達します。
  • 宛先がわかっている場合、スイッチは単一のポートのみにフレームを転送し、他のポートはサイレントに保ちます。

スイッチは、数フレームのトラフィックの後、すべてのデバイスの場所を学習するため、フラッディングは例外であり、規則ではありません。下のスイッチがテーブルを構築する様子をご覧ください。宛先がわかっている場合は直接転送し、そうでない場合はフラッドして推測します。

interactivenetwork switch

forwarding table, built by watching, not configured

source mac seen
port
A1:11:1A
not learned
B2:22:2B
not learned
C3:33:3C
not learned
D4:44:4D
not learned

A frame arrives on a port. Watch the switch learn who is where, and decide whether it can forward directly or must guess by flooding.

どちらのデバイスも同じコア目標を共有しています。つまり、中央機関に相談することなくローカルで正しい転送決定を下すことです。しかし、それらは完全に異なるメカニズムを通じてテーブルを構築します。ルーターのテーブルは手動設定またはルーティングプロトコルによって明示的に入力される必要がありますが、スイッチのテーブルは、とにかくどこか別の場所に向かっていたトラフィックを推論することによって、パッシブに埋められます。そして、スイッチのテーブルは、ルーターのテーブルとは異なり、厳密にローカルです。MACアドレスは、学習されたローカルネットワークセグメント内でのみ意味を持ちます。これはまさに、2つのデバイスがインターネットのアドレス指定を分割している理由です。スイッチは、ローカルネットワーク内でフレームを移動するために、決して離れないアドレスを使用します。一方、ルーターは、グローバルネットワークアドレスを使用してネットワーク間でパケットを移動します。

スイッチが担当するようになると、もう1つのことが静かに変化しました。CSMA/CDが存在する理由は、多くのマシンで共有されるケーブルであり、衝突が常に可能でした。その共有ケーブルはハーフデュプレックス(ワイヤー上の信号は一度に1つ)であったため、送受信は順番に行う必要があり、衝突はワイヤー上で両方の信号が衝突してデータを台無しにすることを意味しました。スイッチは各デバイスに専用のワイヤーを提供するため、同時に通信したい2台のマシンは衝突しません。代わりに、スイッチは一方を送信している間、もう一方を数マイクロ秒キューに保持します。最新のイーサネットポートはフルデュプレックスでも実行されており、同時に別々の内部パスで送受信するため、原則として衝突するものはありません。衝突検出は不要になりました。現代のフルデュプレックスリンクでは使用されなくなった痕跡的なメカニズムです。

次にWi-Fiは、空気という形で共有メディアを復活させました。そこでは、同じ競合問題がより困難な形で再浮上します。今後のワイヤレス記事で詳しく説明します。

ネットワークの接続

ARPANETはパケット交換が機能することを証明し、その成功は次の問題を引き起こしました。1970年代を通じて、衛星リンク(SATNET)、車両用パケット無線(PRNET)、建物内のローカルケーブル(あなたが知ったばかりのイーサネット)など、まったく異なる物理メディア上で他のパケットネットワークが登場しました。それぞれが独自のパケット形式、独自の最大パケットサイズ、独自のルーティングスキームを持っていました。あるネットワーク上のマシンは別のネットワーク上のマシンに到達できず、すべてのネットワークに内部を剥ぎ取って同一のものに採用するように要求することは決して起こりそうにありませんでした。

1973年、ヴィント・サーフとボブ・カーンは、それらを統一することなくすべてを接続するアーキテクチャを設計しました。1つのネットワークではなく、彼らはインターネットワーク、つまりネットワークのネットワークを提案しました。これは文字通り「インターネット」の意味するところです。ゲートウェイと呼ばれるルーターがネットワークの境界に配置され、このスキーム全体は、役割がまったく異なる2つのレイヤーに問題を分割することにかかっていました。

IP(インターネットプロトコル)は、誰もが合意しなければならない唯一のものであり、意図的に非常に小さいものです。それは、参加するどのネットワーク上のすべてのマシンを識別する普遍的なアドレス、IPアドレスと、すべてのネットワークが運ぶことに同意する普遍的なパケット形式を定義します。これは、そのネットワークが内部的に使用するローカル形式の中に詰め込まれます。重要なのは、IPはほとんど何も約束しないことです。それはステートレスであり、ルーターはパケットからパケットへの会話について何も覚えていません。また、信頼性が低いため、各パケットを宛先に向かって最善を尽くして転送しますが、パケットが失われてもIPはそれに気づかず、気にしません。これら2つのプロパティを組み合わせたものがコネクションレスを意味します。セットアップフェーズはなく、パケットとパケットの間に共有されるものはありません。各パケットは、IPがこれまで見た唯一のパケットであるかのように扱われます。バーが非常に低いため、あらゆるネットワークがそれをクリアできます。銅線、光ファイバー、無線、衛星、バイトを移動するものは何でもIPを運ぶことができます。このアーキテクチャは砂時計の形状を作成します。すべての物理メディアが下部にあり、すべてのアプリケーションが上部にあり、すべてが中央の1つの薄くシンプルなプロトコルで相互運用されます。

ApplicationsHTTPDNSWebRTCSMTPSSHIPPhysical LinksFiberWi-FiEthernetLTE / 5GSatellite

そのアドレスと、それに対して一致するルーターのテーブルが実際にどのように見えるかを見てみましょう。IPアドレスは32ビット、4バイト(ネットワークの伝統ではオクテット)にすぎず、10進数で記述され、ドットで区切られます。ルーターのテーブル内のルートは、ネットワークをプレフィックス、つまり固定されているビット数に関する主張で名前付けします。/24は、最初の24ビットが固定され、残りの8ビットが自由であることを意味します。したがって、ルートとの一致は単にビットの比較です。アドレスがルートと一致するのは、プレフィックス長までの先頭ビットがルートの先頭ビットと等しい場合です。ルーターハードウェアは、この比較を1つの操作として実行します。アドレスとルートをXORし、プレフィックス長以降のすべてをマスクし、残りがすべてゼロかどうかを確認します。XORは、2つが異なるすべてのビット位置で1を生成するため、一致は「固定部分内に不一致がない」にすぎません。これは、古い表記法であるサブネットマスクが、固定ビットを個別のドット区切り10進数で記述することによって行うのと同じ主張です。255.255.255.0は、/24と同じ先頭24ビットを示しますが、カウントとしてではなく、オクテットごとに記述されています。下のシミュレーターは、1つのアドレスをオクテットごとに32ビットに展開し、いくつかの候補ルートに対して正確にその比較を実行します。

interactive IP route lookup

The router compares the destination address, bit by bit, against every route it knows.

その比較がメカニズム全体であり、実際のテーブルはそれを同時にすべての保持しているルートに対して実行し、最長プレフィックスマッチ、つまり最も多くのビットを固定する一致する行を選択し、より具体的なものが一致しない場合はキャッチオールデフォルト(0.0.0.0/0)にフォールスルーします。この単一のルールにより、1つのテーブルを小さく保つことができます。ルーターは地球上のアドレスごとに1行を必要とするのではなく、より具体的な理由で知る必要があるネットワークごとに1行だけを必要とします。それ以外はすべて、より「インターネットの残りの部分」に近い隣接に向かってデフォルトで進みます。どのルーターも全体の画像全体を必要としません。それは自分の近所と、他のものよりも可能性が高い1つの方向を知っているだけで十分です。そして、その単独での転送で十分です。なぜなら、次のルーターは同じ部分的な知識を適用し、その後のルーターも同様に適用し、パケットが誰かがそれを正確に知るのに十分近くなるまで続きます。誰も完全にマッピングしていないネットワークを横断して正しく配信することは、各ホップが同じ小さなローカルなことを行うことの創発的なプロパティです。

その自由にサイズ変更可能なプレフィックスは元の設計ではありませんでした。IPアドレッシングが1981年に正式化されたとき、それはクラスフルアドレッシングと呼ばれるスキームを使用していました。そこでは、アドレスのネットワーク部分は調整可能なプレフィックスではなく、アドレス自体に組み込まれた3つの固定サイズのいずれかでした。クラスAアドレスは組織に1600万のアドレスを提供し、クラスBは65,536、クラスCはわずか256で、その間には何もありませんでした。ほとんどの組織は数千のアドレスしか必要としませんでした。この厳格なシステムの下で、彼らは選択しなければなりませんでした。クラスB全体を取る(数万のアドレスを無駄にする)か、複数の個別のクラスCネットワークを収集するかのどちらかです。しかし、クラスフルルーティングはこれらの個別のネットワークをグループ化できなかったため、すべてのクラスCブロックはインターネット上のすべてのコアルーターのルーティングテーブルに個別のエントリとしてリストされる必要がありました。1990年代初頭までに、グローバルルーティングテーブルはルーターメモリが追跡できるよりも速く成長し、空きアドレス空間は急速に枯渇しました。1993年の修正はCIDR(Classless Inter-Domain Routing)でした。これにより、ネットワーク部分は3つの固定サイズではなく任意の長さになり、ネットワークは組織が必要とするものに正確にサイズ設定でき、隣接するブロックは単一のルーティングテーブルエントリに折りたたむことができました。シミュレーターの上部にある/24プレフィックスはCIDRプレフィックスであり、それ以来インターネットの標準ルーティングスキームとなっています。

classful, three fixed sizes, baked into the address's leading bits
Class A
first bits: 0
first octet: 1–126
/8
16,777,216 addresses

Class B
first bits: 10
first octet: 128–191
/16
65,536 addresses

Class C
first bits: 110
first octet: 192–223
/24
256 addresses

one organization needing ~4,000 addresses
classful → one Class B65,536 given
≈ 94% of the block sits unused

classful → sixteen Class C's16 × 256 = 4,096 given
right size, but sixteen blocks, 16 rows in every router's table

CIDR → /204,096 given

sized to the actual need, one table row

これらのブロックは実際にはどこから来るのでしょうか?それらは、DNS(名前を数字の代わりに覚えるで探求します)と同じ階層的な委任に従いますが、名前ではなく数字に適用されます。IANA(Internet Assigned Numbers Authority)は、DNSルートを監督するのと同じ組織であり、32ビットのアドレス空間全体を保持しています。それは、北米、ヨーロッパ、アジア太平洋、アフリカ、ラテンアメリカの5つの地域レジストリに大きなブロックを配布します。各レジストリは、その地域内のインターネットサービスプロバイダーに小さなブロックを分割し、それからそれらのブロックをさらにスライスして、ビジネスや家庭に/24などを配布します。実際、あなたの家庭用ルーターのパブリックIPアドレスは、これらのブロックのいずれかから取得されます。誰も全体のマップを保持していません。各レジストリは、自分のコーナーだけを知っていればよいのです。この階層的な委任は、DNSがスタンフォードの単一ファイルを超えてスケールすることを可能にしたのと同じ設計であり、IPアドレス割り当ての管理上の課題に適用されています。

これらの行のいずれかがどこから来るのかについては何も述べられていません。下のシミュレーターは、ルーターに完成したテーブルを渡し、それがどのように使用されるかを見ています。最も単純なソースは静的ルートで、手動で設定されます。「10.0.0.0/8へのすべてはライン5に出力されます」というものです。これはまさにその行です。これはどのサイズのネットワークにもスケールしないため、実際のルーターはテーブルの大部分を自動的に埋めます。1つのメカニズムは、同じ組織内のルーターが、直接見ることができるトポロジーについてノートを交換し、もう1つは、そのような信頼を共有しない異なる組織のルーター用です。それぞれが単に隣接するものに到達できるものをアナウンスします。それらの両方の完全な説明があり、テーブルは最終的に与えられるものではなくなります。ルートはどこから来て、誰があなたのパケットを運ぶかで。

現時点では、テーブルを固定と見なし、パケットが到着したときにルーターが何をするかを見てください。

同じルールがルーターのハードウェア内で実行されるのを見てください。パケットがインターフェイスに着陸し、ヘッダーが読み取られ、TTLがデクリメントされ、テーブルがチェックされ、一致するラインから出力されます。一致が毎回変化するのを確認するために、いくつかの異なる宛先を循環します。

interactiverouter

routing table, configured or learned elsewhere, matched here

network
line
91.198.174.0/24
line 3
91.198.0.0/16
line 2
10.0.0.0/8
line 5
0.0.0.0/0
line 1

A packet arrives on an interface, gets its header read, and is forwarded, watch the router do it.

そのヘッダーのフィールドの1つは、独自の解説に値します。time-to-live(TTL)です。これは送信者が設定し、すべてのルーターが転送する前に1つずつデクリメントします。ゼロに達すると、ルーターはそのパケットをその場で破棄します。値は時計時間とは関係ありません。ホップカウントであり、中央当局のないネットワークでは、ルーティングテーブルがループを形成する可能性があるため、2つのルーターが互いに相手が宛先に近いと正直に信じ、パケットを永遠に送受信し、不運な到着ごとに負荷を2倍にするためです。TTLは、どのパケットも無期限に循環できないことを保証します。

ルーターがTTL切れのパケットを破棄するとき、それはサイレントにドロップするだけでなく、元のパケットの送信元に「Time Exceeded」という小さなICMP(Internet Control Message Protocol)メッセージを返します。ICMPはIP自身のメンテナンスチャネルであり、ルーターがトラフィックを void に破棄するだけでなく、ソースに問題を報告するために使用するプロトコルです。そして、同じチャネルがインターネットの最も単純な診断であるpingを運びます。PingはICMPメッセージの一種である「Echo Request」をアドレスに送信し、ICMP「Echo Reply」をまっすぐに返すこと以外は何も要求しません。ポート、ハンドシェイク、意味のあるペイロードはありません。ただの質問(「そこにいますか?」)と答えです。リクエストの送信と返信の受信の間の往復時間は、誰もが「ping」を名詞として言うときに意味する数値、つまり1台のマシンへの直接的でフィルタリングされていない測定値です。ここでは、実際のIPアドレスに対して実行されています。8つのリクエスト、8つの返信、それぞれにかかった時間がスタンプされています。

recordingping, ICMP echo request and reply

上記のTTL超過動作と同じメカニズムが、すべてのオペレーティングシステムで利用可能な診断ツールであるtracerouteの背後にあるメカニズム全体です。これは、TTLを1、次に2、次に3と設定して、同じパケットを複数回送信します。TTL=1のパケットは常に最初のルーターで失われ、そのルーターはTime Exceeded返信で自らを正直に報告します。TTL=2のパケットは2番目のルーターで失われ、以下同様に、パケットが最終的に宛先に到達するのに十分な長さで生き残るまで続きます。Tracerouteはプロトコルに組み込まれて設計されたものではありません。それは、ループを終了するためだけに意図されたホップカウンターから完全に派生しており、実際のIPアドレスに対して実行され、あなたとそれの間のすべてのルーターを、TTLごとに1行ずつリストします。各行はあなたから少しずつ離れています。

recordingtraceroute

それでも、上記でフラグ付けされた問題のもう半分、つまり各ネットワーク固有の「最大パケットサイズ」が未解決のままです。各リンク技術は、1つのユニットで運ぶバイト数、つまりMTU(最大伝送単位)に上限を設けています。イーサネットのMTUは1500バイトで、他の場所では異なります。寛大なリンク用に構築されたパケットは、パス上のより狭いリンクには大きすぎる可能性があります。IPの歴史的な回答はフラグメンテーションでした。ルーターが次のリンクのMTUよりも大きいパケットに直面すると、それを小さな断片にスライスします。それぞれがそれ自体で有効なパケットになり、宛先はヘッダーの断片番号でそれらを再構築します。これは機能しますが、コストがかかります。ルーターは断片ごとに実際の作業を行う必要があり、1つの断片を失うと、元のパケット全体を再送信する必要があります。

最新のIPは、ほとんどの場合それを回避します。送信者はパケットに「フラグメントしない」とマークし、ルーターはパケット全体を転送できない場合、「パケットが大きすぎます。代わりにこのMTUを試してください」というICMPメッセージを返します。送信者はその後、会話の残りの部分で送信するものを縮小します。これはPath MTU Discoveryと呼ばれるプロセスです。これは、実際に修正できる唯一の場所にサイズの問題を押し戻します。送信者です。IPv6はさらに進んで、ルーターのフラグメンテーションをプロトコルから完全に削除します。PMTUDが残された唯一のメカニズムです。下のシミュレーターで、同じサイズのパケットが両方向で狭いリンクに遭遇する様子をご覧ください。古いフラグメンテーションルーターと、単に「いいえ」と言う最新のルーターです。

interactive MTU
fragmentation, MTU 1500B

the constraint the router just hit

packet size
3000
B
next-hop link MTU
1500
B
outcome
waiting

A packet larger than the next link can carry reaches a router.

これまでのすべては、1つの送信者、1つの受信者、ユニキャストを想定していましたが、それはすべてではありません。あなたの住所のプレフィックス、つまり上記のCIDRディスカッションからの/24または任意の長さは、あなたのサブネットを名前付けします。サブネットは、数値的な近隣だけでなく、物理的な近隣でもあります。つまり、ルーターを介さずにMACアドレスだけで到達可能な、単一のワイヤーまたは無線チャネルを直接共有するデバイスのセットです。サブネット上のすべてのホストに例外なく宛てられたパケットはブロードキャストであり、ホストがまだ誰に尋ねるべきかわからないまれなケースに役立ちます。アドレスを持たないデバイスにアドレスを配布するDHCP(Dynamic Host Configuration Protocol)はその1つであり、「このサブネット上のIPを誰が所有しているか」と尋ねてMACアドレスを学習するARP(Address Resolution Protocol)もその1つです。ブロードキャストはサブネットの境界で停止します。ルーターはそれらを転送することを拒否します。もしそうすれば、単一のブロードキャストがインターネット全体にフラッドされ、地球上のすべてのコンピューターがそれを処理しなければならなくなります。

ARPは一時停止する価値があります。なぜなら、それはこの記事がこれまで別々に構築してきた2つのアドレスの正確な接合部だからです。あなたのマシンはIPアドレス宛てのIPパケットを構築しますが、そのパケットはまだイーサネットまたはWi-Fiで送信される必要があり、フレームにはIPアドレスではなく宛先MACアドレスが必要です。IPはMACアドレスの存在すら知りません。そのため、新しい会話の最初のフレームがどこかに送信される前に、あなたのマシンはサブネット全体が聞く質問をブロードキャストします。「このIPを持っているのは誰?私のIPに返信してください。」他のすべてのホストは、質問を自分自身のアドレスと比較し、尋ねられているものでない限り、何も言いません。所有者のみが返信し、サブネット全体ではなく、質問者に戻ってユニキャストで返信します。その回答は数分間キャッシュされるため、この交換全体はパケットごとではなく、近隣ごとに1回発生します。

そして、実際に解決されるIPアドレスに注目してください。宛先IPが自分のサブネット外にある場合(ほとんどのリクエストがそうです)、そのリモートサーバーのMACをARPで検索することはありません。それは無意味でしょう。なぜなら、あなたのマシンからのどのフレームも、あなたのワイヤー上にないMACアドレスに到達できないからです。代わりに、デフォルトゲートウェイのMACをARPで検索します。これは、このセクションの先頭でサーフとカーンがゲートウェイと呼んだ境界ルーターと同じもので、フレームをそれに渡し、そこから進むように任せます。ルーターホップシミュレーターのように、ホップごとに1つずつ、最初のホップのアドレスはこのメカニズムによって入力されます。1つのホストが近隣のMACを解決し、次にキャッシュされたものを再度解決し、次にゲートウェイについても同様に行う様子をご覧ください。サブネット外のトラフィックは最終的な宛先ではなく、次のホップのアドレスだけが必要だからです。

interactive ARP
resolving an IP to a MAC

host 1
's ARP cache, built by asking, not configured

ip address
mac address
203.0.113.20
not learned
203.0.113.30
not learned
203.0.113.1
not learned

A host wants to send an IP packet to a neighbor on its own segment, but a frame needs a MAC address, and all it has is an IP address.

また、1つの受信者とすべての受信者の間に、マルチキャストという中間領域があります。これは、グループに宛てられた単一のパケットであり、そのグループに参加を求めたホストにのみ転送されます。これは、多数の関心のある受信者がいるが、全員よりもはるかに少ないIPTVのようなフィードの自然な形状であり、ルーティングプロトコルは内部でそれに依存していますが、パブリックインターネット上ではめったに遭遇しません。

元の設計では、アドレスは32ビット、約43億の可能な値が与えられました。これは、研究用ネットワークにとっては尽きることがないように見え、以来インターネットを悩ませてきました。その結果(そしてあなたの家で実行されている回避策)は、この記事の後半で取り上げます。後継である、実質的に無制限の128ビットアドレスを持つIPv6は、MACアドレスと同じ16進数で記述され、2607:f8b0:4004:c07::66のような8つのコロンで区切られたグループで、20年間展開されており、現在ではすべてのトラフィックのほぼ半分を運んでいます。2つのバージョンが並行して実行されており、レイヤードデザインが静かに許可しているもう1つのことです。

パケット配信を信頼性の高いものにする

TCP(Transmission Control Protocol)は、IPが提供を拒否したすべての信頼性が実際に存在する場所であり、会話の両端のコンピューターのみで実行されます。中間のルーターはそれが存在することさえ知りません。TCPは送信するすべてのバイトに番号を付け、受信者は常に次に受信を期待するバイトを報告します。これは確認応答、またはACKです。時間内に確認されなかったものはすべて、送信者が再度送信します。順序外で到着したパケットは、データが上位に渡される前に番号でシーケンスに戻されます。ベストエフォートの混沌から、TCPは、すべてのネットワークプログラムが記述されている抽象化、つまり信頼性が高く順序付けられたバイトストリームを製造します。それを行うには、両端が会話の持続時間中、その交換における自分の位置を覚えておく必要があります。そのため、TCPはIPの健忘症とは対照的にコネクション指向と呼ばれ、TCP会話には明示的な開始と終了があり、単一のIPパケットにはどちらもない理由です。

さらに進む前に、1つの命名上の注意点があります。この記事では、すべてのレイヤーのデータ単位を「パケット」と呼んできました。なぜなら、その区別は、行われているポイントにとってほとんど重要ではないからです。しかし、TCP独自の単位には名前があります。セグメントです。TCPがIPに1回の旅行のために渡すバイトストリームのチャンクであり、イーサネットの単位である「フレーム」やIPの単位である「パケット」と並びます。

明示的な開始は3ウェイハンドシェイクです。これは、データが流れる前に両側のバイト番号付けを同期する3セグメントの交換です。各側は、送信しようとしているバイトのランダムな開始シーケンス番号を選択し、それらを交換します。クライアントはSYN, seq=5000(「バイトのカウントを5000から開始します」)を送信し、サーバーはSYN-ACK, seq=9000, ack=5001(「9000から開始します。あなたの5000までのすべてを持っています。次に5001を送信してください」)と応答し、クライアントはACK, ack=9001(「次に9001を送信してください」)と応答します。3つのセグメントで、両側はバイトカウントがどこから始まるかに同意します。これにより、TCPは後で1つが迷子になったときにどのバイトが欠落しているかを正確に言うことができます。その交換を実行する様子をご覧ください。

interactive TCP
the three-way handshake

HTTPリクエストが出る前に、両側はバイト番号付けを同期します。それを行う3つのセグメントを見てください。

ACKと再送信は「到着したか」に応答しますが、パケットは正しく到着しない場合があります。電気ノイズ、悪いコネクタ、メモリチップに当たる宇宙線などが、パケットをドロップせずに飛行中にビットを反転させることがあります。それをキャッチするのは、別個の、古い、そしてはるかに単純なメカニズムであるチェックサムです。送信者は送信するバイトに対して小さな算術関数を実行し、その結果を付加します。受信者は受信したバイトに対して同一の関数を実行し、比較します。不一致があれば、転送中に何かが変更されたことを意味し、受信者はパケットをサイレントに破棄します。これは、まるで到着しなかったかのように扱われ、送信者の通常の再送信メカニズムは、確認応答がないため、再度送信します。

これは意図的にエラーを特定したり修復したりするようには作られていません。ただ1つを検出するためだけです。安価に、すべてのフレームとパケットで、そのため、同じアイデアがほぼすべてのレイヤーに現れます。イーサネットのフレームチェックシーケンス、IPのヘッダーチェックサム、セグメント全体のTCP独自のチェックサムです。これが何を防ぎ、何を保護しないかに注目してください。ノイズの多いリンクからの偶発的な破損はキャッチしますが、改ざん者がチェックサムを再計算して偽造バイトに一致させるような意図的な改ざん者はキャッチしません。その脅威は、この記事の後半でTLSが実際に解決するものです。クリーンな送信と破損した送信を並べて見て、受信者が後者をキャッチする様子をご覧ください。

interactive checksum
detecting corruption

A sender computes a checksum over the data and ships both. Watch what happens when a bit flips in transit.

TCPはまた、どれだけの量を飛行中に保持するかを決定します。送信者はスライディングウィンドウを維持します。これは、未確認のパケットを同時にいくつ保持できるかのキャップです。キャップに達すると、一時停止して待機する必要があります。ウィンドウは自動的には移動しません。ACKがそれを移動させます。最も古い未確認パケットを確認するたびに、新しいパケットがその端に取って代わることができます。これが文字通りスライディングと呼ばれる理由です。確認されたパケットを1つずつ進め、その規律が、高速送信者が低速受信者を溺れさせないようにします。そして、パケットが失われた場合、TCPはその損失を信号として読み取ります。パス上のルーターのキューがオーバーフローしていると判断し、ウィンドウを縮小してバックオフします。この反射、輻輳制御は、困難な方法で追加されました。1986年10月、ローレンス・バークレー研究所とカリフォルニア大学バークレー校の間、400メートル離れたリンクは、すべての送信者が損失に応答して再送信を強化したため、32,000ビット/秒から40ビット/秒に、千倍の低下を経験しました。これは輻輳崩壊と呼ばれるフィードバックループです。ヴァン・ジェイコブソンの修正、損失時に乗数でバックオフし、成功時に穏やかに前進するプローブは、現在でも地球上のほぼすべてのTCP実装で実行されています。調整者を必要とせず、この同じローカルルールに従う数十億の接続が、共有ネットワークが自滅するのを防いでいます。これは、容量に適用された、パケットルーティングで見た創発的な協力と同じです。

下のシミュレーターは、スライディングウィンドウの下でTCP送信者がパケットをストリーミングする様子を示しています。パケットが失われた場合に何が起こるかを見てください。受信者は、持っている最後の順序どおりのバイトを確認し続け、その重複ACKのバーストが送信者に欠落したパケットを再送信するように合図し、タイムアウトを待たずに送信します。

interactive TCP
reliable delivery

sender window:
4
packets in flight at once, sliding forward as ACKs confirm the oldest
1
2
3
4
5
6
7
8
receiver, buffered until the gap fills, then delivered in order

Several packets in flight at once; lost ones are resent, and the far end delivers them in order.

輸送の全体像を完成させる2つの改良点があります。IPアドレスはマシンを識別しますが、マシンは同時に多くのプログラムを実行するため、TCPはポート番号を追加します。アドレスとポートの組み合わせが各バイトストリームを正しいプログラムに配信します。Webサーバーは通常、暗号化されたトラフィックのためにポート443でリッスンします。その組み合わせ、つまりIPアドレスとポートとプロトコルが、アプリケーションが開く実際の終端であるソケットの名前です。サーバーのポートは固定されているため、クライアントはどこにノックするかを知っていますが、クライアント側にもポートが必要です。なぜなら、返信は単にあなたのマシンだけでなく、より具体的なものに戻ってくる必要があるからです。そのため、オペレーティングシステムは、まさにこの目的のために予約された範囲からランダムに1つを選択します。これはエフェメラルポートと呼ばれ、1つの接続の寿命のために借りられ、その後返却されます。記事の最後にあるパケット図のソースポートフィールドにある54211は、リッスンしていたポートではなく、その1つのリクエストのためにマシンが偶然引いた番号です。

そして、古いデータが失われるよりも古いデータを再送信することが悪いアプリケーションにとって、ライブビデオ通話には2秒前のフレームは役に立ちません。そこにはUDP(User Datagram Protocol)があります。これは、IPにポートを追加するだけで、それ以外は何もしない薄い代替手段であり、各アプリケーションが損失を好きなように処理できるようにします。UDP独自の単位はデータグラムです(イーサネットのフレーム、IPのパケット、TCPのセグメントに加わります)。その言葉自体が説明としても機能します。つまり、必要なすべてがアドレス指定された自己完結型の小包であり、セットアップなしで、前のものから何も記憶せずに送信されます。UDPは、IPと同じ理由でコネクションレスです。状態を保持せず、セットアップも必要としません。単に正しいプログラムに到達するのに十分なアドレス指定を追加するだけです。それはトレードオフ全体であり、TCPの劣ったバージョンではなく、異なる賭けです。TCPは、Webページ、電子メール、またはファイル用で、不完全なコピーが遅すぎるコピーよりも悪い場合に使用されます。UDPは、ビデオ通話、マルチプレイヤーゲーム、またはDNSクエリ用で、遅い回答が欠落した回答よりも悪い場合(またはアプリケーションが最新の状態を要求する場合)に使用されます。

interactive TCP vs UDP

TCPreliable, ordered
Sending 5 segments; 3 is about to drop.

UDPbest-effort, no resend
Sending 5 datagrams; 3 is about to drop.

TCP/IPは1983年1月1日にARPANETの公式プロトコルになり、それ以来インターネットの定義はシンプルになりました。それは、IPパケットを運ぶことに同意するすべてのネットワークのセットです。メンバーシップオフィスはありません。そのプロトコルを話すことでインターネットに参加します。

ルートはどこから来て、誰があなたのパケットを運ぶか

パケットスイッチングのセクションから静かに延期されてきた1つの質問があります。ルーターは各パケットを「宛先に近いライン」に転送しますが、どのようにしてそれを知るのでしょうか?答えは、この記事の他のすべてと同様に、組織内のルールセットと組織間のルールセットという、同じ境界線でクリーンに分割されます。

単一組織のネットワーク内では、ルーターはIGP(Interior Gateway Protocol)を実行し、直接観測したトポロジー、リンクの状態、各リンクの輻輳状況を交換し、ルートを自動的に計算します。2つのファミリーが支配的であり、それらは基本的な質問について意見が異なります。ルーターはネットワーク全体を見る必要があるのか、それとも中古の番号で十分なのか?

リンクステートプロトコル(OSPFなど)は「ネットワーク全体を見る」と答えます。すべてのルーターは、自身のローカル接続の説明を他のすべてのルーターにフラッドするため、各ルーターはネットワーク全体の同一のマップを保持し、同じ最短パス計算を独立して実行します。

距離ベクトルプロトコル(古いRIP(Routing Information Protocol)など)は「番号で十分」と答えます。各ルーターは、近隣に「このネットワークにNホップで到達できる」とだけ伝えます。マップ自体を見ることはなく、中古のカウントを信頼して1を加えるだけです。これはマップをフラッドするよりもはるかに少ない交換ですが、ルーターには近隣の番号がまだ有効かどうかを確認する方法がないことも意味します。両方を試してみてください。各サイクルは、3つのルーターすべてを最初に横断する通常のパケットで始まります。これは、以前の単一ルーターシミュレーターと同じ最長プレフィックスマッチルックアップですが、3回連続で実行されます。各ルーターは互いに比較しないため、各ルーターが実際に知っていることの少なさに注目してください。

interactive Interior Gateway Protocol

steady state

Steady state, every router already knows its hop count to net N.

each router's current belief about its distance to net N
R1
R2
R3
3 hops
2 hops
1 hop

what to watch

OSPF: floods the failed link once; every router recomputes from the same map.

RIP: trades hop counts with neighbors; stale beliefs can loop until 16 means unreachable.

リンクが失敗すると、新しい状態が伝播し終わるまで、すべてのルーターのテーブルは一時的に間違っています。パケットスイッチングメッシュで見たように、収束は、そのキャッチアッププロセスの業界用語です。リンクステートは、フラッドされた2つのメッセージで正確に収束します。なぜなら、フラッドは実際のトポロジー変更を運び、推測ではないからです。距離ベクトルには、頼るべきそのような確実性がなく、RIPタブは障害モードを示します。2つの隣接ルーターが一時的に互いにルーティングし、それぞれが相手の古い番号を信頼し、その宛先の実際のパケットがTTLによって破棄されるまでバウンスします。本番環境では、RIPに緩和策が追加されますが、中古の番号が検証済みマップほど速く収束するものはなく、そのためOSPFはほとんどの本番ネットワークでそれを置き換えました。いずれにしても、これは単一の管理者が解決すべき問題です。1つの会社のルーター、どのプロトコルを実行するかについての1つの会社の決定です。

組織間では、状況ははるかに困難になります。単一の管理者や共有された信頼がない場合、その解決策はインターネットの分散特性が実際に形作られる場所です。

組織のそのパッチワークは、TCP/IPが1983年に公式になったときにはまだ存在していませんでした。ネットワークはまだ基本的に連邦政府が資金提供した単一のシステムでした。それを実際に分割したのは、1985年に地域学術ネットワークを接続するバックボーンとして構築された国立科学財団(NSFNET)でした。各ネットワークは既に異なる大学コンソーシアムによって運営されており、それらを1つの全国ネットワークに統合しました。最初の数年間、NSFNETの許容使用ポリシーは商業トラフィックを完全に禁止していました。ビジネスメールや広告はなく、研究と教育のみでした。その制限は1991年に解除され、NSFNET自体が1995年にシャットダウンされたとき、そのバックボーンの役割は1つの後継者ではなく、複数の競合する商業キャリアに引き継がれました。それらは統合する理由がなく、別々にとどまる理由がすべてありました。同じサービスを同じ顧客に販売する競合企業です。政府ネットワークが競合他社の市場に溶解したその引き継ぎは、インターネットが所有者を失い、BGPが現在まとめているパッチワークになった瞬間です。

インターネットは物理的には、数万の独立して運営されているネットワーク、つまり自律システム(あなたの家庭用インターネットプロバイダー、大学、国の通信事業者、クラウド企業)のパッチワークです。それらはBGP(Border Gateway Protocol)を使用してルートを交換します。各ネットワークは隣接するものに、「これらのアドレスブロックに到達できます」とアナウンスし、他のネットワークから聞いたアナウンスを、自身をパスに追加して渡します。インターネットのあらゆるコーナーへのルートは、ネットワークからネットワークへと伝播し、各ネットワークは、速度ではなくビジネスポリシーに基づいて、聞いたパスの中から選択します。お金が動きます。ビジネスポリシーを剥ぎ取ると、その下の最短パスのタイブレーカーは、実際に直接見ることができるほど単純です。1つのルートがホップごとに広がり、各ホップがパスに追加され、2つの異なる方法で離れたルーターがそれらの間から選択しなければならなくなります。

interactive Border Gateway Protocol

waiting to originate

AS1 originates a route to 91.198.174.0/24 and announces it to every neighboring network. Watch the announcement spread, and see how AS5 picks between two AS-level paths.

小規模プロバイダーは、インターネット全体へのトランジット(輸送)のために大規模プロバイダーに支払います。一方、同規模のネットワークはピアリングし、顧客間のトラフィックを無料で交換します。業界用語では決済無料です。なぜなら、それは両側にトランジット料金を節約するからです。多くの場合、インターネット交換ポイント、つまり数百のネットワークが共通のスイッチングファブリックに接続する建物で会合します。フランクフルトのDE-CIXやアムステルダムのAMS-IXのような最大のものは、約千のネットワークを接続します。これら2つの契約は、上記のルート選択における「ビジネスポリシー」が意味するところです。あらゆる宛先について、隣接ネットワークを経由するルートは3つのコストクラスのいずれかに分類されます。顧客経由、その顧客はあなたにトラフィックを運ぶために支払います。ピア経由、無料。プロバイダー経由、あなたはバイトごとに支払います。したがって、ネットワークはBGPを設定して、たとえ支払いルートが長くても、顧客ルートをピアルートよりも、プロバイダールートよりも優先するように構成します。そして、ASパスの最短距離は、ビジネス上の地位が同等のルート間でのみ決定されます。

最上位には、互いにピアリングし、誰にも支払わない少数のティア1バックボーンがあります。Lumen、Arelion、NTTなど、ほとんどの人が聞いたことのない企業です。そして、大洋を横断して、実質的にすべての大陸間トラフィックを運ぶ約600本の海底光ファイバーケーブルが走っています。インターネットは、権威によってではなく、契約、ハンドシェイク、BGPアナウンスのこのメッシュによって維持されています。

Tier-1 backbones, peer and pay no oneBackbone ABackbone BBackbone Cpaid transit detour$ transit$ transitProvider XProvider YIXPdirect peer, no transit fee$$$$Your ISPUniversityBusinessTelecomEdge networks each pay the network abovemoney for transitsettlement-free peering

それらのケーブルは、数世代後の電信の海底ワイヤーです。最初の横断大西洋電話ケーブル、TAT-1は1956年にサービスを開始し、36の音声回路を運ぶ同軸銅線で、信号がノイズに消える前に信号をブーストするために約70キロメートルごとにアンプが組み込まれていました。これは電信セクションのアナログ問題の繰り返しです。アンプは信号とノイズを区別できず、両方をブーストします。電信パルスとは異なり、音声波形は各ホップで元の形状にきれいに再生できません。光はトレードオフを破りました。1988年に敷設されたTAT-8は、最初の横断大西洋光ファイバーケーブルであり、TAT-1を改善しただけでなく、一夜にしてそれを時代遅れにしました。2本のガラス繊維が数万の音声相当回路を運びました。なぜなら、ガラス中の光は、銅線上の電圧よりもはるかに多くの独立したチャネルにスライスできるからです。それ以降に建設されたすべての横断大西洋ケーブルは光ファイバーでした。現在稼働している約600本は、TAT-1ではなく、TAT-8の子孫です。

[画像: 4種類の海底光ファイバーケーブルのサンプル。ガラス繊維、銅導体、鋼鉄の鎧の層が見えるようにステップバックされている。スケール用にコインを添えている]

現代の海底光ファイバーケーブル、開いた状態。各サンプルの中心には数本のガラス繊維があります。その周りにはアンプ用の銅導体と鋼鉄の鎧の層があり、陸地近くでは二重に巻かれ、深海では裸で、コインがスケールを示しています。(写真:Lonnie Hagadorn、CC BY-SA 4.0、Wikimedia Commons経由)

光がガラスの中に留まらない限り、これらは機能しません。ファイバーのコアは、周囲のクラッドよりもわずかに高い屈折率を持つガラスであり、コアを伝わる光はその境界に滑らかな角度で、臨界角よりも浅く出会います。そのため、屈折して通過するのではなく、完全に内側に反射します。その完全性がトリック全体です。通常の鏡はバウンスごとに0.数パーセントを吸収しますが、これは1キロメートルあたり数百万回バウンスする信号を消滅させます。全内部反射は境界で何も失わないため、髪の毛のように細いガラス繊維が海底のすべてのたるみと曲がりを通して約100キロメートルパルスをガイドできる理由です。アンプがそれに触れる必要はありません。

Total internal reflectioncladdingdenser coreglancing hit: 100% reflectedsteep ray escapestrapped even in the bend

光を独立したチャネルにスライスすることには名前があります。波長分割多重です。下のシミュレーターはそれを動作中に示しています。各レーザーは独自の波長の光に独自のビットストリームをキーイングし、コンバイナーがそれらすべてを1本のストランドに供給します。ガラスは線形媒体として機能するため、異なる波は重ね合わされ、振幅が文字通り加算され、混合または干渉することなく同じコアを通過します。これにより、反対側のスプリッターが各波長をそのままフィルタリングして取り出すことができます。単一のレーザーをより速く点滅させようとするのではなく、ストランドは単に異なる色を使用して複数のストリームを並列に運びます。波長を追加すると、すでに海底にあるガラスのスループットが乗算されます。

interactive wavelength-division multiplexing

NowEach laser keys its own bit stream onto its own wavelength of light.

Gain3 wavelengths, the same strand now carries 3× the bits per second.

wavelengths3 lasers, same strand

Each wavelength adds one independent stream

[画像: 海底を横断して大陸を結ぶ細い線として海底通信ケーブルのルートを示す世界地図]

2015年時点の海底ケーブルネットワーク。ほぼすべての人口密集地の海岸線が、海底に敷設された光ファイバーで互いに接続されています。(ケーブルデータ:Greg Mahlknecht、マップ:OpenStreetMap貢献者、CC BY-SA 2.0)

BGPのメカニズムには、アドレスが1つの場所からのみアナウンスされる必要があるという指示はありません。意図的にそれを放棄することが、エニーキャストの仕組みです。多くの場合、異なる大陸にある複数のサーバーは、すべて同一のIPアドレスで構成されており、それぞれがあたかも唯一の所有者であるかのように、それへのルートをアナウンスします。BGPは、サンパウロ、ロンドン、東京から同時に同じアドレスを聞いていることを知りませんし、気にしません。それは単に、常にそうするように、最もトポロジ的に近いパスを持っているアナウンスを保持します。これは実際には、各クライアントのトラフィックが最も近いコピーに着陸することを意味します。異なる都市にいる2人の人が同じアドレスを要求しても、異なる物理マシンに着陸します。DNSルックアップやクライアント自身の構成には、これが起こったことを示唆するものは何もありません。3つの異なる大陸の3つのクライアントが同じアドレスに送信し、それぞれが異なるサーバーに着陸する様子をご覧ください。

interactive anycast
one address, many machines

Every edge server on the map answers to the same address, 203.0.113.5. Watch clients on three continents reach three different machines without knowing it.

このルーティングレベルのアプローチ、つまり単一のIPアドレスを共有する最も近いマシンにトラフィックを誘導することは、CDN(Content Delivery Network)の背後にある2つの主要技術の1つです。Cloudflare(このサイトを含む)やAkamaiのようなCDNは、同じコンテンツ(ビデオ、画像、ウェブサイト全体)のコピーを世界中に分散されたサーバーで実行しており、リクエストは、おそらく遠く離れたオリジンサーバーではなく、近くのハードウェアから応答されます。もう1つの技術は、しばしばその上にレイヤー化されたり、代わりに使われたりしますが、よりシンプルです。クエリがどこから来たかを見て、すべての人に同じ回答を返すのではなく、近くのデータセンターのアドレスを返す地理的に認識されたネームサーバーです。これはDNS内のトリックであり、名前を数字の代わりに覚えるで説明されています。いずれにしても、その利点は、この記事の最初のアイデアに直接つながります。レイテンシは光速によって設定されるフロアであり、それを打ち負かす唯一の方法は、要求する前にデータを読者に近づけることです。

BGPの設計は驚くほど信頼性が高く、ネットワークは基本的に隣接ネットワークがアナウンスすることを信じています。2008年、Pakistan Telecomは、YouTubeを国内でブロックする意図で、YouTubeのアドレスよりも具体的なルートをアナウンスしました。そのアナウンスは国境を越えて広がり、数分で世界中に伝播し、世界のYouTubeトラフィックの大部分は忠実にパキスタンに流れ込み、消滅しました。このようなインシデントが、サービスが突然世界の半分から消えることがある理由です。また、エンジニアが長年BGPに暗号化検証を組み込んできた理由でもあります。これはRPKI(Resource Public Key Infrastructure)と呼ばれる取り組みで、ルーターがアナウンスを信頼するのではなく、署名付きレジストリに対してルートアナウンスをチェックできるようにします。暗号署名とは何か、そしてなぜそれがチェックできるのに偽造できないのかは、まさに公開ワイヤーを介した秘密の交換で構築するメカニズムです。

あなたのプライベートホームネットワーク

あなたの家は、これらのアイデアのいくつかを1つのプラスチックボックスに圧縮しています。棚の上のルーターは、小さなイーサネットスイッチを実行します。これは、オフィス全体のための1つの共有ワイヤーと同じMAC学習トリックであり、ワイヤレス側にはWi-Fi無線が搭載されています。デバイスが参加すると、DHCPブロードキャストを介してアドレスが割り当てられます(ネットワークの接続を参照)。そして、同じ応答には、新しいデバイスが必要とし、誰も入力しない他の2つのもの、つまりサブネット外のトラフィックを送信するためのゲートウェイと、DNSリゾルバーのアドレス(名前を数字の代わりに覚えるで探求する名前解決システム)が含まれています。そして、32ビットIPv4アドレスが不足したため、それらはプライベートアドレスであり、あなたの家の外では意味がありません。いくつかのブロックは、この目的のために慣習的に予約されており、公開されることはなく、インターネットを横断してルーティングされることもありません。これにより、それらのそれぞれが無限に再利用できるようになります。もう1つの予約済みブロックは、以下のテーブルに沿って進みます。あなたのマシンが完全に自分自身のために保持するアドレスであり、しばらくするとそれに戻ります。

block
block size
scope
typical use
where packets go
10.0.0.0/8
16,777,216
private
large organizations
stays inside one private network
172.16.0.0/12
1,048,576
private
mid-sized networks
stays inside one private network
192.168.0.0/16
65,536
private
home routers
stays inside one private network
127.0.0.0/8
16,777,216
loopback
this machine
never reaches the network card

最初の3つのいずれも公開インターネットでルーティングされないため、あなたのルーターの192.168.1.5と、地球の反対側にいる見知らぬ人の192.168.1.5は異なるデバイスであり、そのアドレスを持つパケットが決して発行されたプライベートネットワークを離れないため、衝突することはありません。ルーターは、パケットを通過する際のアドレスを書き換えることによって、ISPから割り当てられた単一のパブリックアドレスを、すべてのデバイス間で共有します。これはNAT(Network Address Translation)であり、内部のどの会話に対応する外部応答であるかを記録するテーブルを保持します。2つの無関係な家が同一のプライベートアドレスを再利用し、NATがそれらが衝突しないようにする方法を見てください。次に、1つの家にある2番目のデバイスがルーターの単一のパブリックアドレスを共有する様子を見てください。

interactive NAT

Two unrelated homes. Both laptops were handed the identical private address 192.168.1.5 by their own router; home A has a second device besides.

two homes behind NAT, src is each packet's source address and port

NATには、インターネットを静かに再形成した盲点があります。ルーターは内部から開始された会話のみを記録するため、すべての不要な着信トラフィックをドロップします。これは対称的なサーバーの役割を殺します。あなたのラップトップはどのサーバーにも到達できますが、何もあなたに招待なしで到達できません。自宅でホスティングする場合に「ポートフォワーディング」(外部トラフィックを特定のポートで受信する内部マシンをルーターに指示すること)を手動で設定する必要がある理由、およびISPがアドレスを節約するために定期的にローテーションするため、パブリックIPアドレスを追跡する必要がある理由です。また、ビデオ通話のようなピアツーピアアプリが直接接続するために複雑な回避策を使用しなければならない理由でもあります(両側が同時にパケットを送信するため、両方のルーターがユーザーが会話を開始したと思うようにするなど)。一時的なアドレス不足の回避策は、インターネットを2つのクラスに分類することになりました。つまり、サービスを提供する側と、要求する側だけです。

最後の行、127.0.0.0/8はさらにローカルです。127.0.0.1(慣習的にlocalhostと呼ばれる)に送信されたパケットは、ネットワークカードにまったく到達しません。あなた自身のオペレーティングシステムはそれをあなた自身のマシンでリッスンしているものに直接ループバックします。そのため、ラップトップで開始した開発サーバーは、そのラップトップから127.0.0.1:3000で応答し、世界の他のどこにも応答しません。そして、それは単に127.0.0.1だけではありません。ブロック全体がループバックします。つまり、1670万のアドレスすべてが、単一のマシンと通信するために予約された、32ビットのアドレス空間が枯渇するとは誰も想像しなかった時代の贅沢品です。

1つのレイヤリングの詳細を覚えておく価値があります。あなたのデバイスは同時に2つのアドレスを保持します。ネットワークハードウェアに属するMACアドレスは、このケーブルまたはチャネル上のどのマシンかを示し、IPアドレスは、参加するネットワークによって割り当てられ、エンドツーエンドで意味があります。MACアドレスはローカルネットワークを離れることはありません。IPアドレスは、世界の反対側がルーティングするものです。記事の最後でリンクをクリックしたときに何が起こるかをトレースするとき、両方が同じパケットに乗っているのを見るでしょう。

名前を数字の代わりに覚える

ルーターは208.80.154.224のような数値アドレスにパケットを配信しますが、それらの数字は私たちが記憶するのがほとんど不可能です。名前がなければ、お気に入りのウェブサイトのIPアドレスを記録するためだけに個人の日記が必要になります。ARPANET時代には、マッピング全体が1つのファイル、HOSTS.TXTに存在し、スタンフォード研究所のエリザベス・フィンラーによって手作業で維持されていました。ネットワーク上のすべてのコンピューターは、定期的にそのコピーをダウンロードしていました。1980年代初頭までに、これは予想どおり失敗していました。1つのオフィスが1つのファイルを編集するだけでは、指数関数的に成長するネットワークのペースについていけず、1つの場所からそのファイルをすべて取得することもボトルネックになっていました。

これらは、1984年3月27日版のファイルからの数行です。各マシンに1つのエントリがあり、そのアドレス(またはアドレス)、名前、ハードウェアとオペレーティングシステム、および話したプロトコルがリストされています。すべてのフィールドは手作業でキュレーションされています。

; DoD Internet Host Table
;  27-Mar-84
;
; Changes, corrections, comments or questions to (HOSTMASTER@SRI-NIC)

NET : 10.0.0.0 : ARPANET :
HOST : 10.0.0.51, 26.0.0.73 : SRI-NIC.ARPA,SRI-NIC,NIC : DEC-2060 : TOPS20 : TCP/TELNET,TCP/SMTP,TCP/TIME,TCP/FTP,TCP/ECHO,ICMP :
HOST : 10.0.0.1 : UCLA-CS.ARPA,UCLA-CS,UCLA-CECS : VAX-11/750 : LOCUS : TCP/TELNET,TCP/FTP,TCP/SMTP :
HOST : 10.0.0.6 : MIT-MULTICS.ARPA,MIT-MULTICS,MULTICS : HONEYWELL-DPS-8/70M : MULTICS : TCP/TELNET,TCP/SMTP,TCP/FTP,TCP/FINGER,TCP/ECHO,TCP/DISCARD,ICMP :
HOST : 10.0.0.4, 192.5.12.21 : UTAH-CS.ARPA,UTAH-CS : VAX-11/750 : UNIX : TCP/TELNET,TCP/FTP,TCP/SMTP :

最初のエントリは、それ自身のホームを記述するファイルです。SRI-NICは、誰もがHOSTS.TXTをフェッチしたマシンであり、ヘッダーのHOSTMASTER@SRI-NICはフィンラーのグループでした。名前をルックアップするために、コンピューターは単にこのファイルのローカルコピーを検索し、ファイルにないマシンは事実上存在しないことになりました。

1983年、ポール・モカペトリスは、委任に基づいて構築されたその代替案、ドメインネームシステム(DNS)を設計しました。名前空間は右から左に読み取られる階層です。en.wikipedia.orgの場合、階層のルートはorgのようなトップレベルドメインを誰が実行しているかだけを知っています。orgサーバーはwikipedia.orgを誰が実行しているかだけを知っています。そして、Wikipedia自身のネームサーバーがen.wikipedia.orgの実際の回答を保持しています。誰も全体のマップを保存しません。代わりに、名前空間はゾーンと呼ばれる管理境界に分割されます。各組織は、自身のゾーン(例:yourdomain.comを管理する会社)の権威ネームサーバーを制御し、レコードを変更したり、サブゾーン(例:sub.yourdomain.com)を他の人に委任したりできます。名前をルックアップするために、あなたのデバイスは再帰リゾルバーに問い合わせます。これは通常、あなたのインターネットプロバイダーまたはCloudflareの1.1.1.1のようなパブリックリゾルバーによって実行され、あなたの代わりに委任チェーンを歩き、最終的なアドレスを返します。

en.wikipedia.orgのチェーンを歩く様子は次のとおりです。各回答は、リゾルバーに1ステップずつ指示します。

  1. リゾルバーがルートサーバーに問い合わせます:「en.wikipedia.orgは誰ですか?」ルートは知りませんが、応答します:「私はorgを持っていませんが、誰が持っているかはこちらです」そして.orgネームサーバーのアドレスを渡します。
  2. リゾルバーが同じ質問を.orgサーバーに問い合わせます。これもen.wikipedia.orgを知りませんが、応答します:「Wikipediaは独自のサーバーを実行しています。こちらです」そしてwikipedia.orgのネームサーバーのアドレスを渡します。
  3. リゾルバーがWikipedia自身のネームサーバーに問い合わせます。これはチェーンの最後の委任であり、最終的に実際の回答を得ます:en.wikipedia.orgは91.198.174.192にあり、3600秒間有効です。

その3600はTTLとも呼ばれます。紛らわしいことに、以前のIPホップカウンターと同じ3文字ですが、ここではルーターの数ではなく秒単位の寿命を意味します。これは、キャッシュする許可を1時間与え、その後再度問い合わせることを意味します。リゾルバーは91.198.174.192をあなたのブラウザに返します。そして、そのリゾルバーを使用する誰からのen.wikipedia.orgへの他のすべてのリクエストは、1時間経過するまで、キャッシュから即座に回答されます。

インターネットの規模では、すべてのルックアップのためにそのチェーンを歩くことは、上位レベルを圧迫します。そのため、すべての回答にはTTLがあり、ブラウザまたはオペレーティングシステム、そして特に多くの人々をサービスする再帰リゾルバーによって、質問者の近くにキャッシュされます。家庭用ルーターもDNSを転送したり、リゾルバーを実行したりするかもしれませんが、通常のパケットルーティングはキャッシュとは関係ありません。人気のある名前は、ほとんどの場合、数ミリ秒離れたキャッシュから回答され、ルートサーバーは2回以上聞くことはほとんどありません。

interactive DNS
name resolution

One lookup walks the chain of delegations; every lookup after it, from this device or any other behind the same resolver, is answered from a cache, until the TTL runs out.

resolving en.wikipedia.org, the one-hour ttl runs accelerated

そのウォークは隠された機械ではありません。自分で実行できます。以下では、同じ3つの委任がdig、標準のDNSクエリツールを使用して手動で質問されます。サーバーごとに1つの質問です。ルートは.orgサーバーで応答し、.orgはWikipedia自身のネームサーバーで応答し、それらが最終的にアドレスで応答します。これは、シミュレーターがちょうど歩いたチェーンとまったく同じです。

recording dig en.wikipedia.org

DNSはただ1つの仕事、つまり名前を数字に変換するという仕事をしました。91.198.174.192を手に入れたら、ブラウザはついにそのアドレスに接続を開くことができます。通常は暗号化されたWebのためにポート443です。次のパケットはもはやDNSクエリではなく、Webサーバーに宛てられたTCPパケットであり、これはシミュレーターが最後に見せるハンドオフです。

階層のどれも自動的に参加するわけではありません。名前がそれにどのように追加されるかを見る価値があります。なぜなら、そのメカニズムは単なる委任だからです。あなたはレジストラからyourdomain.comを購入します。これは、トップレベルドメインを運営するレジストリの認定再販業者です(.comの場合はVerisign)。レジストラの実際の仕事は、レジストリのゾーンへの1回の書き込みです。つまり、あなたのドメインの権威として指定したネームサーバーを名前付けするNSレコードです。これは、リゾルバーが.comサーバーにあなたの名前を誰が実行しているか尋ねるときに従う正確な委任です。それらのネームサーバーは、レジストラ、CloudflareやRoute 53のようなプロバイダー、またはあなた自身のマシンによって実行され、あなたのドメインのゾーンファイル、つまりあなたが直接制御するレコードを保持します。あなたのドメインをあなたのサーバーに向ける方法」に答えるのはAレコード(またはIPv6の場合はAAAA)です。これは、yourdomain.comが、例えば192.0.2.7にあると述べる行です。それを追加し、最後の回答がキャッシュされていたTTLを待つと、地球上のすべてのリゾルバーはあなたの名前のトラフィックをあなたのマシンに送信し始めます。承認は不要です。ちょうどこの目的のために構築された委任チェーンへの1回の書き込みだけです。この最後のステップは、エニーキャストセクションのCDNの地理的に認識されたトリックも存在するところです。名前サーバーがすべての質問者に同じ回答を返すことを強制するものは何もありません。そのため、クエリに最も近いデータセンターのアドレスを返すことができます。

キャッシュの代償は鮮度の低下です。サイトが新しいアドレスに移動すると、古い回答はTTLが切れるまで世界中のキャッシュに残ります。この遅延がDNSの変更が伝播するのに時間がかかる理由であり、家庭用ネットワークと数十億ドル規模のクラウドの両方で、謎の障害の驚くべき割合がDNSに起因する理由です。名前ルックアップはほぼすべての接続の最初のステップであるため、インターネット全体のサイレントで負荷を支える基盤であり続けます。

1983年に設計されたDNSは、BGPと同じ無防備な信頼を運びます。リゾルバーが質問すると、送信したクエリに一致する、最初に到着した回答を単純に信じます。2008年、研究者のダン・カミンスキーは、それを悪用するのにどれだけ少ない労力で済むかを示しました。リゾルバーは、16ビットのトランザクションIDで、65,536の可能性しかありませんが、実際の回答が到着する前にそれを推測できる攻撃者は、リゾルバーに偽造された応答を代わりに提供できます。これは、単に尋ねられた質問に答えるだけでなく、ボーナスを追加します。「ところで、yourbank.comの残りの部分の実際のネームサーバーはこちらです。今後、それらに尋ねてください。」リゾルバーには、要求していないギフトに疑いを抱く理由がなく、それでも受け取ります。最初にそこに到達すると、リゾルバーはその攻撃者が選択したTTLが示す期間、嘘をキャッシュし、そのリゾルバーのすべてのユーザーを、クエリされた単一の名前だけでなく、そのドメイン全体に対して静かにリダイレクトします。

修正であるDNSSEC(Domain Name System Security Extensions)は、ギャップを閉じます。各ゾーンはレコードを暗号化して署名し、リゾルバーは信頼しているルートキーまで署名チェーンを検証します(公開ワイヤーを介した秘密の交換でカバーするのと同じ署名概念を使用します)。有効な署名のない偽造された回答は、単純に破棄され、信じられません。これは10年以上利用可能であり、IPv6と同様に、実行するインセンティブへの採用はまだ追いついていません。

重要なのは、DNSSECは認証(回答が改ざんされていないこと)のみを保証することです。クエリを暗号化するわけではないため、パス上の誰でもあなたがどのドメインを検索しているかを見ることができます。このプライバシーギャップを閉じるために、最新のオペレーティングシステムとブラウザは、TLSまたはHTTPSでDNSクエリをラップすることによって、ルックアップ自体をますます暗号化しています。これらはDNS over TLS(DoT)およびDNS over HTTPS(DoH)として知られています。

インターネットのユーザーインターフェースを作成する

1980年代の終わりまでに、配管は完成しました。IPはパケットを世界中にルーティングし、TCPは配信を信頼性の高いものにし、イーサネットは建物を配線し、DNSは名前を解決しました。しかし、インターネットは専門家のツールであり続けました。情報を取得するには、それがどのマシンにあるかを知り、コマンドラインツールを操作してログインまたはファイルを転送する必要がありました。インフラストラクチャはバイトをどこにでも移動できましたが、専門家以外が何かを見つけて読む方法が欠けていました。

1989年、CERN(欧州粒子物理学研究所)のソフトウェアエンジニアであるティム・バーナーズ=リーは、科学者向けの文書共有システムを提案しました。そして1991年までに、World Wide Webが稼働していました。それは、意図的にシンプルな3つの発明に基づいています。

  1. HTML(HyperText Markup Language):リンクを特徴とするドキュメント形式。どのドキュメントのどの単語でも、インターネット上の他のどのドキュメントにもリンクできます。
  2. URL(Uniform Resource Locator):ドキュメントのグローバルアドレス(https://en.wikipedia.org/wiki/Internetなど)。プロトコル(https)、サーバー(DNSで解決されるen.wikipedia.org)、およびその上のドキュメントのパス(/wiki/Internet)を名前付けします。意図的に1つの部分が欠けています。ポートです。各プロトコルはデフォルトポート(httpsの場合は443、プレーンhttpの場合は80)を運びます。そのため、ブラウザはスキームからそれを埋めます。https://en.wikipedia.org:443/wiki/Internetは、完全に記述された同じアドレスです。そのため、ブラウザにベアドレスを入力するだけで機能するのは、スキームだけでどのドアをノックするかを伝えているからです。
  3. HTTP(HyperText Transfer Protocol):TCPの上に構築された最小限のリクエスト・レスポンスプロトコル。クライアントはGET /pageと言い、サーバーの応答はドキュメント自体の前にステータスコードで始まります。成功した場合は200 OK、要求されたドキュメントが存在しない場合は404 Not Found、サーバー自体が問題に遭遇した場合は500 Internal Server Errorです。

各部分は、すでに構築したレイヤーに依存しています。URLはDNSに依存し、HTTPはTCPに依存し、TCPはIPに依存します。バーナーズ=リーは、許可を求めたり、単一のルーターをアップグレードしたりする必要はありませんでした。下のレイヤーはすでに存在しており、誰もがその上に自由に構築できました。その許可のない性質、ネットワークの中央部分をシンプルに保ち、エッジにインテリジェンスを置くことの直接的な結果は、WebがCERNの1台のマシンから数年で世界に広まった理由であり、学生のビデオ通話実験や新しいWebアプリが、誰も承認なしで今日グローバルに展開できる理由です。

オープンさはアーキテクチャよりもさらに深く、文書化されています。この記事のすべてのプロトコル(IP、TCP、DNS、HTTP)は、RFC(Request for Comments)で指定されています。これは、料金を支払ったりライセンスを要求したりすることなく、誰でも実装できる自由に読めるドキュメントです。控えめな名前はオリジナルです。1969年の最初のRFCは、ARPANETの構築者間で配布されたメモで、コメントを募集していました。そして、彼らが設定した文化は、非公式なプロセスが1986年以来インターネットプロトコルを標準化してきたIETF(Internet Engineering Task Force)に硬化するにつれて存続しました。よく知られたデフォルトでさえ、単に習慣になったRFCテキストです。ポート80とポート443は、関連RFCがHTTPとHTTPSのためにIANAに登録した番号にすぎません。これが「オープンスタンダード」が具体的に意味することです。インターネットの完全なルールは公開ドキュメントにあり、互換性のある実装(ブラウザ、サーバー、オペレーティングシステムのTCPスタックなど)は、誰でも作成できます。

[画像: 世界初のWebサーバー、CERNのティム・バーナーズ=リーのNeXTコンピューター]

CERNのティム・バーナーズ=リーのNeXTワークステーション、世界初のWebサーバー。メモには次のように書かれています:「このマシンはサーバーです。電源を切らないでください!」(出典:CERN)

Webは、グラフィカルブラウザを通じて一般に公開されました。NCSA Mosaic(1993年)は、マーク・アンドリーセンとエリック・ビナがイリノイ大学で開発したもので、画像とテキストを並べて表示し、Webをプロトコルではなく場所のように感じさせました。そしてNetscape Navigator(1994年)は、同じチームが商業化したもので、家庭に広がり、ドットコムブームを引き起こしました。ブラウザ自体が成長したこと、つまり見知らぬ人のコードを安全に実行する第2のオペレーティングシステムになったことは、今後のWebブラウザ記事の主題です。ここでは、Webの成功が露呈したもう1つの問題が最初に解決される必要があります。

Webを研究ユーティリティから一般消費者の現象に変えたグラフィカルブラウザ。(出典:Wikimedia Commons)

公開ワイヤーを介した秘密の交換

商取引はブラウザに続きましたが、商取引はARPANET時代から組み込まれた仮定と衝突しました。これまですべてのプロトコルは、プレーンで読み取り可能なバイトとしてデータを送信していました。あなたのパケットは、あなたのルーター、あなたのインターネットプロバイダー、そして見知らぬ人が所有する多数のネットワークを通過し、経路上のどのマシンでもすべてのバイトを読み取ったり、転送中に静かに変更したりできます。それは、物理学の論文を共有する研究室の間では許容できました。クレジットカード番号にとっては許容できません。

問題を基本原理にまで剥ぎ取ると、解決不可能に見えます。会ったことのない2つの当事者が、すべてが読めるチャネルのみで通信しながら、秘密に同意しなければなりません。秘密を確立するために一方が送るものはすべて、盗聴者も見ます。

抜け道は、1970年代に開発された公開鍵暗号です。特定の数学的操作は実行するのは簡単ですが、逆算するのは計算上不可能であり、それらから鍵ペアを構築できます。1つで暗号化されたデータは、もう1つでしか復号化できない2つのリンクされた鍵です。公開鍵は世界に渡します。秘密鍵はサーバーから決して離れません。これで、誰でもあなただけが読めるメッセージを、事前の秘密なしで暗号化できます。盗聴者は公開鍵とスクランブルされたトラフィックを見て、どちらも何もできません。同じペアは逆にも機能します。秘密鍵でしか復号化できないメッセージを暗号化する代わりに、公開鍵を持っている誰もが検証できる証明を生成するために秘密鍵を使用できます。秘密のためには役に立ちませんが、秘密鍵の所有者が発行したことを証明します。なぜなら、他の誰もそれを作れなかったからです。それは署名であり、あなただけが作成できた声明であり、誰でもチェックできます。この画像と実際の署名を分ける2つの詳細があります。メッセージのハッシュ、つまりすべてのバイトから計算された短いフィンガープリントに署名するため、署名は途中で何も変更されていないことも証明します。そして、ECDSAやEd25519などの最新のスキームは、従来のRSAとは異なる数学を通じて同じ保証を達成します。スキームの変更すべてを生き残るのは契約であり、秘密鍵が署名し、公開鍵が検証し、署名は署名された正確なバイトをバインドします。

1つのギャップが残っています。あなたのブラウザがあなたの銀行に属すると主張する公開鍵を受け取ったとき、誰がその主張を保証するのでしょうか?中間で攻撃者が彼らの鍵を提示し、すべてを復号化する可能性があります。これは証明書によって閉じられます。証明書当局と呼ばれる少数の組織は、その公開鍵はすべてのブラウザに同梱されています。サーバーのIDを検証し、そのIDとその公開鍵をバインドする声明に暗号化署名します。その署名付き声明が証明書です。証明書は、それらのいずれかによって直接署名されることはめったにありません。代わりに、中間当局によって署名されます。その中間当局自身の証明書はルートによって署名されているため、ブラウザは1つの署名をチェックするのではなく、チェーンをチェックします。手元にある証明書から各発行者を通じて、信頼できるルートに到達するか、チェーンがなくなるまで上昇します。これにより、フルページのセキュリティ警告が表示されます。ブラウザがそのチェーンを歩く様子をご覧ください。成功した場合とそうでない場合です。

interactive TLS certificates
the chain of trust

When a server presents a certificate, the browser doesn't trust it directly, it climbs the signing chain until it reaches something it already trusts, or runs out of chain.

Netscapeは、1994年にこれらのピースをSSL(Secure Sockets Layer)に組み立て、後にTLS(Transport Layer Security)として標準化されました。これはTCPとHTTPの間にきれいにスロットインされます。接続の開始時に、ブラウザとサーバーはハンドシェイクを実行します。その中心にある鍵合意はDiffie-Hellmanであり、概念を小さな数で説明します。

両側は2つの公開定数から始まります。ここではg = 5、p = 23です。ブラウザは、クライアントが選択し、決して送信しない秘密の数から計算された鍵共有とともに、ClientHelloで開始します。たとえば、a = 6で、共有A = 5⁶ mod 23 = 8を生成します。サーバーは独自の秘密の数、たとえばb = 15を選択し、選択した暗号、証明書、および証明書の秘密鍵で署名された共有B = 5¹⁵ mod 23 = 19で応答します。これにより、中間にあるマシンは、自分が管理する共有をスワップできません。次に、各側は受け取った共有を自身の秘密の数で累乗します。ブラウザは19⁶ mod 23 = 2を計算し、サーバーは8¹⁵ mod 23 = 2を計算します。そして、両方とも5⁹⁰ mod 23であるため、同じ値に到達します。その値はセッションキーであり、両端で独立して計算され、8と19しか運ばなかったワイヤーを横切って送信されることはありません。

両方の共有を保持する盗聴者は、さらに進むために秘密の数を回復しなければなりません。5のどの累乗が8 mod 23になりますか?それは離散対数問題であり、このサイズでは試行で回答できますが、実際のサイズでは計算上不可能であり、pは数百桁になります。ブラウザが実際に実行するのは、同じ交換の楕円曲線バリアントです。これは、モジュラー指数演算を曲線上の点演算に置き換えます。これは異なる一方向操作であり、はるかに小さい数値で同等のセキュリティを達成し、他の何も変更しません。同じ秘密の数が保持され、同じ共有が交換され、同じ鍵が両端で独立して導出されます。交換がワイヤー上の盗聴者とともに実行される様子をご覧ください。すべての番号が横断するのを記録し、それでも何も得られません。

interactive Diffie-Hellman
the key exchange

Two machines that have never met must land on the same secret number, over a wire someone else reads end to end. Watch the arithmetic pull it off.

公開鍵の数学は、会話のすべてのバイトに対して実行するには遅すぎるため、この1回の交換にのみ使用されます。セッションキーはプレーンな対称キーであり、同じ鍵が暗号化と復号化を行い、リクエストとレスポンス全体に対して安価に実行できます。それ以降、両側はそれを使用してすべてを双方向で暗号化します。

このチャネルを介して話されるHTTPはHTTPSであり、アドレスバーの南京錠はまさにこれ以上のものではありません。あなたとサーバーの間のマシンは、あなたがどのサーバーに、いつ、どれだけのデータが移動するかを見ることができますが、何が言われているかは見ることができません。あなたのパスワードとメッセージは、読み取り不能な敵対地域を横断します。そのため、Webはほぼ完全にHTTPSに移行し、ブラウザは現在プレーンHTTPを欠陥としてフラグ付けしています。ここに、保護するために存在する、暗号化されたリクエストとレスポンスで終わる、その全体の交換があります。

interactive TLS
the handshake

Before any HTTP request goes out, browser and server must agree on an encryption key over a wire anyone can read, starting from no shared secret. Watch how.

これを可能にするために、あなたのマシンから離れるバイトに実際に何が起こっているかに注目してください。各レイヤーは、その上のレイヤーを独自のヘッダーでラップし、到着時に自身のレイヤーのみをアンラップします。HTTPリクエストは、TLSレコード内、TCPセグメント内、IPパケット内、イーサネットまたはWi-Fiフレーム内、つまり1つの parcel が別の parcel の中に乗っています。そして、経路上のすべてのホップで、ルーターまたはスイッチは最も外側のラッパーにのみ触れます。前のシミュレーターが構築したネストをレイヤーごとに構築する下のシミュレーターは、そのネストをレイヤーごとに構築します。

interactive encapsulation
one header per layer

A request is wrapped in one header per layer, carried hop by hop, and unwrapped at the far end.

同じメカニズムを1レイヤー下に押し下げると、VPN(Virtual Private Network)が得られます。TLSが1つのアプリケーションのバイトストリームを暗号化するのに対し、VPNはIPパケット全体を暗号化し、それを新しいパケットでラップしてVPNサーバーに送信します。つまり、カプセル化が再び行われ、パケット全体が別のパケットのペイロードとして運ばれます。あなたのすべてのトラフィックは、そのサーバーを経由して迂回します。サーバーは各パケットをアンラップし、あたかもそこから発信されたかのように転送します。これが具体的に何を変えるかに注目してください。あなたのインターネットプロバイダーは、単一のアドレスへの暗号化されたトラフィックしか見なくなり、あなたが訪問するサイトはあなたの代わりにVPNサーバーのアドレスを見るようになります。しかし、VPNオペレーターは、あなたのプロバイダーが以前に持っていたビューを正確に引き継ぎます。VPNは絶対的な意味でセキュリティを追加するものではありません。信頼のポイントを再配置するため、サーバーを誰が実行しているかがマーケティングにおけるあらゆる暗号化主張よりも重要になります。

建設の元の目的は企業向けであり、現在もそうです。リモートラップトップがオフィスネットワークにトンネリングすると、あたかもデスクに接続されているかのように動作します。プライベートアドレスもすべてです。下のシミュレーターは、トンネルを介した1つのリクエストをトレースします。パス上の各当事者が実際に何を読み取れるかを見てください。

interactive VPN
a packet inside a packet

A VPN encrypts your entire packet and hides it inside a second packet addressed to the VPN server.

リンクをクリックしたときに実際に起こること

これらのプロトコルはすべて、ページをロードするたびに、基本的に変更されずに実行されます。1回のクリックをエンドツーエンドでトレースします。

  1. https://en.wikipedia.orgを指すリンクをクリックします。ブラウザはホスト名を抽出し、DNSにそのIPアドレスを問い合わせます。これは、近くのキャッシュからミリ秒単位で回答されるか、階層を歩くことによって回答されます。
  2. ブラウザは、そのアドレスのポート443でTCP接続を開きます。これは、信頼性のセクションと同じ3ウェイハンドシェイクであり、データが流れる前にバイト番号付けに同意する3つのセグメントです。
  3. TLSハンドシェイクがその接続上で実行され、証明書がチェックされ、セッションキーが合意されます。
  4. ブラウザは暗号化されたリクエストGET /wiki/Internetを送信します。
  5. HTMLの数百キロバイトの応答が、数十個のIPパケットとして返されます。それらは個別にルーティングされ、順序が狂ったり、時折失われたり再送信されたりする可能性があります。TCPによって正確なバイトストリームに再構築され、TLSによって復号化され、ブラウザによって解析および描画されます。

interactiverecap
one click, every layer

t = 0 ms1/7, the click

round trips 0, page 0 of 560 KB

You click a search result. This browser has never talked to en.wikipedia.org, nothing cached, no connection open, so every layer must run once.

インターネットの物理的な規模:Googleのマヤズ郡キャンパスは、巨大なホールの数万台のサーバーを収容しており、CERNのコンピューターセンターの上記と同様のサーバーラックの高密度な列に整理されています。このような施設内のどこかで、これらのマシンの1つがステップ4のリクエストを受信し、ステップ5でページを返します。(写真:Wikimedia Commons)

このチェーンは、導入で約束された診断でもあります。表示されないページがウェブサイトのせいなのか、それともローカルなものなのか。なぜなら、各ステップはそれ自身の認識可能な方法で失敗するからです。どのサイトでも何もロードされない場合、障害はステップ1の前、つまりWi-Fi、ルーター、またはプロバイダーのリンクにあります。そして、あなたが知っているアドレス(例:1.1.1.1)へのpingは、自分の壁を越えられるかどうかを1回の往復で教えてくれます。他のサイトは機能するが、この名前が解決しない場合、問題はDNS、古いキャッシュ、またはサイト自体のレコードです。名前は解決するが、ステップ2の接続がタイムアウトする場合、サーバーまたはそのサーバーへのネットワークがダウンしており、tracerouteはパケットが失われる前にどこまで到達するかを示します。フルページの証明書警告はステップ3の失敗です。証明書セクションからのチェーンクライムが信頼できるルートに到達することを拒否します。そして、すべてが成功し、応答が500で返された場合、あなたのリクエストは世界を無傷で横断しました。障害は最終的に、証明可能に、サーバー自体の中にあります。

ステップ1から3は純粋な往復であり、ページの1バイトも移動する前にレイテンシが支払われることに注意してください。そのため、高速接続でも開始が遅く感じられることがあります。そして、ステップ4のGETリクエストが、前のシミュレーターが構築したまさにそのネストに乗っていることに注意してください。HTTPがTLS内に、TLSがTCP内に、TCPがIP内に、IPがイーサネットまたはWi-Fiフレーム内に、到着時に1つのレイヤーずつアンラップされます。暗号化を剥がすと、その単一パケットのヘッダー、つまり生のバイトのシーケンスには、それを世界中に誘導するために必要なすべての指示が含まれています。

あなたとWikipediaの間のすべてのルーターは、IP行のみを読み取り、宛先アドレスをテーブルと照合し、転送します。これは、上記のルーティングテーブルの例とまったく同じです。バイト20以降は決して見ません。TCPの行はそれらには見えません。両端でのみ開かれます。TLSは、それらのヘッダーがラップされているペイロードを暗号化しますが、ヘッダー自体は暗号化しません。そのため、盗聴者はどのサーバーとどれだけのデータを見ることができるのです。HTTPSに関する前のポイントです。リクエストを見ることはできません。

テーブルをボトムアップで読むと、この記事の要約が得られます。各レイヤーは、下のレイヤーの特定の制限を隠すために存在します。リンクレイヤーは、共有ケーブルと混雑した電波の物理学を隠します。IPは、何千もの別々に所有されているネットワーク間の境界を隠します。TCPは、損失、重複、順序の乱れを隠します。TLSは、会話を盗聴者から隠します。HTTPは、リクエストとレスポンスの後ろにすべてを隠します。

この同じスタックは、異なる名前とより多くのボックスで説明されることもあります。OSIモデル、5つではなく7つのレイヤーです。1984年に国際標準化機構は、委員会によってベンダーニュートラルなネットワークアーキテクチャを定義するために着手しました。TCP/IPがすでに実際には勝利していましたが、物理層とデータリンク層(この記事では1つのリンクレイヤーを持っている場所)とセッション層、プレゼンテーション層、アプリケーション層(この記事では1つのアプリケーションレイヤーを持っている場所)に細かく分割しました。TCP/IPが最初にリリースされ、実際のインターネットを実行し、OSIの追加のセームを adopter しませんでした。OSIから生き残ったのはその語彙であり、そのアーキテクチャではありません。エンジニアは、スイッチングについては「レイヤー2」、ルーティングについては「レイヤー3」、HTTPヘッダーを読むファイアウォールのようなアプリケーション認識については「レイヤー7」と言い続けます。なぜなら、それらの番号はモデル自体が実際にはバイパスされた後、業界のショートハンドになったからです。

このレイヤリングは、インターネットが実行中に進化できる理由でもあります。各レイヤーは下のレイヤーのインターフェースにのみ依存するため、いずれかのレイヤーを他のレイヤーに触れることなく交換できます。物理リンクは、上のアプリケーションに変更を要求することなく、銅線から光ファイバー、またはワイヤーからWi-Fiにアップグレードできます。Webの最新プロトコルであるHTTP/3は、TCP自体を置き換え、UDPの上に信頼性と暗号化を再構築したQUIC(元々はQuick UDP Internet Connectionsの略でしたが、標準では名前として扱われます)と呼ばれるプロトコルを使用しました。そのための2つの特定のコストが正当化されました。どちらも、すでに見たものに見られます。まず、ブラウザは1つの接続を開き、それを介して数十のリクエストを多重化しますが、TCPの信頼性は単一の順序付けられたバイトストリームであるため、1つのパケット損失は、その接続上のすべてのリクエストを、欠落したバイトとは関係のないものさえも、停止させます。QUICは各リクエストに独自の独立して確認されたストリームを提供するため、損失はそれに属するストリームのみを停止させます。第二に、ステップ2のハンドシェイクとステップ3のTLSハンドシェイクは、1つずつ、つまり純粋なレイテンシの2つの往復が、最初のHTTPバイトが移動する前に実行されました。QUICは、トランスポートセットアップと暗号化を単一のハンドシェイクに折りたたみ、サーバーへの再訪時には、まったくゼロになります。また、TCPのように接続をIPおよびポートタプルにキーイングするのを停止するため、ダウンロード中にWi-Fiからセルラーに切り替わる電話でも生き残ります。これは、上記の3ウェイハンドシェイクでは、新しいIPは新しいタプルを意味し、TCPにとっては新しい接続を意味するため、実行する方法がありません。

下のシミュレーターは、3つの比較を順番に実行します。同じクライアントとサーバーで、最初に接続をセットアップし、次に3つの多重化されたリクエストのうち1つのパケットを失い、次にダウンロード中にネットワークを切り替えます。

interactive TCP + TLS vs QUIC

TCP + TLStwo protocols, stacked

TCP first: nothing moves until its handshake finishes, then TLS runs its own on top.

QUICone protocol over UDP

QUIC folds transport setup and encryption into a single handshake.

これらのいずれも誰かの許可を必要としませんでした。IPの唯一の約束は、ペイロードをポートに配信することです。ペイロードの中身については意見がなく、アプリケーションレイヤーが決して固定リストではなかったことを意味します。HTTPは単にドキュメントの閲覧で勝利したプロトコルです。両方のエンドポイントを制御する人は誰でも、既存のオプションが適合しない場合に、TCPまたはUDP上で独自のフレーミングを定義する自由があります。そして、多くの人がそうしてきました。SSHはリモートシェル用の独自のプロトコルを定義し、SMTPはメール用、MQTTはHTTPヘッダーを解析するには制約が大きすぎるIoTデバイス用に構築された意図的に非常に小さなパブリッシュ・サブスクライブプロトコルです。WebRTCは、2つのブラウザがサーバーを中継せずにUDP上で直接オーディオとビデオを交換できるようにします。そして、マルチプレイヤーゲームエンジンは、定期的にカスタムUDPプロトコルを記述します。これは、上記のトレードオフのように、古い位置更新を再送信するのではなく、破棄します。QUIC自体が最も明確な例です。Googleは最初にそれをChromeとGoogle自身のサーバー間でのみ実行される独自のプロトコルとして展開しました。通常のUDP上で、IETFがHTTP/3として標準化する何年も前です。インターネットのアーキテクチャを変更する必要はありませんでした。それはまさにポイントであり、同じ自由は、2台のマシンとソケットを持つ誰でも利用できます。

インターネットは、新しい要求とボトルネックによって絶えず変化しています。IPv4のアドレス空間は数年前に枯渇し、IPv6はまだ展開の途中でしかありません。なぜなら、誰もが依存している基盤を交換するのは非常に遅いからです。リアルタイムビデオ、クラウドゲーミング、リモートコラボレーションはレイテンシの限界を押し広げ続けています。そのため、低軌道衛星コンステレーションが現在、海底ケーブルとラウンドトリップ時間で競合しており、QUICの再設計が行われた理由でもあります。次のプロトコル、まだ誰も合意していないものは、今日実行されている何らかのアプリケーションが、新しいプロトコルと新しいトレードオフのセットでしか解決できない制限に苦しんでいるために存在するでしょう。