HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

予算内でStratum 1 PTPグランドマスターを構築する

Build a Stratum 1 PTP Grandmaster on a Budget (opscode.io)

7 pointsby malcolmfrazier1 コメント

要約

本記事では、数千ドルから数十万ドルする商用PTPグランドマスタークロックの代替として、Raspberry Pi CM4と安価なGPSモジュールを用いて、約103ドルの部品代でStratum 1 PTPグランドマスターを構築する手順と結果を詳述しています。これにより、ナノ秒単位の時間同期が必要な産業インフラストラクチャ向けに、低コストでPTPの仕組みを学ぶ方法を示しています。

全文翻訳

低予算でStratum 1 PTPグランドマスターを構築する: CM4 + SR1723U10 (パート1)

私はナノ秒単位の時間同期を必要とする産業インフラストラクチャで作業しています。この問題を解決する商用のGPS同期PTPグランドマスタークロックは、安価なものでも数千ドルから始まり、オプションやサポートを含めるとさらに高価になります。私のラボにはすでにCM4とCM4 IOボードがありました。OCP M.2 GNSSモジュールを備えたTimeHATを使用する方がクリーンなパスでしたが、約400ドルかかります。これは、PTPが実際にどのように機能するかを学ぶことが目的であり、本番環境のインフラストラクチャを展開することが目的ではない場合、高価です。このビルドは、新品の部品で約103ドルで済みました。

この記事では、私が構築したもの、壊れたもの、修正が必要だったもの、そして測定した結果を記録します。

PTPとは何か、そしてなぜ重要なのか

時間の精度にはスペクトラムがあります。

単位内容使用例
1秒 (s)時計の1ティック人間のスケジュール、cronジョブ
1ミリ秒 (ms)1秒を1,000分割Webブラウジング、ビデオストリーミング、ログのタイムスタンプ
1マイクロ秒 (µs)1秒を1,000,000分割高頻度取引、オーディオ/ビデオ同期、分散データベース
1ナノ秒 (ns)1秒を1,000,000,000分割航空宇宙計装、産業オートメーション、科学データ取得、このビルド

NTPは、Webサーバー、データベース、認証システム、および何かがいつ発生したかを知る必要があるが、マシン間でハードウェアイベントを調整する必要がないものには十分です。良好な参照を持つLAN上では、NTPは低マイクロ秒に達することができます。WAN上では、通常、低ミリ秒になります。上限はクライアントとサーバー間のネットワークパスジッターであり、あらゆる可変遅延がオフセット推定にノイズを追加します。

PTP (Precision Time Protocol, IEEE 1588) はナノ秒レベルを扱います。イーサネットPHYレイヤーでのハードウェアタイムスタンプにより、PTPはローカルネットワーク上で数十ナノ秒以内にクロックを同期できます。グランドマスタークロックはルートタイムソースです。GPS同期時間を取り込み、PTPプロトコルを介してクライアントに配布します。

1ナノ秒は、光が約30センチメートル(約1フィート)移動する時間です。このビルドの後、私のホームラボノードのクロックは、部屋を横切るのにかかる光の時間だけGPS真値からずれていました。

ハードウェア

コンポーネントメモコスト
Raspberry Pi CM4 (8GB/32GB eMMC)すでに所有N/A
CM4 IO Boardすでに所有N/A
SR1723U10 GPSモジュールu-blox M10ベース~$15
JEFA Tech U.FL - SMAピグテールアンテナ接続用~$8
Bingfu GPSアンテナアクティブ、SMA~$12
MOOKEERF SMAケーブル様々な長さ~$10
Waveshare CM4 IO Boardケース1Uアルミニウム~$25
ELEGOO Dupontジャンパーワイヤーキット配線用~$8
M2.5スタンドオフキット取り付けハードウェア~$8
12V 2A電源IOボード用~$12
CR2032バッテリーオンボードRTC用~$5
合計 (新品部品)~$103

CM4とIOボードはすでに手元にありました。

このビルド vs TimeHATパス:

このビルドTimeHATパス
コンピュートCM4 + IO Board (所有済み)Raspberry Pi 5 (~$80)
GPS統合SR1723U10 + 配線 (~$23)TimeHAT + OCP M.2 GNSSモジュール (~$395)
アンテナBingfu + ピグテール (~$20)同じアンテナが使用可能 (~$20)
オシレーター標準クリスタルTCXO (温度補償)
新規出費~$103~$475+

オシレーターの違いが重要です。TimeHATにはTCXOが含まれており、温度による周波数ドリフトを補償します。GPSホールドオーバー中、TCXOはボードが加熱または冷却されても周波数が安定しているため、標準クリスタルよりもはるかに正確に時間を保持します。CM4は温度補償のない標準クリスタルを使用します。このビルドは、10時間のホールドオーバーで15msのドリフトを保持しましたが、これはこのユースケースでは許容範囲でした。ホールドオーバー精度が重要な本番環境では、TCXOはそのコスト差に見合う価値があります。

TimeHATは、CM4のオンボードBCM54210PEではなくIntel i226 NICを使用し、適切なSMAコネクタを使用し、ジャンパーワイヤーを必要としません。ハードウェアをゼロから始める場合は、そのパスの方が簡単です。すでにCM4を持っていて、PHYレベルで何が起こっているかを理解したい場合は、このビルドでコストのほんの一部でそれが実現できます。

重要なハードウェアの事実: CM4はBCM54210PEイーサネットPHYを使用しており、IEEE 1588v2ハードウェアタイムスタンプを完全にサポートしています。これがCM4でサブマイクロ秒PTPを可能にする理由です。BCM54210PEは、パケットがカーネルネットワークスタックに到達する前に、PHYの内部のワイヤ上で直接パケットにタイムスタンプを付けます。これにより、カーネルスケジューリングや割り込み処理によるジッターが排除されます。

クライアント:

  • Turing Pi 2クラスタボード (RTL8370MB-CG+スイッチ)
  • RK1コンピューティングモジュール (Rockchip RK3588, Ubuntu 22.04)
  • CM4 (Ubuntu 24.04), k8s1ノード

Turing Pi 2には2つの外部RJ45ポートがあります。両方のポートは、4つのノードスロットと同じスイッチファブリックにブリッジされています。グランドマスターはge1 (2番目のRJ45ポート) に接続されています。RK1とCM4クライアントノードは内部ノードスロットにあります。5つすべてが同じRTL8370MB-CG+スイッチファブリック上にあるため、グランドマスターとクライアント間のPTPパケットは、ルーティングなしで単一のスイッチホップを通過します。

なぜUbuntu 24.04なのか

CM4は当初、Ubuntu 22.04とカーネル5.15.0-1093-raspiで実行されていました。BCM54210PEのPTPサポートは2022年にRaspberry Piカーネルツリーに追加され、その後メインラインLinuxにアップストリームされましたが、Ubuntu 22.04のraspiカーネルには含まれていませんでした。その結果、PHCデバイスもハードウェアタイムスタンプもありませんでした。

$ ethtool -T eth0
Time stamping parameters for eth0:
  Capabilities:
    software-transmit
    software-receive
    software-system-clock
  PTP Hardware Clock: none

$ ls /sys/class/ptp/
(empty)

/dev/ptp0なしでは、SatPulseは調整するハードウェアクロックを持ちません。GPSからネットワークタイムへのパスはありません。

また、二次的な問題がありました。Ubuntu 22.04のcmdline.txtにはconsole=ttyAMA0,115200が含まれており、カーネルコンソールをGPSモジュールが使用するのと同じUARTにアタッチしていました。これにより、dmesgで継続的な入力オーバーランが発生し、GPSポートからゴミのような出力が発生しました。

Ubuntu 24.04とカーネル6.8.0-raspiにアップグレードすることで、両方の問題が解決しました。

$ ethtool -T eth0
Time stamping parameters for eth0:
  Capabilities:
    hardware-transmit
    hardware-receive
    hardware-raw-clock
  PTP Hardware Clock: 0

$ ls /sys/class/ptp/
ptp0

配線

SR1723U10は、5本のDupontワイヤーを介してCM4 IO Boardに接続されます。4本は電源とシリアルUARTを運びます。5本目はPPS信号をJ2ヘッダーに運びます。

SR1723U10ピン色CM4 IO Board
VCC赤40ピンピン1 (3.3V)
GND茶40ピンピン6
TXオレンジ40ピンピン10 (RXD0)
RX黄40ピンピン8 (TXD0)
PPS緑J2ヘッダーピン9 (SYNC_OUT)

J2ヘッダーは、CM4 IO Boardのイーサネットジャック近くにある小さな10ピンヘッダーです。ピン9はSYNC_OUTとラベル付けされており、BCM54210PE PHYの外部タイムスタンプ入力に接続されます。これがGPSパルス毎秒信号がハードウェアクロックに入る方法です。

OSセットアップ

/boot/firmware/config.txtに追加します。

dtoverlay=disable-bt
enable_uart=1
dtoverlay=i2c-rtc,pcf85063a,i2c_csi_dsi

最初の2行はBluetoothを無効にし、/dev/ttyAMA0をGPIOヘッダーに接続して、GPSモジュールがCM4と通信できるようにします。3番目の行は、CM4 IO Boardの正しいI2CバスでオンボードPCF85063Aリアルタイムクロックを有効にします。

/boot/firmware/cmdline.txtからシリアルコンソールを削除します。

# Remove this portion from cmdline.txt:
console=ttyAMA0,115200

Bluetoothサービスを無効にします。dtoverlay=disable-btオーバーレイはBluetoothをUARTハードウェアから切断しますが、hciuartサービスは引き続き初期化を試み、干渉する可能性があります。

sudo systemctl disable hciuart

再起動後、GPSモジュールが38400ボーでNMEAを出力していることを確認します。

(stty 38400 -echo -icrnl; cat) </dev/ttyAMA0 | head -10

$GNRMC、$GNGGAなどの行で始まるはずです。SR1723U10は、多くのガイドが想定する9600ボーではなく、デフォルトで38400ボーです。

ソフトウェアスタック

スタックはSatPulse + ptp4l + chronyです。SatPulseはjclarkによって書かれたデーモンで、GPSモジュール、PHC、ptp4l、chronyを連携させます。UBXプロトコルを介したGPS設定、PHCからのPPSタイムスタンプの読み取り、PHC周波数の調整、SOCK refclockを介したchronyへのサンプル供給を行います。

GitHubのリリースページ (arm64 .deb) からSatPulseをインストールします。

wget https://github.com/jclark/satpulse/releases/download/v0.3.0/satpulse_0.3.0_arm64.deb
sudo dpkg -i satpulse_0.3.0_arm64.deb

/etc/satpulse.tomlでSatPulseを設定します。

[phc]
interface = "eth0"

[serial]
speed = 38400

[gps]
config = true

[ntp]
sock.path = "/var/run/chrony.satpulse.sock"

[ptp]
ptp4l.udsAddress = "/var/run/ptp4l"

linuxptpをインストールし、/etc/linuxptp/ptp4l.confでptp4lをグランドマスターとして設定します。

[global]
masterOnly 1
tx_timestamp_timeout 100
ptp_minor_version 0

[eth0]

SatPulseのptp4lサービスファイルをコピーします。

sudo cp /usr/share/doc/satpulse/ptp4l.service /etc/systemd/system/ptp4l.service
sudo systemctl daemon-reload
sudo systemctl enable --now ptp4l

/etc/chrony/conf.d/satpulse.confでchronyを設定します。

refclockSOCK /var/run/chrony.satpulse.sock poll 2 filter 4 refid GNSS

クライアントがグランドマスターをNTPサーバーとして使用できるように、/etc/chrony/chrony.confにallowディレクティブを追加します。

allow 192.168.0.0/24
log tracking measurements statistics

chronyを再起動します。

sudo systemctl restart chrony

SatPulseを有効にして開始します。

sudo systemctl enable --now satpulse@ttyAMA0

バグと注意点

ここからが面白くなるところです。

BCM54210PE SYNC_OUTピンのバグ

システムが起動するたびに、BCM54210PEドライバーはSYNC_OUTピンをデフォルトで出力モード (1 0) として初期化しますが、入力モード (0 1) であるべきです。SatPulseは再設定を試みますが、サイレントに失敗します。結果としてno PTP hardware clock external timestamps being receivedとなり、グランドマスターは完全に機能しなくなります。

診断方法:

cat /sys/class/ptp/ptp0/pins/SYNC_OUT
# "1 0" はピンが出力モードで固定されていることを意味します

sudo satpulsetool sdp -i --pin 0 eth0
# "no timestamps received" はPHCがPPSを受信していないことを意味します

SatPulseが開始される前にピンを正しい状態に強制することで修正します。/etc/systemd/system/satpulse@.service.d/override.confを作成します。

[Unit]
After=chrony.service ptp4l.service
Requires=chrony.service

[Service]
ExecStartPre=/bin/sh -c 'sleep 5 && echo 1 0 > /sys/class/ptp/ptp0/pins/SYNC_OUT && sleep 1 && echo 0 1 > /sys/class/ptp/ptp0/pins/SYNC_OUT'

出力から入力への切り替えは、ドライバーにピンの状態を正しくリセットさせます。sleep 5は、SatPulseがソケットに接続する前にchronyとptp4lが起動を完了する時間を与えます。

RTCが有効になっていなかった

CM4 IO Boardにはバッテリーホルダー付きのPCF85063A RTCがあります。config.txtにdtoverlay=i2c-rtc,pcf85063a,i2c_csi_dsiがないと、カーネルはそのRTCの存在を知りません。再起動ごとにクロックは再起動前の最後の既知時刻にリセットされ、あるケースでは現在の時刻より数週間遅れていました。その後Chronyはその量だけクロックをステップしました。SatPulseは、受信していたPPSタイムスタンプがシステムクロックより数週間進んでいたため失敗しました。

オーバーレイを追加した後、RTCをシステム時刻に設定します。

sudo hwclock --systohc

次の再起動後、保持されていることを確認します。

date
sudo hwclock --show
# 両方とも現在の時刻とほぼ同じ時刻を示すはずです
サービス順序が重要

明示的な順序付けがない場合、SatPulseはchronyまたはptp4lがUnixソケットを作成する前に開始される可能性があります。上記のオーバーライドファイル内のAfterおよびRequiresディレクティブがこれを処理します。

クライアント設定

各クライアントにlinuxptpをインストールします。Ubuntu 24.04はパッケージを提供しますが、システムdサービスファイルは含まれていません。/etc/systemd/system/ptp4l.serviceを作成します。

[Unit]
Description=Precision Time Protocol (PTP) service
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
ExecStart=/usr/sbin/ptp4l -f /etc/linuxptp/ptp4l.conf
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

CM4クライアント (linuxptp 4, Ubuntu 24.04) /etc/linuxptp/ptp4l.confにて:

[global]
clientOnly 1
tx_timestamp_timeout 200
ptp_minor_version 0

[eth0]

RK1クライアント (linuxptp 3, Ubuntu 22.04) /etc/linuxptp/ptp4l.confにて:

[global]
slaveOnly 1
tx_timestamp_timeout 100

[eth0]

両方のクライアントで/etc/chrony/conf.d/ptp.confでchronyを設定します。

refclock PHC /dev/ptp0 poll 0 dpoll -2 tai refid PTP

taiキーワードは、PHCがTAIタイムスケールであることをchronyに伝え、37秒のUTCオフセットを自動的に適用します。

比較のためにグランドマスターをNTPソースとして追加します。

server 192.168.0.6 iburst minpoll 0 maxpoll 4

大きなオフセットの後にchronyが即座にクロックをステップさせるのではなく、ゆっくりとスルーさせるためにmakestepを更新します。

makestep 1 -1

結果

グランドマスターの精度

すべてが機能している場合、SatPulseのサマリーは次のようになります。

satpulsed: summary: absOffMax=18 absOffMean=6.4 offRMS=7.8 freqMean=3533 nMissing=0 nOutliers=0

グランドマスターPHCは、GPS真値から平均18ナノ秒以内、平均オフセット6ナノ秒です。

3方向タイミング比較

グランドマスターがPTPとNTPの両方をサービスする場合、クライアントは3つの階層すべてを同時に見ることができます。

ソースオフセット不確かさ
PTP、ハードウェアタイムスタンプ3–4 ns±66–291 ns
LAN NTP、このグランドマスターから+31~+108 µs±79–172 µs
WAN NTP、パブリックプール+1~+3 ms±40–82 ms

グランドマスターは、3つすべてをサービスする同じ物理マシンです。違いは、時間の配信と測定方法に完全にあります。+/-値はchronyによって報告される不確かさの範囲です。真のオフセットがその範囲内にある可能性が高いです。PTPはワイヤ上のPHYでハードウェアタイムスタンプを使用します。LAN NTPはカーネル内のソフトウェアタイムスタンプを使用するため、カーネルスケジューリングと割り込み処理からのジッターを拾います。WAN NTPはそれにネットワークパスジッターを追加します。

各階層は、その上の階層よりも約1000倍悪いです。

クライアント比較: CM4 vs RK1

CM4クライアント (k8s1) は一貫して+/-66nsの不確かさを達成します。RK1は+/-291nsを達成します。どちらも良い結果ですが、4倍のギャップがあります。

CM4クライアントは、グランドマスターと同じBCM54210PE PHYを使用しています。PHYレイヤー、つまりワイヤ上でタイムスタンプを付けます。RK1はRockchip GMACと異なるPHC実装を使用しています。タイムスタンプは、PHYレイヤーではなくMACレイヤーで行われ、ワイヤから1ステップ離れています。パケットがシリコンに到達してからタイムスタンプがキャプチャされるまでの各追加ステージは、ジッターを追加します。RK1の+/-291nsのフロアはそれを反映しています。

#* PTP   0   0   377   1    -3ns[  -4ns] +/-  291ns   <- RK1
#* PTP   0   0   252   2    +3ns[  +3ns] +/-   66ns   <- k8s1 (CM4)
トポロジーが重要

TP-Link AXE5400コンシューマー ルーターに接続されたグランドマスター vs Turing Piスイッチに直接接続された場合。

[画像: TP-Link AXE5400コンシューマー ルーター経由のPTPオフセット:マイクロ秒スケールのノイズ]

コンシューマー ルーター経由:

ptp4l: master offset    -16580 s2 path delay    469541
ptp4l: master offset   -178615 s2 path delay    485331
ptp4l: master offset    246261 s2 path delay    485331

パス遅延は約480マイクロ秒、オフセットは+/-700マイクロ秒で変動します。

Turing Piスイッチへ直接:

ptp4l: master offset        -13 s2 path delay      2615
ptp4l: master offset        127 s2 path delay      2607
ptp4l: master offset        -14 s2 path delay      2615

パス遅延は約2.6マイクロ秒、オフセットは+/-130ナノ秒以内です。

コンシューマー ルーターを取り除くことで、パス遅延が180倍改善されました。コンシューマー ルーターは、可変で予測不可能な遅延を持つソフトウェアキューを介してパケットをバッファリングします。その変動性はPTPパス遅延計算に直接入り込み、オフセット推定を低下させます。Turing Piスイッチは、一貫した遅延でハードウェア速度でトラフィックを転送します。

ホールドオーバーテスト

GPSアンテナを10時間、一晩中切断しました。GPS入力がないと、SatPulseはホールドオーバーに入り、グランドマスターはCM4のローカルクリスタルリファレンスのみで実行されます。clockClassは6 (GPSロック済み) から52 (ホールドオーバー) に変わります。

[画像: ホールドオーバーテスト:GPSアンテナ切断、clockClass=52、同期外]

GMクロックは10時間で最大約15msのエラーにドリフトしました。より興味深い結果はクライアントにありました。

#* PTP   0   0   377   0   +4ns[  +26ns] +/-  291ns   <- 10時間ホールドオーバー後のRK1
#* PTP   0   0   110   4  -118ns[ -168ns] +/-  205ns   <- 10時間ホールドオーバー後のk8s1

両方のクライアントは、この間ずっとPTPに接続されたままでした。どちらもWAN NTPにフォールバックしませんでした。クリスタルリファレンスは、chronyがPTPソースを放棄する理由を認識しない程度によく保持されました。

[画像: 10時間後:まだホールドオーバー中、クライアントはまだPTPに接続]

私のユースケースではこれで十分です。長時間の障害や停電にわたる保証されたホールドオーバー精度が必要な場合は、TCXOまたはOCXOを備えたハードウェアが必要ですが、このビルドにはどちらも含まれていません。

モニタリング

PrometheusとGrafanaをセットアップして、3台のマシンすべてのデータをキャプチャしました。スタックには、グランドマスターと両方のクライアントにnode_exporterとchrony_exporterが含まれ、さらにグランドマスターにはjournald出力を解析してPHCオフセット、同期ステータス、clockClass、欠落サンプル数をPrometheusメトリックとして公開するカスタムsatpulse exporterが含まれます。

監視すべき主要なメトリック:

  • satpulse_sync_status、1=GPSロック済み、0=ホールドオーバー
  • satpulse_clock_class、6=GPSロック済み、52=ホールドオーバー
  • satpulse_offset_max_nanoseconds、過去30秒ウィンドウでの最悪ケースPHCオフセット
  • chrony_tracking_last_offset_seconds、参照からのシステムクロックオフセット
  • node_timex_sync_status、カーネル同期フラグ、障害中に0にドロップ

[画像: PTPタイミングダッシュボード:すべて緑、GPSロック済み、クライアント同期済み]

光速の sanity check

光は約1ナノ秒あたり30センチメートル移動します。

グランドマスターPHCは、平均してGPS真値から7ナノ秒以内です。これは、光が約2メートル移動するのにかかる時間です。

CM4クライアントシステムクロックは、GPS真値から3〜10ナノ秒以内です。これは、小さな部屋を横切るのにかかる光の時間です。

ビルド

完成したグランドマスターは、Waveshare CM4-IO-BOARD-CASE-Aアルミニウムエンクロージャーに収まります。SMAアンテナコネクタはトップパネルから出ます。5本のDupontワイヤーがSR1723U10 GPSモジュールを40ピンヘッダーと内部のJ2ヘッダーに接続します。

[画像: ケース蓋を取り外した状態:IOボード、配線、ファンが見える]

ケースの蓋はファンを保持し、SMAバルクヘッドコネクタ用の切り欠きがあります。Dupontワイヤーはボード上のGPSモジュールからケースを通り、J2ヘッダーまで伸びています。

[画像: CM4 IOボードのクローズアップ:GPS配線、ヒートシンク、RTCバッテリー、およびすべてのコネクタにラベルが付いている]

GPSモジュールは、左上の40ピンヘッダーの近くに配置されています。PPS信号を運ぶ緑色のワイヤーは、イーサネットジャック近くのJ2ヘッダーに接続されています。PCF85063A RTCバッテリーホルダーは左下にCR2032が取り付けられた状態で表示されています。

[画像: 組立済みのグランドマスター:Waveshare CM4-IO-BOARD-CASE-A、トップにGPS SMAコネクタ付き]

トップパネルのSMAバルクヘッドは、内部に配線されたJEFA Tech U.FL - SMAピグテールを介してBingfuアクティブGPSアンテナに接続されます。エンクロージャーの寸法は160mm x 100mm x 40mmです。

参考文献