予算内でStratum 1 PTPグランドマスターを構築する
Build a Stratum 1 PTP Grandmaster on a Budget (opscode.io)
要約
本記事では、数千ドルから数十万ドルする商用PTPグランドマスタークロックの代替として、Raspberry Pi CM4と安価なGPSモジュールを用いて、約103ドルの部品代でStratum 1 PTPグランドマスターを構築する手順と結果を詳述しています。これにより、ナノ秒単位の時間同期が必要な産業インフラストラクチャ向けに、低コストでPTPの仕組みを学ぶ方法を示しています。
全文翻訳
低予算でStratum 1 PTPグランドマスターを構築する: CM4 + SR1723U10 (パート1)
私はナノ秒単位の時間同期を必要とする産業インフラストラクチャで作業しています。この問題を解決する商用のGPS同期PTPグランドマスタークロックは、安価なものでも数千ドルから始まり、オプションやサポートを含めるとさらに高価になります。私のラボにはすでにCM4とCM4 IOボードがありました。OCP M.2 GNSSモジュールを備えたTimeHATを使用する方がクリーンなパスでしたが、約400ドルかかります。これは、PTPが実際にどのように機能するかを学ぶことが目的であり、本番環境のインフラストラクチャを展開することが目的ではない場合、高価です。このビルドは、新品の部品で約103ドルで済みました。
この記事では、私が構築したもの、壊れたもの、修正が必要だったもの、そして測定した結果を記録します。
PTPとは何か、そしてなぜ重要なのか
時間の精度にはスペクトラムがあります。
| 単位 | 内容 | 使用例 |
|---|---|---|
| 1秒 (s) | 時計の1ティック | 人間のスケジュール、cronジョブ |
| 1ミリ秒 (ms) | 1秒を1,000分割 | Webブラウジング、ビデオストリーミング、ログのタイムスタンプ |
| 1マイクロ秒 (µs) | 1秒を1,000,000分割 | 高頻度取引、オーディオ/ビデオ同期、分散データベース |
| 1ナノ秒 (ns) | 1秒を1,000,000,000分割 | 航空宇宙計装、産業オートメーション、科学データ取得、このビルド |
NTPは、Webサーバー、データベース、認証システム、および何かがいつ発生したかを知る必要があるが、マシン間でハードウェアイベントを調整する必要がないものには十分です。良好な参照を持つLAN上では、NTPは低マイクロ秒に達することができます。WAN上では、通常、低ミリ秒になります。上限はクライアントとサーバー間のネットワークパスジッターであり、あらゆる可変遅延がオフセット推定にノイズを追加します。
PTP (Precision Time Protocol, IEEE 1588) はナノ秒レベルを扱います。イーサネットPHYレイヤーでのハードウェアタイムスタンプにより、PTPはローカルネットワーク上で数十ナノ秒以内にクロックを同期できます。グランドマスタークロックはルートタイムソースです。GPS同期時間を取り込み、PTPプロトコルを介してクライアントに配布します。
1ナノ秒は、光が約30センチメートル(約1フィート)移動する時間です。このビルドの後、私のホームラボノードのクロックは、部屋を横切るのにかかる光の時間だけGPS真値からずれていました。
ハードウェア
| コンポーネント | メモ | コスト |
|---|---|---|
| Raspberry Pi CM4 (8GB/32GB eMMC) | すでに所有 | N/A |
| CM4 IO Board | すでに所有 | N/A |
| SR1723U10 GPSモジュール | u-blox M10ベース | ~$15 |
| JEFA Tech U.FL - SMAピグテール | アンテナ接続用 | ~$8 |
| Bingfu GPSアンテナ | アクティブ、SMA | ~$12 |
| MOOKEERF SMAケーブル | 様々な長さ | ~$10 |
| Waveshare CM4 IO Boardケース | 1Uアルミニウム | ~$25 |
| ELEGOO Dupontジャンパーワイヤーキット | 配線用 | ~$8 |
| M2.5スタンドオフキット | 取り付けハードウェア | ~$8 |
| 12V 2A電源 | IOボード用 | ~$12 |
| CR2032バッテリー | オンボードRTC用 | ~$5 |
| 合計 (新品部品) | ~$103 |
CM4とIOボードはすでに手元にありました。
このビルド vs TimeHATパス:
| このビルド | TimeHATパス | |
|---|---|---|
| コンピュート | CM4 + IO Board (所有済み) | Raspberry Pi 5 (~$80) |
| GPS統合 | SR1723U10 + 配線 (~$23) | TimeHAT + OCP M.2 GNSSモジュール (~$395) |
| アンテナ | Bingfu + ピグテール (~$20) | 同じアンテナが使用可能 (~$20) |
| オシレーター | 標準クリスタル | TCXO (温度補償) |
| 新規出費 | ~$103 | ~$475+ |
オシレーターの違いが重要です。TimeHATにはTCXOが含まれており、温度による周波数ドリフトを補償します。GPSホールドオーバー中、TCXOはボードが加熱または冷却されても周波数が安定しているため、標準クリスタルよりもはるかに正確に時間を保持します。CM4は温度補償のない標準クリスタルを使用します。このビルドは、10時間のホールドオーバーで15msのドリフトを保持しましたが、これはこのユースケースでは許容範囲でした。ホールドオーバー精度が重要な本番環境では、TCXOはそのコスト差に見合う価値があります。
TimeHATは、CM4のオンボードBCM54210PEではなくIntel i226 NICを使用し、適切なSMAコネクタを使用し、ジャンパーワイヤーを必要としません。ハードウェアをゼロから始める場合は、そのパスの方が簡単です。すでにCM4を持っていて、PHYレベルで何が起こっているかを理解したい場合は、このビルドでコストのほんの一部でそれが実現できます。
重要なハードウェアの事実: CM4はBCM54210PEイーサネットPHYを使用しており、IEEE 1588v2ハードウェアタイムスタンプを完全にサポートしています。これがCM4でサブマイクロ秒PTPを可能にする理由です。BCM54210PEは、パケットがカーネルネットワークスタックに到達する前に、PHYの内部のワイヤ上で直接パケットにタイムスタンプを付けます。これにより、カーネルスケジューリングや割り込み処理によるジッターが排除されます。
クライアント:
- Turing Pi 2クラスタボード (RTL8370MB-CG+スイッチ)
- RK1コンピューティングモジュール (Rockchip RK3588, Ubuntu 22.04)
- CM4 (Ubuntu 24.04), k8s1ノード
Turing Pi 2には2つの外部RJ45ポートがあります。両方のポートは、4つのノードスロットと同じスイッチファブリックにブリッジされています。グランドマスターはge1 (2番目のRJ45ポート) に接続されています。RK1とCM4クライアントノードは内部ノードスロットにあります。5つすべてが同じRTL8370MB-CG+スイッチファブリック上にあるため、グランドマスターとクライアント間のPTPパケットは、ルーティングなしで単一のスイッチホップを通過します。
なぜUbuntu 24.04なのか
CM4は当初、Ubuntu 22.04とカーネル5.15.0-1093-raspiで実行されていました。BCM54210PEのPTPサポートは2022年にRaspberry Piカーネルツリーに追加され、その後メインラインLinuxにアップストリームされましたが、Ubuntu 22.04のraspiカーネルには含まれていませんでした。その結果、PHCデバイスもハードウェアタイムスタンプもありませんでした。
$ ethtool -T eth0
Time stamping parameters for eth0:
Capabilities:
software-transmit
software-receive
software-system-clock
PTP Hardware Clock: none
$ ls /sys/class/ptp/
(empty)
/dev/ptp0なしでは、SatPulseは調整するハードウェアクロックを持ちません。GPSからネットワークタイムへのパスはありません。
また、二次的な問題がありました。Ubuntu 22.04のcmdline.txtにはconsole=ttyAMA0,115200が含まれており、カーネルコンソールをGPSモジュールが使用するのと同じUARTにアタッチしていました。これにより、dmesgで継続的な入力オーバーランが発生し、GPSポートからゴミのような出力が発生しました。
Ubuntu 24.04とカーネル6.8.0-raspiにアップグレードすることで、両方の問題が解決しました。
$ ethtool -T eth0
Time stamping parameters for eth0:
Capabilities:
hardware-transmit
hardware-receive
hardware-raw-clock
PTP Hardware Clock: 0
$ ls /sys/class/ptp/
ptp0
配線
SR1723U10は、5本のDupontワイヤーを介してCM4 IO Boardに接続されます。4本は電源とシリアルUARTを運びます。5本目はPPS信号をJ2ヘッダーに運びます。
| SR1723U10ピン | 色 | CM4 IO Board |
|---|---|---|
| VCC | 赤 | 40ピンピン1 (3.3V) |
| GND | 茶 | 40ピンピン6 |
| TX | オレンジ | 40ピンピン10 (RXD0) |
| RX | 黄 | 40ピンピン8 (TXD0) |
| PPS | 緑 | J2ヘッダーピン9 (SYNC_OUT) |
J2ヘッダーは、CM4 IO Boardのイーサネットジャック近くにある小さな10ピンヘッダーです。ピン9はSYNC_OUTとラベル付けされており、BCM54210PE PHYの外部タイムスタンプ入力に接続されます。これがGPSパルス毎秒信号がハードウェアクロックに入る方法です。
OSセットアップ
/boot/firmware/config.txtに追加します。
dtoverlay=disable-bt
enable_uart=1
dtoverlay=i2c-rtc,pcf85063a,i2c_csi_dsi
最初の2行はBluetoothを無効にし、/dev/ttyAMA0をGPIOヘッダーに接続して、GPSモジュールがCM4と通信できるようにします。3番目の行は、CM4 IO Boardの正しいI2CバスでオンボードPCF85063Aリアルタイムクロックを有効にします。
/boot/firmware/cmdline.txtからシリアルコンソールを削除します。
# Remove this portion from cmdline.txt:
console=ttyAMA0,115200
Bluetoothサービスを無効にします。dtoverlay=disable-btオーバーレイはBluetoothをUARTハードウェアから切断しますが、hciuartサービスは引き続き初期化を試み、干渉する可能性があります。
sudo systemctl disable hciuart
再起動後、GPSモジュールが38400ボーでNMEAを出力していることを確認します。
(stty 38400 -echo -icrnl; cat) </dev/ttyAMA0 | head -10
$GNRMC、$GNGGAなどの行で始まるはずです。SR1723U10は、多くのガイドが想定する9600ボーではなく、デフォルトで38400ボーです。
ソフトウェアスタック
スタックはSatPulse + ptp4l + chronyです。SatPulseはjclarkによって書かれたデーモンで、GPSモジュール、PHC、ptp4l、chronyを連携させます。UBXプロトコルを介したGPS設定、PHCからのPPSタイムスタンプの読み取り、PHC周波数の調整、SOCK refclockを介したchronyへのサンプル供給を行います。
GitHubのリリースページ (arm64 .deb) からSatPulseをインストールします。
wget https://github.com/jclark/satpulse/releases/download/v0.3.0/satpulse_0.3.0_arm64.deb
sudo dpkg -i satpulse_0.3.0_arm64.deb
/etc/satpulse.tomlでSatPulseを設定します。
[phc]
interface = "eth0"
[serial]
speed = 38400
[gps]
config = true
[ntp]
sock.path = "/var/run/chrony.satpulse.sock"
[ptp]
ptp4l.udsAddress = "/var/run/ptp4l"
linuxptpをインストールし、/etc/linuxptp/ptp4l.confでptp4lをグランドマスターとして設定します。
[global]
masterOnly 1
tx_timestamp_timeout 100
ptp_minor_version 0
[eth0]
SatPulseのptp4lサービスファイルをコピーします。
sudo cp /usr/share/doc/satpulse/ptp4l.service /etc/systemd/system/ptp4l.service
sudo systemctl daemon-reload
sudo systemctl enable --now ptp4l
/etc/chrony/conf.d/satpulse.confでchronyを設定します。
refclockSOCK /var/run/chrony.satpulse.sock poll 2 filter 4 refid GNSS
クライアントがグランドマスターをNTPサーバーとして使用できるように、/etc/chrony/chrony.confにallowディレクティブを追加します。
allow 192.168.0.0/24
log tracking measurements statistics
chronyを再起動します。
sudo systemctl restart chrony
SatPulseを有効にして開始します。
sudo systemctl enable --now satpulse@ttyAMA0
バグと注意点
ここからが面白くなるところです。
BCM54210PE SYNC_OUTピンのバグ
システムが起動するたびに、BCM54210PEドライバーはSYNC_OUTピンをデフォルトで出力モード (1 0) として初期化しますが、入力モード (0 1) であるべきです。SatPulseは再設定を試みますが、サイレントに失敗します。結果としてno PTP hardware clock external timestamps being receivedとなり、グランドマスターは完全に機能しなくなります。
診断方法:
cat /sys/class/ptp/ptp0/pins/SYNC_OUT
# "1 0" はピンが出力モードで固定されていることを意味します
sudo satpulsetool sdp -i --pin 0 eth0
# "no timestamps received" はPHCがPPSを受信していないことを意味します
SatPulseが開始される前にピンを正しい状態に強制することで修正します。/etc/systemd/system/satpulse@.service.d/override.confを作成します。
[Unit]
After=chrony.service ptp4l.service
Requires=chrony.service
[Service]
ExecStartPre=/bin/sh -c 'sleep 5 && echo 1 0 > /sys/class/ptp/ptp0/pins/SYNC_OUT && sleep 1 && echo 0 1 > /sys/class/ptp/ptp0/pins/SYNC_OUT'
出力から入力への切り替えは、ドライバーにピンの状態を正しくリセットさせます。sleep 5は、SatPulseがソケットに接続する前にchronyとptp4lが起動を完了する時間を与えます。
RTCが有効になっていなかった
CM4 IO Boardにはバッテリーホルダー付きのPCF85063A RTCがあります。config.txtにdtoverlay=i2c-rtc,pcf85063a,i2c_csi_dsiがないと、カーネルはそのRTCの存在を知りません。再起動ごとにクロックは再起動前の最後の既知時刻にリセットされ、あるケースでは現在の時刻より数週間遅れていました。その後Chronyはその量だけクロックをステップしました。SatPulseは、受信していたPPSタイムスタンプがシステムクロックより数週間進んでいたため失敗しました。
オーバーレイを追加した後、RTCをシステム時刻に設定します。
sudo hwclock --systohc
次の再起動後、保持されていることを確認します。
date
sudo hwclock --show
# 両方とも現在の時刻とほぼ同じ時刻を示すはずです
サービス順序が重要
明示的な順序付けがない場合、SatPulseはchronyまたはptp4lがUnixソケットを作成する前に開始される可能性があります。上記のオーバーライドファイル内のAfterおよびRequiresディレクティブがこれを処理します。
クライアント設定
各クライアントにlinuxptpをインストールします。Ubuntu 24.04はパッケージを提供しますが、システムdサービスファイルは含まれていません。/etc/systemd/system/ptp4l.serviceを作成します。
[Unit]
Description=Precision Time Protocol (PTP) service
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
ExecStart=/usr/sbin/ptp4l -f /etc/linuxptp/ptp4l.conf
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target
CM4クライアント (linuxptp 4, Ubuntu 24.04) /etc/linuxptp/ptp4l.confにて:
[global]
clientOnly 1
tx_timestamp_timeout 200
ptp_minor_version 0
[eth0]
RK1クライアント (linuxptp 3, Ubuntu 22.04) /etc/linuxptp/ptp4l.confにて:
[global]
slaveOnly 1
tx_timestamp_timeout 100
[eth0]
両方のクライアントで/etc/chrony/conf.d/ptp.confでchronyを設定します。
refclock PHC /dev/ptp0 poll 0 dpoll -2 tai refid PTP
taiキーワードは、PHCがTAIタイムスケールであることをchronyに伝え、37秒のUTCオフセットを自動的に適用します。
比較のためにグランドマスターをNTPソースとして追加します。
server 192.168.0.6 iburst minpoll 0 maxpoll 4
大きなオフセットの後にchronyが即座にクロックをステップさせるのではなく、ゆっくりとスルーさせるためにmakestepを更新します。
makestep 1 -1
結果
グランドマスターの精度
すべてが機能している場合、SatPulseのサマリーは次のようになります。
satpulsed: summary: absOffMax=18 absOffMean=6.4 offRMS=7.8 freqMean=3533 nMissing=0 nOutliers=0
グランドマスターPHCは、GPS真値から平均18ナノ秒以内、平均オフセット6ナノ秒です。
3方向タイミング比較
グランドマスターがPTPとNTPの両方をサービスする場合、クライアントは3つの階層すべてを同時に見ることができます。
| ソース | オフセット | 不確かさ |
|---|---|---|
| PTP、ハードウェアタイムスタンプ | 3–4 ns | ±66–291 ns |
| LAN NTP、このグランドマスターから | +31~+108 µs | ±79–172 µs |
| WAN NTP、パブリックプール | +1~+3 ms | ±40–82 ms |
グランドマスターは、3つすべてをサービスする同じ物理マシンです。違いは、時間の配信と測定方法に完全にあります。+/-値はchronyによって報告される不確かさの範囲です。真のオフセットがその範囲内にある可能性が高いです。PTPはワイヤ上のPHYでハードウェアタイムスタンプを使用します。LAN NTPはカーネル内のソフトウェアタイムスタンプを使用するため、カーネルスケジューリングと割り込み処理からのジッターを拾います。WAN NTPはそれにネットワークパスジッターを追加します。
各階層は、その上の階層よりも約1000倍悪いです。
クライアント比較: CM4 vs RK1
CM4クライアント (k8s1) は一貫して+/-66nsの不確かさを達成します。RK1は+/-291nsを達成します。どちらも良い結果ですが、4倍のギャップがあります。
CM4クライアントは、グランドマスターと同じBCM54210PE PHYを使用しています。PHYレイヤー、つまりワイヤ上でタイムスタンプを付けます。RK1はRockchip GMACと異なるPHC実装を使用しています。タイムスタンプは、PHYレイヤーではなくMACレイヤーで行われ、ワイヤから1ステップ離れています。パケットがシリコンに到達してからタイムスタンプがキャプチャされるまでの各追加ステージは、ジッターを追加します。RK1の+/-291nsのフロアはそれを反映しています。
#* PTP 0 0 377 1 -3ns[ -4ns] +/- 291ns <- RK1
#* PTP 0 0 252 2 +3ns[ +3ns] +/- 66ns <- k8s1 (CM4)
トポロジーが重要
TP-Link AXE5400コンシューマー ルーターに接続されたグランドマスター vs Turing Piスイッチに直接接続された場合。
[画像: TP-Link AXE5400コンシューマー ルーター経由のPTPオフセット:マイクロ秒スケールのノイズ]
コンシューマー ルーター経由:
ptp4l: master offset -16580 s2 path delay 469541
ptp4l: master offset -178615 s2 path delay 485331
ptp4l: master offset 246261 s2 path delay 485331
パス遅延は約480マイクロ秒、オフセットは+/-700マイクロ秒で変動します。
Turing Piスイッチへ直接:
ptp4l: master offset -13 s2 path delay 2615
ptp4l: master offset 127 s2 path delay 2607
ptp4l: master offset -14 s2 path delay 2615
パス遅延は約2.6マイクロ秒、オフセットは+/-130ナノ秒以内です。
コンシューマー ルーターを取り除くことで、パス遅延が180倍改善されました。コンシューマー ルーターは、可変で予測不可能な遅延を持つソフトウェアキューを介してパケットをバッファリングします。その変動性はPTPパス遅延計算に直接入り込み、オフセット推定を低下させます。Turing Piスイッチは、一貫した遅延でハードウェア速度でトラフィックを転送します。
ホールドオーバーテスト
GPSアンテナを10時間、一晩中切断しました。GPS入力がないと、SatPulseはホールドオーバーに入り、グランドマスターはCM4のローカルクリスタルリファレンスのみで実行されます。clockClassは6 (GPSロック済み) から52 (ホールドオーバー) に変わります。
[画像: ホールドオーバーテスト:GPSアンテナ切断、clockClass=52、同期外]
GMクロックは10時間で最大約15msのエラーにドリフトしました。より興味深い結果はクライアントにありました。
#* PTP 0 0 377 0 +4ns[ +26ns] +/- 291ns <- 10時間ホールドオーバー後のRK1
#* PTP 0 0 110 4 -118ns[ -168ns] +/- 205ns <- 10時間ホールドオーバー後のk8s1
両方のクライアントは、この間ずっとPTPに接続されたままでした。どちらもWAN NTPにフォールバックしませんでした。クリスタルリファレンスは、chronyがPTPソースを放棄する理由を認識しない程度によく保持されました。
[画像: 10時間後:まだホールドオーバー中、クライアントはまだPTPに接続]
私のユースケースではこれで十分です。長時間の障害や停電にわたる保証されたホールドオーバー精度が必要な場合は、TCXOまたはOCXOを備えたハードウェアが必要ですが、このビルドにはどちらも含まれていません。
モニタリング
PrometheusとGrafanaをセットアップして、3台のマシンすべてのデータをキャプチャしました。スタックには、グランドマスターと両方のクライアントにnode_exporterとchrony_exporterが含まれ、さらにグランドマスターにはjournald出力を解析してPHCオフセット、同期ステータス、clockClass、欠落サンプル数をPrometheusメトリックとして公開するカスタムsatpulse exporterが含まれます。
監視すべき主要なメトリック:
satpulse_sync_status、1=GPSロック済み、0=ホールドオーバーsatpulse_clock_class、6=GPSロック済み、52=ホールドオーバーsatpulse_offset_max_nanoseconds、過去30秒ウィンドウでの最悪ケースPHCオフセットchrony_tracking_last_offset_seconds、参照からのシステムクロックオフセットnode_timex_sync_status、カーネル同期フラグ、障害中に0にドロップ
[画像: PTPタイミングダッシュボード:すべて緑、GPSロック済み、クライアント同期済み]
光速の sanity check
光は約1ナノ秒あたり30センチメートル移動します。
グランドマスターPHCは、平均してGPS真値から7ナノ秒以内です。これは、光が約2メートル移動するのにかかる時間です。
CM4クライアントシステムクロックは、GPS真値から3〜10ナノ秒以内です。これは、小さな部屋を横切るのにかかる光の時間です。
ビルド
完成したグランドマスターは、Waveshare CM4-IO-BOARD-CASE-Aアルミニウムエンクロージャーに収まります。SMAアンテナコネクタはトップパネルから出ます。5本のDupontワイヤーがSR1723U10 GPSモジュールを40ピンヘッダーと内部のJ2ヘッダーに接続します。
[画像: ケース蓋を取り外した状態:IOボード、配線、ファンが見える]
ケースの蓋はファンを保持し、SMAバルクヘッドコネクタ用の切り欠きがあります。Dupontワイヤーはボード上のGPSモジュールからケースを通り、J2ヘッダーまで伸びています。
[画像: CM4 IOボードのクローズアップ:GPS配線、ヒートシンク、RTCバッテリー、およびすべてのコネクタにラベルが付いている]
GPSモジュールは、左上の40ピンヘッダーの近くに配置されています。PPS信号を運ぶ緑色のワイヤーは、イーサネットジャック近くのJ2ヘッダーに接続されています。PCF85063A RTCバッテリーホルダーは左下にCR2032が取り付けられた状態で表示されています。
[画像: 組立済みのグランドマスター:Waveshare CM4-IO-BOARD-CASE-A、トップにGPS SMAコネクタ付き]
トップパネルのSMAバルクヘッドは、内部に配線されたJEFA Tech U.FL - SMAピグテールを介してBingfuアクティブGPSアンテナに接続されます。エンクロージャーの寸法は160mm x 100mm x 40mmです。
参考文献
- jclark/rpi-cm4-ptp-guide、このビルドの基になったガイド
- SatPulse、これを機能させるデーモン
- SatPulse スイッチ推奨事項、FS IES3110の詳細
- パート2: Stratum 1 PTPグランドマスター: NanoPi R5S-LTS + NEO-M8N (パート2)