OTelはうまくいっていない(そしてそれについてスプレッドシートを作成した)
OTel isn't going well (and I made a spreadsheet about it) (matduggan.com)
要約
OpenTelemetry (OTel) は、ベンダーニュートラルなオブザーバビリティソリューションを目指していますが、開発の遅延、言語間の不均一なサポート、そして小規模なメンテナーチームによる過大なスコープという課題に直面しています。特にPHPやRubyなどのSDKでは、少数のメンテナーに依存しすぎており、プロジェクトの健全性に懸念が生じています。
全文翻訳
OTel はうまくいっていない(そしてその件についてスプレッドシートを作成した)
長年にわたり、チームをベンダー固有のSDKからOpenTelemetryに移行させようとする際に私がよく耳にする最も信頼できる苦情の一つは、「なぜこれはまだ終わっていないように見えるのだろう?」というものです。
オブザーバビリティのためのベンダーSDKは、好意的に言えば、白痴でも使えるほど簡単です。それをインストールすれば、ダッシュボードにデータがロードされ、他の誰かがそれらのピースがどのように組み合わさるかを心配し、あなたは自分の人生を続けることができます。対照的に、OpenTelemetryは、多くの「実験的」というスタンプと、与えられたタスクを達成するための約6つの異なる方法であなたを迎えます。
OpenTelemetryの擁護として、これはプロジェクトが目指していたものでは決してありませんでした。私は、彼らが真にベンダーに依存しないシステムを構築するという自分の信念を貫いたことを常に尊重しています。それは、あなたがデータで何をするかに関係ありません。OTelで特定のベンダーが強く推奨されているという感覚を一度も得たことがありません。これは、オブザーバビリティエコシステムがいかに儲かるものであり、論争の的になりやすいかを考えると、かなりの偉業です。このプロジェクトのメンテナーの多くが、専らそれらの企業に雇用されていることを考えると、なおさらです。
年月が経つにつれて、私は不安になり始めました。セマンティックコンベンションのリポジトリでの会話は、延々と続きます。異なる言語は劇的に異なる状況でした。GolangとDotnetは第一級市民でしたが、他の言語は他の言語に比べて数年遅れていました。
時間、予算、または精神的な余裕のない小規模なチームにOpenTelemetryを推奨する前に、多くの掘り下げた質問をするようになりました。自動インストルメンテーションは本当に魔法のようでしたが、「自動インストルメンテーションが機能する」と「今度は手動でインストルメンテーションする必要がある」との間の崖は、それを飛び越えさせる前に警告を与えるべきほど急でした。
この物語は、オブザーバビリティの分野でしばらく続いており、「OTelランドでは何かが間違っている」という漠然とした感覚があります。しかし、ここで実際のデータを生成してみましょう。実際の問題があるのでしょうか、それともこれはコミュニティによる進捗の遅さの認識が幻想であるというものなのでしょうか?問題はメンテナーが不足していること、スコープが大きすぎること、それともその中間の何かでしょうか?
私が始めたときの推測は、「ああ、これは古典的なオープンソースが、かじれる以上のものをかじってしまったケースだ」でした。メンテナーが不足し、予算が不足している。今ではそれもありますが、別のことも起こっています。
OpenTelemetry内で実際に起こっている問題は、三者間のクラッシュです。バイナリの安定性ゲートがあり、これが非常に少ない実際のメンテナーのベンチと組み合わさることで、機能を実験的ではないとマークすることについて理解できる懸念が生じます。さらに、カバーしようとしている言語とフレームワークの途方もないスコープが加わります。これにより、一度ロックインされて安定版として出荷されると、決して変更できなくなる機能がもたらす可能性のある問題について議論するインセンティブが生まれる完璧な嵐が生まれます。
OpenTelemetryはどのように機能するか
OpenTelemetryは現在、眩暈がするほどの数の言語とフレームワークをサポートしようとしています。
[画像]
OpenTelemetryは巨大なプロジェクトです。数十の言語、数百のライブラリ、そして数え切れないほどのバックエンドにまたがっています。 sane を保つために、プロジェクトは作業を2つのバケットに分割します。
- Core → OTelプロジェクトによって直接メンテナンスされます。小さく、安定しており、ベンダーニュートラルで、厳密にレビューされます。これは「仕様定義」のサーフェスです。
- Contrib → コミュニティおよびベンダーによって貢献されます。より広範で、より速く動き、統合のロングテールをカバーします。
otel-collector が存在します。これは、ログ、メトリクス、トレースを送信できるように、そのものの横で実行されるものです。これは同じようなパターンをコピーします。しかし、言語に関しては、コア対コントリブについて話しているとき、これは私たちが話していることです。
opentelemetry-python (core) | API、SDK、OTLPエクスポーター、コンテキスト伝播、リソース検出プリミティブ |
opentelemetry-python-contrib | Flask、Django、requests、psycopg2、Redis、Kafka、boto3などのインストルメンテーションライブラリ |
壊れるものはコントリブに入り、壊れないものはコアに入ります。
これがコンフリクトを引き起こす理由です。contrib はほとんどのプロジェクトにとって過剰です。通常必要なものを追加するために300のエクスポーターは欲しくないでしょう。言語側では、これはそれほど大きな問題ではありません。pip install opentelemetry-instrumentation-flask は、Flaskに必要なものを与えてくれます。しかし、コレクター側では、独自のコレクターを作成するためにOpenTelemetry Collector Builderを使用する必要がある(または、単に波に乗ってうまくいくことを願う)ことになります。これはクールですが、チームに任せるにはスコープが大きすぎます。
新機能追加のプロセス
OTelに新機能を追加するワークフローを捉えられたと信じています。私の宿題はここで確認できます。
- OpenTelemetry Enhancement Proposal (OTEP) (https://github.com/open-telemetry/opentelemetry-specification/tree/main/oteps/)
- OTEPが承認されると、そのテキストは同じリポジトリのSpecificationディレクトリに入ります。
- その後、Semantic conventions に行くようです。ここでは、具体的な詳細にまで踏み込み、ほとんどの長い議論が行われる場所のようです。この時点で、私たちはこのデザインへのほぼ永久的なコミットメントについて話しており、ロックインプロセスは変更が非常に困難になります。
- 各SDKは、仕様で定義されたAPIサーフェスを実装します。いくつかのSDKは2.0の破壊的変更を行っているので、以前の「とにかく2.0は避ける」という感情は放棄されたようです(これは賢明で良いことだと思います)。
- Contrib / instrumentation。これは少し曖昧です。最新のAPI/SDKを追跡すべきですが、各contribパッケージは独立してバージョン管理できるため、デザインとしてはより柔軟です。
- Collector + OTLP。データは実際に行き先が必要です。OTLP(ワイヤープロトコル)には独自の安定性ライフサイクルと仕様があります(こちら)。コレクターコンポーネントには独自の安定性があり、そのREADMEに記載されており、私の知る限りではどこでも見られます。
あまり明確でないこと
- OTEPから仕様へのプロセスにどれくらいの時間がかかるのか不明です。Git履歴を調べましたが、予測可能な数やサイクルはないようです。
- これらの安定性コミットメントの間の関係が完全には理解できません。Collector + OTLPグループは連携して動作しますか?言語が遅れすぎると「スコープ外」になる可能性がありますか?
テストの試み
OpenTelemetryはCNCFプロジェクトなので、他のCNCFプロジェクトと比較するのが最も理にかなっていると思いました。比較の基準はEnvoyとPrometheusです。以前使用したハッキーなPythonスクリプトで、オープンソースプロジェクトの「健全性」を測定しましたが、おそらく最良ではありません。しかし、チャートなしの生データをリンクに含めるので、人々がレビューし、(おそらく)生成したものに問題を見つけることができます。
[画像]
Envoyの24ヶ月間のアクティビティを見ると、かなり健全なプロジェクトであることがわかります。著者の、マージ担当者の、問題クローズ担当者の良い分布があります。phlax が明らかにプロジェクトにとって非常に重要ですが、一般的には、必要に応じてステップインできる人が十分にいます。既知のボットトラフィックはすべてフィルタリングしました。
これをOpenTelemetry言語の1つと比較してみましょう。私が最も専門的な経験を持っているのはGolangとPythonですが、コミュニティの多くの人々から、RubyとPHPのものが非常に苦労していると聞いています。これは同じ期間のPHPのものです。
[画像]
2人の人物に集中しすぎていることがかなりはっきりとわかります。これは健全なオープンソースプロジェクトではなく、OTelがカバーする必要のあるスコープをカバーするには明らかに十分な人がいません。Rubyも同じ話です。
[画像]
比較すると、私の意見では「最も強力な」OpenTelemetry SDKであるGolangとDotnet(Pythonも劣っていませんが)は、より健全に見えます。
Golang
[画像]
[画像]
したがって、最初の問題は、おそらく最も驚くことではありません。メンテナーが少なすぎて集中しすぎていることです。著者がマージ担当者であり、問題クローズ担当者でもあるべきではありません。理想的には、これらのタスクはより均等に分散されるべきです。
私の知る限りでは、メンテナーは議論を公開し続けるために良い仕事をしたと思います。さまざまなメンテナーグループの公開会議の議事録を見つけるのは非常に簡単で、それらを読んで何が起こっているかを確認しました。これらのメンテナーが、プロジェクトを停滞させている安定性への期待ほど、人々が関与するのを阻止しようとしているとは感じません。
問題は、より古典的な「誰かがメンテナーに支払う必要がある」というケースです。このプロジェクトは、趣味としてこれを行うには現実的すぎるほど複雑です。私は、これほど長い安定性契約に署名するプロジェクトは、支援を期待するホビイストのコミュニティに頼ることはできないと思います。私は、この規模と重要性のプロジェクトのために期待されることを、無料で通話に参加したり、物事を行ったりすることはできません。しかし、それはまた、この重要な作業を行っている人々が、親組織から期待を寄せられていることを意味します。
| リポジトリ | 24ヶ月のマージ済みPR数 | 異なるマージ担当者数 | トップマージ担当者の割合 | トップマージ担当者の役割 |
|---|---|---|---|---|
opentelemetry-cpp | 544 | 4 | 86.1% | 単一の人間 (marcalff) |
opentelemetry-kotlin | 281 | 2 | 79.7% | 単一の人間 (fractalwrench) |
opentelemetry-browser | 102 | 4 | 79.5% | 単一の人間 |
opentelemetry-ruby | 213 | 5 | 78.7% | 単一の人間 |
opentelemetry-js | 829 | 14 | 64.9% | 非常に集中 |
opentelemetry-python | 486 | 4 | 61.4% | 単一の人間 (xrmx) |
opentelemetry-php | 181 | 2 | 53.0% | 合計2人のマージ担当者 |
semantic-conventions | 911 | 9 | 49.7% | 単一の人間 (lmolkova) |
opentelemetry-go | 686 | 5 | 36.9% | 分散されたベンチ |
opentelemetry-dotnet | 657 | 6 | 31.5% | 分散されたベンチ |
prometheus | 1,849 | 31 | 14.4% | 広範なベンチ |
envoy | 5,432 | 28 | 35.8% | 広範なベンチ |
したがって、これらのSDKはメンテナーが少なすぎます。しかし、それが新しい機能がスタック全体を通過するのに時間がかかる理由を完全に説明しているわけではありません。その理由として、新しいアイデアの提出からアイデアの正式化までのプロセスに、100万年かかった長い議論があったのではないかと推測しました。
セマンティクスに関する規約
さまざまなフレームワークや言語にわたるこのレベルのサーフェスエリアを考えると、規約に関する会話を1つの場所に集中させるのは理にかなっています。それはここにあります:https://github.com/open-telemetry/semantic-conventions
ベンダーの議論が遅延の原因となっている場合、理論的には、この遅延がここでPRに見られるはずです。その後、遅延が基本的に伝播するのを見るはずです。ネタバレ防止:私はこれについて間違っていました。OpenTelemetryの人々がPRにラベルを付けるのが上手かったので、これははるかに簡単になりました。
したがって、semconv が遅延の原因である場合、そこで最も遅いPRを見てみましょう。
| PR | 日数 | コメント数 | レビュー数 | ラベル | トピック |
|---|---|---|---|---|---|
| #2083 | 277.5 | 17 | 115 | area:gen-ai | MCPセマンティックコンベンション |
| #2617 | 258.6 | 29 | 13 | area:gcp | GCEインスタンスラベル |
| #1698 | 187.9 | 3 | 7 | area:azure, breaking | azure_ → azure. へのリネーム |
| #2619 | 174.6 | 24 | 8 | area:gcp | GCEインスタングループマネージャー |
| #3118 | 147.1 | 19 | 8 | area:graphql, breaking | GraphQL推奨 vs オプトイン |
| #1741 | 141.0 | 4 | 23 | changelog.opentelemetry.io | メインフレーム |
| #1784 | 127.3 | 7 | 48 | area:k8s | k8s.container.status メトリクス |
| #2287 | 118.5 | 12 | 95 | area:rpc | ONC/Sun RPC + NFS メトリクス |
| #2179 | 117.0 | 7 | 114 | area:gen-ai, breaking | Gen-AIチャット履歴属性 |
はい、いくつかは非常に遅いですが、議論されている複雑なトピックもあります。しかし興味深いことに、この遅延はSDK/APIスペースに実際には波及しておらず、OpenTelemetryがこれらの会話をうまく分離できていることを示唆しています。
Pythonを見ると、最も遅いPRはsemconv関連ではないことがわかります。
| PR | 日数 | コメント数 | レビュー数 | ラベル | トピック |
|---|---|---|---|---|---|
| #4646 | 361.1 | 5 | 19 | — | OpAMP統合スケッチ |
| #4576 | 314.0 | 11 | 27 | Stale | OTLP HTTP max_export_batch_size |
| #4609 | 253.7 | 2 | 9 | — | envキャリア |
| #4709 | 172.1 | 8 | 40 | — | httpエクスポーターエラーハンドリング |
| #4333 | 164.9 | 6 | 4 | — | GRPCエクスポーターバックオフ設定 |
| #4654 | 161.7 | 7 | 14 | log-breaking-changes | イベントAPI/SDKの非推奨化 |
| #4863 | 155.0 | 5 | 36 | — | 実行時にメトリックリーダーを追加/削除 |
| #4647 | 152.9 | 4 | 9 | Approve Public API check, log-breaking-changes | Log → LogRecord へのリネーム |
| #4854 | 150.5 | 7 | 9 | hold | W3C traceparent random-trace-id |
| #4676 | 126.4 | 20 | 30 | Approve Public API check, log-breaking-changes | logs SDKリファクタリング |
実際には、これらの遅延は、別のメンテナーを必要とするApprove Public API checkによって課される追加の必須チェックによるものです。しかし、それは適切であり、最初の問題「メンテナー不足」に戻ります。
潜在的な解決策
これらすべてを見た後、パターンが明らかになります。新しい機能がOpenTelemetryのエンドユーザーに届くまでには非常に長い時間がかかります。なぜなら、彼らは安定性を非常に真剣に考えており、利用できる才能のベンチが比較的限られているからです。一度すべてがスタックを通過すると、APIの実装と、そのAPI変更をエンドユーザーに届けることは、過労のメンテナープールに依存します。では、どうすればよいでしょうか?
タイムバウンドなベータティアのようなものを追加するというアイデアは、探求する価値があると思います。基本的に、次の図の「実験的」と「安定」の間に位置します。問題は、エンドユーザーにとって、実験的機能を使用するための追加の手順のため、それらは存在しないも同然であるということです。私たち99%は、実験的機能がいつ追加されたのかを知らず、それに関与することはありません。しかし、その機能が12ヶ月間削除されずに残り、エンドユーザーとしてよりアクセスしやすくなることがわかれば、プロジェクトがより実行可能なフィードバックを得るのに役立つ可能性があります。
[画像]
基本的に、機能は実験的(使用率が非常に低い)→ベータ(実験的よりもエンドユーザーに公開される)→12ヶ月→削除または安定、という流れになります。
混乱を招くかもしれませんが、ベータはOTelには存在しますが、コンポーネントではなくSDKに使用されています。Rustはベータですが、プロファイルはベータになれないようです。正直なところ、どのラベルがどのものに適用されるべきかを知るのはほとんど不可能です。誰も本当に知らないと思います。これはSDKにのみ適用されると思われるベータの説明です。
開発
コンポーネントのすべての部分がまだ完成しておらず、ユーザーが利用できない場合があります。バグやパフォーマンスの問題が報告されることが予想されます。コンポーネントのUX(設定オプション、コンポーネントのオブザーバビリティ、技術的な実装の詳細、およびコンポーネントの計画されたユースケースなど)に関するユーザーからのフィードバックが求められます。コンポーネントが進展するにつれて、設定オプションは頻繁に壊れる可能性があります。コンポーネントは本番環境で使用されるべきではありません。コンポーネントは事前の通知なしに削除される場合があります。
アルファ
これはデフォルトレベルです。明示的な成熟度レベルのないコンポーネントはすべて「アルファ」と見なされるべきです。コンポーネントは、限定的な非クリティカルな本番ワークロードに使用する準備ができており、コンポーネントの作成者はユーザーからのフィードバックを歓迎します。バグやパフォーマンスの問題の報告が奨励されますが、コンポーネントの所有者がすぐに対応するとは限りません。コンポーネントのインターフェースと設定オプションは、後方互換性の保証なしに頻繁に変更される可能性があります。この段階のコンポーネントは、いつでも通知なしにドロップされる可能性があります。
ベータ
アルファと同様ですが、インターフェース(API、設定、生成されたテレメトリ)は可能な限り安定として扱われます。リリース間に破壊的変更があるかもしれませんが、コンポーネントの所有者はそれらを最小限に抑えるように努めるべきです。この段階のコンポーネントは、アルファフェーズ中にすでに非クリティカルな本番ワークロードにさらされていることが期待されており、より広範な使用に適しています。
リリース候補
コンポーネントは機能が完成しており、より広範な使用に適しています。コンポーネントは安定版として宣言する準備ができており、それが可能になる前に、より多くの本番環境でテストされる必要があるだけかもしれません。バグやパフォーマンスの問題が報告されることが予想され、コンポーネントの所有者がそれらに取り組むことが期待されています。設定オプションやコンポーネントの出力を含む破壊的変更は、特別な状況下でのみ許可されます。可能な限り、ユーザーには破壊的変更の事前通知が与えられるべきです。
安定
コンポーネントは一般提供の準備ができています。バグやパフォーマンスの問題が報告されるべきであり、コンポーネントの所有者がそれらに取り組むことが期待されています。設定オプションやコンポーネントの出力を含む破壊的変更は、特別な状況下でのみ許可されます。可能な限り、ユーザーには破壊的変更の事前通知が与えられるべきです。
非推奨
このコンポーネントの開発は停止しています。新しいバージョンは計画されておらず、コンポーネントは配布物から削除される可能性があります。新しい問題は、重大なセキュリティ問題を除いて、おそらく取り組まれないことに注意してください。配布物に含められているコンポーネントは、少なくとも2つのマイナーリリースまたは6ヶ月間(どちらか遅い方)存在する予定です。また、具体的なバージョン番号またはリリース日(例:「2023-08-01以降の最初のリリース」)のいずれかの形式で、いつ削除されるかを必ず通知する必要があります。
メンテナンスされていない
メンテナンスされていないと特定されたコンポーネントには、アクティブなコードオーナーがいません。そのようなコンポーネントは、コードオーナーが割り当てられていないか、以前アクティブだったコードオーナーが6週間以内に連絡を受けてもフィードバックのリクエストに応答しなかった可能性があります。メンテナンスされていないコンポーネントの問題やプルリクエストは、そのようにラベル付けされるべきです。6ヶ月間メンテナンスされていない場合、これらのコンポーネントは非推奨になる場合があります。メンテナンスされていないコンポーネントは、コードオーナーになるための貢献者を積極的に探しています。
さらに、GoとRubyが同じ標準でメンテナンスされていると示唆するのは、敬意を払って、誤解を招くものです。これはRubyの担当者への非難ではありません。彼らは持っているもので英雄的な仕事をしているのです。しかし、パリティが存在しないのに存在すると偽ることは、ユーザーが期待とは異なる経験をしたときに混乱と静かな不満を生むだけです。メンテナンスティアについて正直に伝えることで、人々は情報に基づいた選択ができ、問題を声に出して名前を付けることで、他のティアにもっと多くの助けを引き寄せることができるかもしれません。
最後に、OpenTelemetryのこれらの問題を「メンテナーがもっと必要」という観点から、よりオープンに表面化させたいと思います。この仕事をしている人々は問題があることを知っていたと思いますが、コミュニティ全体は、率直に言って、より多くの関与した、理想的には独立したメンテナーと貢献者の必要性を全く知らないようです。
OpenTelemetryは素晴らしいプロジェクトであり、素晴らしい仕事をしている。率直に言って、この規模でこれほど少ない人数で英雄的な仕事をしている。しかし、ベンダー固有のSDKを実際に置き換えるためには、安定性契約と言語の数に関して、何が現実的であるかについて、もう少し実用的になり始める必要があると思います。破壊的変更は、うまく伝えられれば、これらの約束が示唆するほどコミュニティにとって壊滅的ではないと思います。そして、メンテナーのこの薄いベンチでは、何かを手放さなければならないと思います。
とにかく、私のデータが正確かどうか確認して、問題を見つけたら教えてください!