最初の冪等性キー
The First Idempotency Key (hatchet.run)
要約
この記事は、APIで重複操作を防ぐために使用される冪等性キーの起源を探求しています。著者は、StripeやAWSのようなサービス、HTTP仕様、さらには古代の記録システムまで、歴史的な仕様を調査し、この概念のルーツを辿っています。最終的に、電子コンピューターに触れるものとして、HTTP仕様の「POST Once Exactly」や、より古いSOAP関連の仕様が、現代の冪等性キーの概念に繋がる初期の実装例として挙げられています。
全文翻訳
最初の冪等性キー
[画像: Alexander Belanger]Alexander BelangerCo-FounderHatchet
Caity Weaver氏の「アメリカで最高の無料レストランパンを見つけた」という記事を読んだ後、私は2つのことを悟りました。まず、私もレストランの無料パンの提供を非常に高く評価しているということです。次に、彼女と私は、これはアメリカで最高の無料レストランパンなのか? のような、一見些細で不可能な問いを探求することに興味があるということです。
ソフトウェアエンジニアとして、私はしばしば、見ているものがその種の最初のインスタンスであるかどうかを自問します。言い換えれば、このもの—通常は機能、製品、またはプラットフォーム—は真に新しいのでしょうか?
そこで、最新の機能である冪等性キーについての投稿を作成している際に、そのような疑問の一つに答えを出すことにしました。それは、「冪等性キーの最初のインスタンスはいつだったのか?」という問いです。
冪等性キーとは?
冪等性キーは、APIハンドラやダウンストリームコンシューマーが、複数回配信されたメッセージを重複排除できるようにする一意の識別子です。ハンドラがその文字列を以前に見たことがある場合、メッセージは無視されます。
私の犬、リンゴ(これはどこかに繋がります、約束します)を考えてみてください。リンゴはキブル(Purina Pro Plan 30/20 Sportに感謝)が大好きで、特に午後6時になると、昏睡状態のような眠りから覚め、スローフィーダーボウルを掴んで私の足元に置きます。
リンゴはずる賢い野郎です。彼は私から夕食を受け取ると、隣の部屋に行って(生物学上の)母親にもっと食べ物をねだります。彼は、自分がすでに餌をもらっていることを彼女が知らないことを知っています。一度ならず、彼は二重の夕食を得ています。
もし私の妻と私がウェブサーバーだったら、最初の食事のインスタンスを記録するために冪等性キーを保存したでしょう。代わりに、私たちは1日に2回「リンゴに餌をあげてるよ」と叫ぶことに頼っています。
[画像: リンゴとピザ]
二度目の夕食を拒否された後のピザトイを持つリンゴ。
(実際のウェブサーバーでこのようなシステムを実装する方法について、さらに詳しく知りたい場合は、この記事がお勧めです。)
冪等性キーは、分散システムにおける根本的な問題、すなわちExactly-once delivery(一度だけの配信)は不可能であり、Exactly-once processing(一度だけの処理)を保証するためには追加のツールが必要である、という問題を解決する手法です。食べ物ボウルを持ったリンゴは、At-least-once delivery(少なくとも一度の配信)です。私の叫び声は、Exactly-once processing(一度だけの処理)を保証します。ここまでついてきていますか?
StripeとAWS
私は今Claude(AIチャットボット)を使っているので、自然と最初に尋ねました。「冪等性キーの最初のインスタンスはいつでしたか?」 それはこう答えます。
2011年頃、StripeのIdempotency-Keyヘッダーと共に。
これが正確かどうかは分かりませんが、Claudeをテストするのは好きです。孫子は言います、「戦いにおいては、強きを避け、弱きを撃つ」と。戦いにおけるように、Claudeとのチャットでも同様です。私の次の手はブラフです。
それは間違っています。日付もプロバイダーも。
そしてClaudeは言います。
公正な反論です—そして私はここで何かを認めなければなりません:私の以前の回答は、実際には存在しない確かな単一の事実を提示していました。今検索しても、「最初」の冪等性キーの権威ある記録は見つかりません。Stripeはその名前を広めましたが、私がそれを起源として述べるのは間違いでした—そして「2011年」という日付は私の推測であり、文書化された事実ではありませんでした。
これで、その日の人類の小さな勝利です。Claudeはさらにいくつかのランダムな段落を吐き出し、再び謝罪します。
私が調べた限りでは、StripeのIdempotency-Keyヘッダーは2015年頃に公開されました(ただし、いくつかのブログでは一次情報源なしにそれ以前だと引用されています)。Stripeは確かに私がこのヘッダーを宣伝しているのを見た最初のAPIでした。Collison兄弟、よくやった。
[画像: Collison兄弟]
Collison兄弟、弟が生まれた頃とStripeのIdempotency-Keyヘッダーの発明の間のある時期。
力に酔った私は、さらにClaudeをいじめます。Claudeはまた、Amazon EC2のClientTokenの動作も引用しています。これは、クライアントが一意の文字列をRunInstancesのような変更リクエストに添付することを許可していました。同じClientTokenと同じパラメータを使用すると、EC2は元の結果を返します。パラメータを変更すると、IdempotentParameterMismatchエラーが発生します。
この動作は最近、IETFドラフト仕様で成文化されました。この仕様は、Stripeによって文書化された冪等性パターンと、Mark Nottinghamによる2005年の「POST Once Exactly」というインターネットドラフトを評価しています。私はブラウザを開いて古い仕様やフォーラムを読み、勝利に満足します。
POST Once Exactly
こちらで見つけられる「POST Once Exactly」は、HTTP仕様(RFC 2616)からの以下の動機付けとなるユースケースを説明しています。
非冪等なメソッドまたはシーケンスは、自動的に再試行されてはなりません。ただし、ユーザーエージェントは、人間オペレーターにリクエスト(群)を再試行する選択肢を提供する場合があります。
この問題に対処するため、POE仕様では、クライアントが最初にGETリクエストを発行し、POST URLを取得することが提案されています。このPOST URLは、単一の成功したPOSTのみを受け付ける必要があります。「冪等性キー」(注:これはNottinghamの実装で明示的にそう呼ばれているわけではありません)は、URLの一意の部分です。
POEは広く採用されませんでしたが、RESTful APIが冪等性キーの動作を簡単に実装する方法に関するガイドラインを持つ、最初に見つけられた仕様の1つです。
トランスポートレベルでの冪等性
2000年代初頭の古代に遡ると—SOAPとRESTの仕様戦争の時代—冪等性キーの動作でExactly-once-processingを実装することを目指した、難解な仕様が数多くありました。そのうちの2つが、OASIS ebXML Message Service specと、Microsoft、IBM、BEA、TIBCOが共同で発行した関連のWS-ReliableMessagingです。これらは「トランスポートレベル」の仕様であり、サービスがNoDuplicateDeliveryという契約を定義した場合、トランスポートがメッセージの重複排除を実装します。
RESTfulなアプローチと比較すると、アプリケーション(またはビジネスレイヤー)はカスタムヘッダーをクライアントに返し、ビジネスレイヤーが将来のリクエストでこのカスタムヘッダーをどのように処理するかを決定します。Exactly-once-processingをトランスポートレイヤーで処理すべきかどうかは興味深い問題です。この記事は良い読み物です。
anyway、OASIS ebXML仕様とMicrosoftのWS-ReliableMessagingを数時間かけて読んだ後、WS-ReliableMessagingが2つの理由でリリースされたことに気づきました。(1) Microsoftは会話に参加できなかったことに腹を立てていた。(2) 彼らは信頼性の高いメッセージングをより混乱させたいと考えていました。私は汗だくのスティーブ・バルマーの写真をGoogleで検索して気分を良くします。
[画像: Steve Ballmer]
Steve Ballmer、WS-ReliableMessagingを発表した後、おそらく勝利の拳を突き上げている。
なぜこれを書いているのか?
深く考えるほど、人類は何千年にもわたって冪等性の保証を発明し、再発明してきたことに気づきます。
例えば、インカ帝国はキープ—結び目を作る洗練されたシステム—を使用して、国勢調査の数、労働義務、在庫などの重要なデータを記録しました。ミタ労働義務システムでは、健常な男性が順番に地域プロジェクトに労働力を提供することが期待されていました。地域が労働義務を受け取ったとき、それは結び目記録に記録されました。もし彼らが別の要求を持って戻ってきたら、それは拒否されました。
[画像: キープ]
インカのキープ
別の例としては、タリースティックが挙げられます。これは、債権者と債務者の間で真ん中に切り込みを入れた木片を分け、切り込みの数が借金を表します。借金が返済されたことを確立するために、スティックの両方の半分を合わせ、木目が一致する必要がありました。(確かに、偽のスティックを作成しようとする人もいたかもしれません。あるいは、スティックを失くしてしまうかもしれません。)
admit、私は少し話を逸らしました。私の「最終的な答え」はインカのキープであるべきでしょうか?インカ帝国は、分散システムの最初の例だったのでしょうか?コンピューターでさえ?
いいえ、インカ人、元帳、キャリアピジョンネットワークに関するランダムな考え、そして妻と私がアパートで互いに叫び合っていることを除外する何かが必要です。
新しいルール:冪等性キーは電子計算機に触れなければなりません。私はさらに調査を行い、ついに魅力的で的確な論文にたどり着きました…
BirrellとNelsonの「Implementing RPCs」
インターネットとワールドワイドウェブが登場するずっと以前から、分散システムの研究はリモートプロシージャコール(RPC)を中心に構築されていました。これは、通常は信頼されたネットワーク内で、別のマシン上の特定の関数(またはプロシージャ)を呼び出す問題を解決することを目指していました。これらのRPC実装は、Cedarプログラミング環境のようなランタイムまたは環境に密接に結合されたパッケージでした。これは[Xerox PARC](https://en.wikipedia.org/wiki/PARC_%28company%29)のシステム研究の多くを支えた実験的な言語および開発環境でした。
この研究から生まれた論文の一つが、BirrellとNelsonによる「Implementing Remote Procedure Calls」(1984年発表)です。これは、Bruce Jay Nelsonによる元の博士論文に基づいており、そこで彼はリモートプロシージャコールの用語を造語しました。この論文は、Xerox PARCでの分散計算で使用するためのRPCパッケージの実装を文書化しています。
この論文は、私が「冪等性キー」の最も初期の例として見つけられるものを概説しています。それは各RPCのコール識別子です。これが、私の実際の答えです。BirrellとNelsonに語ってもらいましょう。
コール識別子は2つの目的を果たします。それは、呼び出し元が、結果パケットが現在の呼び出しの真の結果であることを(例えば、はるかに遅延した以前の呼び出しの結果ではないことを)判断できるようにし、また、呼び出し先が(例えば再送信によって引き起こされる)重複した呼び出しパケットを排除できるようにします…呼び出し先マシンのRPCRuntimeは、各呼び出しアクティビティによって最後に呼び出された呼び出しのシーケンス番号を示すテーブルを維持します。呼び出しパケットを受信すると、そのコール識別子がこのテーブルで検索されます。コールパケットは、そのシーケンス番号がテーブルに記載されている番号よりも大きい場合を除き、重複として破棄される可能性があります(おそらく確認応答の後)。
この「研究」の後も、これが私の基準を満たす冪等性キーの最も古い例であるかどうかは確信が持てません。しかし、 oursが最も新しいものであることは知っています。ぜひチェックしてみてください!