Rive: Go向け高速で信頼性の高いバックグラウンドジョブシステム
Rive, Fast and reliable background jobs in Go (github.com)
要約
Riverは、GoとPostgres向けに設計された堅牢で高性能なジョブ処理システムです。アプリケーションデータとジョブキューに同じデータベースを使用することを推奨しており、トランザクション内でのジョブエンキューを保証することで、分散システムにありがちな問題を回避します。これにより、ジョブの挿入、実行、完了を信頼性高く管理できます。
全文翻訳
River
Riverは、PostgresまたはSQLiteをバックエンドとする、高速でトランザクション対応のジョブキューです。自動リトライ、スケジューリング、ユニークジョブ、Web UIを備え、Go、JavaScript/TypeScript、Ruby、Rustをサポートしています。すべての実装は完全にクロス互換性があり、ある言語でエンキューし、別の言語で処理できます。
ホームページ、ドキュメント、godocに加え、River UIとそのライブデモもご覧ください。
Riverでは、アプリケーションデータとジョブキューに同じデータベースを使用することを推奨しています。他のデータベース変更と同時にトランザクション内でジョブをエンキューすることで、分散システムにおける多くの問題クラスを回避できます。ジョブは、トランザクションがコミットされた場合にエンキューが保証され、トランザクションがロールバックされた場合は削除され、コミットされるまで作業には見えません。この哲学の背景については、トランザクションエンキューを参照してください。
ジョブ引数とワーカー
Goでは、ジョブは構造体のペアで定義され、JobArgsの実装とWorkerの実装を持ちます。
ジョブ引数にはjsonアノテーションが含まれ、ジョブがデータベースとの間でどのようにシリアライズ/デシリアライズされるかを定義します。また、ジョブを一意に識別する安定した文字列である「kind」も定義します。
type SortArgs struct {
// Strings はソートする文字列のスライスです。
Strings []string `json:"strings"`
}
func (SortArgs) Kind() string { return "sort" }
ワーカーは、ジョブの実行方法を決定するWork関数を公開します。
type SortWorker struct {
// 埋め込まれたWorkerDefaultsは、Workerインターフェースの残りの部分を満たすためのデフォルトメソッドを設定します:
river.WorkerDefaults[SortArgs]
}
func (w *SortWorker) Work(ctx context.Context, job *river.Job[SortArgs]) error {
sort.Strings(job.Args.Strings)
fmt.Printf("Sorted strings: %+v\n", job.Args.Strings)
return nil
}
ワーカーの登録
ジョブは「kind」文字列によって一意に識別されます。ワーカーは起動時に登録されるため、Riverはジョブをどのワーカーに割り当てるかを知ることができます。
workers := river.NewWorkers()
// AddWorkerは、ワーカーが既に登録されているか無効な場合にパニックします:
river.AddWorker(workers, &SortWorker{})
クライアントの起動
RiverのClientは、ジョブ挿入のためのインターフェースを提供し、ジョブ処理とメンテナンスサービスを管理します。クライアントは、データベースプール、ドライバー、およびWorkersバンドルやその他の設定を含む設定構造体で作成されます。以下は、最大100個のワーカーゴルーチンで1つのキュー("default")を処理するClientの例です。
riverClient, err := river.NewClient(riverpgxv5.New(dbPool), &river.Config{
Queues: map[string]river.QueueConfig{
river.QueueDefault: {MaxWorkers: 100},
},
Workers: workers,
})
if err != nil {
panic(err)
}
// クライアントをインラインで実行します。実行されるすべてのジョブはctxを継承します:
if err := riverClient.Start(ctx); err != nil {
panic(err)
}
Workersを省略することも可能ですが、挿入されたジョブのkindに実行可能なワーカーが存在するかRiverがチェックできるように含めることをお勧めします。
停止
プログラムシャットダウン時にはクライアントも停止する必要があります。これにはいくつかの方法があります(正常終了を参照)が、最も簡単なのは、プログラムが停止準備ができたときにStartに渡されたコンテキストをキャンセルすることです。例えば、SIGINT/SIGTERMで停止するには、以下のようにします。
riverClient, err := river.NewClient(riverpgxv5.New(dbPool), &river.Config{
SoftStopTimeout: 10 * time.Second,
...
})
if err != nil {
panic(err)
}
signalCtx, stop := signal.NotifyContext(ctx, syscall.SIGINT, syscall.SIGTERM)
defer stop()
// 新しい作業の取得を停止し、アクティブなジョブの完了を待ちます。SoftStopTimeout経過後にジョブをキャンセルします。
if err := riverClient.Start(signalCtx); err != nil {
panic(err)
}
<-riverClient.Stopped()
または、明示的なStop呼び出しを使用します。
if err := riverClient.Stop(ctx); err != nil {
panic(err)
}
挿入専用クライアントはジョブを挿入しますが、処理は行わず、開始または停止する必要はありません。
ジョブの挿入
Client.InsertTxは、ジョブ引数インスタンスと組み合わせて、トランザクション内で処理するジョブを挿入するために使用されます。
_, err = riverClient.InsertTx(ctx, tx, SortArgs{
Strings: []string{
"whale", "tiger", "bear",
},
}, nil)
if err != nil {
panic(err)
}
完全なコードについては、InsertAndWorkの例を参照してください。
その他の機能
-
バッチジョブ挿入: Postgresの
COPY FROMを使用して多数のジョブを効率的に一度に挿入します。 -
ジョブのキャンセル: 作業関数内からジョブをキャンセルします。
-
複数のキュー: ジョブのスループット、ワーカーの可用性、コンポーネント間の分離をより良く保証します。
-
スケジュールされたジョブ: 将来のスケジュールされた時間に自動的に実行されます。
-
ジョブのスヌーズ: 作業関数内からジョブを一時停止します。
-
キューアクティビティと統計のサブスクリプション: ロギングやメトリクスのようなテレメトリのための簡単なフックを提供します。
-
テストヘルパー: ジョブが期待通りに挿入されたことを検証します。
-
トランザクション的なジョブ完了: ジョブ完了がトランザクション内の他の変更とともにコミットされることを保証します。
-
ユニークジョブ: 引数、期間、キュー、状態によってジョブを一意にします。
-
Web UI: ジョブとキューの検査と操作のため。
-
ワーク関数: ワーカー実装の簡略化のため。
クロス言語エンキュー
Riverのいずれかの言語実装によって挿入されたジョブは、別の言語で処理できます。これにより、異なる言語のサービスがキューを共有できます。各実装のクライアントとワーカーAPIについては、上記のソースリンクを参照してください。
Pythonからジョブを挿入することもできます。
開発
Riverの開発を参照してください。