HN 日本語サマリー

← 一覧へ戻る
プログラミング

Electron会議録音エンジンをSwiftで再構築する方法

Rebuilding our Electron meeting-recording engine in Swift (circleback.ai)

35 pointsby arguiot8 コメント

要約

CircleBack社は、Electronアプリで実行されていた会議録音エンジンをネイティブのSwiftコードに移行しました。Electronのレンダリングプロセスは、リアルタイムオーディオ・ビデオキャプチャにはGCポーズやスロットリングなどの問題があり、信頼性の低下を招いていました。macOSではScreenCaptureKit、Windowsではlibobsを使用し、これらをSwiftで統合するアプローチを採用しました。また、Swiftの@PublishedプロパティをReactのJotaiアトムに自動的に変換する内部ツール「Atomic」を開発し、プラットフォーム間のブリッジコードを大幅に削減しました。

全文翻訳

Electron会議録音エンジンのSwiftによる再構築

[画像: Electron会議録音エンジンのSwiftによる再構築]

当社のデスクトップアプリは、ボットを使わずに会議をキャプチャし、クラウドにストリーミングします。数ヶ月にわたり、録音エンジンは製品の中で最も信頼性の確保が難しい部分でした。ある種の例外ケースを修正してリリースしても、翌週には新たな問題が発生するというパターンが繰り返されました。根本原因は異なれど、パターンは同じでした。

エンジンはElectronアプリのレンダラープロセスで実行されていました。私たちは、ライフサイクル管理の厳格化、メインスレッド以外での処理の移動、Reactのレンダリングサイクルからの分離といった、明白な修正を試みました。それぞれの変更はわずかに効果がありましたが、根本的な問題には対処できませんでした。キャプチャエンジンは、リアルタイムのオーディオおよびビデオキャプチャには不向きな場所なのです。キャプチャエンジンは、ブラウザランタイムが応答性を維持するために行うGC(ガベージコレクション)の一時停止やスロットリング、その他の処理に耐えることができません。

そこで私たちはネイティブ開発に舵を切りました。macOSではScreenCaptureKit、Windowsではlibobsを使用し、それらを連携させる共有Swiftレイヤーを構築しました。

Atomic: CombineからJotaiへのブリッジ

ネイティブランタイムをReactと連携させるには、通常、ネイティブアドオンバインディングを手作業で記述する必要があります。境界を越えるすべての値をシリアライズし、文字列型の名前でイベントをルーティングし、プロパティを追加するたびに3つのファイルを更新します:Swiftクラス、C++バインディング、TypeScriptラッパー。これは機能しますが、誰かが手順を忘れた瞬間に同期が取れなくなります。

Swiftの@Publishedプロパティがすべて、ReactのJotaiアトムに自動的に変換されたらどうなるでしょうか?完全にリアクティブで、型安全で、グルーコード不要です。それが私たちの内部ツールAtomicが実現することです。

@NodeExport
public final class AudioPlayer {
    @Published public var isPlaying: Bool = false
    @Published public var volume: Float = 1.0

    public func play() { isPlaying = true }
    public func pause() { isPlaying = false }
}

#AtomicExport(AudioPlayer.self)
const player = new AudioPlayer();
const volumeAtom = atomWithNativeState<number>(player.volume);

store.set(volumeAtom, 0.5);     // Swiftに流れる。
player.play();                  // Reactにフィードバックが流れる。

Reactの観点からは、これらのアトムは他のJotaiアトムと区別がつきません。データが別のスレッド上のSwiftランタイムに存在するという事実は、見えません。

[画像]

@NodeExportマクロは、コンパイル時にブリッジ全体を生成します。型は自動的にマッピングされます(Int → number、String? → string | null)。Swiftでの値の変更は、Nodeのイベントループでコールバックをスケジュールします。Swift側で追加する新しいプロパティはすべて、Reactで即座に利用可能になります。そして、AtomicはAppleフレームワークではなくSwift上に構築されているため(WindowsではOpenCombineを使用しています)、同じブリッジが両方のプラットフォームで動作します。

2つのキャプチャエンジン、1つのインターフェース

macOSでは、ScreenCaptureKitがハードウェアアクセラレーションされたキャプチャとネイティブコンテンツピッカーを提供します。Windowsでは、私たちがOBSKitと呼ぶSwiftラッパーを介してlibobsを使用します。2つのエンジンは根本的に異なるアーキテクチャを持っています。

[画像]

macOSでは、3つの独立したソースから生のサンプルバッファを受け取り、ファイル自体を組み立てます。Windowsでは、キャプチャ、ミキシング、エンコーディング、多重化が単一のグラフとして実行されます。私たちはそれを設定し、ファイルモニターが新しく書き込まれたバイトをアップロードセッションにストリーミングします。

Windowsのキャプチャにも独自の課題があります。プライマリメソッドとしてWindows Graphics Capture (WGC) を使用し、フレームが時間通りに配信されない場合はBitBltにフォールバックします。また、すべての黒いフレーム(一部のエミュレートされたウィンドウやゲームで一般的)を検出し、録音中にメソッドを切り替えます。

クロックが一致しないとき

ここでmacOSエンジンはその複雑さを発揮します。3つのキャプチャソース、3つのハードウェアクロック、3つの異なる時間認識です。

[画像]

両方のオーディオソースはタイムスタンプされ、グローバルフレームインデックスに変換されます。ミキサーは両方のキューをロックステップでドレインし、両方に十分なデータがある場合にのみ出力を生成します。一方のソースが停止した場合(マイクミュート、仮想デバイスのフリーズ)、ミキサーは500ミリ秒後にそれを検出し、ソースが再開するまでシングルソースモードに切り替えます。

さらに微妙な問題があります:サンプルレートについて嘘をつくオーディオドライバーです。一部の仮想ドライバーは48kHzを報告しますが、実際には44.1kHzでバッファを配信します。30分間の会議では、このドリフトは聴覚上明らかになります。私たちの修正は、信頼性に基づいた補正です。実際のバッファのケイデンスを測定し、3つの連続するバッファで報告されたフォーマットと一貫して一致しない場合は、クリック音を避けるためにクロスフェードを使用して、正しいレートでストリームを再解釈します。

Windowsでは、この複雑さのほとんどはキャプチャエンジンの内部ミキサーによって抽象化されています。トレードオフは制御です:macOSでは、嘘をつくドライバーのような例外ケースを自分で検出し修正しますが、Windowsではその粒度を単純さのために犠牲にします。

クラッシュから生き残る録音

通常のMP4は、ファイルの最後にメタデータを書き込みます。その前にクラッシュすると、録音は失われます。両方のプラットフォームで、代わりにフラグメント化されたMP4を使用します。

[画像]

各セグメントは自己完結型です。30分でクラッシュしても、失われるのは最後の1秒までです。セグメントはローカルストレージとクラウドの両方に同時に送信されます。ネットワークが切断された場合、セグメントはローカルに永続化され、接続が回復するとアップロードが自動的に再開されます。

デスクトップ録音は、かつて私たちのサポートチケットの最も一般的な原因の1つでした。今では、ただ機能するアプリの退屈な部分になりました。全体の書き直しは2ヶ月で完了しました。その理由はAtomicにあります。ブリッジが存在すれば、機能を追加することはSwiftを記述してUIがリアルタイムで更新されるのを見ることを意味しました。

すべてがレンダラープロセスに属しているわけではありません。時にはネイティブに移行する必要があります。

このような問題に取り組むことに興味がある場合は、私たちに参加することを検討してください。