FFmpeg 9.0 リリース
要約
FFmpeg 9.0 "Lei" がリリースされ、swscaleライブラリの全面的な書き換え、Vulkanバックエンドの追加、WebPアニメーションデコードのサポート、NVENCのAV1階層Bフレーム参照モード対応、RISC-V最適化などが含まれます。今回のメジャーリリースでは、7つの主要ライブラリのABIが変更され、コードベースの大幅なクリーンアップが行われました。
全文翻訳
FFmpeg 9.0
FFmpeg 9.0: swscale、Vulkan、WebP、asm、そして大規模なクリーンアップ
FFmpeg 9.0 “Lei” がリリースされました。
FFmpegは今さら説明の必要はないでしょう。ほとんどのマルチメディアプレイヤーやトランスコーディングワークフローの基盤となっており、VLCはlibavcodecとlibavformatを多用しています。FFmpegとVideoLANのコミュニティは常に密接であり、多くの開発者を共有し、FOSDEMやVDDでしばしば顔を合わせています。
FFmpeg 9.0はメジャーリリースです。これは8.1 “Hoare” の4ヶ月半後にリリースされ、160人以上の著者から2200以上のコミットがあり、1781ファイルに触れ、約85000行を追加し、33000行以上を削除しました。7つのライブラリすべて(libavutil 61、libavcodec 63、libavformat 63、libavdevice 63、libavfilter 12、libswscale 10、libswresample 7)のメジャーバージョンが引き上げられたため、ABIのブレークが全体に発生し、FFmpegがメジャーアップデート時にのみ許容する大規模なクリーンアップが行われました。
扱うべきことはたくさんあるため、ここでは最も重要な部分に焦点を当てつつ、あまり目立たない作業についても言及します。
swscale、再実装
このリリースで最も重要な長期的な作業は、機能リストには見えにくいものです。それは、Niklas Haasが主導したswscaleの数年間にわたる再実装です。彼はこのサイクルでlibswscaleだけでも300以上のコミットを貢献し、Ramiro PollaもARM側でそれに続きました。
古いswscaleは20年分の、フォーマット固有のカスタム変換コードでした。新しいアーキテクチャは完全に異なります。各変換は、基本的なオペレーション(読み込み、スウィズル、線形変換、スケーリング、パッキングなど)のリストに分解され、オプティマイザがそのリストを単純化・分割し、バックエンドがそれをカーネルのチェーンにコンパイルします。
9.0ではこれがユーザーにも可視化されます。パブリックAPIにSwsBackendセレクタが追加され、バックエンドにはテンプレートベースのCリファレンス、高速なmemcpyパス、連鎖したx86 SIMDカーネル、連鎖したAArch64 NEONカーネル、そして同じオペレーションリストをコンピュートシェーダーにコンパイルするVulkan SPIR-Vバックエンドが含まれるようになりました。これにより、全く同じ変換グラフをCPUまたはGPUで実行できます。また、古いフラグのスープの代わりに、スケーリングアルゴリズムを明示的に選択するための新しいSwsScaler enumも追加されました。
その根底にある正確性のエンジニアリングが私が気に入っている部分です。各変換を駆動する定数計算は、浮動小数点ではなく正確に計算される新しい64ビット有理数型に移行しました。これにより、オーバーフローチェックのシリーズ全体が不要になりました。SwsBackendにSWS_BITEXACTを要求すると、Vulkanバックエンドでさえそれに準拠し、SPIR-VのNoContractionで線形演算を装飾してGPUが乗算加算を融合できないようにします。これをオフにすると、より高速な行列乗算バリアントが得られます。オプティマイザは、オペレーションリストをプレーンごとに分割したり、リンクされたサブパスに分割したりできるようになり、プレーンごとの独立したカーネルとしてコンパイルされるようになりました。
新しいパスはまだSWS_UNSTABLEでゲートされており、レガシーコードが安定したデフォルトとなっています。このサイクルでは、パレット(PAL8)サポートも新しいアーキテクチャに追加され、パレット読み込み用のAVX2パスと、フォーマットネゴシエーションにおけるインターレースコンテンツの適切なモデリングが行われました。アーキテクチャは現在、準備が整っています。
Niklasは前回のVDDでこの作業について非常に良い講演を行いました。
libavcodec
libavcodecには700以上のコミットが着弾しました。最も重要なものは以下の通りです。
- FFmpegはついにアニメーションWebPをネイティブでデコードできるようになり、それに伴うデマクサーも追加されました。これは2015年にオープンされたチケット#4907をクローズするもので、10年間にわたり「なぜFFmpegは最初のフレームしかデコードしないのか?」というスレッドの常連でした。パッチは Josef Zlomek によって開始され、Ramiro Polla が最終的に完成させました。RGBとYUVのケースが特に複雑でした。
- AACデコーダーは、DAB+デジタルラジオで使用されるバリアントである960サンプルフレームを処理できるようになりました。
- NVENCは、AV1階層Bフレーム参照モード、Video Codec SDK 13.1との互換性を獲得し、12ビット入力フォーマット(10ビットに切り捨て)を受け入れます。
- Playdate、クランク付きの小さな黄色いコンソールのためのビデオエンコーダーとマクサーが追加されました。これはデルタコーディングとzlib圧縮を使用して、1ビット、400x240のビデオを生成します。重要ではありませんが、クールです。
- 新しいデコードAPI
avcodec_receive_frame_flags()が追加され、フレームスレッディングの遅延をバイパスし、可能な限り早く次のフレームを返すAV_CODEC_RECEIVE_FRAME_FLAG_SYNCHRONOUSフラグが提供されました。これは、他の時間はスレッドデコードを維持したい低遅延コンシューマーに役立ちます。
アセンブリとSIMD: x86、NEON、RISC-V
FFmpegは依然として多くのカスタムアセンブリを記述しており、このサイクルは多忙でした。x86ディレクトリには約200のコミット、ARMディレクトリには約100のコミットが触れられました。これらはVideoLANでも関心のある作業であり、これらの最適化がより多くのマシンでソフトウェアデコードを実用的にしているからです。
x86では、Andreas Rheinhardtがツリーの中で最も古いDSPコードを現代に引き上げる作業の大部分を行いました。ハーフペルモーション補償コード(hpeldspとfpel、MMX時代に遡る)がSSE2にポートされ、H.264イントラ予測はAVX2水平予測子を獲得し、pp7ポストプロセッシングDCTはMMXを置き去りにし、最後のMMX残骸がmpegvideoencから削除されました。モーション推定比較関数は、中央値SADのSSSE3バージョンを獲得し、新しいswscale x86バックエンドはNASMマクロからSIMDカーネルを生成します。これには前述のAVX2パレット読み込みパスも含まれます。
ARMでは、NEON yuv2rgbパスが、パケットRGB、プレーンGBR、16ビットRGB、yuva420p出力、およびビッグエンディアン16ビットフォーマットを横断して、一度に2ラインを処理するように再設計されました。HEVCイントラ角度モード10と26にNEON実装が追加されました。AAC SBRとfloat DSPループも、最新のパイプラインをより良く埋めるためにアンロールされました。しかし、最も興味深いARM作業はswscaleに隠されています。Ramiro Pollaは、命令レベルIRとビルダーAPIを備えた小さなアセンブラフレームワークであるrasmの上に新しいAArch64バックエンドを構築しました。これはビルド時にアセンブラテキストとして連鎖したNEONカーネルを生成し、将来的にランタイムコード生成を可能にするように設計されています。
RISC-Vは今回のFFmpegでは静かでしたが、hevc_add_resとpixelutils SADのRVV最適化、およびポータビリティ修正が行われました。マルチメディアエコシステムにおけるRISC-Vベクターのエネルギーの大部分は現在dav1dに注がれており、FFmpegはdav1dベースのAV1デコードを通じてそれを無料で再利用しています。
カメラRAWとFFV1
このリリースのテーマの1つは、オープンソースにおけるカメラRAWビデオです。
ネイティブなProRes RAWデコーダーは8.0で導入され、このサイクルでリファレンス実装と同期されました。ビットストリームから線形化カーブを解析し、フレームクロッピングを設定し、新しいAV_FRAME_DATA_RAW_COLOR_PARAMSサイドデータを通じて生のBayerカラーパラメータをエクスポートするようになりました。これはARRIRAWが明確にロードマップにあるため、コーデック固有に設計されています。Appleプラットフォームでは、GPUアクセラレーテッドVulkanデコーダーが利用可能であり、新しいVideoToolboxデコードも利用できます。
パイプラインの反対側では、FFV1がBayerピクセルフォーマットのエンコードを学習しました。これは、デベイヤーリングする前にロスレス圧縮された生のセンサーモザイクです。Lynneはこれをネイティブコーデックで実装し、最適な可逆色変換係数をスライスごとに検索し、個別のGPUアクセラレーテッドVulkan FFV1エンコーダーおよびデコーダー(はい、FFmpegはGPU上でFFV1をエンコードおよびデコードするようになりました)でも実装しました。検索は独自のコンピュートパスとして実行されます。作業の一部はSovereign Tech Fundのスポンサーシップを受けています。Vulkanエンコーダーは、Rice-plus-remapコーディングモードを備えた32ビットfloat RGBパスも獲得し、生の16ビットfloatを読み取る際にデノーマルを保持するように注意しています。FFV1は保存マスターとして広く使用されており、GPU速度でカメラセンサーデータをロスレス圧縮することは、デジタル保存のための有用な新機能です。
VulkanとGPU
Vulkanの作業は、コーデックおよびフィルターレイヤー全体で拡大し続けています。ハードウェアデコード以外でも、より多くの場所で使用されるようになりました。
- 新しいv360_vulkanフィルターは、コンピュートシェーダーで360度投影リマッピングを行います。これはツリーの中で最もコストのかかるフィルターの1つをGPUアクセラレートしますが、おそらくほとんどのユーザーにとってはコーデックやスケーリング作業ほど重要ではありません。
- 8.0で追加されたSamsungのプロフェッショナルプロダクションコーデックであるAPVは、Vulkan GPUアクセラレーテッドデコーダーを獲得しました。
- インフラストラクチャの大幅な変更:ランタイムシェーダーコンパイルは廃止されました。すべてのVulkanシェーダーはビルド時にSPIR-Vにコンパイルされ、残りのフィルター(scale、nlmeans、blackdetect)もそれに応じてポートされました。スケーリングフィルターを実行するためにランタイムでGLSLコンパイラを配布する必要はなくなりました。swscale GLSLバックエンドはSPIR-Vバックエンドに置き換えられました。
- Vulkan hwcontext APIはメジャーアップデートに合わせて近代化されました。
VkAccessFlagBits2、公開されたキュー作成フラグ、クエリ可能なオプションのインスタンス/デバイス拡張機能、新しいピクセルフォーマットサポート(X2RGB10、X2BGR10、XV30、RGBAF16)、および一連のCUDA相互運用性の修正が含まれます。
VulkanだけがGPU APIではありません。AMDのAMFは、フレームレートコンバーターフィルター(frc_amf)、カラーコンバーター(vpp_amf、HDRメタデータをAMF表現との間で変換するための新しい公開ヘルパー付き)でのHDR機能、およびハードウェアメモリマッピングサポートを獲得しました。CUDAパイプラインは、新しいtranspose_cudaフィルター、scale_cudaでの汎用フィルタリングパス、および最近のNVIDIAハードウェアがようやくデコードできるようになった10ビットおよび12ビット4:2:2および4:4:4フォーマットのエンドツーエンド処理を獲得しました。これらのプロフェッショナルフォーマットは、NVDEC、CUDAフィルター、およびNVENC全体でマッピングされます。
HDRとDolby Vision
10日前に、libbluray 1.5.0がUHD Blu-rayでDolby Visionトラックを公開することについて書きました。FFmpeg 9.0は、そのパイプラインのもう一方の端を拾い上げ、今回はストーリーが完成しました。
Dolby Vision Profile 7、UHD Blu-rayディスクで使用されるフレーバーは複雑です。完全なエンハンスメントレイヤーHEVCビットストリームとRPUメタデータが、ベースレイヤーストリーム内にインターリーブされ、未指定のNALユニットタイプ62と63に隠されています。新しいdovi_splitビットストリームフィルターは、そのようなストリームを分解します。ベースレイヤーのみを保持して通常の標準HEVCストリームを取得するか、レイヤーを適切に分離します。その周囲で、libavformatはストリームの実際のモデルを獲得しました。MP4、MPEG-TS、Matroskaをデマクセする際に検出され、MP4またはMatroskaにマクセする際に再書き込みされるDolby Visionストリームグループ(LCEVCストリームグループのAVStreamGroupLayeredVideoへの一般化)です。これにはエンハンスメントレイヤー設定hvcEも含まれます。これにより、シグナリングを維持しながらこれらのストリームをデマクス、スプリット、リマックスすることが可能になります。
メタデータフロントでは、9.0はSMPTE 2094-50ダイナミックHDRメタデータの解析、書き込み、パススルーを追加しました。これはHDR10+に加えて別のSMPTE 2094フォーマットであり、libaomとlibvpxでのエンコーディング、Matroskaブロック追加、ffprobe出力まで対応しています。仕様はGitHub上で公開されており、最終化されています。はい、SMPTEは現在GitHub上でドラフト標準を公開しています。HDR10+、中国のHDR Vivid、AOMフィルムグレイン、Active Format Descriptionを含む、ITU-T T.35ダイナミックメタデータのすべてが、コーデックごとに再実装されるのではなく、1つの統一されたヘルパーセットを通じて解析されるようになりました。また、ファイルに間違った静的HDRメタデータが含まれている場合、ffmpeg CLIは、HDRファイルが不適切にマスタリングされた場合に役立つ、入力時のメタデータを修正するためのストリームごとの-mastering_displayおよび-content_light入力オーバーライドを獲得しました。
libavformat
libavformatには約400のコミットが着弾しました。上記のDolby Vision作業に加えて:
- 新しいデマクサーコマンドAPI(
avformat_send_command()/avformat_receive_command_reply())により、アプリケーションは実行中のデマクサーと通信できるようになりました。最初のユーザーはRTSPで、SET_PARAMETERを公開しており、インタラクティブなカメラ制御はアウトオブバンド接続を必要としなくなりました。設計は意図的に非同期であり、コマンドとその応答の間でパケットを読み取り続けることができます。 - LCEVCエンハンスメントレイヤーは、MP4で適切なトラックとして、MatroskaでITU-T T.35ブロック追加としてマクセできるようになり、2リリース前に開始されたLCEVCチェーンが完成しました。
- MP4/MOVは、トラック参照をモデリングするためのTREFストリームグループを獲得しました。これにより、タイムドメタデータストリーム(EXIFやカメラテレメトリなど)が説明するメディアにアタッチされたままになり、バージョン1の
chnlボックス、2チャンネル以上のオーディオ用のstsdバージョン2、ギャップレスオーディオの初期パディングと末尾サンプルトリミングのエクスポートが追加されました。 - 新しい
shared:プロトコルは、同時ブロックキャッシュを実装します。スレッドセーフであり、プロセス間でも機能するため、同じリモートストリームを読み取る複数のFFmpegインスタンスが単一のキャッシュファイルを共有できます。メモリマップされており、便利な副作用があります。ストリームが完全に読み取られた後、キャッシュファイルはストリームされたファイルの作業コピーになります。swscaleを書き換えていないNiklas Haasによるものです。 - IAMF(Alliance for Open Mediaのイマーシブオーディオフォーマット、Eclipsa Audioの下にあるもの)は、ミックスゲイン、デミックス情報、再コンゲインなどのダイナミックパラメータを、ffprobeおよびshowinfoフィルターで表示可能な適切なフレームサイドデータとして公開しました。Marvin Scholzによるものです。IAMFマクサーは、壊れたファイルをサイレントに生成するのではなく、新しい
AVFMT_FIXED_FRAMESIZE機能フラグを通じてフォーマットの固定フレームサイズを強制するようになりました。 - ネットワークサイドでは、WHIPマクサーはSDPアンサーからリモートDTLSフィンガープリントを要求し検証するようになり、mbedTLSは外部ソケットでの証明書検証結果を実際にチェックする修正を受け、RTMP、FTP、RTSPはすべて入力検証の強化を受けました。
大規模クリーンアップと削除
8.xサイクル中に非推奨とされたものはすべて削除され、そのリストは長いです。
コマンドラインでは、-vsync(-fps_modeを使用してください)、-top、-qphist、-filter_complex_script、-adrift_thresholdが最終的に削除されました。OpenMAXエンコーダーが削除されました。NPPフィルター(scale_npp、scale2ref_npp、sharpen_npp、transpose_npp)は、昨年9月に非推奨となったlibnppサポートの残りの部分とともに削除されました。前述のtranspose_cudaフィルターは、外部依存関係なしにtranspose_nppの後を引き継ぎます。パケットYUVの奇妙なv308/v408/v410は、専用コーデックを失いました。NVENCは古いプリセットエイリアス、レガシーレート制御モード、およびSDK 11.1より前のサポートをドロップします。
すべてのユーザーの注意に値する動作変更が1つあります。FFmpegはデフォルトでTLSピア証明書を検証するようになりました。これは8.0で発表され、約束通りこのアップデートで適用されました。証明書が壊れているサーバーと通信するスクリプトは、すでに借り物の時間で生きていました。
しかし、私が気に入っている削除は2つありますが、これらは純粋なFFmpegの伝承です。
- スタンドアロンのCELTデコーダーが削除されました(Opusは独自のCELTを含んでいるため、これは影響しません)。コミットメッセージには、2014年から実際に壊れていたと記載されており、「誰も気づかず、文句も言わなかった」とのことです。11年間のサイレントビットロットが、VideoLANのMarvin Scholzによって削除されました。
- Sonicコーデック、2000年代初頭のMichael Niedermayerによる実験的なコーデックファミリーも削除されました。削除は前のメジャーアップデートで予定されていましたが、締め切りに間に合いませんでした。もしどこかにSonicファイルを持っているなら、統計的には持っていないでしょうが、可能であれば8.xリリースでトランスコードしてください。
コマンドライン
-re/-readrate機構は、最速ではなく最も遅いストリームでスロットリングするように再設計され、完了したストリームとまだ開始されていないストリームをスキップします。ライブレストリームが疎な字幕トラックのために枯渇するのを見たことがあるなら、これが修正です。ffprobeは新しいサイドデータ型(SMPTE 2094-50、IAMFミックスゲインとデミックスパラメータ、ダウンミックス情報)を表示できるようになりました。ffmpeg CLIは、マクセ時にLCEVCストリームグループを作成することもできます。
そして、DNNフィルターはCUDAおよびDirectML実行プロバイダーを備えたONNX Runtimeバックエンドを獲得しました。これにより、TensorFlowやOpenVINOに変換する前に、フィルターグラフで直接ONNXモデルを実行して、超解像、ノイズ除去、または背景除去を行うことができます。8.0のWhisperフィルターと組み合わせると、フィルターグラフはデコードループの隣で推論を実行するためのまともな場所になりつつあります。
内部
あまり目立たない変更もいくつか言及する価値があります。
- FFmpegのアセンブリテストは、スタンドアロンのcheckasmライブラリを使用するようになりました。これはdav1d 1.5.4の投稿で言及したプロジェクトです。x264で生まれ、FFmpegで再実装され、dav1dのために再ライセンスされ、そして今やすべての人にとって一度だけメンテナンスされています。
- 開発は、メーリングリストと並行して、code.ffmpeg.orgにあるFFmpeg自身のForgejoインスタンスで実行されるようになりました。GitHubのプルリクエストは「無視されます」。
- このサイクルの160人以上の貢献者の中には、自動化された貢献者もいます。バグ発見ボットは、デマクサーとプロトコルに9件の受け入れられたハードニングパッチを投入し、OSS-Fuzzからの継続的なファジング修正も行われました。
結論
FFmpeg 9.0は、新機能と多くのクリーンアップを伴う実質的なリリースです。ABIのブレークは、ディストリビューションやアプリケーションが7つの新しいソナムを移行するのに時間がかかることを意味します。VLC4もそれに続きます。
完全なChangelogは読む価値があり、gitログも同様です。このリリースを作成した160人以上の人々、特にNiklas Haas、Andreas Rheinhardt、Michael Niedermayer、James Almer、Lynne、Marvin Scholz、Ramiro Pollaに祝意を表します。彼らは非常に長いリストのトップにあり、その多くがFFlabsおよび/またはVideoLabsでこの作業の一部を行いました。
コードは、いつものようにオープンソースです。パッチは歓迎されます。