バイトオーダーマークに関するバグの修正
Fixing a bug with byte order marks (alexwlchan.net)
要約
筆者はSRT形式の字幕ファイルをWebVTT形式に変換する際に、UTF-8エンコーディングのバイトオーダーマーク(BOM)の扱いでバグに遭遇しました。BOMを正しく処理しないと、変換後のファイルで問題が発生することが判明しました。Pythonの`encoding="utf-8-sig"`オプションや`ripgrep`コマンドラインツールを活用して、この問題を解決し、既存の破損ファイルを修正するプロセスを解説しています。
全文翻訳
バイトオーダーマークに関するバグの修正
最近、ローカルのメディアライブラリにある字幕ファイルを整理していました。字幕には、SRT(SubRip Subtitle)とWebVTT(Web Video Text Tracks)という2つの一般的なファイル形式があります。
私はWebVTT形式に標準化を進めています。なぜなら、WebVTTはHTML5の<video>要素と互換性があり、私はすべての動画を静的ウェブサイトに埋め込んだ<video>要素で再生しているからです。しかし、多くの字幕はSRT形式でしか提供されていないため、SRTファイルをWebVTTに変換するPython関数を作成しました。これらの形式は単純に見え、変換も簡単だと思っていました。まさか、それが間違いの始まりでした!
変換後の字幕をチェックしたところ、バイトオーダーマーク(BOM)の処理にバグがあることに気づき、修正にはいくつかのステップが必要でした。
UTF‑8 BOMの確認漏れ
バイトオーダーマークとは、テキストファイルの先頭に置かれる特殊なゼロ幅ノーブレークスペース文字 U+FEFF のことで、ファイルを読み込むプログラムにテキストのエンコーディング方法を伝えます。これは、エンコードに使用されるバイトの正確なシーケンスに依存します。例をいくつか挙げます:
EF BB BF– ファイルはUTF‑8テキストです。UTF‑8は常に同じバイト順序を持つため、これはエンコーディングについて伝えているだけです。FE FF– ファイルはUTF‑16テキストで、ビッグエンディアンのバイト順序(UTF‑16BE)です。FF FE– ファイルはUTF‑16テキストで、リトルエンディアンのバイト順序(UTF‑16LE)です。00 00 FE FF– ファイルはUTF‑32テキストで、ビッグエンディアンのバイト順序です。
私のSRT入力ファイルはすべてUTF‑8でエンコードされており、そのうちのいくつかはUTF‑8のバイトオーダーマークを持っていましたが、私はそれを正しく処理していませんでした。例えば、以下のような入力SRTファイルがあったとします:
<U+FEFF>1
00:00:01,001 --> 00:00:10,010
You have grown, Keyne.
2
00:02:00,002 --> 00:20:00,020
Soon you’ll be needing another name.
WebVTTに変換する際、WEBVTTヘッダーを追加し、シーケンス番号を削除し、タイムスタンプの形式を変更したいと考えていました。
シーケンス番号を削除するために、行がすべて数字かどうかをチェックしていました。BOMが最初のシーケンス番号と同じ行にあったため、その行はすべて数字ではありませんでした。そのため、私はその行を削除しませんでした。代わりに、BOMを含めた行全体をWebVTTファイルの中央にコピーしてしまいました:
WEBVTT
<U+FEFF>1
00:00:01.001 --> 00:00:10.010
You have grown, Keyne.
00:02:00.002 --> 00:20:00.020
Soon you’ll be needing another name.
正しい変換では、バイトオーダーマークと最初のシーケンス番号の両方が削除されるはずでした:
WEBVTT
00:00:01.001 --> 00:00:10.010
You have grown, Keyne.
00:02:00.002 --> 00:20:00.020
Soon you’ll be needing another name.
ローカルのメディアライブラリでは、すべてUTF‑8であると想定できます。バイトオーダーマークを安全に削除でき、ウェブブラウザは字幕を正しくデコードしてくれるはずです。
encoding="utf-8-sig"によるコンバーターの修正
最初の修正では、BOMを手動で処理しようとしました。U+FEFFを探してファイルから削除するコードを書き、それを検出して変換されたWebVTTファイルに再挿入しようとしました。(これは、単に完全に削除できることに気づく前のことです。)低レベルのテキストエンコーディングコードと、高レベルの字幕変換ステップが混在していたため、少し煩雑でした。
この記事のために調査していたところ、よりエレガントな解決策があることに気づきました。SRTファイルをencoding="utf-8-sig"で開けば、Pythonはファイル先頭のオプションのUTF‑8エンコードBOMを自動的に検出し、スキップしてくれます。私のコードの残りの部分は、BOMが存在することを知る必要も気にする必要もありません。
私はこのバグを関数で修正しました。これにより、将来の変換は正しく行われるようになります。しかし、すでに生成されてしまった壊れたファイルはどうなるのでしょうか?
ripgrepによるUTF‑8 BOMの検出
当初、TextMateでU+FEFFを検索しようとしましたが、一貫してクラッシュしたため、コマンドラインツールに切り替えました。
テキスト検索にはripgrepを使用しています。デフォルトでは、ファイルに対して「BOMスニッフィング」を行います。ファイルを読むとき、最初の数バイトを見て、実際のエンコーディングからUTF‑8にファイルを変換し、変換されたバージョンで検索を実行します。これはBOMが意図されている使い方ですが、検索対象がBOMそのものである場合にはあまり役立ちません!
代わりに、正規表現で(?-u:…)を使用することで、ripgrepのUnicodeサポートを無効にし、生のバイトを検索できます。(このフラグはRustのregexクレートに由来します。)以下のコマンドは、UTF‑8 BOMで始まる行を検索します:
$ rg '^(?-u:\xEF\xBB\xBF)'
ファイルの先頭にあるBOMだけを探している場合は、--multilineフラグも必要になります。これにより、キャレット^は行の先頭ではなく、ファイルの先頭にアンカーされます。しかし、私はファイルの途中にあるBOMを探しているので、--multilineを省略するのが正しいです。
この検索により、壊れたBOMを持つファイルが数十個見つかりました。当初はTextMateで壊れたファイルを開いて手動で編集していました:
$ rg --files-with-matches --null '^(?-u:\xEF\xBB\xBF)' | xargs -0 mate
しかし、すぐにこれが遅すぎると気づき、すべてのファイルを一度にクリーンアップするPythonスクリプトを作成しました:
#!/usr/bin/env python3
import glob
for filepath in glob.glob("**/*.vtt", recursive=True):
with open(filepath, "rb") as f:
content = f.read()
if b"\xef\xbb\xbf" in content:
content = content.replace(b"\xef\xbb\xbf", b"")
with open(filepath, "wb") as f:
f.write(content)
print(filepath)
このスクリプトを実行した後、ripgrepコマンドを使って正しく処理されたか確認しました。確かに、私のメディアコレクションからすべての誤ったBOMが削除されていました。また、字幕ファイルはGitリポジトリで管理しているので、スクリプトが他の変更を加えていないことも確認できました。
このバグが発生する前は、バイトオーダーマークについて漠然と聞いたことがある程度で、真剣に取り組んだことはありませんでした。このような教訓が得られることが、手作りの静的ウェブサイトとしてローカルメディアアーカイブを管理するのが好きな理由です。ローファイなアプローチは、低レベルのアイデアを探求し、コンピューター上で実際に物事がどのように機能するかを学ぶ多くの機会を与えてくれます。