HN 日本語サマリー

← 一覧へ戻る
Web開発

なぜ金額がすべてマイナス値になるのか?

Why are all the amounts values negative? (bankstatementconverter.com)

33 pointsby 4pkjai7 コメント

要約

PDFから金額を変換する際に、すべての値がマイナスになる問題が発生しました。これは、PDFのエンコーディングで、マイナス記号が背景色と同じ色で描画され、見えなくなっていることが原因でした。この問題は、PDFの右揃えを調整するために、見えないマイナス記号が使用されたために発生したと考えられます。解決策として、OCR処理や、黒以外の色のテキストを無視する方法が提案されています。

全文翻訳

金額の値がすべてマイナスになるのはなぜですか?

[画像: 顧客からのメールのスクリーンショット]

数日前、ある顧客からメールを受け取りました。すべての金額がマイナスとして表示されるという内容です。問題を確認するために、そのPDFを変換してみました。

PDFのサンプル

[画像: 問題のあるPDFのサンプル]

変換後のサンプル

[画像: 変換後のPDFサンプル、金額がすべてマイナスになっている]

顧客の言う通り、すべての金額がマイナスとして表示されていました。これは奇妙です。興味深いことに、列ヘッダーもマイナス記号で終わっています。次に、PDFSnake というデバッグツールでPDFを開き、テキストがどのようにエンコードされているかを確認しました。「$110.00-」と「$1,527.57」の値がどのようにエンコードされているか見てみましょう。

$110.00-

[画像: $110.00- のPDFコマンド]

PDFは一連のコマンドで構成されています。このセグメントに表示されるコマンドを順に見ていきましょう。

  • BT: Begin Text. PDFレンダラーにテキストレンダリングモードに入り、前のグラフィック状態を保存するように指示します。Begin TextとEnd Textブロック内では、テキストオペレーターのみが許可されます。
  • ET: End Text. PDFにテキストレンダリングモードを終了し、BTコマンド前のグラフィック状態を復元するように指示します。
  • Tf: テキストフォントとサイズを設定します。
  • Td: テキスト位置を移動します。
  • Tj: テキストを表示します。
  • g: 非ストローク操作のグレースケールレベルを設定します。
  • G: ストローク操作のグレースケールレベルを設定します。

上記のPDFコマンドは、「テキスト($110.00)を描画します。グレースケールレベルを0に設定します。テキスト(-)を描画します」と要約できます。

$1,527.57-

[画像: $1,527.57- のPDFコマンド]

これらのコマンドは以前にも見たことがあり、構造も似ています。しかし、一つ重要な違いがあります。マイナス記号を描画する際にグレースケールレベルが0.878に設定されています。マイナス記号のグレースケールレベルは、背景色と同じグレースケールレベルです。これにより、マイナス記号が見えなくなります。文字は存在しますが、表示されないため、私のコードがこのPDFを処理する際に抽出されてしまうのです。

なぜ彼らはPDFをそのようにエンコードしたのか?

理由は分かりませんが、推測はできます。

[画像: 右揃えの難しさを示す図]

このPDFでは、末尾にマイナス記号を使用することにしたようです。末尾のマイナス記号は、金額の右揃えを少し難しくします。なぜなら、単純な右揃えだけでなく、マイナス記号を無視した数値要素の右揃えを求めていたからです。これを達成する一つの方法は、常にマイナス記号のためのスペースを空けておくことです。しかし、マイナス記号の幅はどれくらいでしょうか?フォントサイズによって異なるため、予測が難しいかもしれません。そこで、正の値に対しては、見えないマイナス記号を挿入することにしたのでしょう。

PDFは見た目が良くなりますが、データ抽出は困難です。先頭にマイナス記号を使用すれば、このような問題は避けられますが、何らかの理由で末尾のマイナス記号を望んだのです。これで問題の原因は分かりましたが、このPDFを正しく変換するにはどうすればよいでしょうか? 2つの解決策が考えられます。

解決策 #1 - PDFをOCR処理する

PDF内のテキスト要素を読み取る代わりに、PDFをPNGファイルのシリーズに変換し、そのPNGファイルに対してOCRソフトウェアを実行することができます。これは機能するはずですが、いくつかの欠点があります。OCR処理は100%正確ではありません。かなりうまく機能しますが、文字が誤って認識される可能性は常にあります。また、OCR処理は大幅に遅くなります。

解決策 #2 - 黒色以外のテキストを削除する

このタイプの明細書では、黒色のテキストのみが関連します。他の色に設定されたテキスト要素は、見えないものとして扱うことができます。これは機能するはずですが、一つ問題があります。Bank Statement Converterでテキストを抽出する際、テキストの色を保存していません。そのため、この機能を追加する必要があります。ただし、それほど難しくはないはずです。

更新

解決策 #2 を使用したところ、この特定の銀行から発行された明細書では非常にうまく機能しました。