HN 日本語サマリー

← 一覧へ戻る
Web開発

Perspec 1.0

Perspec 1.0 (adriansieber.com)

54 pointsby surprisetalk13 コメント

要約

この記事は、9年間の開発を経てリリースされた画像補正デスクトップアプリ「Perspec 1.0」の発表です。Perspecは、特に書類やレシートの写真の歪んだパースペクティブを修正するために設計されており、モバイルのスキャナーアプリとは異なり、デスクトップでの編集の利便性と、より高品質な画像処理(PNG形式の利用など)を提供します。開発者は、既存アプリの欠点を克服し、独自のコーナー検出アルゴリズムを実装するために、HaskellとC言語を駆使して開発を進めました。

全文翻訳

Perspec 1.0 の発表

2026-07-29 — 3020 Words — 16 min

Perspec の 1.0 リリースを発表できることを大変嬉しく思います!

Perspec は、画像のパースペクティブを補正するためのデスクトップアプリです。これは主に、書類やレシートの写真に役立ちますが、あらゆる種類の画像に使用できます。

[画像: Perspec のスクリーンショット]

このアプリは、9年前にプロジェクトを開始したときに私が思い描いていたものに、ついに到達しました。ここまで来るのにこんなに時間がかかるとは思いませんでしたが、結果には非常に満足しており、皆さんも気に入ってくれることを願っています!

初期動機

おそらく、Adobe Scan、vFlat、SwiftScan など、モバイルフォン向けの多くのスキャナーアプリに馴染みがあるでしょう。スキャン機能は Dropbox にも統合されており、最近では iOS 自体にもネイティブで組み込まれています。

しかし、私はスマートフォンで作業するのが好きではなく、書類やレシートの写真を撮って、後日コンピュータで整理やクリーンアップをすることを選ぶでしょう。そこには、大きな画面、キーボード、そして正確なマウスがあり、編集がより速く、より正確になります。

また、モバイルアプリは、ユーザーが慣れ親しんだものを提供するために、いくつかの厄介な技術的決定を下しています。

例えば、ドキュメントをグレースケール PNG として保存すると、圧縮アーティファクトを導入せずに小さなファイルサイズを得ることができます。しかし、すべての人気アプリは、単に JPEG が人々になじみがあるという理由だけで、はるかに大きなファイルサイズと悪い画質を持つグレースケール JPEG 画像を提供します。

あるいは、画像に均一な色の広い領域が含まれている場合、PNG の方が JPEG より小さくなることを彼らが知らないのかもしれません。一方、通常の写真では、JPEG の方が PNG より小さいです。そして、後で PNG に変換しても、その時点ですでに画像には JPEG 圧縮アーティファクトが含まれているため、オプションにはなりません。

例えば、以下の書類をスキャンした結果を比較してみましょう。

[画像: テーブルの上に置かれた研究論文の写真]

他のアプリはより大きなファイルを生成し、結果を劣化させる圧縮アーティファクトがはっきりと見えます。

アプリ結果プレビューメモ
Perspec約 110 kB、PNG 結果を見る[画像: Perspec 結果の詳細]
Scanner Pro約 190 kB、JPEG 結果を見る[画像: Scanner Pro 結果の詳細]エクスポートされた PDF から抽出した JPEG
iOS約 300 kB、JPEG 結果を見る[画像: iOS 結果の詳細]エクスポートされた PDF から抽出した JPEG

もう一つ、私が気にしすぎているかもしれないが、最近のほとんどのアプリに含まれている、ばかげた検出プレビューです。

写真を撮っている間、アプリはドキュメントを検出している場所のライブオーバーレイを表示します。しかし、これは全く役に立ちません。プレビュービデオフィードでドキュメントを正しく検出できるからといって、最終的な写真でも正しく検出されるとは限りません。より高い解像度、異なる照明(露出時間、フラッシュなど)、および異なるコントラストにより、最終的な写真では検出がしばしば大きく異なることがあります。

したがって、プレビューが教えてくれるのは、カメラの前にドキュメントがあるということだけです。あなたはそれをそこに置いたので、すでに知っています。🤦‍♂️

最後に、そして最も重要なことですが、私が撮る写真の種類に対して、より良いドキュメント検出アルゴリズムを構築できると知っていました。既存のアプリでの検出は、たとえドキュメントと背景の間に良いコントラストを持つ良い写真であっても、しばしばわずかにずれていました。

ほとんどのアプリは、Dropbox が ここで説明している ように、パイプラインに何らかのエッジ検出ステップを使用しています。しかし、ドキュメントやレシートは、まっすぐなエッジではなく、しわくちゃであったり曲がっていたりすることがよくあることを知っていました。わずかな曲線を直線に合わせようとすると、端点がかなりずれてしまいます。代わりに、アプリはコーナーを検出し、そこからドキュメントを構築しようとすべきです。記事の後半には、コンピュータビジョン技術の詳細な説明があります。

1.0 への長い道のり

Perspec の開発を始めたとき、私はまだ学生で、学業のために多くのものをスキャンする必要があったため、このようなものを作るモチベーションは十分にありました。

確かに、Photoshop、Affinity Photo、または GIMP でパースペクティブを修正することもできます。しかし、オーバーヘッドは相当なものです。各写真を開き、パースペクティブツールを見つけ、コーナーをドラッグし、適切なエクスポート設定を選択し、次の写真で繰り返します。これらのツールは、あらゆる画像で何でも行うように構築されており、できるだけ速く 50 枚のレシートを処理するように作られていません。私は、この 1 つのタスクに焦点を当て、ワークフローを可能な限り合理化したアプリを望んでいました。

私の最初のイテレーションは、Perspectra と呼ばれる完全に自動化された CLI アプリで、Python と scikit-image を使用して実装されました。画像を与えると、ドキュメントを検出して抽出しようとします。それだけです。

scikit-image は、機能が豊富でありながら OpenCV よりも扱いやすいので気に入っていましたが、Python が絶対に好きではないことにすぐに気づきました。しかし、それ以上に、誤って検出されたドキュメントの境界線を修正するための GUI が必要であることに気づきました。完全に自動化された CV パイプラインでは、すべてのドキュメントを 100% 正しくすることは決してできません。

そして、GUI を備えたデスクトップアプリをどのように構築するか?明らかに Haskell で。😝 冗談はさておき、私は最近 Haskell を学び始め、それに完全に夢中になっていました。そのため、当然、デスクトップアプリの構築に使えるかどうかを確認したかったのです。

もはや Python を使いたくなかったので、コンピュータビジョンと画像操作タスクには、その機能と能力についていくらか経験があったため、ImageMagick を使用することを次に考えました。既存の Haskell バインディング はかなり不足していたため、単に magick を外部プロセスとして呼び出すことを選択しました。これはほとんど機能しましたが、プラットフォーム間で正しくインストールしてリンクするのは常に面倒であり、大きな画像ではパフォーマンスが驚くほど悪かったです。

もう 1 つの明らかな選択肢は OpenCV でしたが、大学時代にそれを使用したことについていくつか悪い思い出があり(おそらく C++ のコンテキストだったのでしょう…)、Haskell バインディングはかなり厄介に見えました。

そこで、次の実験として、ネイティブ Haskell 画像処理ライブラリ Hip を使用しました。その作者である @lehins 自身と @HanStolpo の助けを借りて、ZuriHac で動作させることができました!(重ねて感謝します!)

しかし、Otsu の方法による二値化など、私が望んでいた機能がまだ不足していました。Hip でこれを実装することは確かに可能でしたが、私は(今回は)Haskell の抽象化が、手元のタスクに実際には役立たず、物事を不必要に複雑にするだけだと感じました。比較すると、C の for ループは概念的に非常にシンプルで、Haskell コードと同じくらい高速です。幸いなことに、C は Haskell ではファーストクラスの市民であり、いくつかの C コードをバンドルして Haskell の FFI を介して呼び出すのは非常に簡単です。

残念ながら、あまりにも多くの FFI の頭痛なしに Perspec に接続できる簡単な C ライブラリは見つからなかったので、コンピュータビジョンと画像操作のための純粋な C ライブラリである FlatCV の開発を開始しました。

ここでヤク剃りをやりすぎたかもしれませんが、プロジェクト全体が愛の労働である以上、最後までやり遂げるのはなぜですか?😅

画像操作アルゴリズムに C を使用した経験には非常に満足しており、必要な Haskell バインディングを備えた完全に機能するバージョンを迅速に構築できました。つい最近、バージョン 0.3.0 をリリースしましたが、現在では画像操作ライブラリに期待されるほとんどの基本的な操作が含まれています。Perspectra で最初に実装した、適応二値化 や コーナー検出 のような高レベルの CV 操作の一部も移植しました。

FlatCV のパフォーマンスを向上させる機会はまだたくさんあります。SIMD、GPU 使用、ストリーム処理 などです。しかし、FlatCV はリアルタイムコンテキスト(つまり 60 fps)で使用されるわけではないため、パフォーマンスはすでに十分以上です。

FlatCV を配置することで、1.0 の最後のピースである、Perspec での直接の自動コーナー検出を実装できるようになりました。

エッジ検出 vs. コーナー検出

ほとんどのスキャナーアプリは、Dropbox が説明している パイプラインに沿ったものでドキュメントを検出します。

  1. 画像をダウンサンプリングする
  2. エッジ検出アルゴリズム(例: Canny)を実行する
  3. Hough 変換 を使用して最も顕著な直線を見つける
  4. それらの直線の交点から四角形を構築し、最良のものを選択するためにスコアリングする

これは、高コントラストの背景上の完全に平らな紙片にはうまく機能します。しかし、実際のドキュメントが完全に平らであることはめったにありません。レシートはしわくちゃで、本のページは曲がっており、折りたたまれた紙も完全に平らになることはありません。曲がったエッジに直線を引き当てると、エッジ検出自体が完璧であっても、直線の交点(つまり再構築されたコーナー)がかなりずれることがあります。

したがって、Perspec は反対側からアプローチします。直線エッジを探すのではなく、画像をドキュメントと背景にセグメント化し、ドキュメントのアウトラインからコーナーを導き出します。これは FlatCV の コーナー検出 パイプラインの詳細です。

  1. 画像をグレースケールに変換し、256×256 px にダウンサンプリングします。(検出には完全な解像度は必要なく、これにより高速になります。)
  2. 画像をぼかして、ノイズと紙のテクスチャを取り除きます。
  3. Sobel フィルター を使用して、標高マップを作成します。(強いエッジが山の尾根になります。)
  4. ウォーターシェッド変換 を使用して標高マップに水を注ぎます。画像の中心がドキュメントの盆地をシードし、画像の境界が背景の盆地をシードします。結果はドキュメントのバイナリマスクになります。
  5. バイナリクロージングでマスクを平滑化します。
  6. マスク上で Förstner コーナー検出器 を実行します。(より一般的な Harris 検出器とは異なり、そのコーナーは内側にずれていますが、Förstner 検出器はサブピクセル精度のコーナー位置を提供します。)
  7. コーナー候補をソートし、最も角度の大きい 4 つのコーナーを保持します。
  8. コーナー座標を元の解像度にスケールアップします。
入力検出されたコーナー
[画像: レシートの写真][画像: 検出されたコーナーがマークされたレシート]

このアプローチの優れた点は、直線エッジを想定しないことです。ウォーターシェッドはしわくちゃのドキュメント境界に沿ってうまく機能し、しわくちゃのレシートでもコーナーは局所的に十分に定義されています。

検出が間違った場合でも、選択ポリゴンのサイズと位置をドラッグして修正できます。両方の長所を兼ね備えています。自動検出と手動補正です。

二値化アルゴリズム

パースペクティブの補正は半分にすぎません。ドキュメントやレシートの場合、もう半分は写真をクリーンな白黒画像に変換することです。これは、Perspec の Save BW および Save BW Smooth ボタンが行うことです。

このタスクは些細なことのように思えます。すべてのピクセルが特定のしきい値より暗い場合は黒、それ以外は白になります。難しいのは、しきい値を選択することです。

古典的な解決策は Otsu の方法 です。画像のすべてのグレースケール値のヒストグラムを作成し、暗いピクセル(テキスト)と明るいピクセル(紙)を最もよく分離するしきい値を選択します。これは、均一に照らされた画像にはうまく機能します。

残念ながら、写真はめったに均一に照らされません。多くの場合、明るさの勾配や、カメラを持っている人やカメラ自体によって投げかけられた影があります。

ドキュメントスキャン文献には、各ピクセルのしきい値をその近傍に基づいて計算する、局所的に適応的なアルゴリズム(例: Niblack および Sauvola)が数多くあります。

しかし、FlatCV の スマート白黒変換 は、より単純なトリックを使用して、単一のグローバルしきい値で済ませます。それは、しきい値処理の 前に 影を除去します。

  1. 画像をグレースケールに変換します。
  2. それを(約画像サイズの 10% のぼかし半径で)大幅にぼかしたコピーを作成します。すべてのテキストと詳細は平均化され、残るのは基本的に照明、つまり明るさの勾配とソフトな影です。
  3. ぼかしたコピーをグレースケール画像から減算します。これにより、高周波(テキスト)が保持され、低周波(影)が除去されます。結果は均一に照らされた画像になります。
  4. Otsu の方法で計算されたグローバルしきい値を適用します。

印刷されたドキュメントの写真では、これは、より複雑な局所適応アルゴリズムと同等か、それ以上にうまく機能し、より高速で実装も簡単であることがわかりました。

Save BW ボタンはまさにこのパイプラインを適用し、結果を真の 1 ビット白黒画像として保存します。各ピクセルは完全に黒または完全に白になります。

新しい Save BW Smooth ボタンは、さらに 1 歩進んで、2 つのしきい値(Otsu のしきい値 ± 小さなオフセット)を使用します。下限値より下のピクセルは黒、上限値より上のピクセルは白、その間のピクセルはスケーリングされたグレースケール値を保持します。これにより、アンチエイリアスされたエッジが得られ、テキストがギザギザに見えず、ファイルサイズはほぼそのまま小さく保たれます。そのため、ドキュメント、レシート、ホワイトボードに推奨されるオプションです。

入力[画像: パースペクティブ補正された紙のセクション]
Save BW[画像: 白黒に変換されたセクション]
Save BW Smooth[画像: アンチエイリアスされた白黒に変換されたセクション]

1.0 での新機能

自動コーナー検出はヘッドライン機能ですが、1.0 リリース では他にも多くのことが追加されました。

  • Windows のサポート。macOS と Linux がすでにカバーされているため、Perspec は現在、主要な 3 つのデスクトップオペレーティングシステムすべてで動作します。
  • 選択ポリゴンのエッジもドラッグできるようになりました(以前はコーナーのみ)。グリッド線により、選択のアライメントが容易になります。
  • ボタンとドラッグ&ドロップサポートを備えた新しい「ファイルを選択」ビューで、画像を簡単に選択できます。
  • 新しい Save BW Smooth エクスポートオプションは、画像をアンチエイリアスされた白黒に変換します。これは現在、ドキュメント、レシート、ホワイトボードに推奨されるオプションです。
  • PNG に対しても EXIF 回転データが処理されるようになりました。
  • Brillo の最新バージョンへのアップグレード。これにより、アプリのデザインが改善され、ボタンのホバーエフェクト、OS ごとのデフォルトフォントが提供されます。

変更点の完全なリストについては、変更履歴 を確認してください。

インストール

macOS、Windows、Linux 用のプリビルドバイナリも リリースページ で入手可能であり、macOS では私の Homebrew タップからインストールできます。

brew install --cask ad-si/tap/perspec

ただし、これらのバージョンでアップグレードバナーを削除するには、ライセンスを購入する必要があります。

Perspec のライセンスは、itch.io または Gumroad のいずれかで購入できます。これによりライセンスキーが取得され、アプリ内の「ライセンスを購入してください」というメッセージが削除されます。

ソフトウェア自体を必要としない場合でも、Haskell デスクトップアプリケーションおよびコンピュータビジョンソフトウェアの開発をサポートする方法として、購入を検討してください。

インストール後、アプリウィンドウに画像をドロップするか、CLI を介してバッチ処理できます。

perspec fix photos/*.jpeg

次のステップ

1.0 リリースは大きなマイルストーンですが、追加したい機能はまだいくつかあります。以下は、今後のリリースで計画していることです。

  • 固定出力サイズ: A4 や US Letter のような標準化された寸法に強制的に出力し、スキャンされたドキュメントが正しい比率とサイズになるようにします。
  • QR コード検出: Marcel Robitaille は、領収書の取り込み自動化 に関する素晴らしい記事を書いており、ドキュメントの隣にある QR コードを使用してメタデータを添付しています。このようなワークフローを標準でサポートできればと思います。

これが役立つと思われる場合は、Perspec を試してみてください!問題が発生したり、改善のアイデアがある場合は、問題を報告してください 。フィードバックをお待ちしています!



コメント、考え、その他のフィードバックがあれば、お気軽に @AdrianSieber までご連絡ください。ご協力ありがとうございます!😊