HN 日本語サマリー

← 一覧へ戻る
科学・技術

情報が尽きたらどうなるか

What happens when the information runs out (blog.jimgrey.net)

39 pointsby mooreds12 コメント

要約

AIによる写真のカラー化実験で、AIが失われた情報をどのように補完するか、そしてそれが元の写真の意図や事実から逸脱する可能性について考察しています。AIは欠落を問題とみなし、統計的に最も可能性の高いピクセルで埋めようとしますが、人間は不確実性を認識し、どこまで補完すべきか判断する必要があります。

全文翻訳

情報が尽きたらどうなるか

[画像: 1976年夏、サウスベンドの庭で日差しに目を細める8歳の弟の写真]

この写真に写っている私の弟は8歳です。1976年の夏の終わり、サウスベンドの家の前の庭でひざまずき、太陽を見つめています。ジーンズのひざには茶色のパッチがあります。タンクトップの首周りと腕には茶色のパイピングが施されています。これらのことは、私がその場にいたから知っていますし、50年経った今でもなぜか覚えています。

私は、AIによる白黒スキャンのカラー化を試していました。この技術が実際に何ができるのか知りたかったのです。

私は覚えている色をAIに伝えました。杉板の屋根はくすんだ緑色でした。破風は白でした。ジーンズは青で、あの茶色のパッチがありました。ChatGPTはそれらをすべて受け入れました。家の緑色は正確ではありませんが、近いです。背景には隣人の車が写っていますが、それはぼんやりとしか覚えていません。ChatGPTがそれを淡い青色にしたのは、うまくいったと言えるでしょう。

[画像: AIによって色付けされた、弟の写真]

次に弟の顔を見ました。ChatGPTは彼に眉毛を与えましたが、それは間違っていました。それはもう私の弟ではありません。偽物です。

白黒スキャンでは彼の眉毛は見えません。私はドラッグストアのフィルムを使ったシンプルなカメラでそのネガを撮影し、Amazonで100ドル程度で買える「デジタイザー」でデジタル化しました。もしかしたら、ネガからすべての情報を引き出せなかったのかもしれません。

その後、同じネガをEpson V300フラットベッドスキャナーとSilverFastという、はるかに優れたセットアップでスキャンしたことを思い出しました。それはより多くのディテールと豊かな階調を引き出しました。しかし、それでも弟の眉毛は現れませんでした。そもそもネガに眉毛は存在しなかったのです。

[画像: Epson V300でスキャンされた、弟の写真]

AIにはそれが分かりようがありませんでした。それは情報が欠落した顔を見て、そのギャップを埋めたのです。

[画像: AIが眉毛を生成した弟の写真]

また、私はずっと前にスキャンした、1920年代初頭にイリノイ州中東部で現在のUS 40号線となった道路を建設していた道路作業員たちの写真のスキャンもChatGPTに色付けするように依頼しました。これは、長い辺で3インチほどの小さなプリントでした。私が使用したCanon CanoScan 9000Fスキャナーは非常に高性能ですが、そのようなプリントから読み取れる情報は限られています。

今回は切り札がありました。私は2007年に、放棄された道路となったレンガの実際の写真を持っていたのです。私はそれらをChatGPTと共有し、現代の写真を参照として色付けするように依頼しました。

ChatGPTはレンガに関してはうまくやりました(もっとも、その場合でもどのレンガがどの色だったかを推測する必要がありました)。レンガの下のタールは黒くなりました。東イリノイの草は緑で、土は茶色だと推測するのはChatGPTにとってそれほど難しいことではありませんでした。作業員たちは、少なくとも私がその時代の現代映画で見たものに基づけば、その時代らしい色あせた青、灰色、茶色になりました。しかし、その日彼らの服が何色だったかを知る方法はありません。

[画像: 道路建設作業員たちの写真]

そして、私は看板に気づきました。ChatGPTはそれを情報として解像しようとしていました。「USA Liberty Loan」と表示されています。しかし、元のスキャンを見ると、真ん中の行は「Lockerbie」のように読め、その上下の行は単に判読できません。

そこで、私は色よりも情報について考えるようになりました。これらの画像を処理しながら、私は手持ちの情報を3つの山に分け続けました。

  • 一部の情報は残り、知られており、記述できます。レンガはまだそこにあり、私はそれらを歩いて撮影できます。
  • 一部の情報は合理的に推測できます。1920年代の作業服の色には限られた範囲があります。1970年代の車は淡い青色である可能性があり、合理的な推測は合理的な推測です。
  • 一部の情報は単に失われているか、最初から存在しなかったものであり、AIが通常は一致しない選択をするのはこの部分です。

私の弟の眉毛と、あの看板の文字は最後のカテゴリーに属します。少なくとも利用可能なソース素材に基づいています。もし道路作業員のネガがどこかに残っていれば、あらゆるピクセル情報を引き出すためにドラムスキャンできるかもしれません。そうすれば、看板が判読可能になるかもしれません。おそらく。弟のネガをドラムスキャンしても、写真を作成したレンズとフィルムの非常に現実的な限界を考えると、眉毛が魔法のように現れるとは確信していません。

私は、ファイルに存在しない詳細を解像しないようにChatGPTに明示的に伝えました。それでも、それははるかに限定的な範囲で実行しました。破風のスラットを削除し、多くのディテールをシャープにしました。しかし、弟の顔はずっと良くなりました。それらを見ることなく、眉毛の存在を感じることができます。顔は真実に追従しました。

[画像: AIに詳細を生成しないよう指示した後の弟の写真]

AIが眉毛を生成するのを見るまで、AIに眉毛を生成しないように指示する必要があるとは知りませんでした。そこから、この技術がどのように機能するかを学び始めました。ギャップは解決されるべき問題であり、AIのデフォルトはその問題を解決することです。AIは、指示しない限りそれをそのままにしておきません。そして、指示しても、それでも時々自分自身を抑えきれないことがあります。

イライラするのを乗り越えた後、誰もが最初のシートで完璧なプリントをダークルームで作ったわけではないことに気づきました。プリントを作り、それをじっくり見て、気になる点に気づきました。光を多くしたり少なくしたりして再プリントする。空を焼き込む。顔を覆い隠す。もう一度試す。イテレーション(繰り返し)こそがプロセスであり、それを回避する迂回路ではありませんでした。このことについてはこちらで書きました。

母が亡くなった後、手彩色された家族写真が私のもとに届きました。誰か熟練した人がそれを行ったのです。しかし、その芸術家は、私が知っている人々について、少し間違った選択をしました。髪が少し金髪すぎる。眉毛がわずかにアーチしすぎている。色付けをした人は、私がChatGPTに与えたのと同じ情報、つまり写真とクライアントから伝えられた情報から作業していました。芸術家は最善の推測をしました。うまくいったものもあれば、いかなかったものもありました。

AIによる修復も同じように機能するはずであり、驚くことではありません。驚いたのは、このプロセスにおける人間の仕事はAIを監督することではないと気づいたことです。それは、確実性を明確に伝えること、しかし同時に不確実性を戻すことでもあります。知っている色については知っている通りに、しかし知らない時には知らないことを知ること。合理的に埋めることができるギャップと、永久に残されなければならないギャップの違いを認識することです。

AIはピクセルを見ます。私はスキャンに何があり、何がないかを知っています。家の色が何だったかを知っています。それらのレンガが今日どのように見えるかを知っています。弟の顔が間違っているとわかるほど、よく知っています。

最後のスキルが、より重要なスキルかもしれません。

私の写真をもっとあなたの受信トレイやリーダーで受け取りましょう! 購読はこちらをクリック。