白黒写真を自動でカラー写真にするwebサービスはどこまで進化しているか

画像編

 白黒写真をカラー写真に自動で変換するwebサービスがあります。
 ここまで技術が進化したのか! と思いたいのですが、その精度はどれほどのものなのでしょうか。

 早速試して見ましょう。

 確認したい点は、①色が正確に復元されているか、②色の範囲が正確か、の2点とします。

サンプルとして使用する画像

 サンプル画像として、赤、青、黄色や中間色が含まれ、カラー化の精度がよく分かる下の写真を使いましょう。この写真をグレースケールに変換したものをサンプル画像とします。


       Source: 無料写真「写真AC」

siggraph2016_colorization

 先ずはじめは日本のサイトから。早稲田大学で開発した人工知能を使ったソースをWEBサービスとして楽天技術研究所が公開しているものがあります。それが、”siggraph2016_colorization“。

 早速やってみます。

 このサービスでは、[フレーバー]という設定で、着色の際の色味を変化させることが可能です。
 フレーバーは、① 使わない、② city1、③ city2、④ sky1、⑤ architecture1、⑥ architecture2、⑦ night1、⑧ sunset1、⑨ sunset2 の9種類用意されています。

 これをGIFアニメで連続表示したのが下の画像です。


 
 オリジナルの写真と比べると、このアルゴリズムは原色系が苦手なようです。

ディープネットワークを用いた白黒写真の自動色付け

 上のアルゴリズムを開発した方々(飯塚里志、シモセラ・エドガー、石川博)が、2016年、webサービス『ディープネットワークを用いた白黒写真の自動色付け』を開始しています。ただし、こちらのサイトでは、[フレーバー]のようなオプションはなく、設定の変更はできません。

 同じアルゴリズムを使っているので、結果は同じ・・・かと思ったのですが、実際には若干違います。

 二つのwebサービスの違いは、前者でカラー化された画像はjpg形式で、後者ではpng形式で出力されることと。さらに、前者の方が後者と比べて出力される画像サイズが大きいこと。縮小割合は、元画像の大きさにより変化するようです。
 着色についても少し違いがあります。比べてみて下さい。

 この二つのサービスを他の写真でも試して見たのですが、きれいに着色できる写真とできない写真があります。やはり、元になる写真の画質が大きく影響しているようです。

 以前アップしたビリー・バーク(Billie_Burke)というアメリカの女優さんでやってみましょう。
 webサービスで着色すると、かなり自然な感じに着色されています。

 ところで、以前アップしましたが、管理人がPhotoshopで着色したのが下の画像です。

 二枚を比べると、着色の精度だけでなく、色合い(色相)、明るさ(明度)、あざやかさ(彩度)など、そもそも何を目指して着色するのかという根本的な課題に直面します。

 もう一枚試して見ました。こちらはきれいに着色されているように思います。GIFアニメで、モノクロとカラーを交互に表示しています。

 確かにきれいに着色されているのですが、明治の白黒写真を明治のカラー写真にした、という感じがします。つまり、”カビの生えた写真”という印象を受けます。

animated GIF 芸者 浜勇
 
 ロシアのKLIMBIM氏が”COLOR BY KLIMBIM”というサイトで公開している古い白黒写真をカラー写真にしたものは、とてもあざやかに仕上がっています。まさに、最近、写真館で撮影したものかと思えるほどの仕上がりです。古くささは微塵も感じません。

 もちろん、この画像の作り方は、白黒写真の上に単純に色を載せて作っている分けではないのですが、彼女の作品を見ると、白黒画像のカラー化とは何だろう?、と考えさせられます。


   (出典:”COLOR BY KLIMBIM“)

Colorize Photos

 次に、外国サイト「ALGORITHMIA」の『Colorize Photos』をご紹介します。

 このサイトの着色は、ちょっとレベルが低い気がします。どの色も満足に再現されていません。
 また、出力された画像の右下にロゴが自動挿入されるという問題もあります。

colorizephoto.com

 
 次に、塗り絵のように写真に着色できるサイト『colorizephoto.com』をご紹介します。

 上のサイトで思ったような着色ができなかったとき、一部分の色を変更するのに便利なサービスです。
 このサイトの特徴は、『色見本として読み込んだ写真の色を白黒写真に塗れること』。

 下の画像が操作画面です。左側のウインドウに着色したい画面を読込、右側のウインドウに「色見本(パレット)」となる画像を読み込みます。右側の画像で色を抽出し、左側の白黒写真を塗っていきます。 レタッチソフトのスポイトと同じ機能です。

 このサイトの特徴の一つに、読み込んだ画像と同じサイズで、png形式で出力できる点があります。これにより、加工後の画像の劣化を抑えることができます。

まとめ

 白黒画像のカラー化は、なかなか難しいことが分かりました。白黒写真には色情報がないため、濃淡だけで色を振り分けているようです。極端な色が出ないように、原色系は再現できない。オリジナルの黒色も再現できない。

 写真技師の方は、白黒写真の濃淡を元にオリジナルの色をある程度再現できるようです。

 人工知能は、まだまだ人間には及ばないということでしょうか。