先進工学部 ロボティクス学科
田村研究室 田村仁 准教授

画像修復とは

　画像修復とは、画像内に入り込んだノイズや画像の欠損箇所を修復する技術です。ここでは、動画にあるように画像の中に白い四角状に欠損が発生したとします。 もちろん、四角い欠損部分にどんなものが写っていたかの情報は一切消滅していますから、残念ながら欠損前の絵を復活させることは絶対に不可能です。そこで、あくまでそれらしい絵を新たに書き加えることで修復することを考えます。これを最新の画像合成技術を使って、それっぽくなるべく自然な絵を人工的に合成して修復を図るわけです。
これが、画像修復技術です。

深層学習による画像合成

　機械に自然な画像を作画させる研究では、最近では深層学習(Deep Learning: ディープラーニング)を使って行うものが主流になってきました。
 深層学習の中でも自動的に作画させる手法で有名なものがGAN(Generative Adversarial Network: 敵対的生成ネットワーク)です。GANではANN(Artificial Neural Network: 人工的神経回路網)を2つ使用します。まず大量の画像を学習させて絵を生成するジェネレータと、その絵が本物の写真かジェネレータによって生成されたCGかを区別するディスクリミネータの2つです。
ジェネレータはディスクリミネータを騙せるように写実的なCGを生成するように学習され、ディスクリミネータはそれに騙されずに本物と偽物を判別できるように学習します。お互いライバルががんばって相手に負けないように学習をすすめることで、結果的に優秀なジェネレータが実現でき、写真と見間違うような絵を出力させることができるようになります。 この研究では、復元する前にまず欠損部の輪郭線を予想してから着色することで、より自然な絵を合成できるように性能を向上させています。

動画の説明

　10万枚以上の画像を使って何度も何度も学習を重ねさせます。最新のPCでも1週間以上学習に時間がかかります。1番目の動画では、学習が進むに連れて少しずつ自然な画像を合成できるようになっていくのがわかります。学習に使用した画像なら、かなり自然な画像を生成し、もとの写真と同じような状態にすることまで可能です。
これを、学習には使わなかったまったく別の画像を持ってきて試しに画像復元させることで、この画像修復法の性能を評価します。2番目の画像では、様々な画像に対する結果をいくつもお見せします。学習に使用した画像に比べると、まったく特徴の違う画像を復元することになるのでかなり不利な条件になります。
2番目の動画をみると中にはあまりうまく復元できていないものもありますが、惜しいものもあります。がんばってはいるのですが、全体的には少しぼけてしまう印象がどうしても残ります。

この技術のこれから

　他の研究では、復元する画像の種類を限定すれば、例えば人間の顔の画像だけに限定してしまえば、もっと性能を上げることは簡単です。実際に人間の顔を修復する高性能なものが作られています。しかし、それではおもしろくありません。どんな画像でも修復できる方法がきっとあるはずです。 今は輪郭線をうまく予想する方法の条件をいろいろ試していて、うまく輪郭線を再現できればもっとぼやけないできれいな画像を合成できるようにがんばっています。
 ▶ロボティクス学科の紹介　▶田村仁准教授の紹介