夏目亮太, 谷田川達也, 森島繁生
パーツ分離型敵対的生成ネットワークによる髪型編集手法
画像電子学会 VCワークショップ2017
http://www.mlab.phys.waseda.ac.jp/conferences/vcws2017/index.html
More you download the Korean subtitles
近年、髪型はファッションの一部として人の印象を決める重要な要素である。これまで、自分の所望する髪型を見つけることを目的として、髪型をコンピュータ上で編集するシステムがいくつか提案されてきた。しかしながら、これらの手法は、他人の髪型の試着や、髪の長さや色の変更など、所望の髪型を見つけ出すための要素一つ一つを対象としたものであり、これらの要素を統合的に扱うようなシステムは実現されていない。
本研究は、深層学習による生成モデルであるVAEとGANを組み合わせて、顔写真上での髪型編集法を提案する。通常の生成モデルでは、顔写真全体を単一の潜在変数ベクトルから生成するが、提案法では顔領域と髪領域の両者に対応する二つの潜在変数ベクトルから顔画像を生成する。学習時は、顔写真を顔と髪の領域に分割したデータセットを用意し、二つのVAEが顔写真から顔領域、髪領域を抽出する。GANは二つのVAEの中間層に現れる潜在変数ベクトルから元の顔写真を復元する。このように顔、髪の領域に対応した潜在変数ベクトルを取り出したことで、他人の髪型の試着、色や長さといった外観の編集、類似顔、類似髪型検索などの多様な応用を一度に実現した。