夏目亮太

髪と顔を分離したGANによる髪型編集手法の提案

第17回ビジュアル情報処理研究合宿

https://vipcamp.org/index.html

髪型は人の印象を決める重要な要素であり,その人にあった髪型を見つけることには大きな需要がある.一方で,実際に髪を切って髪型を試すことには限界があるため,CG上で髪型をシュミュレーションするシステムがいくつか提案されてきた.
Kemelmacher-Shlizermanら [1]は, 画像と任意のテキストを入力とし, Webの画像検索エンジンを用いて, 検索して出てきた画像の中から, 最適な画像を検出し, その画像に対して, 入力画像の顔領域を合成するという手法を提案している. この手法はテキストで示される性質を持った髪型を自分の顔に合成できる一方で, 詳細な髪型の編集は難しく、髪の色や長さを細かく調整することはできない.
Baoら[2]は生成モデルの一種であるConditional variational autoencoder (CVAE)とGenerative adversarial network (GAN) を組み合わせることで特定の性質を持つ画像の生成に成功した. この方法により,茶髪やミディアムヘア等の性質を自分の髪型に付与できる一方で, 他人の髪型を自分に転写する等の編集は難しい.
本稿では, 上記の研究の特徴である, 髪型の入れ替えと, 髪型に対する性質の付与の両立を目指す. 提案手法では, Baoら[2]の提案した生成モデルを拡張し, 顔写真が持つ顔の特徴と髪の特徴を個別に機械学習することでこれを実現する.