映像・音楽コンテンツの創作・鑑賞支援の研究

Youtubeやニコニコ動画などをはじめ、Web上には無限の数の映像・音楽コンテンツが溢れています。自分が手に入れたい、もしくは鑑賞したい映像・音楽コンテンツを素早く効率よく見つけ出すことは、技術課題として重要です。また、最近CGM(Consumer Generated Media)が盛んになり、一般の人が自らコンテンツを創作してWeb上に作品を公開するという文化が芽生えつつあります。よって、そのような一般ユーザ向けのコンテンツ制作支援ツールのニーズはどんどん増えるものと予想されます。本プロジェクトは、このようなコンテンツ創作・鑑賞の環境の劇的な変化を踏まえ、新しい技術によって、それらを強力にサポートすることを目的とします。

3次元顔形状分析の研究

CG分野と両翼を担う森島研のコアプロジェクトの1つです。 3次元顔形状推定技術の大幅な進歩に支えられ、 ”Future Cast System”は、非常に身近な技術に発展しました。正面顔画像1枚から事前知識に基づいて顔形状推定する手法に端を発し、動画像から得られるスパースな特徴点の動きから Structure-from-Motionによって３次元座標を復元し、 2次元正面画像の特徴点と併用することによって大幅な奥行推定性能改善を果たしました。現在は、さらにShape-from-shadingとの併用によって点の情報よりも情報量が多い面の情報を活用したり、斜めの顔のシルエットの曲線情報のみを用いて正面の顔を再現するなどさらなる高い目標をめざして研究を推進しています。