顔の分析・合成の研究

1987年の森島研誕生以来、脈々と進められてきた顔研究を行っています。知的画像符号化の研究に起源を発し、”Future Cast System(FCS)”や”Dive Into the Movie(DIM)”を世に送り出してきたのもこのプロジェクトチームが母体です。顔の表情の分析・合成、リップシンク、経年変化シミュレーション、特徴ある個性の表現、眼球の動きシミュレーションなど、顔に関わる幅広いテーマにチャレンジし続けています。

身体動作と感情表現の分析・合成の研究

モーションキャプチャしたデータに加工を加えることによって、新たな付加価値を 生み出す研究を行っています。単に収集した動きデータから 元の動きを再現するだけではなく、獲得したデータベースから 感情表現を変化させたり、アニメ風のリミテッド感を強調させたり、プロの動きの要素を追加したり、新しいダンスのアレンジを再構成したり という全く新しい発想の モーションリターゲッティングの研究を行っています。

映像・音楽コンテンツの創作・鑑賞支援の研究

Youtubeやニコニコ動画などをはじめ、Web上には無限の数の映像・音楽コンテンツが溢れています。自分が手に入れたい、もしくは鑑賞したい映像・音楽コンテンツを素早く効率よく見つけ出すことは、技術課題として重要です。また、最近CGM(Consumer Generated Media)が盛んになり、一般の人が自らコンテンツを創作してWeb上に作品を公開するという文化が芽生えつつあります。よって、そのような一般ユーザ向けのコンテンツ制作支援ツールのニーズはどんどん増えるものと予想されます。本プロジェクトは、このようなコンテンツ創作・鑑賞の環境の劇的な変化を踏まえ、新しい技術によって、それらを強力にサポートすることを目的とします。

音響・音声信号処理

音声や音響信号処理は、画像処理やコンテンツ処理とも密接に関連する重要なテーマです。特に、キャラクタ合成において必要となるプレスコ音声に同期したリップシンク自動生成は、長く研究が行われてきました。さらに最近では、任意の楽器で簡単なメロディーを演 奏すると、それを含む音楽コンテンツをビッグデータから検索し、提示してくれる研究なども行っています。

物理シミュレーションと物体形状変形の研究

布などの物理シミュレーションは、最近のファブリケーション技術の発展ともシンクロして重要なテーマになっています。特に、クロスシミュレーショ ンにおける計算量削減や、スタイルを保存したGarment Transferの研究など、最近のホットなテーマを構成しています。また古くは、表情筋のシミュレーションモデルにも遡り、そのリアルな表現モデルの構築 は、未解決の課題として残されています。

3次元顔形状分析の研究

CG分野と両翼を担う森島研のコアプロジェクトの1つです。 3次元顔形状推定技術の大幅な進歩に支えられ、 ”Future Cast System”は、 非常に身近な技術に発展しました。 正面顔画像1枚から 事前知識に基づいて顔形状推定する手法に端を発し、 動画像から得られるスパースな特徴点の動きから Structure-from-Motionによって3次元座標を復元し、 2次元正面画像の特徴点と 併用することによって大幅な奥行推定性能改善を果たしました。 現在は、 さらにShape-from-shadingとの併用によって 点の情報よりも情報量が多い面の情報を活用したり、 斜めの顔のシルエットの曲線情報のみを用いて正面の顔を再現するなど さらなる高い目標をめざして研究を推進しています。

ノンフォトリアリスティックアニメーション・レンダリングの研究

アニメは日本の宝です。世界中で日本のアニメ作品は絶大な人気を誇っています。その人の心を掴んで離さない要因は何なのでしょう。おそらくスキルを持つアーティストが感性で描く独自の世界観だと思います。時に3D的に矛盾する内容を含み、キャラクタ固有の個性ある表現を実現しています。このプロジェクトの目的は、そのようなアーティストのスキルを定量的に表現し、その作風やスキルを別の作品にもリターゲットし、同様に感動を生む映像を効率的に制作することを支援することです。いわば、プロのアニメーターにも有効なサポート手段を提供できる演出可能(ディレクタブル)なコンテンツクリエーションツールの開発を目標にしています。

頭髪・毛皮・皮膚等の質感の計測・高速再合成の研究

###抜粋### CG合成における質感の再現は、重要な課題です。特に、半透明物体や細い糸状の物体などが、光を当てた時にどのような反射を起こすかを高忠実に再 現する研究は、極 めて困難な課題であり、重要な研究テーマを構成しています。これまでに、人間の皮膚や大理石のような半透明物体の高速レンダリング手法の提案からスタート し、その後、実写映像からウサギの毛皮の再現や、埃の再現、画像からの人物のアルベド推定などに取り組んでいます。###抜粋###

立体ステンドグラス作成支援ツールの開発 2014.12-2015.3

ステンドグラスの歴史は非常に古く,当時の伝統的な制作手法が今も受け継がれている.中でも立体のステンドグラスは,ティファニーが考案し,モールドと呼ばれる型を用いて,当時と同じようなステンドグラスを作成することができる.しか […]

手描き画像から簡単にアニメーション制作を行う為のソフトウェア 2014.6-2015.3

手描きアニメーションはアーティストからのメッセージ(世界観や感性等)を直感的に伝えることができる。このことから、手描きのLINEのスタンプやTwitterのアイコンのようなGIF画像が世界的に普及している。しかし、手描き […]

平均曲生成システムの開発 2012.7-2013.2

本プロジェクトでは、複数の楽曲を混ぜ合わせることによって生成できる平均曲を生成するためのシステムの開発を行った。これによって作曲経験のない一般のリスナーでも、音楽を聴くことの延長で自分に合った新しい曲を作ることができるユ […]