顔の分析・合成の研究

1987年の森島研誕生以来、脈々と進められてきた顔研究を行っています。知的画像符号化の研究に起源を発し、”Future Cast System(FCS)”や”Dive Into the Movie(DIM)”を世に送り出してきたのもこのプロジェクトチームが母体です。顔の表情の分析・合成、リップシンク、経年変化シミュレーション、特徴ある個性の表現、眼球の動きシミュレーションなど、顔に関わる幅広いテーマにチャレンジし続けています。

パッチベースの顔画像合成（パッチタイリング）は、フォトリアルな表情合成を実現する上で数々の成功を収めてきました。口の中を３次元的にモデル化し、しかも見栄えは実写の写真と区別がつかないほど高精度な”De-tailization”は、発話アニメーションを合成する上では不可欠な技術となりました。またこのパッチタイリングの応用によって、従来ボケが避けられなかった平均顔画像合成結果を鮮明にデブラーすることに成功しました。また表情変化時の顔の各部の形状変化については、できるだけキャラクタのオリジナルの個性を保持しつつ、少ないキーシェープでもリアルな画像合成可能な”CharacterTransfer”の方式を提案しました。また手描き風のイラスト画像からフォトリアルなテクスチャ画像を再構成する技術、個人の特徴を保持したまま、笑い皴から年齢特徴の皴を再構成し、年齢による皮膚の劣化を実現して経年変化顔画像を実写クオリティで実現する経年変化シミュレーションの研究、シーンの中で注意を惹きつける部分(Saliency)に基づいてキャラクタの視線と首の動きをリアルに制御する研究に取り組んでいます。

顔の分析・合成の技術は、他の全ての班にも共通なテーマを扱っています。このプロジェクトの技術なくして、様々なプロジェクトの実施は不可能と言えます。

プロジェクトは、平成2３年度採択の文部科学省補助事業「安全・安心な社会のための犯罪・テロ対策技術等を実用化するプログラム」のうち、課題名「人物映像解析による犯罪捜査支援システム」プログラム（代表：大阪大学　八木康史）の課題の１つとして実施しているものです。

• 研究期間：平成22年度(2010)－平成26年度(2014)
• 研究機関：大阪大学チーム、早稲田大学チーム、東芝チーム、大阪府立大チーム、科学警察研究所チーム
• 補助事業名：安全・安心な社会のための犯罪・テロ対策技術等を実用化するプログラム
• 課題名：人物映像解析による犯罪捜査支援システム
• 配分額：57,109千円（早稲田大）

左から、合成口形、実写画像、合成画像となっており、実写と区別がつかないくらいの、フォトリアリティが実現されています。

個性を反映する表情アニメーション

個性を反映する表情アニメーションの要約

経年変化顔シミュレーション

経年変化顔シミュレーションの本文の抜粋

パッチベース顔表情合成およびフォトリアル口内アニメーション

Download open sans パッチベース顔表情合成およびフォトリアル口内アニメーション [child_portfolios width=”33%”] android sdk 다운로드 레 […]

解剖学に基づく表情合成と骨格ベース肥痩シミュレーション

아시안게임 축구 解剖学に基づく表情合成と骨格ベース肥痩シミュレーション [child_portfolios width=”33%”] 이달의 소녀 깃허브 다운로드 wJava 대장 김창수

注視点に基づく視線の分析と制御

Conan Disappearance 注視点に基づく視線の分析と制御 [child_portfolios width=”33%”] 웃긴 움짤 Download servletoutputstr […]

表情の分析・合成モデルと表情空間表現

전통문양 表情の分析・合成モデルと表情空間表現 [child_portfolios width=”33%”] Download jeju typeface 로그미인 하마치 다운로드 Park R […]

音声や歌声とのリップシンクロナイゼーション

고주파음 다운로드 音声や歌声とのリップシンクロナイゼーション [child_portfolios width=”33%”] One download of the accused Downloa […]