プロジェクト概要

プロジェクト概要

Youtubeやニコニコ動画などをはじめ、Web上には無限の数の映像・音楽コンテンツが溢れています。自分が手に入れたい、もしくは鑑賞したい映像・音楽コンテンツを素早く効率よく見つけ出すことは、技術課題として重要です。また、最近CGM(Consumer Generated Media)が盛んになり、一般の人が自らコンテンツを創作してWeb上に作品を公開するという文化が芽生えつつあります。よって、そのような一般ユーザ向けのコンテンツ制作支援ツールのニーズはどんどん増えるものと予想されます。本プロジェクトは、このようなコンテンツ創作・鑑賞の環境の劇的な変化を踏まえ、新しい技術によって、それらを強力にサポートすることを目的とします。

処理対象は、音楽、映像、音楽動画など様々なコンテンツを対象としています。鑑賞支援としては、歌詞の意味をクエリにして自分の欲しい楽曲を探し当て、さらにその関連の楽曲も視覚的にナビゲーションしてくれる”Lyrics Radar”の研究、カメラから入力された画像に含まれる雰囲気を察知してその場で聞きたくなるような音楽を推薦してくれる「れこ虫」、任意の楽器でつま弾いた音楽の短いメロディから欲しい楽曲を探し当てる”Query by Phrase”の研究、ウィンブルドンの長時間にわたる決勝戦の映像の中から重要度に応じて優先順位をつけ、指定した任意の時間の短編要約映像を自動作成してくれるラケットスポーツ映像要約技術、Web上の人物の顔画像の中から自分が欲する印象の近いものを頭髪の色や髪型、毛並などの情報を参考に集約してくれるWeb人物印象検索技術、動画像に登場する人物を時間連続帯として捉え、自分の見たいアーティストのみが登場する音楽動画シーンを提示したり、歌手の歌声区間を検出して提示してくれる音楽動画鑑賞インターフェースなどがあります。また創作支援としては、バーチャルな世界と実世界の境界をなくし遠隔地同志の人物が時間と空間をシェアして共演できる”VRMixer”、映像の盛り上がりや音楽とのシンクロポイントを任意に指定すると、音楽の方で時間的に再構成されるシンクロした音楽動画が自動的に完成する技術、任意の入力された音楽に対してシンクロしてダンス動画を自動生成できるDanceReProducer(DRP)などの研究を進めています。

本プロジェクトは、平成23年度採択のJST CREST研究領域「共生社会に向けた人間調和型情報技術の構築」、研究課題名「コンテンツ共生社会のための類似度を可知化する情報環境の実現」プログラム(代表:産業技術総合研究所 後藤真孝)の一環として進められているものです。

  • 研究期間;平成23年度(2011)-平成28年度(2016)
  • 研究機関 産業技術総合研究所チーム、早稲田大学チーム、明治大学チーム、京都大学チーム
  • 補助事業名;戦略的創造研究推進事業(CREST)
  • 課題名;コンテンツ共生社会のための類似度を可知化する情報環境の実現
  • 配分額;58,000千円(早稲田大)

プロジェクト写真

プロジェクト写真

この空間上の色分けされた各点が楽曲を表現しており、印象の近い楽曲が近い位置に配置されています。また、点をマウスオーバーすることで、楽曲情報と楽曲の意味情報を表現するRadar Chartがリアルタイム表示されるインタフェースです。

4-0.Task3_250

関連するテーマ

関連するテーマ

ビデオ映像要約

ビデオ映像要約 [child_portfolios width=”33%”]

コンテンツ映像の印象検索

コンテンツ映像の印象検索 [child_portfolios width=”33%”]

映像と音楽の印象に基づく双方向変換

映像と音楽の印象に基づく双方向変換 [child_portfolios width=”33%”]

音楽動画中の歌手の登場シーン検出と再合成

音楽動画中の歌手の登場シーン検出と再合成 [child_portfolios width=”33%”]

実世界とバーチャル環境の共有システム

実世界とバーチャル環境の共有システム

盛り上がりを考慮した音楽と映像の同期制御

盛り上がりを考慮した音楽と映像の同期制御

歌詞の意味分析とチャート表示

歌詞の意味分析とチャート表示