プロジェクト概要
プロジェクト概要
処理対象は、音楽、映像、音楽動画など様々なコンテンツを対象としています。鑑賞支援としては、歌詞の意味をクエリにして自分の欲しい楽曲を探し当て、さらにその関連の楽曲も視覚的にナビゲーションしてくれる”Lyrics Radar”の研究、カメラから入力された画像に含まれる雰囲気を察知してその場で聞きたくなるような音楽を推薦してくれる「れこ虫」、任意の楽器でつま弾いた音楽の短いメロディから欲しい楽曲を探し当てる”Query by Phrase”の研究、ウィンブルドンの長時間にわたる決勝戦の映像の中から重要度に応じて優先順位をつけ、指定した任意の時間の短編要約映像を自動作成してくれるラケットスポーツ映像要約技術、Web上の人物の顔画像の中から自分が欲する印象の近いものを頭髪の色や髪型、毛並などの情報を参考に集約してくれるWeb人物印象検索技術、動画像に登場する人物を時間連続帯として捉え、自分の見たいアーティストのみが登場する音楽動画シーンを提示したり、歌手の歌声区間を検出して提示してくれる音楽動画鑑賞インターフェースなどがあります。また創作支援としては、バーチャルな世界と実世界の境界をなくし遠隔地同志の人物が時間と空間をシェアして共演できる”VRMixer”、映像の盛り上がりや音楽とのシンクロポイントを任意に指定すると、音楽の方で時間的に再構成されるシンクロした音楽動画が自動的に完成する技術、任意の入力された音楽に対してシンクロしてダンス動画を自動生成できるDanceReProducer(DRP)などの研究を進めています。
本プロジェクトは、平成23年度採択のJST CREST研究領域「共生社会に向けた人間調和型情報技術の構築」、研究課題名「コンテンツ共生社会のための類似度を可知化する情報環境の実現」プログラム(代表:産業技術総合研究所 後藤真孝)の一環として進められているものです。
- 研究期間;平成23年度(2011)-平成28年度(2016)
- 研究機関 産業技術総合研究所チーム、早稲田大学チーム、明治大学チーム、京都大学チーム
- 補助事業名;戦略的創造研究推進事業(CREST)
- 課題名;コンテンツ共生社会のための類似度を可知化する情報環境の実現
- 配分額;58,000千円(早稲田大)
プロジェクト写真
プロジェクト写真
この空間上の色分けされた各点が楽曲を表現しており、印象の近い楽曲が近い位置に配置されています。また、点をマウスオーバーすることで、楽曲情報と楽曲の意味情報を表現するRadar Chartがリアルタイム表示されるインタフェースです。
関連するテーマ
関連するテーマ