Abstract
- LAを拠点に世界で活躍するアーティスト／ビートメーカーのNosaj Thingとラッパー Chance The Rapperのコラボレーション楽曲「Cold Stares」のミュージックビデオ。
- 歌詞の中で語られている”現実と妄想の境界線を彷徨いながら自分の存在意識、記憶を探す心理状態、葛藤” を映像で表現するために、二人のダンサーによるダンス作品を制作。そのダンスを実写による現実世界とCGによる妄想世界の二つの空間で展開した。
- This is a music video of “Cold Stares,” a collaboration between Los Angeles-based artist and beatmaker Nosaj Thing, who is actively working around the world, and rapper Chance The Rapper.
- A dance piece by two dancers was produced to express a message in the lyrics——their mental situation and conflict searching for reason of being and memories, wandering along the border between reality and illusion. This dance has been shown in two ways: the real world performed by people and the delusional world of CG.
System
- カメラ搭載の映像合成用のドローンとドローン制御、そして映像合成ソフトウェア、及び既存CGソフト(Mayaなど)との連携プラグインを開発。モーションキャプチャー技術を用いてドローン及びカメラの位置・角度をプログラム制御しながら、CG合成用のカメラデータも同時に記録。
- 撮影時に取得したデータを既存のCGソフト上で使用することによって大幅な工程の短縮を実現した。
- A plug-in has been developed to link a drone equipped with a camera for synthesizing video images, drone control, image synthesizing software, and existing CG software (e.g. Maya). While controlling with a program the position and angle of the drone and the camera using the motion capture technology, the camera data for synthesizing CG are recorded at the same time.
- The significant reduction of the process has been realized by using the acquired data at the time of shooting on the existing CG software.
Behind the scenes
ダンサー撮影
- 現実世界のダンサーは6台のドローンに取り付けたカメラでのみ撮影。妄想、幻覚の世界のダンサーは64台のカメラで撮影。
- 複数の2Dデータから3Dモデルを復元する技術を用いてテクスチャのクオリティが高い3Dモデルを生成。
- Dancers in the real world are shot by cameras set on six drones. Dancers in the world of illusion are shot by 64 cameras.
- Using technology for restoring 3D models from plural 2D data, 3D models with a high quality of texture can be achieved.
カメラモーション
- 現実、妄想(仮想)、二つの世界のカメラのモーションは同一のものを使用している。通常、実世界のカメラのモーションは物理的な制約が多いためCGのカメラの様に自由に動かすことは出来ないが、本プロジェクトではCGソフトで作成したカメラのモーションを用いてドローンを動かすことが出来るシステムを開発。
- これを用いることでドローンをCGのカメラの様に緻密かつ自由に動かし、かつ実写とCGのトランジションをスムーズに行うことが出来た。
- Camera motions used for two worlds of reality and fantasy are identical. It is usually difficult to move a camera motion for the real world as freely as a camera motion for CG due to many restrictions. In this project, however, a system to move drones according to a camera motion created by CG software has been developed.
- Using this system, we can move drones accurately and freely like a CG camera. What’s more, we could achieve a smooth transition between live-action and CG.
- 現実世界のカメラと仮想世界のカメラを
シームレスにモーフィングできるシステムを開発 - We created a realtime morphing system between both point of view of real & virtual world.
- カメラを取り付けたドローンの動きをレコーディングし、
プレイバック出来るシステムを開発 - We created a recording & repeatable feedback system of cam-drone movement.
- 3Dスキャンデータを利用して
現実世界のカメラと仮想世界のカメラをシームレスに移動 - By using 3D scanning data, we could easily switch point of view between real & virtual world.
Drone + AR test
- test 01
- test 02
- test 03
Drone Specifications
41cm(W) x 30cm(H) x 41cm(D) / 7inch prop, multiwii based controller / Xbee wireless module
2axis camera gimbal / full color LED light approx.1000g (include battery)
Credit
-
- Creative Director + Technical Director:
- Daito Manabe(Rhizomatiks Research)
- Video Director:
- TAKCOM
- Choreographer:
- MIKIKO(ELEVENPLAY)
- Dancer:
- Kaorin(ELEVENPLAY)
Erissa(ELEVENPLAY)
- Technical Director /
Hardware Designer / Hardware Engineer: - Motoi Ishibashi(Rhizomatiks Research)
-
- Computer Vision Programmer:
- Yuya Hanai(Rhizomatiks Research)
- Drone Engineer:
- Katsuhiko Harada(Rhizomatiks Research)
Momoko Nishimoto(Rhizomatiks Research)
Youichi Sakamoto(Rhizomatiks Research)
Tomoaki Yanagisawa(Rhizomatiks Research)
- Video Producer:
- Takahiko Kajima(P.I.C.S.)
- Video Production Manager:
- Syuhei Harada(P.I.C.S.)
-
- CG Designer:
- Akira Miwa(McRAY)
Kohki Okuyama(McRAY)
- CG Producer:
- Akira Iio(McRAY)
- 3D Scan and Motion Capture System:
- Crescent,inc.
- Costume Design:
- Yaepon