Rhizomatiks Research × ELEVENPLAY

motion

Work Details

産業用ロボットを使ったパフォーマンス・ステージの演出。全体の演出構成は、演出振付家のMIKIKOと真鍋大度。テクニカルは石橋素が担当した。安川電機は、炭鉱用電機品の受注生産からスタートし、今では売上高4千億円を超え、ロボットなどの最先端技術で世界シェア首位の製品を持つグローバル企業。この安川電機の100周年を祝う記念式典でお披露目された。テーマは「人とロボットの協調」。「モーター」から端を発している安川電機ということで、モーターを制御することで動くフライングキューブや、ロボット同士がキューブを受け渡したり、産業用ロボットが人間のダンサーと踊るなどの仕掛けを演出。ロボット的な機械っぽい動きから、人間らしい動きになるようにプログラムで「振り付け」した。
制作においては、MIKIKOが振り付けしたロボットの動きをCG動画で制作。その動きを安川電機の開発しているプログラムシステムを使って、安川電機技術チームがロボットにインプットしていった。またテクニカル面でのチャレンジは、時間認識のない産業用ロボットが、人間のように音楽のカウントに合わせて動くことであった。今後、技術の進化によって「ロボット×エンターテインメント」の需要はより拡大していくと思われる。本プロジェクトは進化するロボットの動きの範囲を理解すること、さらにそれをエンターテインメント的表現に昇華させる力をより前進させたものである。
This is a performance using industrial robots. The whole production is done by choreographers MIKIKO and Daito Manabe. Technical director is Motoi Ishibashi. YASKAWA Electric Corporation started its business with built­to­order manufacturing of coal mine machinery. They have achieved over 400 billion yen in sales, a leading global company with large market shares, and the most advanced technologies (such as robots). This performance was developed for the centenary celebration of YASKAWA.
The theme of this performance is “The harmonization of human and robots”. As YASKAWA has its roots in motors, we incorporated their use on stage by driving flying cubes. As one robot hands over a cube to another, the industrial robot arm dances along with human dancers. We choreographed robots to alter their “machine­like” motions to mimic “natural human” motions through programming. In this way, we tried to address the challenges presented in the theme of this performance.
In terms of the creation, first, MIKIKO composed the choreography for the robots and we created CG movies of it. YASKAWA’s technical team was able to input the motions or the robots by using a programming system developed by YASUKAWA. Yet the challenge from a technical perspective was how we could control the robots to move in a “human­like” manner to music.
In the future, the demands for “robots as entertainment” seem likely to expand by technological evolutions such as this one. This project attempts to comprehend the capacity of motion capable by robots, and also aims to sublimate our understanding of robot’s capacity to express and be entertainment.

Technical Details

software

ショーの演出イメージ、音楽に合わせてmaya上でロボットアームの動きをプログラムし、そのデータを安川電機のmotoSimという専用ソフトウェアに読み込ませ、その後、実際のロボットアームを動かしながらタイミングや速度の調整を行っている。天井から吊るされているキューブへのマッピングは、キューブの表面に再帰性反射シートを貼り、それをリアルタイムでカメラ解析し、その位置へ映像を投影している。
また、mayaのモーションデータからロボットアームのマスク映像を生成し、背景へのプロジェクション映像をマスクすることで、ロボットアームに映像があたらないような工夫もしている。
Firstly, we programed the motion of the robotic arm with music on MAYA 3D software, to fit the staging of the show. Afterwards, we imported this data into YASKAWA’s special software: monoSim. Then we finally adjusted the timing and speed of the actual robotic arm while setting them in motion.For the projection mapping of the hanged cubes, these are based on the location information provided in real time by camera analysis of retroreflection sheets. These sheets, which are placed on the cubes, help to map images that are reflected precisely.
Also, by using MAYA’s motion data, we generated a mask shape for the robotic arm and composedthis mask image onto the background image. As a result, we devised a way to avoid exposing images on robotic arms.

hardware

ステージ上空には10個のキューブを設置。キューブは2本のワイヤーでステッピングモータにつながれている。ワイヤーの長さをコントロールすることで、上下左右の位置制御を行っている。合計6台のロボットアームは音楽のシーケンスにあわせて動作するが、工業用ロボットアームの実時間での動作スピードは毎回変化するため、パフォーマンスの中程でシーケンスを区切り、そのタイミングで音楽との同期が取れるようにしている。
ロボットアームにはエア吸着式のハンドを取り付け、キューブの運搬をすることが出来る。
In order to fly 10 cubes on stage, the cubes themselves are attached with wires form each side of the stage. These are controlled through stepping motors that regulate the length of wires, allowing for vertical and horizontal movement across the stage.The movements of all six robotic arms are triggered by the sequence of music. However, the actual speed of operation changes all the time. Therefore, to avoid delays, we divided the sequences that trigger the movement for the robotic arms.By dividing the sequence in the middle we were able to perfectly synchronize the robotic arms with the music at the breakpoints.Robotic arms are customized and installed with an adsorption material on their hand.
This enables them to hold cubes and while moving around.Robotic arms are customized and installed with an adsorption material on their hand. This enables them to hold cubes and while moving around.

technical requirement

Yaskawa SDA10 * 2
Yaskawa MH50 *2
Yaskawa MA1440 * 2
stepping motor * 2
cube (Polystyrene foam) * 10
cube (Acrylic * 6
Projector * 4
Optitrack Prime17W * 2
12m x 8m x 5m stage

Profile

ELEVENPLAY
ELEVENPLAY
Dance company directed by choreographer & art director, MIKIKO. ELEVENPLAY was founded by MIKIKO in 2009, in the hopes of creating dancers who posses highly artistic sense and creativity on top of exquisite techniques, body and spirit. Composed of female dancers from a variety of genre, ELEVENPLAY's methods of expression are diverse, including stages, video works, and still photos.
http://elevenplay.net/
Rhizomatiks Research
Rhizomatiks Research
Rhizomatiks Research mainly takes up projects focusing on the field of research and development, and sets priority in opening a new expression for the future. The team which is leading Rhizomatiks Research, has produced projects with artists such as Perfume and Elevenplay in addition to media-art and data-art projects, and is also in charge of all processes through the projects―planning, implementation and operation.
https://rzm-research.com/

Credit