昨年度のVRワークショップからもうすぐ1年が経とうとしています。今年度も、ダンス×テクノロジーの可能性を探るべく、緒方壽人さんをお呼びしてワークショップを開催しました。

昨年度のダンスの取り組み「CAST: かげのダンス」についてはこちらから振り返りいただけます。

MR(複合現実)とは？

前回の「CAST:かげのダンス」では　Meta社のQuest2というHMD(＊注１)を使用しましたが、今回はMeta社から新しく出たQuest3というHMDを使用しました。

Meta Quest 3は、Quest 2と違いゴーグルの前方にRGBカメラが２つと、深度プロジェクターが付いています。そのため、ゴーグルの外の視界をリアルに読み取り、そこにバーチャルな映像を重ねるMR(複合現実)が可能に。

今回、緒方さんはこのMR機能にフォーカスし、人の手の動きに反応して動く、コントローラーが不要のプログラムを作ってくださいました。

箱を触ると音が鳴り、箱を掴む動作をすると箱を動かすことができます。箱は重力と関係なく動くので、一度回転させるとずっと回り続けますし、上に上がると自然に落ちてくることはありません。
カメラが手の動きを認識しているので、HMDを付けた本人の手でなくとも、反応することがあります。

＊１Head Mounted Displayの略で、左右の目の視差を用いた立体映像によるVR（仮想現実）の表示装置の総称。

開始前のメンバーの様子

始める前に、一度緒方さんから前回のアップデートした部分についての説明がありました。

周りが見えるHMDなので、自分のゴーグルで見えるものと周囲の景色が混ざるということ、今回はコントローラーではなく、手で操作するということを全員に伝えました。

一人一人、MRを体験しました

永富太郎さん

「投げたりできんねや、すげえ」と周囲を見回しながら、何かを上に放り投げるようなジェスチャーを数回。
基本的に、視線は上方向を向いていました。

箱を遠くに投げると、無重力空間のようにくるくると回転し続けます。永富さんは上向きに投げた箱の軌跡を追いかけるように眺めていました。

無重力空間ということは、上にあがると一生もとに戻らないということ。
全ての箱が上に上がってしまい届かなくなったため、永富さんのターンは終了しました。

畑中栄子さん

付けた瞬間、嬉しそうな声を出してポーズをとったえいこさん。

佐久間さんがえいこさんの手を握って動かすと、それに呼応して声を出す瞬間がたびたびありました。

ご自身で手を目の前でゆらゆらと動かすこともあり、箱に向けて何らかのジェスチャーを試みたようです。

HMDを外したあとは、にこにことしていたえいこさん。MRではゴーグルの外の世界も見えているので、画面酔いで気持ち悪くなることはなかったようです。

青木克考さん

HMDを付けたえいこさんを傍から見ながら、楽しそうな声を発していた青木さんでしたが、いざ付けてみるとじっとしていて静かでした。

佐久間さんが青木さんの手を握って顔の前に持ち上げると、ちょうどMRの箱に手が触れてHMDから音が出ました。

青木さんは佐久間さんが手を離した後も、自分で手を揺らして2，3回音を鳴らして楽しんでいる様子でした。

下津圭太郎さん

下津さんは、積極的に箱を追いかけていました。

機械の特性上、手の動きがHMDのカメラに認識されないと映らないと認識されないため、箱を掴む操作に苦戦している様子も見られました。

また、顔と同じ方向に腕を動かすのは難しく、時には動きが認識されないことがありました。

中村真由美さん

MRは外の景色がそのまま見えるので、はじめ中村さんは「はいチーズパチッ」とカメラへのアピールに意識がそれていました。

カメラを一旦下げると、箱の方へ積極的に歩み寄り、ぐるぐるとホール全体を回りながらつつくように何回か箱を触っていました。中村さんはHMDを付けても、怖がらずにずんずん歩くところが特徴的でした。

一度急にHMDを外すも、すぐにまた装着して歩き出します。
自分の手のシルエットがカメラに認識されるのが不思議なのか、たびたびHMDを自分で外して確認していました。

山口広子さん

山口さんは、体を前傾にしてのめり込むように箱の方へ向かう姿が印象的でした。佐久間さんにお願いしながら箱のある方へ動いて積極的に触りに行っていました。

箱は山口さん自身の手で触っても、佐久間さんの手で触っても反応して音が鳴るので、佐久間さんが拡張現実の世界に外側から触れるような瞬間がたびたびありました。

水田篤紀さん

水田さんはひざをついた姿勢からスタート。
腕をピンと伸ばしたり、手のひらをひらひらさせたり、摘んだりしながら箱に触れていました。

下の画像の左上が、MRの画面です。

箱を掴む動作が難しかったようで、手のひらを大きく使って掴む動作をしていました。また、手のひらを上にむけて、すくいあげるような動きもしていました。

また、佐久間さんのもとへ箱を持っていく場面も。しかし、箱はつかむ動作にのみ反応するため、佐久間さんの頭をすり抜けます。

松田陽子さん

松田さんは水田さんが体験し終える前に、別の箱が見えるHMDを装着してダンスを始めました。
前回の「CAST：かげのダンス」は、普段はシャイな松田さんがVRによってのびのびとした動きができていたことが印象的でしたが、
同時に接続している人の姿がよく見えるMRでも、松田さんは比較的リラックスした様子で箱を触っていました。

河口彰吾さん

河口さんはずっと興味津々で他の人達の様子を見ていましたが、いざHMDをつけると緊張気味に。
佐久間さんは河口さんとミラーリングの画面をみながら(視点を共有しながら？)一緒に箱を触ろうとしていました。

山野将志さん

傍から見ていたメンバーの山野将志さんにも、HMDを試してもらいました。

仮面を被った佐久間さんが山野さんを怪獣のように煽ります。

山野さんはえーい！と大きな声をなげながら、ヒーローさながらの勇ましさで佐久間さんへ箱を掴んで投げつけ、佐久間さんもそれらがぶつけられたようなリアクションを返していました。

箱を投げ切った山野さんは、「やったー！勝ったぞ！」と力強く叫びました。

山野さんに感想を聞くと、「箱は掴めたし、投げれた。」「ダンス頑張ります！」とのことでした。

終了後に、感想を共有しました。

「こと」の起こしにくさ

佐久間さん：
　今日やったものは、一緒にHMD付けてる参加者でもそれぞれ違う景色をみていて、関係性は生まれにくい仕様でしたよね。なので、それを使ってダンスするところまで生きにくい感じがありました。スムーズで、動かないストレスとかはなかったんですが、引っ掛かりがない分「こと」の起こし方が難しいなと感じました。

MRがリハビリになる？

　メンバーさんの中でも、特に話題に上がったのが水田さんの動きでした。

水田さんは、HMDをつけながら遠くを目指して手を伸ばす瞬間が何度かありました。
彼にとっては、膝や腕をピンと伸ばす動作はバランスを崩して倒れかねない動きなのですが、MRを体験することによって引き出されたようでした。

身体を動かさせる、という点でこの現象はリハビリに似ています。

HMDだと器具を用意しなくてもすぐにリハビリができるので良いという意見や、メンバーさんの中には特定の物に強い関心を持つ方もいるため、例えばその人の関心の強いものをMRで映すことで動く動機を作れるかもという意見もありました。

手の動きの認識が課題

今回のプログラムでは、箱は「つかむ」という動作に反応しました。
HMDのカメラに手でつかむような動作を見せて認識させることで、バーチャル内の箱を掴んで投げたり、動かしたりことができます。逆に、そのほかの触る、両手ではさむ、といった動作に対しては、箱は音でしか反応しません。

なので、例えば掴む、という指先の動作ができない人や、腕を体から離して動かすことが難しい人は、もどかしさを感じたようです。

今回緒方さんは、プリセットで内蔵されていた「つかむ」という動作をプログラムに使用したそうですが、メンバーさんのつかむ動きを学習させることが出来れば、もっと認識の精度を上げることが出来るそうです。

また、頭を自在に動かすことが出来る方は多いことから、水田さんから「首を振ったり、箱に触れるだけで動かせたらいいのでは」という意見も上がりました。

山口さん「スポーツがやりたい」

山口広子さんから、手が動かしにくいという感想に次いで、「スポーツみたいに楽しめるものを作ってほしい」「普通にスポーツをやるのは難しいけど、MRならできると思う」というコメントがありました。

これを聞いた佐久間さんは「ダンスよりスポーツか…」と軽いショックを受けながらも、「バーチャルだからこそ、現実と関わりたい感じはしますよね。この『スポーツやりたい』というのは鋭い指摘だと思います。」と話していました。

一方で、スポーツのもつ「ゲーム性」には自発的な表現の幅を狭めてしまう危うさもあります。

緒方さん：
「『これをやりなさい、あれをやりなさい』といったルールで人を惹きこんでいくゲームはすでにいっぱいあるので、そうではないかたちで表現を促せたらなと思います。」

パススルー機能での変化

今回のMRはパススルー機能（周囲の現実世界の様子が見える機能）を使っている点が前回から大幅に変わったところでした。周囲の景色が見えることで、動きにはどのような影響が出たのでしょうか。

佐久間さん：
「パフォーマーとして考えると、見せるっていう意識は高まりましたけど、踊りに入り込むにはうまいメンタルの設定みたいなものを作らないといけませんでした。」

スタッフからは「周囲が見えることで恐る恐る動かなくても済むようになって良かった」という意見も上がりました。

「自律的な即興」と対峙する緊張感

小林茂さんは、佐久間新さんが重視されている「即興」について言及していました。

「佐久間さんの即興は自律的なものだなと改めて思いました。なので、その自律的な即興に、観客がもっと参加できるようにするにはどうしたらいいのかなというのが考え所ですよね。単に完成されたエンターテイメントを圧倒されながら見るという経験ではなく、中に入り込んでいくという。

　前回のVRは一人一人の体験する様子を、外から3人称的な視点で見つめるものでしたが、今回のMRは、視点としてみれば一人称ですけど関係性でいうと二人称的というか、佐久間さんが常に介入してくるので、いつ自分が巻き込まれるか分からない、安全なところで見るのと違う感覚がありました。
この前の陰影来SUN（2023年のひるのダンスチームの公演）の時に、隣で見ていたのが山野さんだったんですけど、途中から自分も舞台へ連れていかれるんじゃないかという思いになりまして(笑)
遠くから見ているのではなくて、自分もその中に参加しているぞという感じを、今日も改めて感じました。

このような生きている、という感覚を参加して共に感じられることは出来そうですよね。鑑賞体験としてどうやってまとめていくのかはチャレンジになると思いますが。」

今後に向けて

フィードバックを元に、現在緒方さんにMRの改良版を開発していただいています。
舞台表現としてのMRダンスを共に作り上げていけたらと思っています。
今後の活動にご期待ください！