距離の制約を超えて、人と人、人と空間をつなぎ、あたかも同じ空間にいるような自然なコミュニケーションができる、MUSVIのテレプレゼンスシステム「窓」。
より深く知っていただくため、「窓」を支えるコアのテクノロジーやUX、そして、その開発・実装に関わったエンジニア、デザイナーの方々に登場いただき、数回にわたってインタビュー記事を連載します。

第２回は、空間をつなぎ、音を頼りにしながら仮想のボールをやりとりするバーチャルなキャッチボール、「XRキャッチボール」です。

XRキャッチボールは、グローブ代わりのスマートフォンを握りながら振り、ボールが移動する音を頼りにもう一方のスマートフォンでボタンを押しながらキャッチする、というシンプルなもの。投げ方によってボールのスピードが変わったり、キャッチするタイミングの正確さで成功音が3段階に変化するなど、工夫されています。

開発の発端は、ソニーグループのデザイン部門であるクリエイティブセンターが実施したインクルーシブデザインプロジェクトのワークショップで、高校生の頃から徐々に目が見えづらくなった中川テルヒロさんが、かつて自分がキャッチボールできた時のことを思い出し、「息子とキャッチボールをしてみたい」という言葉でした。

MUSVIは、離れた2拠点でも楽しんでいただけるよう、空間をつなぐソリューションとしてリモート版への技術協力を行っています。年齢や性別の違い、障がいの有無などにかかわらず、多くの方に体験していただくことを目指したプロジェクトで、「窓」がどのように実装され、活用されたのか、デザイナーのお二人から語っていただきました。

10月に幕張メッセで開催された展示会「CEATEC 2023」では、ソニーのブースに連日大勢の方が訪れ、展示の一つである「ＸＲキャッチボール」にも注目が集まりました。それに先立って、7月に銀座の「Sony Park Mini」と「ソニーストア 銀座」の2拠点をつないだ「パークラボ EXPT.07」が開催されました。2週間という長期にわたり、不特定多数の方に体験していただいたのはこの時が初めてだったと思います。大きな反響がありましたが、予想されていましたか？

反畑さん
「パークラボ EXPT.07」は、あえてインクルーシブデザインを前面に出しませんでした。この活動を周知するよりも、まず遊んで楽しんでいただいて、身構えずに入っていただきたいと思っていたからです。そういう意味では、「単純に面白い」という声をいただけたのは予想以上でした。

唐澤さん
ソニーストア 銀座側では、観光でいらしたたくさんの海外の方が体験してくださいました。いろいろな言語で「楽しい」と言ってもらえたこともよかったですね。

反畑さん
「窓」に食いついていた方もいましたよ。「え？　これって何？」と。ほとんどの方が違和感なく楽しんでいただいていましたが、詳しい方は「あれ？」と思われたようでした。

我々も「『窓』って、こういう使い方もできるんですね」と驚きの声をいただきました。 離れた２カ所をつなぐためにリモート版で「窓」を活用することは、当初からのアイディアだったのでしょうか。

反畑さん
元々遠隔地をつなげたいとは思っていました。ネットワーク越しなら実現できることは分かっていましたが、それを具体化するアイディアはなかったんです。そんな時に、クリエイティブレポート（クリエイティブセンターからの提案プロジェクトをマネージメントに向けて発表する場）で、「窓」と組み合わせたらいいんじゃないかというコメントをいただきました。「窓」のことは知っていたものの、それまで「空間をつなげる」という発想がなかったのです。「これなら実現できそうだ」となり、「窓」のチームに連絡を取りました。

リモート版を本格的に検討することになったのは、時期的にコロナもきっかけの一つだったのでしょうか？

唐澤さん
介護付有料老人ホーム「ソナーレ・アテリア久我山」※で実証実験（PoC）を行ったのですが、コロナのためにご入居者は家族と面会できない状況で、お孫さんと会って話したい、遊びたいという希望がありました。「ホームに来られなくてもキャッチボールで家族と一緒に遊べたら・・・」というご意見を聞き、需要があると思いました。
※ソニーグループで介護事業を担うソニー・ライフケア株式会社の子会社であるライフケアデザイン株式会社が運営

反畑さん
ホームでは、同じ空間で向き合ってプレイする対面版を使っていただきました。ご入居者が普段リラックスしているスペースにaiboがいて、そこで行ったのですが、最初は皆さん戸惑われながらも、ご入居者の方がお一人お二人と挑戦されると、他の方も徐々に「ちょっとやってみようかな」と参加いただきました。すると、やり方をアドバイスされる方が出てきたり、「ほら、もっと頑張って！」と周囲から声をかける方もいらしたり。我々には「もっとこうした方がいいのでは？」と改善点を提案してくださる方もいらっしゃいました。

唐澤さん
面白かったのは、ご入居者の皆さんがリアルにキャッチボールしているイメージをどんどん膨らませていかれたことです。XRキャッチボールは床に人工芝を敷いて行うのですが、そこを横切るaiboに「危ない！」と声をかける方がいらっしゃいました。バーチャルのキャッチボールなので、本来ボールは目に見えません。ですが、未来のキャッチボールと未来の犬がいる、と感じてくださったのだと思いました。スタッフの方からもさまざまなフィードバックをいただきましたし、老人ホームでの実験はとても大きな成果を得られました。

キャッチボールって単純ですが、ピッチャーであり、キャッチャーでもあって、常にその役割が入れ替わる面白さがあります。また、相手は誰でもよいという訳ではないことを考えると、相手を感じることで成立するある種のコミュニケーションだと思いました。キャッチボールという形を選んだのは、やはり中川テルヒロさんとの出会いが大きかったのでしょうか。

反畑さん
そうですね。ワークショップで中川さんとお会いし、「キャッチボールしたいんだよね」という一言から始まりました。参加メンバーからも「面白そうだ」という反応があり、同時に、やろうとしたらものすごく難易度の高い、例えばセンサーだらけの空間を作るなど、大げさなものになるだろうと思いました。面白いけど、超大変そうだ、と。大げさにはできないというジレンマがありつつ、逆にそれがよかったのか、難しいがゆえにチャレンジしたいという声が出ました。

最終的にとてもシンプルなシステムとなっていますが、大事にされたのはどんなところですか。

反畑さん
とにかく「音」は使わなきゃダメだと考えていました。音だけで成立するかどうか、もう一人のデザイナーと取り組み始めたのですが、実は二人ともキャッチボールをあまりしない（笑）　　「何が面白いんだろう・・・」といろんな映像を見たり、音をつけてみたりしました。そして、音をつけてみたら「面白くなりそうだね」となり、シンプルに「音から行こう」となりました。

キャッチボールが特にお好きではなかったのですね！　「音から行こう」となったとのことですが、“ソニーならでは”の部分があるのでしょうか。

反畑さん
音というより、どちらかいうと表現のデザインだと思います。早く試せるように、技術的には元々あるものを組み合わせました。先にプロトタイプがあって、どんどんそれを試して改善していきました。

唐澤さん
僕はクリエイティブレポートでプロトタイプを見たのがきっかけで参加しました。当時ソニー・ライフケアから「ソニーらしい、楽しいレクリエーションもあるといいですね」と相談されていたのですが、シンプルでわかりやすいことが大切だと考えていました。そんな中、プロトタイプを見たソニー・ライフケアの方から、「ホームで試してみたい」と打診があったのです。 高齢の方が使うならスマートフォンのホルダーは握りやすく、ボタンは大きくした方がいい、という話をしているうちに、一緒にやろうということになって。普段製品デザインをしていると、こういうプロジェクトに関わる機会はなかなかないので、意義のあることだと思いました。

お話を伺っていると、このプロジェクトの「巻き込み力」を感じます。

反畑さん
そうですね。「Sony Park Mini」の時もそうでしたが、一緒に遊んだり、それを見た人が「もっとこうしたらいいんじゃないか」とコメントをくれたり、シンプルなシステムであるがゆえに会話が弾む、ということがありました。また、インクルーシブデザインは元々横断的な活動で、普段一緒に仕事していない人でもパッと入れる、という点がありました。

唐澤さん
「巻き込む」という意味で言うと、サーカス的にいろんなところを転々として実験していることも影響しているかもしれません。出張して現地で触れてもらうので、必然的にその場を管理している人、その場に集まってくださる人の協力が必要になります。それ故にいろんな方を巻き込んで進んできました。

反畑さん
「サーカス的」という言葉が出ましたが、実は、あちこちで機動的に実験できるよう設備を改善するきっかけになったのは、老人ホームで行ったPoCなんです。PCをラップトップに変更したり、芝生の中に配線を埋め込んで、クルクルと巻いたものをバッと広げて使うなど工夫しました。こちらに来て体験していただくのと、こちらが持っていくのとでは全然感覚や気分が違うんです。明確にポータビリティを意識したことはとても大きかったです。

場所が大事ということですね。知らない人といきなりキャッチボールしないことも考えると、やはりコミュニケーションの在り方と通じるところがありますね。

唐澤さん
見知った友達と、見知った公園で。そういうところがキャッチボールには重要なんだと思います。わざわざバッティングセンターに行くのとは違うのでしょうね。

反畑さん
最初の深掘りの時も、以前はその辺でキャッチボールをやっている人たちがいたけど、今はいないよね、という話が出ました。本来は「今からちょっとやる？」というものだったのに、決められた場所でしか遊べない、気軽なことができないという気付きでもありました。「人と会えない」ということがコロナ禍で浮かび上がりましたが、実は今みんなそうじゃないか、と思いました。

そのような観点から、「窓」の価値はどこにあるとお考えですか。

反畑さん
離れた場所とつながっていることが、違和感なくできていることだと思います。それ故に、「実は、何キロも先にいるんだよね」「本当は一緒にいないんだよね」と、後からじわじわと驚きになってきます。

唐澤さん
まず一回楽しむ、というのは実はすごく高いハードルなんです。自然に楽しむところから始められるのは、「窓」だからこそだと思います。

「窓」の役割は、キャッチボールに必要となる自然なコミュニケーションを邪魔しないところ、とも言えそうですね。

反畑さん
そうですね。遊びのために身構えずに済むといいますか、遊びへの入り方がスムーズですね。

唐澤さん
ちょっと遅延を感じてしまうとそこで止めてしまうかもしれませんが、「窓」だとそれがない。キャッチボールを遠隔で成り立たせるための導入として、スムーズさが大事なのだと思います。

反畑さん
面白かったのは、中川さんにリモート版を試していただいたときのことです。彼は、「窓」で向こう側の空間を見ている訳ではないのですが、「空間がつながっている感じがする。一緒に空間を共有している感じがする」と言ってくれました。それを聞いて大成功なんじゃないかと思いました。「相手が向こうにいるな」という感じがあって、一緒にボール投げ合っている。視覚情報なしに、音だけでも伝わるということはすごくハイレベルなことだと思います。

進める中で、難しさや苦労した点はどんなところでしたか。

反畑さん
一番難しかったのは、先ほど申し上げた通り、たくさんの方からさまざまなアイディアを出していただいて、解決方法や実現方法が多数ある中でそれをシンプルにまとめ、取捨選択することでした。

唐澤さん
子どもたちからはゲームにしてほしいなど、試していただいた方々には様々な着眼点で意見を言っていただけましたね。でも、あくまでもこれはキャッチボールなんだ、と毅然とした態度で臨みました。

僕自身はスマートフォンのホルダーを担当していたので、どんな方でも使いやすく、安全なものをどう実現するかで苦労しました。スマートフォンを握ってブンブン回す恐怖心やストレスを払拭し、どんな人が使っても絶対にスマートフォンが飛んでいかないようにしなければいけない。ストラップを調整する機構と形をどうするか、結構悩みました。最終的に、紐で部分的に止める方法が一番いろんな人の手にフィットしやすく、調整もスムーズにできるという結論になりました。

反畑さん
それまでいろいろな検討をしていたのに、休み明けに急に紐になっていました（笑）

唐澤さん
週末、キャンプに行ったとき、自分のスマートフォンをキャンプで使うパラコードで手にくくりつけて、試してみたんです。「意外とこれって落ちないな」ということが分かって、休み明けすぐに作業しました。

高齢者の方だけでなく、小さいお子さんも使えないとユニバーサルデザインではない。かといって、子ども用・大人用、右利き用、左利き用などは絶対作りたくなかったんです。なぜなら、このプロジェクトの趣旨は誰もが同じ遊びをできる、ということだったからです。１つのサイズのホルダーで解決するという点は大切だと思っていて、そこはこだわりました。

反畑さん
紐やボタンを付けるのは、デザイナーにとって普段ならあまり積極的にやりたがらないことなんですよ。ただ、いろんな手の大きさの方がいて、右手でも左手でも使えて、消毒しやすい、使う方に案内する方が紐の調整だけで済む、ということが、今回は大事でした。プライオリティの考え方が今までと違っていました。

唐澤さん
例えば、ペットボトルってとても持ちやすいですよね。カーブしていていろいろなポジションで持つことができるし、子どもは真ん中のあたり、大人は上の方で持つことができます。日常にあるユニバーサルデザインからヒントを得ながら進めていきました。

反畑さん
肯定されると、そこからまた違うアイディアが出てくるんです。お子さんが集まったときに「ボールの色を変えられるんだよ」って言ったら、反対側にいた子が「私も変えてほしい！」と。元々は視覚障がいのある方などを想定した調整機能だったのですが、まさかその場にいたほぼ全員が色を選びたがるとは思わなかったです。

唐澤さん
しっかりと没入感を感じていただくなら、本来ボールの形の話になるんですよね。でも、実際のユーザーの声は「色を選びたい」だった。こういうプロセスでデザインできたのは面白かったですね。

逆に、嬉しかった瞬間や感動したのはどんな時でしたか。

唐澤さん
中川さんも含めて、「キャッチボールだね」と言ってもらえたのが素直に嬉しかったですね。「Sony Park Mini」のイベントでは、体験した方に感想を付箋に書いていただいて貼っていたのですが、その中にも「離れていてもキャッチボールできるんですね」という言葉がありました。「っぽい」とか、「まるで」ではなく。キャッチボールの実感を伝えられたと思いました。

反畑さん
「止め時がわからないですね」という声をいただくのが嬉しいです。「ずっとやっちゃう」と何度も聞くたびに、やっぱり面白いんだ、不思議なものを作ったな、と思います。ゲーム性がほしいという方もいらっしゃいますが、ちょっとした遊びであることが大事なポイントという気がします。

「窓」に対するご要望はありますか。

反畑さん
今回「窓」を使わせていただいて、全身が映るというのは非常に大きいと感じているので、足元まで全て見えるといいですね。足元まで映ると、やってみたいことがまた増えると思います。

唐澤さん
一対一の臨場感に加えて、外野にいらっしゃる方が映るよう画角がワイドになるといいですね。XRキャッチボールは「そろそろ代わってよ」といった外野の声も大事なんです。それを含めてコミュニケーションだと思っています。

その場にいらっしゃる方々皆さんがコミュニケーションの一部を構成している、ということですね。最後に今後の展望についてお聞かせください。

唐澤さん
まだ実現できてないのが病院でのキャッチボールです。入院しているお子さんなど、普段会いたくても会えない、遊びたくても距離があって難しいなど、事情があってコミュニケーションが取れない人に、もっともっと使ってほしいと考えています。そこから得られることがたくさんあると思います。

“サーカス”はまだまだ続きそうですね。次の展開を期待しております。 本日は貴重なお話をありがとうございました。