Mudra LinkでEMG入力とXR操作の可能性を確かめる

サービシンクR&Dの藤原です。Apple Vision ProをはじめとするXRデバイスの登場によって、「画面」という概念そのものが変わろうとしています。すべての視界が操作対象となるXR環境では、入力手段も従来のマウスやタッチパネルから大きく変化していく必要があります。

そうした中、Metaが開発中とされる「Orion」プロジェクトでは、視線や手の動きに加え、筋電図（EMG）技術を用いた入力が取り入れられると公式に発表されています（公式サイト）。現時点でOrionを体験することはできませんが、同様のEMG技術を使った市販デバイスとして「Mudra Link」が入手できたので、Orionが示す未来の一端を体感できるのではないかと考え、今回試してみることにしました。

Mudra Linkとは

Mudra Linkは、手首に巻いて使うリストバンド型の入力デバイスで、筋肉の動きに伴って発生する電気信号（筋電図：EMG）を検出し、それをBluetooth経由でコマンドに変換する仕組みを備えています。いわば「脳から指令が出て指を動かす際の電気信号」を読み取って操作するという発想で、カメラで手の動きを認識する必要なく、装着した手だけで直感的にジェスチャー操作ができます。

たとえば「つまむ」「タップする」「握る」といった動作を読み取って、スマートグラスやPCの操作をしたり、つまむ指の動作に強弱を検知できることを活かし、将来的には微妙な操作も可能になるポテンシャルがあります。

内部ではAIによるパターン認識が使われており、動作自体は非常にスムーズです。物理的なカメラを必要としないため、カメラを省略した軽量スマートグラスなどとの相性が良く、設計の自由度を高める選択肢のひとつになり得ます。

より詳細な技術解説はMudra Band公式サイトの「How it Works」をご覧ください。

Apple Vision Proとの接続と注意点

Mudra Linkは、基本的に専用アプリを使ってBluetoothで接続します。PCであれば、アプリをインストールし、デバイスをペアリングするだけで使用可能です。しかしApple Vision Proと接続する場合は少し手順が異なり、やや難易度が高い印象を受けました。

Apple Vision Proと接続するには、まずiPhoneにMudraの専用アプリをインストールし、そのiPhoneのアプリにApple Vision ProをiPadとして追加する必要があります。これは公式のサポートガイドにも記載されている方法ですが、実際に試すと手間がかかり、想定通りに動作しないケースもありました。

私の場合、アプリ内で接続したいMudra Linkのモデルを選択する場面でMudra Linkが表示されず、Mudra BandというApple Watchのバンドとして装着する旧モデルしか選べないという問題が発生しました。そのせいでMudra Linkには物理ディスプレイがないにも関わらず、「画面上のボタンを押してください」というチュートリアルが表示され、先に進めない場面がありました。

最終的にはApple WatchにMudra Link用の文字盤を追加し、そこから操作することでなんとか接続を完了できましたが、アプリ側には前のステップに戻るUIもなく、Apple Watchを持っていなければ完全に詰んでいました。

旧モデルのMudra BandではApple Watch上の「Turn on Air-Touch」を押してセンサーをオンにしていたらしいですが、本来Mudra Linkにはディスプレイがないのでバンド側のスイッチでオンオフするようになっています。

実際に使ってみて

Mudraを使ってPCのマウス操作やカーソル移動を行ってみたところ、「ポインターとしての精度」「細かな選択操作」についてはやや厳しさを感じました。特にXRデバイスでは、視界全てがスクリーンになるものもあります。そのためカーソルを端から端まで移動させるのに腕を大きく動かす必要がある場面があり、実用面での課題が残ります。

Apple Vision Proのように、アイトラッキングで視点を合わせてからタップで確定するインターフェースは、広いスクリーンを快適に操作する点で非常に優れていると改めて実感しました。アイトラッキングなら、目線を動かすだけで視界全体を一瞬でカバーでき、直感的でストレスがありません。

Mudra Linkは、スマートグラス側にハンドトラッキング用のカメラを搭載しない構成と相性が良いのかもしれません。スマートグラスの中には、軽量化やバッテリー持続時間を優先するためか、ハンドトラッキング用のカメラを搭載していない設計も見られます。そうした構成では、従来のような手の動きをカメラで追う方式が使えないため、Mudraのように腕に装着したセンサーで操作を補完する仕組みが有効になってきます。

EGM入力の可能性

Mudra LinkのようなEGM入力は、たとえば、腕を下げた状態や体の側面などカメラの視野外に手がある状況、もしくは暗闇などでカメラのセンサーが機能しない環境でも指の動きを検知できる点で非常に有用です。こうした場面では、カメラベースのハンドトラッキングだけでは操作を捉えきれないため、MudraのようなEMGセンサーを補助的に用いることで、操作の自由度が高まります。

また、EMGセンサーには単なるタップやクリック以上の操作を実現できる可能性があります。たとえば、指先の動きに強弱をつけることで、音量や明るさなどのスライダー操作、長押しや連続ジェスチャーによるモード切替といった多段階のUI操作が可能になるかもしれません。

現時点では、こうした操作に対応するアプリケーションやUI設計はまだ少ないものの、EMGによるアナログ的な操作信号は、これまで難しかった“微調整”のようなインタラクションにも応用できる余地があります。

今後は、こうしたセンサーの性能とアプリ側のUI設計がかみ合うことで、視線操作・音声操作・EMG入力といった複数のインターフェースを用途に応じて切り替える未来のUXが現実味を帯びてくるでしょう。

まとめ

Mudra Linkは、EMGセンサーによる入力方式を実体験するうえで非常に有意義なデバイスでした。操作精度の面ではアイトラッキングに及ばないものの、視線操作が使えない状況や、ハンドトラッキング用のカメラを省いた軽量スマートグラスとの組み合わせにおいては、現実的な選択肢となり得ることがわかりました。

そして何より、XRのように「視界すべてがスクリーン」になる環境では、やはりアイトラッキングが最も合理的かつ快適なインターフェースであるということを、あらためて確認する機会にもなりました。

一方、Metaが開発中のOrionプロジェクトでは、アイトラッキングに加え、EMGセンサーやハプティクスフィードバックといった多層的な入力手段を組み合わせることで、幅広い利用シーンに対応しようとする姿勢が見て取れます。Apple Vision Proがカメラベースの直感的なUIを、ヘッドセット単体で完結させるアプローチを取るのに対し、Metaはスマートグラス＋入力バンド＋ポケットサイズの演算モジュールという分散型構成を前提にしています。

こうしたアプローチの違いは、単なるデバイススペックの差異ではなく、入力に対する思想やユーザー体験の設計哲学の違いとして現れています。今後のXRデバイスがどの方向に進化していくのかは、この設計思想のせめぎ合いにも左右されるでしょう。

個人的には、スマートグラスを中心に、補助デバイスとしての入力バンド、そして演算処理はスマートフォンが担うというMeta寄りの構成の方が、現実に即しているように思います。現在のスマートフォンは、ゲームや決済、チケット認証など日常の多くの役割を担っており、それらすべてをスマートグラス1台で完全に代替するのはまだ難しいのが実情です。

たとえば駅の改札でグラスやヘッドセットをかざすのは現実的とは言い難いですし、ゲーム体験においても、いまだにクラシックな物理コントローラーが好まれています。他にも、Meta Questなどではジェスチャー操作が可能であるにも関わらず、コントローラー操作を選ぶユーザーが数多くいることからも伺えるように、物理的な入力デバイスは簡単には代替されないでしょう。

今後もサービシンクR&Dでは、WebとXRの融合がどのような体験を可能にするのか、その変化と可能性を引き続き探っていきます。今回のMudra Link体験で得られた知見も、その一歩として蓄積しながら、次なる検証とプロトタイピングに繋げていきたいと考えています。