指尖上的VR！新型手環精準辨識手指動作，隔空也能打字彈琴

（示意圖/取自pixabay）

當地時間2021年3月27日～4月2日，一年一度的IEEE VR會議將於線上舉行。

作為展示虛擬、增強和混合實境（VR/AR/XR）領域，最新研究成果的重要國際性會議， IEEE VR 2021自然也將湧現出不少創意。

比如瑞士蘇黎世聯邦理工學院電腦科學系，就研製出了一種手環。

戴上這種手環，我們就可以懸空彈鋼琴。

左右手比劃一下，圖片的位置和尺寸即可得到調整。

「虛擬鍵盤」也出現了。

相關研究成果已於預印本（Preprint）的形式公開，將在 IEEE VR 2021上發表，題為TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing（TapID：虛擬實境中使用可穿戴感測的快速觸摸交互）。

快速觸摸交互內置2個慣性感測器

眾所周知，隨著硬體和算力的提升，VR產生了更為逼真、有吸引力的場景。

VR正變得越來越流行，傳統產品是通過控制器或攝影鏡頭追蹤四肢進行互動。然而在研究團隊看來，空中交互是阻礙VR場景生產力的關鍵因素，因為VR場景需要長時間的持續交互，而傳統方式則無法滿足這一要求。

實際上，VR系統中觸控交互的一個核心挑戰，就在於對觸控事件的精確檢測。

頭戴式系統可以對手進行追蹤，這種單一的優勢會導致深度感知的不準確性，從而使得觸摸/非觸摸辨識和接觸定位具有挑戰性。

此前研究人員們已經提出了多種方法，通過集成可靠的觸摸檢測和抑制濾波器，嘗試用深度攝影機進行精確檢測。

當然，不論是濾波器還是相機幀率，都會限制系統實現精確檢測的交互速度。

於是，為了更好地滿足交互需求、保證用戶可以得到片刻的休息，研究團隊設計了一種快速觸摸交互，即一種名叫TapID 的手環。其實，最新的MR系統已經結合了用於輸入檢測的手勢辨識，AR設備（如微軟Hololens 2）和VR設備（Oculus Quest 2）亦然。

據瞭解，每個TapID都外表小巧，兩側嵌有2個慣性感測器。

論文將TapID手環稱為是「基於手腕的慣性感測系統」。通過慣性感測器，TapID提供了粒度和對細微運動的檢測。

它不僅可以檢測到某個表面（比如桌面）上的觸摸事件，還可以額外辨識手指，二者結合即在VR中觸發輸入事件。

因此，平板和手機上的應用程式、交互模式可以無縫、可靠地轉移到VR場景。也就是說，用戶使用VR設備，就像是在常見的生產力工具手機和平板電腦上操作一樣。

用戶使用TapID時需每個手腕各戴一個，這樣TapID就能檢測到用戶的手指輕叩動作。其背後原理在於一種機器學習算法，該算法可以分析人體骨骼系統的獨特振動，這在VR環境中頗為有效。

具體來講，通過檢測手勢可以確定出是哪隻手指在敲擊「鍵盤」，並不需要精確的位置資訊。用戶可以像在現實世界中一樣在鍵盤上打字，或在表面上與虛擬對象交互。

TapID實現精確檢測

為檢測TapID性能，研究團隊設計了一系列測試。

團隊招募了18名參與者（其中14名男性、4名女性；年齡跨度在19～57歲，平均28.4歲），平均手腕周長為168mm（最小146mm、最大185mm）。

在每輪測試中，參與者戴上TaplD，按照指示重複用每根手指展示敲擊的動作（敲30下），在短暫休息後，繼續這樣重複兩次。每個參與者都在20分鐘內完成了測試。

團隊測得：

論文顯示，TapID的檢測準確度明顯超過了不少頭顯感測器和攝影機系統等。

最後，研究團隊總結了TapID的一系列用途，包括UI控制、敲鍵盤、鋼琴演奏、在桌面上做手勢等等。

講到懸空打字，也許有人會覺得不可靠，正如開源社群Hackaday所說：「在一個虛擬環境中用虛擬鍵盤打字，我們並不敢保證效果如何，畢竟真正的鍵盤更容易觸摸到，當然可能也更便宜。」

不過Hackaday也表示，設計一個能夠準確判斷用戶手指姿態、實現即時互動的設備，為VR領域的應用提供了新思路。也就是說，不論研究團隊演示的懸空打字例子是否具有現實可行性，這項技術確實有效。

或許，未來我們可以順著這種研究思路，提升與智慧型手錶的互動方式。