FRL:即使帶著VR頭盔,現在也能與外界進行眼神交流了
冉启行 / 何渝婷編譯
2021-08-23 09:25

Facebook現實實驗室(Facebook Reality Labs , FRL)在VR頭盔的研究上,又有了一個創新。

FRL日前發表了一篇關於「反向透傳VR(reverse passthrough VR)」的論文,這是一種可以將你的臉部呈現在頭盔前端顯示螢幕的功能。

具體來看,「反向透傳VR」指的是一種通過頭戴式設備鏡頭,讓用戶在戴著VR設備的情況下,也能直接看到外面真實世界的功能。

例如,當用戶退出VR遊戲或影片時,Facebook的Oculus Quest平台就會向他們發出一個「切換到現實世界畫面」的提示,對於想快速退出VR的用戶來說非常有用。

得益於該方案,用戶還可以將虛擬對象添加到相機源,從而啓用AR。

不過FRL指出,儘管戴著這種VR頭盔的用戶,可以看到真實世界,但是身邊的人卻無法與他們進行眼神交流。

第一代眼神透傳VR頭盔誕生

基於前面論文中提到的「交流缺陷」,FRL科學家Nathan Matsuda開始了他的研究。

一篇部落格文章顯示,Nathan Matsuda從2019年開始在Oculus Rift S頭盔上安裝3D顯示器,頭盔的螢幕可以顯示松田上半張臉的虛擬圖像,訂製的眼球追蹤感測器可以捕捉到了松田的視線,這樣螢幕內外的眼睛就可以朝向同一個方向,以此來實現眼神交流。

不過,這樣造成的結果是,Nathan Matsuda基本上是戴著一個大型平板電腦進行娛樂。外界看來,在頭盔上面顯示的人臉非常尷尬。

對此,FRL首席科學家Michael Abrash表示,這個想法並不實用。

他說:「我的第一反應是,這是一個愚蠢的想法,頂多算是新奇。但我不會告訴研究人員不能這樣做,因為如果沒有嘗試新事物的自由,那就沒有了創新。」

二代眼神透傳VR頭盔,更苗條了

即使如此,Nathan Matsuda還是堅持他的想法。在接下來的兩年時間裡,他帶領團隊開發了一種更「苗條」的設計。

該團隊在下週的SIGGRAPH會議前發表了這款VR頭盔 ,它在一般標準的VR頭盔上添加了一堆鏡頭和感測器。

其中立體相機可以捕捉頭盔內臉部和眼睛的圖像,它們的動作會被映射到一個數位模型上,然後,圖像會被投射到一個面向外部的顯示器上。

FRL使用了一個虛擬人臉的簡單渲染,為觀眾創造了一種透過厚厚的護目鏡看到一雙眼睛的錯覺,但實際上,外界看到的使用者的眼睛僅僅是「動作投影」。

當然,如果佩戴者選擇跳回全虛擬實境,那麼這塊螢幕就會變成空白。

小結

值得一提的是,FRL承認該VR透傳系統,並不是全新且具有革命性意義的。

因為在這之前,HTC已經在vive Pro頭盔中添加了臉部追蹤的插件,它能將用戶的移動動作映射到虛擬實境中的角色上,這和FRL實現「透傳」的原理是相似的。

這次FRL的論文重點在於VR外部顯示螢幕的潛力,以及在VR頭盔下如何更好地與外界溝通交流。

從理論上講,全息透鏡式的VR頭盔比一塊靠間接投影的顯示螢幕效果更好,它能讓你的臉部更清晰地呈現。但正如Road to VR所指出的那樣,投射在透明鏡片上的光線也會擾亂你的視線,不便於VR的使用。

雖然,FRL已經實現了VR頭盔的透傳設計,不過官方強調該方案為實驗使用,暫未進行商用推廣。

相關媒體透露,蘋果等公司也在試驗透傳設計。

本文為雷鋒網授權刊登,原文標題為「FRL:即使帶著 VR 頭盔,現在也能與外界進行眼神交流了