追蹤眼球和表情的VIVE Focus 3讓我們聞到未來的氣味

在「元宇宙」(metaverse)尚未進入大眾視野之前,我曾在後浪潮寫了兩篇文章論述VR將從「沉浸感」(immersion)發展到「存在感」(presence)的典範轉移

厚臉皮地說,我當時的確嗅到了某個東西即將來臨,只是不知道那叫做「元宇宙」。事實上,在虛擬世界中追求自由的表達,以及「真實」的情感交流,與元宇宙一樣是源自於疫情時代的需求——疫情加速數位轉型的進程,但同時也讓大家發現到平面螢幕的局限性。因此,3D繪圖模擬技術,與讓人「浸入其中」的VR眼鏡,能偵測肢體動作與面部微表情的穿戴硬體裝置,與代表我們的元宇宙分身Avatar整合,支撐起所謂的「數位存在感」(digital presence)。

就在這幾天,HTC VIVE一次給了我們兩個驚奇,發表了VIVE Focus 3專用的新套件——分別是眼球追蹤套件 (VIVE Focus 3 Eye Tracker)以及表情偵測套件(VIVE Focus 3 Facial Tracker),為VIVE Focus 3的「真」完全體(呵,被打臉)鋪上最後一哩路。


首先,我先不由自主地發出內心的讚嘆,VIVE Focus 3可說是HTC展現工業設計力、且目前最能把高通Snapdragon XR2晶片平台發揮到極致的VR頭顯。

比方說在年初的CES 2022,HTC為VIVE Focus 3發表了專用的Wrist Tracker,讓一體機實現了更準確的手勢追蹤,並開拓了上身追蹤的可能性;隨即又軟體更新「實地娛樂」(LBE),實現了50名玩家同時在大場地(四個網球場)範圍中一起體驗VR內容的功能。不論是在效能跑分、硬體設計與規格,VIVE Focus 3都大勝其他也裝載Snapdragon XR2晶片的VR頭顯,產品本身就預留的USB Type-C插槽以及磁吸式面墊,都是為了讓使用者能無違和的安裝「表情偵測套件」,以及不影響瞳距(IPD)調節的「眼球追蹤套件」,展現了HTC「計畫通」的設計巧思。

再補充一個HTC VIVE「計劃通」的小彩蛋好了。你知道Snapdragon XR2晶片最多可以支援7顆鏡頭追蹤嗎?沒錯,就是VIVE Focus 3頭顯原本的4顆鏡頭,以及「眼球追蹤套件」2顆鏡頭和「表情偵測套件」1顆鏡頭。嗯,真的用好用滿,完全體無誤了(應該啦)。


眼球追蹤和表情偵測能幹嘛?

記得在前陣子聽台通,有一集就在聊「男生夏天的時候眼睛不要亂看,因為女生都知道」的直男話題(跟廣大通寶伸一下是哪一集啊?)。其實,眼球追蹤也不外乎這個應用點,人的注意力和眼神焦點是騙不了人的。學過一些普通心理學,或是對UX有點涉獵的人,都一定聽過眼動儀的相關應用。VR更是一個眼球追蹤的天然環境,比方說追蹤視線熱區改善產品、檢視教育訓練的成效,這些都是很強大的應用。

比方說,眼球追蹤可以是新的操作互動方式。戴上VR,傳統上我們是用控制器操作並與內容互動,現在比較潮的方式是解放雙手的手勢追蹤,但如果把眼球追蹤作為互動方式的話,某種程度上VR的眼動就是「心想事成」,可說是實現我們在元宇宙「腦控」的第一動。

另一個我覺得很厲害的眼球追蹤應用是「注視點渲染」(foveated rendering)。我們在生活中都一定會觀察到,當我們注視著某項物品,只有該物品會是清晰的,越靠視野外圍,我們所視的畫面就越不清晰。這是由於人的認知頻寬有限,我們必須就感官來幫我們過濾出沒用的資訊,留著有利於生存的資訊,這是經過長久演化而造就的「最適介面」。因此,套用這個說法到GPU渲染也是如此。每個畫面的每個角落都得清晰到無可挑惕嗎?或者隨著你的注視點進行即時渲染會更符合效能?再讓我舉個更日常的例子,有在使用智慧運動手錶的我,會需要錶面隨時亮起嗎?或者當它知道我把手抬起來,就知道我需要看時間,這時候再亮起就好?

說到這個,真的很難不相信現實是模擬的理論。很玄的量子物理學,因為漫威和眾多流行科幻作品、加上老高頻道的科普,已經變得相當耳熟能詳。比方說雙縫實驗、薛丁格方程式、量子疊加態這些東西,不都講了類似的概念嗎?嗯,VR要真實、要有沉浸感,真的要多跟現實呼應和學習,數位孿生、元宇宙這些東西,是必然的趨勢。我想,Apple、Sony、Meta的下一代VR頭顯,也都會往眼球追蹤和注視點渲染這個方向前進。

另外,根據HTC VIVE的官方數據,能精確捕捉臉部和嘴部動作,一共能呈現多達38種情緒的表情偵測套件,加上眼球注視點追蹤,兩者相加就是能即時同步Avatar,進一步加強使用者情緒表達的元宇宙「數位存在感」。不管是虛擬會議還是社交場景,都有助於加強人與人互動的真實感。況且,這兩個套件不僅支援Unreal和Unity兩大主流遊戲引擎,還能無縫連接Unreal MetaHuman工具(還不知道這是什麼的麻煩點這裡),太令人期待了。

雖說VIVE Focus 3是為「商務」用途打造,售價也並不親民,但我們都知道,像是Quest 2那樣CP值機款、消費者紅利時代已經過去。不管是傳聞中的Apple Reality Pro、Steam的Valve Deckard、Sony的PS VR2,或是下個月即將登場的Meta Cambria,走的都是千元美金左右的「旗艦一體機」,高階戰場即將開始。而VIVE Focus 3這樣的「產品路線」和「硬體生態圈」佈局,也為接下來幾年的VR硬體產品起到了示範作用,甚至是進一步為HTC VIVE的未來產品埋梗?我想,答案是肯定的。

訂閱電子報

返回頂端