上一篇，我們聊著有NVIDIA、OpenAI、微軟等金主爸爸在背後的全新人型機器人Figure 02。但你或許不知道，其實人型機器人與虛擬實境技術、數位孿生，以及元宇宙有著千絲萬縷的關係。簡單來說，VR是訓練人型機器人，以及讓它能自主學習的一大關鍵。
大型語言模型（LLM）、擴散模型（diffusion modal）、混合專家模型（MoE）、多模態模型（multimodal models），各種你曾聽過的AI模型，都不脫「算法」（algorithms）、「數據」（data），以及「算力」（computing power）。數據的重要性，或許不是大家最有感的因素，畢竟AI模型的訓練數據隨手可得，就來自公開的數位化知識，以及我們在網路上留下的貼文、影片、圖片等數位足跡。人型機器人的訓練和學習當然也不脫這三者，但要如何取得數據，這就比較困難了。而VR頭顯就是一個直接的切入點。
VR頭顯：從遠距遙控到數據餵食
大家熟知的《新世紀福音戰士》、《環太平洋》，操控巨大機器人的機甲宅科幻想像，並不是新鮮事。我自己私推的《Vox Machinae》就是一款操控機甲的VR遊戲，相當好玩。
我們之前聊過的NimbRo的德國團隊，就是透過VR頭顯加上機械手臂，實現遠端遙控機器人，成功解決多項任務，贏得了ANA Avatar XPrize首獎；而前陣子，我們也介紹日本團隊透過VIVE Pro Eye輔以表情偵測套件，讓機器人表現面部表情的研究。
另一個戴著VR頭顯來操控機器人的例子，是開發出Nadia人型機器人的新創公司IHMC Robotics，先前也透過VR頭顯來操作機器人，充當人類的拳擊陪練（這樣被打就不會痛了），而他們最近也展示用VR頭顯操作Nadia，在極低延遲的情況下和人類打乒乓球。
這些例子都足以說明，VR頭顯不僅能夠拿來操控機器人，還能為機器人輸入數據，成為訓練機器人的載體。
元宇宙：人型機器人的精神時光屋
除了頭戴式顯示器這樣讓我們進入虛擬環境的裝置，虛擬實境最強大的應用場景，其實在於「模擬」。最近，NVIDIA也發布使用Apple Vision Pro來訓練人型機器人的影片，這並不是巧合。
我們曾經在「VR精神時光屋」專題中，詳細介紹了VR在模擬與訓練的潛力，但這些案例都是人，並不是機器人。假使你對黃仁勳變身東尼史塔克，身後站著一群機器人的畫面記憶猶新，這就是將VR的模擬潛力應用在機器人訓練的最好案例。
這個致敬「機器人三定律」發明者以撒‧艾西莫夫（Isaac Asimov）的機器人訓練平台Isaac Sim，正是脫胎自NVIDIA的元宇宙平台Omniverse。簡單來說，NVIDIA用數位孿生，透過GPU的算力來模擬各種情境來訓練機器人。包含知名的Boston Dynamics，甚至包括Figure 02都在使用Isaac Sim來訓練機器人。（不然NVIDIA投資Figure是巧合嗎？）
近期也有個有趣的例子。有隻身形矮小、走路樣子笨拙，卻十分引人注目的機器人近期頻繁在柏克萊校園裡出沒，它叫「柏克萊人型機器人」（Berkeley Humanoid），而這個由加州大學柏克萊分校的博士研究生發起的機器人專案，也是用Isaac Sim訓練而成。
根據論文的資訊，這隻柏克萊人型機器人的造價不到一萬美元，以非量產、少量製造來說已經相當低成本，更厲害的是，只經過短時間在Isaac Sim訓練，柏克萊人型機器人的走路能力就已堪比人類，至少比小孩學步快多了。在示範影片的下坡測試中，也看到連攝影師都跌倒了，它都沒沒摔倒，走得相當好。很推薦大家去觀看影片，娛樂性很高。
經過這番介紹，不曉得害怕被AI取代的人類，是該歡欣鼓舞地迎接人型機器人（來打雜）的到來，還是更加的細思極恐呢？
訂閱電子報
