观看科学家佩戴 Apple Vision Pro 用手控制机器人

科学家们开发了一款应用程序，让他们可以在佩戴 Apple Vision Pro VR 耳机时使用手势控制机器人。

科学家们为 Apple Vision Pro 混合现实耳机开发了一款应用程序，让用户仅使用头部和手势即可控制机器人。它可用于在不同场景下远程控制机器——从恶作剧到在灾区航行。

该应用程序名为“Tracking Streamer”，可跟踪人体运动，特别是头部、手腕和手指的运动方式，并通过 Wi-Fi 连接将这些数据传输到同一网络上的机器人。然后，连接的机器人将数据转换为相应的动作。 

研究人员于 3 月 9 日在开源代码存储库 Github 上发表了一篇短论文，发表了他们的研究成果。他们的系统跟踪手和手腕的 26 个点，以及头部的单独点。它还记录空间数据——比如你离地面有多高。

相关：研究呼吁，请不要在开车时佩戴 Apple Vision Pro，但通过 VR 购买咖啡是一种“令人兴奋的新奇事物”

该应用程序的开发者 Younghyo Park 是一名麻省理工学院的博士生，他在 X 网站（以前称为 Twitter）上发布了一段视频，展示了该系统的运行情况。

在一段简短的视频剪辑中，研究合著者、麻省理工学院的研究生Gabe Margolis利用双手和身体动作控制了一个四足机器人。 

?想要使用新的 Apple Vision Pro 来控制您的机器人吗？想要记录你如何导航/操纵世界来训练政策？我为 VisionOS 开发了一个应用程序，可以通过 WiFi 传输你的头部/手腕/手指运动，你可以在任何机器上使用… pic.twitter.com/l5CbeINWWfMarch 2024年9月

马戈利斯通过手势命令机器人接近一扇关闭的门，用抓手转动把手并进入。在另一个序列中，他示意机器人拿起塑料垃圾桶盖并将其扔进垃圾箱。有一次，他还弯下腰——这促使机器人模仿他。

苹果于 2024 年 2 月推出了 Vision Pro 虚拟现实 (VR) 耳机，自发布以来就有人们在日常生活中佩戴该设备的镜头。在推出前不久，科学家发表了一项研究，调查了在日常生活中使用 VR 耳机时的表现。 

他们发现这些设备存在滞后时间、切断周边视觉并导致游乐场镜子般的扭曲。他们警告不要在开车或下楼时佩戴 VR 耳机。

Park 和 Margolis 在他们的论文中推测，一些用户可能会像眼镜一样一直佩戴 Apple Vision Pro，持续使用将提供更多数据，这些数据可以输入到教学机器人如何移动。