人工智能驱动的应用程序只需使用您的智能手机即可执行全身动作捕捉 - 无需套装、专用相机或设备

动作捕捉需要特殊的设备和基础设施，成本可能高达 10 万美元，但科学家们已经创建了一款智能手机应用程序，并将其与人工智能算法相结合来完成同样的工作。

当您通过我们网站上的链接购买时，我们可能会赚取联属佣金。这是它的工作原理。

新的研究表明，智能手机应用程序可以取代目前执行动作捕捉所需的所有不同系统和技术，该过程将身体动作转化为计算机生成的图像。

这款名为“MobilePoser”的应用程序使用从已嵌入各种消费设备（包括智能手机、耳塞和智能手表）的传感器获得的数据，并将这些信息与人工智能（AI）相结合，以跟踪一个人的完整状态。身体姿势和空间位置。

动作捕捉通常用于电影和视频游戏行业，以捕捉演员的动作并将其转化为出现在屏幕上的计算机生成的角色。可以说，这一过程最著名的例子是安迪·瑟金斯在《指环王》三部曲中饰演咕噜的表演。但动作捕捉通常需要专门的房间、昂贵的设备、笨重的摄像机和一系列传感器，包括“动作捕捉套装”。

科学家们表示，此类装置的运行成本可能高达 10 万美元。像已停产的 Microsoft Kinect 这样的替代品依靠固定摄像头来观察身体运动，虽然价格便宜，但在移动中并不实用，因为动作必须发生在摄像头的视野内。

相反，我们可以用一个智能手机应用程序取代这些技术，科学家们在 10 月 15 日于 2024 ACM 用户界面软件和技术研讨会上发表的一项新研究中表示。

相关：玩火：如何利用 VR 来培训下一代消防员

研究作者、西北大学计算机科学教授卡兰·阿胡贾 (Karan Ahuja) 在一份声明中表示，MobilePower 利用机器学习和先进的基于物理的优化实现了高精度。这将为游戏、健身和室内导航领域的全新沉浸式体验打开大门，无需专门设备。

该团队依赖惯性测量单元 (IMU)。该系统已嵌入智能手机中，使用传感器组合（包括加速度计、陀螺仪和磁力计）来测量身体的位置、方向和运动。

然而，传感器的保真度通常太低，无法实现精确的动作捕捉，因此研究人员使用多级机器学习算法对其进行了增强。他们使用由高质量运动捕捉数据生成的公开可用的合成 IMU 测量数据集来训练人工智能。结果是跟踪误差仅为 3 至 4 英寸（8 至 10 厘米）。基于物理的优化器对预测的运动进行细化，以确保它们与现实生活中的身体运动相匹配，并且身体不会执行不可能的动作，例如关节向后弯曲或用户的头部旋转 360 度。

阿胡贾说：“当一个人佩戴多个设备时，例如手腕上的智能手表和口袋里的智能手机，准确性会更好。” “但该系统的一个关键部分是它具有适应性。即使有一天你没有手表而只有手机，它也可以适应以找出你的全身姿势。”

科学家们表示，这项技术可以应用于娱乐领域——例如更具沉浸感的游戏——以及健康和健身领域。该团队已经发布了应用程序核心的人工智能模型和相关数据，以便其他研究人员可以在这项工作的基础上继续发展。