《星际迷航》的全息甲板被重建为下一代机器人的虚拟训练场

“计算机，冻结程序！ ”

新系统并不完全是我们梦想的全息甲板，但它非常接近并且具有重要的科学应用。

图片来源：Sim_Ira/Shutterstock.com

一代又一代的《星际迷航》粉丝都想知道第一次接触新物种、通过紧急光束逃离尴尬的社交互动、或者体验星际飞船上的扭曲速度会是什么样子（只是不要）无论你做什么，都不要超过扭曲 10！）。虽然该系列中描绘的许多令人难以置信的技术目前仍停留在虚构的领域，但一些受《星际迷航》启发的创新已经成为现实。感谢宾夕法尼亚大学的工程师团队，我们现在可以将全息甲板添加到该列表中。

需要明确的是，因为我们和你一样失望，所以我们并不是在谈论人类可以探索并与角色互动的全息环境——我们距离实现这一目标还有很长的路要走。但是由 Penn Engineering 团队及其合作者创建的 Holodeck 系统（是的，这就是它的名字）可以构建几乎任何您能想到的 3D 环境。你只需要问。

“我们可以用语言来控制它，”联合创始人岳阳在一份声明中解释道。 “你可以轻松地描述你想要的任何环境并训练具体的 AI [人工智能] 代理。 ”

《星际迷航》系列（例如《下一代》和《航海者》）中描绘的全息甲板系统是一个无限可定制的虚拟环境，能够将基本的口头命令转变为完整的模拟世界。事实上，这些类型的环境（尽管规模较小）在训练机器人方面具有重要的应用。

然而，创建虚拟世界是一个耗时的过程。 “艺术家手动创建这些环境，并且可以花费一周的时间来构建一个环境，”杨说。问题在于，要训练机器人在现实生活中导航，您需要在各种不同的环境中对其进行试验。近几个月来爆发式增长的生成式人工智能似乎是明确的解决方案。

宾夕法尼亚大学计算机与信息科学副教授 Chris Callison-Burch 表示：“像 ChatGPT 这样的生成式人工智能系统接受了数万亿个单词的训练，而像 Midjourney 和 DALLE 这样的图像生成器则接受了数十亿张图像的训练。”

Holodeck 本质上是在对话中使用大型语言模型 (LLM)（为 ChatGPT 等聊天机器人提供支持的系统），使其能够挑选出用户想要的环境参数。该系统访问一个包含数百万个名为 Objaverse 的预制物体的数字图书馆，从中可以选择合适的家具，布局设计模块会限制空间配置，以便物体最终出现在房间中的逻辑位置。

实际上，这意味着如果您向养猫的人询问公寓，Holodeck 将确保完成的房间包含您期望的所有家具，包括猫树。

该团队将 Holodeck 与早期名为 ProcTHOR 的工具进行了比较，生成 120 个场景并要求学生在盲测中选择自己的偏好。 Holodeck 在各个方面都优于竞争对手。当被要求创造更多不寻常的空间（从科学实验室到酒窖）时，该系统也能很好地应对。

但是，“Holodeck 的终极测试”，联合创始人助理教授 Mark Yatskar 表示，“是用它来帮助机器人更安全地与环境互动，让它们做好居住在以前从未去过的地方的准备。 ”

虚拟训练通常仅限于居住空间，但机器人可能需要探索许多奇怪的新世界。使用 Holodeck 而不是之前的工具来制作环境具有显着的积极效果 - 例如，在 Holodeck 创建的 100 个虚拟音乐室中进行预训练的机器人能够在 30% 的时间内找到钢琴，而只有 6%使用 ProcTHOR 训练后的百分比。

您可能无法使用它来运行Dixon Hill全息小说，但这个全息甲板可能很快就会对机器人世界产生巨大影响。

该研究将在 2024 年 IEEE/CVF 计算机视觉和模式识别会议上发表。尚未经过同行评审的预印本论文可通过 arXiv 获取。