新的 AGI 基准表明未来的人工智能模型是否会造成“灾难性伤害”

OpenAI 科学家设计了 MLE-bench，这是 75 个极其困难的测试的汇编，可以评估未来的高级 AI 代理是否能够修改自己的代码并改进自身。

当您通过我们网站上的链接购买时，我们可能会赚取联属佣金。这是它的工作原理。

科学家设计了一套新的测试，用于衡量人工智能 (AI) 代理是否可以在没有人类指令的情况下修改自己的代码并提高其能力。

该基准被称为“MLE-bench”，是 75 项 Kaggle 测试的汇编，每一项都是测试机器学习工程的挑战。这项工作涉及训练 AI 模型、准备数据集和运行科学实验，而 Kaggle 测试则衡量机器学习算法在特定任务中的表现。

OpenAI 科学家设计了 MLE-bench 来衡量人工智能模型在“自主机器学习工程”中的表现——这是人工智能可能面临的最困难的测试之一。他们在 10 月 9 日上传到 arXiv 预印本数据库的论文中概述了新基准的详细信息。

科学家们认为，任何在构成 MLE 基准的 75 项测试中得分较高的未来人工智能都可能被认为足够强大，足以成为通用人工智能（AGI）系统，这是一种比人类聪明得多的假设人工智能。说。

相关：“未来的你”人工智能可以让你与 60 岁的自己交谈 - 它具有令人惊讶的健康益处

75 项 MLE 基准测试中的每一项都具有现实世界的实用价值。例如，OpenVaccine（寻找新冠肺炎 mRNA 疫苗的挑战）以及破译古代卷轴的维苏威火山挑战。

科学家在论文中写道，如果人工智能代理学会自主执行机器学习研究任务，它可能会产生许多积极影响，例如加速医疗保健、气候科学和其他领域的科学进步。但如果不加以控制，可能会导致彻底的灾难。

“智能体进行高质量研究的能力可能标志着经济的变革性一步。然而，能够执行开放式机器学习研究任务的智能体，在改进自己的训练代码的层面上，可以提高前沿模型的能力明显比人类研究人员快，”科学家们写道。 “如果创新产生的速度快于我们理解其影响的能力，我们就会冒开发出可能造成灾难性损害或滥用的模型的风险，而没有在保护、调整和控制这些模型方面进行并行开发。”

他们补充说，任何可以解决 MLE 基准“大部分”问题的模型都可以自行执行许多开放式机器学习任务。

科学家们测试了 OpenAI 迄今为止设计的最强大的人工智能模型 - 称为“o1”。在 MLE 基准测试中，该 AI 模型在 75 次测试中的 16.9% 至少达到了 Kaggle 铜牌的水平。 o1 接受挑战的尝试越多，这个数字就越高。

获得铜牌相当于在 Kaggle 排行榜上跻身前 40% 的人类参与者之列。 OpenAI 的 o1 模型在 MLE 基准上平均获得了 7 枚金牌，这比人类被视为“Kaggle 大师”所需的金牌多了两枚。科学家在论文中写道，只有两人在 75 场不同的 Kaggle 比赛中获得过奖牌。

研究人员现在开源 MLE-bench，以促进对 AI 代理的机器学习工程能力的进一步研究——本质上允许其他研究人员根据 MLE-bench 测试他们自己的 AI 模型。他们总结道：“最终，我们希望我们的工作有助于更深入地了解智能体自主执行机器学习工程任务的能力，这对于未来安全部署更强大的模型至关重要。”