新研究表明 ChatGPT 可能已经通过了图灵测试

法学硕士：伪装的机器人。

机械神。

图片来源：William Bradberry/Shutterstock.com

1637 年，法国哲学家、可能是瘾君子的勒内·笛卡尔 (René Descartes) 提出了一个有趣的想法：机器可以思考吗？ 1950 年，英国数学家和计算机科学家艾伦·图灵 (Alan Turing) 宣布了对这位 300 岁老装腔作势者的答案：谁在乎呢？他说，一个更好的问题是后来被称为“图灵测试”的问题：给定一个人、一台机器和一个人类询问者，机器能否让询问者相信它实际上就是这个人？

现在，距离图灵以这种方式重新阐述这个问题又过去了 74 年，加州大学圣地亚哥分校的研究人员相信他们已经找到了答案。根据一项新的研究，他们让人类参与者与各种人工智能系统中的一个或另一个人交谈五分钟，现在的答案是暂定的“是的”。 ”

这篇尚未发表的预印本论文证实：“我们实验的参与者在五分钟的对话后没有比机会识别出 GPT-4，这表明当前的人工智能系统能够欺骗人们相信他们是人类。”已审查。 “这里的结果可能为在更自然的环境中欺骗的可能性设定了一个下限，与实验环境不同，人们可能不会对欺骗的可能性保持警惕，或者只专注于检测它。 ”

现在，虽然这无疑是一个引人注目的里程碑，但它绝不是一个普遍接受的里程碑。研究人员解释说：“图灵最初将模仿游戏视为智力的衡量标准，但人们对这一想法提出了各种反对意见。 ” 例如，众所周知，人类擅长将任何事物拟人化 – 我们想要对事物产生同理心，无论他们是另一个人、一只狗，还是一个长着一双瞪大眼睛的 Roomba卡在顶部。

最重要的是，值得注意的是，ChatGPT-4 和同样经过测试的 ChatGPT-3.5 仅在大约 50% 的时间内让人类参与者相信其人格，并不比随机机会好多少。那么我们怎么知道这个结果有什么意义呢？

嗯，团队在实验设计中内置的一项故障保护措施是将 ELIZA 纳入人工智能系统之一。她是最早的此类项目之一，于 20 世纪 60 年代中期在麻省理工学院创建，虽然她在当时无疑令人印象深刻，但可以公平地说，她对现代大语言模型或 LLM 的了解并不多。系统。 

“ELIZA 仅限于预设回复，这极大地限制了它的功能。它可能会愚弄某人五分钟，但很快局限性就会变得明显，”电气和电子工程师协会 (IEEE) 的人工智能研究员 Nell Watson 告诉 Live Science。“语言模型非常灵活，能够综合响应涉及广泛的主题，使用特定的语言或社会方言，并以性格驱动的个性和价值观来描绘自己，无论多么巧妙和仔细，这都是人类手工编程的巨大进步”。

换句话说，她非常适合作为实验的基准。您如何解释那些懒惰的测试对象只是在“人类”或“机器”之间随机选择的情况？好吧，如果 ELIZA 的得分与随机概率一样高，那么人们可能不会认真对待这个实验——她只是没那么好。你怎么知道有多少影响是人类将他们与之互动的任何东西拟人化的？那么，他们对 ELIZA 的说服力有多大呢？大概就这么多了。

事实上，ELIZA 的得分为 22%，仅让不到五分之一的人相信她是人类。研究人员写道，这证实了 ChatGPT 确实已经通过了图灵测试，因为测试对象显然能够可靠地区分某些计算机和人类，但 ChatGPT 无法区分。

那么，这是否意味着我们正在进入类人人工智能的新阶段？计算机现在和我们一样聪明吗？也许吧——但我们或许不应该太仓促地发表声明。 

研究人员解释说：“最终，图灵测试似乎不太可能为智力提供必要或充分的证据，但最多只能提供概率支持。”事实上，参与者甚至不依赖于你可能认为的“智力”标志：他们“更关注语言风格和社会情感因素，而不是知识和推理等更传统的智力概念”，论文报告说，这“可能反映出审讯者的潜在假设，即社会智能已经成为机器最无法模仿的人类特征。” ”

这就提出了一个令人担忧的问题：更大的问题不是机器的崛起，而是人类的衰落？

“虽然真实的人类实际上更成功，三分之二的时间让审讯者相信他们是人类，但我们的结果表明，在现实世界中，人们可能无法可靠地判断他们是在与人类还是人工智能系统交谈”该论文的合著者卡梅伦·琼斯 (Cameron Jones) 告诉 Tech Xplore。

“事实上，在现实世界中，人们可能不太意识到他们正在与人工智能系统交谈的可能性，因此欺骗率可能会更高，”他警告说。 “我认为这可能会对人工智能系统的用途产生影响，无论是自动化面向客户的工作，还是用于欺诈或错误信息。 ”

该研究尚未经过同行评审，已作为预印本发布到 arXiv。