当前位置:网站首页 > 更多 > 涨姿势 > 正文

[涨姿势] 科学家警告说,根据人工智能生成的数据训练的人工智能模型可能会陷入难以理解的废话

作者:精品下载站 日期:2024-12-13 15:47:46 浏览:12 分类:涨姿势

科学家警告说,根据人工智能生成的数据训练的人工智能模型可能会陷入难以理解的废话


如果不加以控制,“模型崩溃”可能会降低人工智能系统的用处,并让互联网充满难以理解的胡言乱语。

当您通过我们网站上的链接购买时,我们可能会赚取联属佣金。这是它的工作原理。

[涨姿势] 科学家警告说,根据人工智能生成的数据训练的人工智能模型可能会陷入难以理解的废话

新研究警告称,人工智能(AI)系统可能会慢慢地在互联网上充斥难以理解的废话。 

为 ChatGPT 提供支持的 GPT-4Claude 3 Opus 等人工智能模型依靠在线共享的数万亿个单词来变得更加智能,但随着它们逐渐占领互联网他们可能会用自己的输出创建自我破坏的反馈循环。

调查这一现象的研究小组将最终结果称为“模型崩溃”,如果不加以控制,互联网可能会充满难以理解的胡言乱语。他们于 7 月 24 日在《自然》杂志上发表了他们的发现。

“想象一下拍摄一张照片,扫描它,然后打印出来,然后重复这个过程。通过这个过程,扫描仪和打印机会引入错误,随着时间的推移,图像会变形,”主要作者、该大学的计算机科学家伊利亚·舒迈洛夫(Ilia Shumailov)说。牛津大学的教授告诉《生活科学》杂志。 “机器学习中也会发生类似的事情——从其他模型学习的模型会吸收错误,引入自己的错误,随着时间的推移会破坏模型的效用。”

人工智能系统使用从人类输入中获取的训练数据来发展,使它们能够在给出提示时从神经网络中得出概率模式。 GPT-3.5 使用 Common Crawl 存储库中约 570 GB 的文本数据进行训练,总计约 3000 亿个单词,这些数据取自书籍、在线文章、维基百科和其他网页。

相关:“反向图灵测试”要求人工智能代理识别人类冒名顶替者 - 你永远猜不到他们是如何发现的

但人类生成的数据是有限的,很可能在本十年末耗尽。一旦发生这种情况,替代方案将是开始从用户那里收集私人数据或将人工智能生成的“合成”数据反馈到模型中。

为了研究根据自己的输出训练人工智能模型的最坏情况后果,Shumailov 和他的同事根据维基百科的人类输入训练了一个大型语言模型 (LLM),然后在九次迭代中将模型的输出反馈回自身。然后,研究人员为机器输出的每次迭代分配一个“困惑度分数”——衡量其荒谬程度的指标。

随着一代又一代自制内容的积累,研究人员发现他们的模型的反应退化为疯狂的胡言乱语。根据这个提示,模型被指示生成下一个句子:

“根据波因茨·赖特 (Poyntz Wright) 的说法,有些建筑在 1360 年之前就开始了,通常是由一位石匠大师和一小群流动石匠完成的,并辅以当地教区工人。但其他作者拒绝这种模式,认为主要建筑师是根据关于垂直的早期例子。”

到了第九代,也是最后一代,人工智能的反应是:

“建筑。除了是世界上数量最多的黑尾长耳大野兔、白尾长耳大野兔、蓝尾长耳大野兔、红尾长耳大野兔、黄尾大野兔的家园。”

研究人员表示,机器的发热兔子现象是由于它对自身输出的范围越来越窄进行采样而造成的,从而产生了过度拟合且充满噪音的响应。

研究人员表示,目前,我们存储的人类生成的数据足够大,当前的人工智能模型不会在一夜之间崩溃。但为了避免未来出现这样的情况,人工智能开发人员需要更加关注他们选择输入系统的内容。 

舒迈洛夫说,这并不意味着完全消除合成数据,但这确实意味着如果基于其构建的模型要按预期工作,则需要更好地设计它。

“很难说明天会发生什么,但很明显,模型训练制度必须改变,如果你存储了人类制作的互联网副本……你会更好地制作具有普遍能力的模型,”他补充道。 “我们在构建模型时需要特别小心,并确保它们不断改进。”

您需要 登录账户 后才能发表评论

取消回复欢迎 发表评论:

关灯