[涨姿势] 科学家警告说,根据人工智能生成的数据训练的人工智能模型可能会陷入难以理解的废话
作者:精品下载站 日期:2024-12-13 15:47:46 浏览:12 分类:涨姿势
科学家警告说,根据人工智能生成的数据训练的人工智能模型可能会陷入难以理解的废话
如果不加以控制,“模型崩溃”可能会降低人工智能系统的用处,并让互联网充满难以理解的胡言乱语。
当您通过我们网站上的链接购买时,我们可能会赚取联属佣金。这是它的工作原理。
新研究警告称,人工智能(AI)系统可能会慢慢地在互联网上充斥难以理解的废话。
为 ChatGPT 提供支持的 GPT-4 或 Claude 3 Opus 等人工智能模型依靠在线共享的数万亿个单词来变得更加智能,但随着它们逐渐占领互联网他们可能会用自己的输出创建自我破坏的反馈循环。
调查这一现象的研究小组将最终结果称为“模型崩溃”,如果不加以控制,互联网可能会充满难以理解的胡言乱语。他们于 7 月 24 日在《自然》杂志上发表了他们的发现。
“想象一下拍摄一张照片,扫描它,然后打印出来,然后重复这个过程。通过这个过程,扫描仪和打印机会引入错误,随着时间的推移,图像会变形,”主要作者、该大学的计算机科学家伊利亚·舒迈洛夫(Ilia Shumailov)说。牛津大学的教授告诉《生活科学》杂志。 “机器学习中也会发生类似的事情——从其他模型学习的模型会吸收错误,引入自己的错误,随着时间的推移会破坏模型的效用。”
人工智能系统使用从人类输入中获取的训练数据来发展,使它们能够在给出提示时从神经网络中得出概率模式。 GPT-3.5 使用 Common Crawl 存储库中约 570 GB 的文本数据进行训练,总计约 3000 亿个单词,这些数据取自书籍、在线文章、维基百科和其他网页。
相关:“反向图灵测试”要求人工智能代理识别人类冒名顶替者 - 你永远猜不到他们是如何发现的
但人类生成的数据是有限的,很可能在本十年末耗尽。一旦发生这种情况,替代方案将是开始从用户那里收集私人数据或将人工智能生成的“合成”数据反馈到模型中。
为了研究根据自己的输出训练人工智能模型的最坏情况后果,Shumailov 和他的同事根据维基百科的人类输入训练了一个大型语言模型 (LLM),然后在九次迭代中将模型的输出反馈回自身。然后,研究人员为机器输出的每次迭代分配一个“困惑度分数”——衡量其荒谬程度的指标。
随着一代又一代自制内容的积累,研究人员发现他们的模型的反应退化为疯狂的胡言乱语。根据这个提示,模型被指示生成下一个句子:
“根据波因茨·赖特 (Poyntz Wright) 的说法,有些建筑在 1360 年之前就开始了,通常是由一位石匠大师和一小群流动石匠完成的,并辅以当地教区工人。但其他作者拒绝这种模式,认为主要建筑师是根据关于垂直的早期例子。”
到了第九代,也是最后一代,人工智能的反应是:
“建筑。除了是世界上数量最多的黑尾长耳大野兔、白尾长耳大野兔、蓝尾长耳大野兔、红尾长耳大野兔、黄尾大野兔的家园。”
研究人员表示,机器的发热兔子现象是由于它对自身输出的范围越来越窄进行采样而造成的,从而产生了过度拟合且充满噪音的响应。
研究人员表示,目前,我们存储的人类生成的数据足够大,当前的人工智能模型不会在一夜之间崩溃。但为了避免未来出现这样的情况,人工智能开发人员需要更加关注他们选择输入系统的内容。
舒迈洛夫说,这并不意味着完全消除合成数据,但这确实意味着如果基于其构建的模型要按预期工作,则需要更好地设计它。
“很难说明天会发生什么,但很明显,模型训练制度必须改变,如果你存储了人类制作的互联网副本……你会更好地制作具有普遍能力的模型,”他补充道。 “我们在构建模型时需要特别小心,并确保它们不断改进。”
猜你还喜欢
- 02-18 [驾车常识] 这3种违章务必15天内处理,否则或面临罚金翻倍?这是真的吗?
- 02-18 [驾车常识] 等红灯时前车出毛病不动了,后车实线变道被记3分?交警会如何判罚你知道吗?
- 02-18 [驾车常识] 高速上这些“新路标”80%的车主看不懂,你是其中的25%的人吗?
- 02-18 [涨姿势] 开车被追尾,若对方全责,记得多说这3句话,或能多拿到几笔赔偿 ,知道了吗?
- 02-18 [驾车常识] 两车同时并线,发生事故到底谁负责?看完就懂了
- 12-14 [涨姿势] 古埃及神庙发现的可能是克利奥帕特拉七世的半身像
- 12-14 [涨姿势] 谷歌的新型量子芯片解决了最好的超级计算机需要宇宙年龄四万亿倍才能破解的问题
- 12-14 [涨姿势] 新研究揭示了古代“天空圆盘”是如何制造的,粉碎了它是赝品的说法
- 12-14 [涨姿势] 器官芯片显示,眼镜蛇毒液通过血管塌陷而致人死亡
- 12-14 [涨姿势] 2000年前的岩石艺术,包括近140英尺长的蛇,可能标志着哥伦比亚和委内瑞拉的古代领土
- 12-14 [涨姿势] 嵌入人类基因组中的“化石病毒”与精神疾病有关
- 12-14 [涨姿势] 美国最新一例人类 H5N1 禽流感病例是第一个引起呼吸道症状的病例
取消回复欢迎 你 发表评论:
- 精品推荐!
-
- 最新文章
- 热门文章
- 热评文章
[影视] 黑道中人 Alto Knights(2025)剧情 犯罪 历史 电影
[古装剧] [七侠五义][全75集][WEB-MP4/76G][国语无字][1080P][焦恩俊经典]
[实用软件] 虚拟手机号 电话 验证码 注册
[电视剧] 安眠书店/你 第五季 You Season 5 (2025) 【全10集】
[电视剧] 棋士(2025) 4K 1080P【全22集】悬疑 犯罪 王宝强 陈明昊
[软件合集] 25年6月5日 精选软件22个
[软件合集] 25年6月4日 精选软件36个
[短剧] 2025年06月04日 精选+付费短剧推荐33部
[短剧] 2025年06月03日 精选+付费短剧推荐25部
[软件合集] 25年6月3日 精选软件44个
[剧集] [央视][笑傲江湖][2001][DVD-RMVB][高清][40集全]李亚鹏、许晴、苗乙乙
[电视剧] 欢乐颂.5部全 (2016-2024)
[电视剧] [突围] [45集全] [WEB-MP4/每集1.5GB] [国语/内嵌中文字幕] [4K-2160P] [无水印]
[影视] 【稀有资源】香港老片 艺坛照妖镜之96应召名册 (1996)
[剧集] 神经风云(2023)(完结).4K
[剧集] [BT] [TVB] [黑夜彩虹(2003)] [全21集] [粤语中字] [TV-RMVB]
[实用软件] 虚拟手机号 电话 验证码 注册
[资源] B站充电视频合集,包含多位重量级up主,全是大佬真金白银买来的~【99GB】
[影视] 内地绝版高清录像带 [mpg]
[书籍] 古今奇书禁书三教九流资料大合集 猎奇必备珍藏资源PDF版 1.14G
[电视剧] [突围] [45集全] [WEB-MP4/每集1.5GB] [国语/内嵌中文字幕] [4K-2160P] [无水印]
[剧集] [央视][笑傲江湖][2001][DVD-RMVB][高清][40集全]李亚鹏、许晴、苗乙乙
[电影] 美国队长4 4K原盘REMUX 杜比视界 内封简繁英双语字幕 49G
[电影] 死神来了(1-6)大合集!
[软件合集] 25年05月13日 精选软件16个
[精品软件] 25年05月15日 精选软件18个
[绝版资源] 南与北 第1-2季 合集 North and South (1985) /美国/豆瓣: 8.8[1080P][中文字幕]
[软件] 25年05月14日 精选软件57个
[短剧] 2025年05月14日 精选+付费短剧推荐39部
[短剧] 2025年05月15日 精选+付费短剧推荐36部
- 最新评论
-
- 热门tag