点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:AI“模型崩溃”风险需警惕
首页> 科技频道> 综合新闻 > 正文

AI“模型崩溃”风险需警惕

来源:科技日报2024-09-25 09:26

  图片来源:美国《The Week》

  【今日视点】

  ◎记者 张佳欣

  从客户服务到内容创作,人工智能(AI)影响了众多领域的进展。但是,一个日益严重的被称为“模型崩溃”的问题,可能会使AI的所有成就功亏一篑。

  “模型崩溃”是今年7月发表在英国《自然》杂志上的一篇研究论文指出的问题。它是指用AI生成的数据集训练未来几代机器学习模型,可能会严重“污染”它们的输出。

  多家外媒报道称,这不仅是数据科学家需要担心的技术问题,如果不加控制,“模型崩溃”可能会对企业、技术和整个数字生态系统产生深远影响。天津大学自然语言处理实验室负责人熊德意教授在接受科技日报记者采访时,从专业角度对“模型崩溃”进行了解读。

  “模型崩溃”是怎么回事

  大多数AI模型,比如GPT-4,都是通过大量数据进行训练的,其中大部分数据来自互联网。最初,这些数据是由人类生成的,反映了人类语言、行为和文化的多样性和复杂性。AI从这些数据中学习,并用它来生成新内容。

  然而,当AI在网络上搜索新数据来训练下一代模型时,AI很可能会吸收一些自己生成的内容,从而形成反馈循环,其中一个AI的输出成为另一个AI的输入。当生成式AI用自己的内容进行训练时,其输出也会偏离现实。这就像多次复制一份文件,每个版本都会丢失一些原始细节,最终得到的是一个模糊的、不那么准确的结果。

  美国《纽约时报》报道称,当AI脱离人类输入内容时,其输出的质量和多样性会下降。

  熊德意解读称:“真实的人类语言数据,其分布通常符合齐普夫定律,即词频与词的排序成反比关系。齐普夫定律揭示了人类语言数据存在长尾现象,即存在大量的低频且多样化的内容。”

  熊德意进一步解释道,由于存在近似采样等错误,在模型生成的数据中,真实分布的长尾现象逐渐消失,模型生成数据的分布逐渐收敛至与真实分布不一致的分布,多样性降低,导致“模型崩溃”。

  AI自我“蚕食”是坏事吗

  对于“模型崩溃”,美国《The Week》杂志近日刊文评论称,这意味着AI正在自我“蚕食”。

  熊德意认为,伴随着这一现象的出现,模型生成数据在后续模型迭代训练中占比越高,后续模型丢失真实数据的信息就会越多,模型训练就更加困难。

  乍一看,“模型崩溃”在当前似乎还是一个仅需要AI研究人员在实验室中担心的小众问题,但其影响将是深远而长久的。

  美国《大西洋月刊》刊文指出,为了开发更先进的AI产品,科技巨头可能不得不向程序提供合成数据,即AI系统生成的模拟数据。然而,由于一些生成式AI的输出充斥着偏见、虚假信息和荒谬内容,这些会传递到AI模型的下一版本中。

  美国《福布斯》杂志报道称,“模型崩溃”还可能会加剧AI中的偏见和不平等问题。

  不过,这并不意味着所有合成数据都是不好的。《纽约时报》表示,在某些情况下,合成数据可以帮助AI学习。例如,当使用大型AI模型的输出训练较小的模型时,或者当可以验证正确答案时,比如数学问题的解决方案或国际象棋、围棋等游戏的最佳策略。

  AI正在占领互联网吗

  训练新AI模型的问题可能凸显出一个更大的挑战。《科学美国人》杂志表示,AI内容正在占领互联网,大型语言模型生成的文本正充斥着数百个网站。与人工创作的内容相比,AI内容的创作速度更快,数量也更大。

  OpenAI首席执行官萨姆·奥特曼今年2月曾表示,该公司每天生成约1000亿个单词,相当于100万本小说的文本,其中有一大部分会流入互联网。

  互联网上大量的AI内容,包括机器人发布的推文、荒谬的图片和虚假评论,引发了一种更为消极的观念。《福布斯》杂志称,“死亡互联网理论”认为,互联网上的大部分流量、帖子和用户都已被机器人和AI生成的内容所取代,人类不再能决定互联网的方向。这一观念最初只在网络论坛上流传,但最近却获得了更多关注。

  幸运的是,专家们表示,“死亡互联网理论”尚未成为现实。《福布斯》杂志指出,绝大多数广为流传的帖子,包括一些深刻的观点、犀利的语言、敏锐的观察,以及在新背景下对新生事物的定义等内容,都不是AI生成的。

  不过,熊德意仍强调:“随着大模型的广泛应用,AI合成数据在互联网数据中的占比可能会越来越高,大量低质量的AI合成数据,不仅会使后续采用互联网数据训练的模型出现一定程度的‘模型崩溃’,而且也会对社会形成负面影响,比如生成的错误信息对部分人群形成误导等。因此,AI生成内容不仅是一个技术问题,同时也是社会问题,需要从安全治理与AI技术双重角度进行有效应对。”

[ 责编:宋雅娟 ]
阅读剩余全文()

相关阅读

您此时的心情

光明云投
新闻表情排行 日/周
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平会见越共中央总书记、国家主席苏林

  • 习近平会见加拿大总理卡尼

独家策划

推荐阅读
要让一台机器人真正能干活,到底靠什么?答案是,看得见、想得出、做得到。
2026-11-17 09:33
芯片越强、集群越大、部署越密,出故障的概率和代价也在同步飙升。
2026-11-17 09:29
胜利油田济阳页岩油民丰8号台新型井工厂首批12口井平均钻井周期13.83天,其中丰页1-8-B13HF井钻井周期11.68天,刷新国内超6000米井深陆相页岩油最短钻井周期纪录。
2026-11-17 05:15
红线划得清楚,但现实难题也依然存在:当作业能让AI助写,心事能向AI倾诉,孩子还会不会自己动脑、还愿不愿意跟真人打交道?如何帮助孩子减少依赖,合理使用AI?AI时代的青少年身心健康该如何守护?记者多方采访求解。
2026-11-17 05:15
随着人工智能深度赋能千行百业,不少高校毕业生主动“拥抱”AI,将专业所学同AI应用融合,探索解决行业重点难点问题。他们的经历带来哪些启示?多方主体怎样弥合产教断层,打造适应新岗位新场景的就业竞争力?
2026-11-17 05:15
16日,海南热带雨林国家公园管理局发布海南热带雨林国家公园的10种标志性物种,分别是海南长臂猿、海南坡鹿、海南孔雀雉、海南四眼斑水龟、鹦哥岭树蛙、丽拟丝蟌、坡垒、美花兰、陆均松、紫芝。
2026-11-17 05:15
今年“双11”,不少人的订单里多了一种看不见、摸不着的新东西:Token。81岁的图灵奖得主马丁·赫尔曼打了个有趣的比方:人类就像一个刚拿到驾照的人,不知怎么弄到了一辆500匹马力跑车。
2026-11-16 09:29
初冬时节,位于黄河岸边的河南开封前方园艺公司菊花销售依然火热,员工们忙着将一盆盆娇艳的观赏菊装上货车、送往开封市区各景点,将一包包新鲜的食用菊发往全国各地。
2026-11-16 04:50
14日,以“智能经济赋能·绿色引领未来——‘十五五’长江经济带高质量发展的新方位与新征程”为主题的第十一届长江经济带发展论坛在江苏南通举行。会上,南通大学江苏长江经济带研究院最新研究成果发布。
2026-11-16 04:50
11月18日至19日,亚太经合组织(APEC)第三十三次领导人非正式会议将在深圳举行。围绕“建设亚太共同体,促进共同繁荣”主题,聚焦“开放、创新、合作”三大优先领域,中国全年举办300多场APEC活动。
2026-11-16 04:50
14日,我国自主研制的10吨级电动商用飞机CE-25A在山东滨州完成首次有人驾驶智能飞行。飞机搭载2名飞行员、1名试飞工程师,飞行试验57分46秒,其中空中飞行16分38秒、60.4公里,飞机状态正常,各项指标符合预期。
2026-11-16 04:50
技能是劳动者的重要生产禀赋,是其嵌入生产过程、与生产工具协同的关键点。机械化、电气化和自动化催生了产业革命,建立起机器大生产与标准化流水线。在此情境下,对标准化设备的熟练操作成为劳动者的核心技能,“动手能力”成为技能人才的鲜明标签。
2026-11-13 09:55
由自然资源部、国家发展改革委联合印发的《关于“人工智能+自然资源”的实施意见》日前对外发布。《意见》旨在推动人工智能在自然资源领域规模化、产业化创新应用,服务国土空间规划“一张图”智能化升级。
2026-11-13 01:50
天津农业合成生物与生物智造科创园占地41.4亩,布局创新创业、中试、检验检测等七大功能板块,承担的是“从1到10”的成果转化职能。用谯仕彦自己的话说:“实验室实现‘从0到1’,工厂完成规模化制造,二者中间横亘着中试熟化、工程放大、市场验证等重重关口。这座科创园,就是一座跨越转化难关的桥梁。”
2026-11-13 01:50
知识的创新、传播与应用彼此关联,却承担不同的认知任务。把已有道理向更多人讲清楚,可以扩大知识的社会影响;提出此前尚未形成的科学解释,则可能改变人们对世界的认识。评判人工智能在知识生产中的作用,应区分知识传递的效率与知识创新的增量,并考察其在不同知识活动中承担的任务。
2026-11-13 02:20
该井位于渤海中部海域,紧邻渤海最大的富烃凹陷—渤中凹陷,在火山岩地层中累计钻遇超120米天然气层,完钻井深5770米。经测试,该井日产天然气约80万立方米(约2800万立方英尺),展现了海上超深层火山岩领域广阔的勘探前景,有力推动了渤中凹陷天然气勘探进程。
2026-11-13 02:20
绿色算力既是数字基础设施建设的重要方向,也是清洁能源优势转化为发展动能的现实路径。当前,人工智能技术加快迭代,算力在科技创新和产业升级中的基础作用日益凸显,持续增长的计算需求对电力保障能力和能源利用效率提出了更高要求。
2026-11-12 01:30
把两根绳子接起来量一量,总长就出来了,不必先把两段长度换算成数字再相加。模拟计算走的是这条路:不把问题拆成一条条指令,而是让物理规律直接给出结果。北京大学人工智能研究院孙仲团队牵头,联合意大利米兰理工大学、IBM苏黎世研究院和美国一家公司的研究人员,为正在升温的模拟计算研究提出“现代模拟计算”统一框架。相关论文于近日发表。
2026-11-12 01:30
眼下,重庆市彭水苗族土家族自治县的红薯正值采挖时节,一辆辆轻型卡车在通往种植基地的“产业路”上穿梭,将收获的鲜薯运送到县工业园的重庆乐薯农业有限公司,经过严格的品质检测、清洁和一系列加工程序后,便成了人们常见的红薯淀粉。
2026-11-12 02:05
11月10日,记者从山东省泰安市人民政府新闻办举行的发布会获悉,泰安将科学有序、免费开放部分泰山景区等场地,为国内外机器人企业、科研机构提供实景训练测试条件,同时统筹做好场景供需对接、数据算力支撑、落地服务保障等,推动泰安新型工业化强市建设。
2026-11-12 02:05
加载更多