点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:科学家呼吁:采取更强有力行动防范AI风险
首页> 科技频道> 综合新闻 > 正文

科学家呼吁:采取更强有力行动防范AI风险

来源:科技日报2024-05-22 09:46

  ◎记者 张梦然

  当以后的人们为人工智能(AI)撰写一部编年史时,这可能是一个里程碑。

  因为这是人类第一次由一个庞大的国际顶尖专家组,就先进AI的风险推进全球政策制定。

  人们已清晰认识到:我们离不开AI,亦需要大力推动AI技术发展,但我们必须有能力防范其中的风险。

  自6个月前在英国布莱奇利公园举行第一届AI安全峰会以来,世界各国领导人承诺以负责任的方式管理AI,但是AI专家认为这依然不够。随着第二届AI安全峰会(5月21日至22日)在韩国首尔举行,25位世界顶尖AI科学家呼吁,全世界应对AI风险采取更强有力的行动。

  发表于《科学》杂志的一份专家共识文章中,专家组概述了全球应采取的紧急政策优先事项。文章作者之一、英国牛津大学工程科学系教授菲利普·托尔表示:“在上届AI峰会上,世界一致认为我们需要采取行动,而现在是时候将模糊的建议转变为具体的承诺了。”

  安全性研究严重匮乏

  这25位全球顶尖的AI及其治理专家来自中国、美国、欧盟、英国和其他AI技术强国,其中包括图灵奖获得者以及诺贝尔奖获得者。这也是首次由国际专家组就AI风险的全球政策制定达成一致。

  文章指出,全球领导人需认真考虑,在未来十年内可能开发出超越人类能力的通用AI系统。他们表示,尽管世界各国政府一直在讨论先进AI,并尝试引入初步指导方针,但这与许多专家期望的快速、变革性进展仍有距离。

  目前关于AI安全的研究严重缺乏,只有1%—3%的AI出版物涉及相关安全问题。此外,全球没有适当的机制或机构来防止滥用和鲁莽行为,包括如何使用能独立采取行动和自行实现目标的自治系统。

  在快速发展中防范极端风险

  文章建议,各国政府需建立可快速行动的AI监管机构,并为这些机构提供资金。美国AI安全研究所目前的年度预算为1000万美元,听起来并不少,但相比之下,美国食品和药物管理局(FDA)的预算达67亿美元。

  AI领域需要更严格的风险评估并制定可执行的措施,而不是依赖一些不甚明确的模型评估。应要求AI研发企业优先考虑安全性,并证明其系统不会造成伤害,AI开发人员要承担起证明安全性的责任。

  人们还要有一个与AI系统带来的风险水平相称的缓解办法,解决之道是制定一个“自动”政策,当AI达到某些能力里程碑时“自动触发”——如果AI发展迅速,这一严格的要求就会自动生效;如果进展缓慢,要求将相应放缓。

  对于能力超凡的未来AI系统,政府必须作好带头监管的准备。这包括许可开发,限制其在关键社会角色中的自主权,停止部署部分能力,强制执行访问控制,以及要求对国家级黑客采取强有力的信息安全手段,直到人们准备好足够的保护措施。

  谨记AI不是玩具

  不列颠哥伦比亚大学AI教授、强化学习领域专家杰夫·克伦纳表示,太空飞行、核武器和互联网等技术在数年内就从科幻变成了现实,AI也不例外。“我们现在必须为那些看似科幻小说的风险做好准备”。

  现在,AI已经在黑客攻击、社交操纵和战略规划等关键领域取得了快速进展,并可能很快带来前所未有的关于“控制”的挑战。AI系统可能会为了实现某个“不良目的”而骗取人类信任、获取资源并影响关键决策者。为了避免人为干预,它们还可以在全球服务器网络上复制自身算法。

  在这种情况下,大规模网络犯罪、社会操纵和其他危害会因此迅速升级。而在公开冲突中,AI系统能自主部署各种武器,甚至包括生物武器。因此,当AI的进步不受控制,很可能最终导致大规模生命损失、生物圈破坏、人类边缘化甚至灭绝。

  美国加州大学伯克利分校计算机科学教授斯图尔特·卢塞尔表示:“此次是权威专家的共识文章,其呼吁政府严格监管,而不是自愿制定一些规范行业的行为。”

  “企业可能抱怨说满足这些法规太难,但所谓‘法规扼杀创新’的说法是荒谬的。”卢塞尔这样说,“是时候认真对待先进AI系统了,它们不是玩具。在我们了解如何确保它们的安全性之前,轻易增强它们的能力是完全鲁莽的行为。”

[ 责编:宋雅娟 ]
阅读剩余全文()

相关阅读

您此时的心情

光明云投
新闻表情排行 日/周
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 三峡枢纽新通道首条500千伏线路迁改施工进入冲刺阶段

  • 中外专家学者在美共话斯诺精神遗产

独家策划

推荐阅读
今年“双11”,不少人的订单里多了一种看不见、摸不着的新东西:Token。81岁的图灵奖得主马丁·赫尔曼打了个有趣的比方:人类就像一个刚拿到驾照的人,不知怎么弄到了一辆500匹马力跑车。
2026-11-16 09:29
初冬时节,位于黄河岸边的河南开封前方园艺公司菊花销售依然火热,员工们忙着将一盆盆娇艳的观赏菊装上货车、送往开封市区各景点,将一包包新鲜的食用菊发往全国各地。
2026-11-16 04:50
14日,以“智能经济赋能·绿色引领未来——‘十五五’长江经济带高质量发展的新方位与新征程”为主题的第十一届长江经济带发展论坛在江苏南通举行。会上,南通大学江苏长江经济带研究院最新研究成果发布。
2026-11-16 04:50
11月18日至19日,亚太经合组织(APEC)第三十三次领导人非正式会议将在深圳举行。围绕“建设亚太共同体,促进共同繁荣”主题,聚焦“开放、创新、合作”三大优先领域,中国全年举办300多场APEC活动。
2026-11-16 04:50
14日,我国自主研制的10吨级电动商用飞机CE-25A在山东滨州完成首次有人驾驶智能飞行。飞机搭载2名飞行员、1名试飞工程师,飞行试验57分46秒,其中空中飞行16分38秒、60.4公里,飞机状态正常,各项指标符合预期。
2026-11-16 04:50
技能是劳动者的重要生产禀赋,是其嵌入生产过程、与生产工具协同的关键点。机械化、电气化和自动化催生了产业革命,建立起机器大生产与标准化流水线。在此情境下,对标准化设备的熟练操作成为劳动者的核心技能,“动手能力”成为技能人才的鲜明标签。
2026-11-13 09:55
由自然资源部、国家发展改革委联合印发的《关于“人工智能+自然资源”的实施意见》日前对外发布。《意见》旨在推动人工智能在自然资源领域规模化、产业化创新应用,服务国土空间规划“一张图”智能化升级。
2026-11-13 01:50
天津农业合成生物与生物智造科创园占地41.4亩,布局创新创业、中试、检验检测等七大功能板块,承担的是“从1到10”的成果转化职能。用谯仕彦自己的话说:“实验室实现‘从0到1’,工厂完成规模化制造,二者中间横亘着中试熟化、工程放大、市场验证等重重关口。这座科创园,就是一座跨越转化难关的桥梁。”
2026-11-13 01:50
知识的创新、传播与应用彼此关联,却承担不同的认知任务。把已有道理向更多人讲清楚,可以扩大知识的社会影响;提出此前尚未形成的科学解释,则可能改变人们对世界的认识。评判人工智能在知识生产中的作用,应区分知识传递的效率与知识创新的增量,并考察其在不同知识活动中承担的任务。
2026-11-13 02:20
该井位于渤海中部海域,紧邻渤海最大的富烃凹陷—渤中凹陷,在火山岩地层中累计钻遇超120米天然气层,完钻井深5770米。经测试,该井日产天然气约80万立方米(约2800万立方英尺),展现了海上超深层火山岩领域广阔的勘探前景,有力推动了渤中凹陷天然气勘探进程。
2026-11-13 02:20
绿色算力既是数字基础设施建设的重要方向,也是清洁能源优势转化为发展动能的现实路径。当前,人工智能技术加快迭代,算力在科技创新和产业升级中的基础作用日益凸显,持续增长的计算需求对电力保障能力和能源利用效率提出了更高要求。
2026-11-12 01:30
把两根绳子接起来量一量,总长就出来了,不必先把两段长度换算成数字再相加。模拟计算走的是这条路:不把问题拆成一条条指令,而是让物理规律直接给出结果。北京大学人工智能研究院孙仲团队牵头,联合意大利米兰理工大学、IBM苏黎世研究院和美国一家公司的研究人员,为正在升温的模拟计算研究提出“现代模拟计算”统一框架。相关论文于近日发表。
2026-11-12 01:30
眼下,重庆市彭水苗族土家族自治县的红薯正值采挖时节,一辆辆轻型卡车在通往种植基地的“产业路”上穿梭,将收获的鲜薯运送到县工业园的重庆乐薯农业有限公司,经过严格的品质检测、清洁和一系列加工程序后,便成了人们常见的红薯淀粉。
2026-11-12 02:05
11月10日,记者从山东省泰安市人民政府新闻办举行的发布会获悉,泰安将科学有序、免费开放部分泰山景区等场地,为国内外机器人企业、科研机构提供实景训练测试条件,同时统筹做好场景供需对接、数据算力支撑、落地服务保障等,推动泰安新型工业化强市建设。
2026-11-12 02:05
当前,全球新一轮科技革命和产业变革加速演进,以生成式人工智能为代表的通用目的技术正从生产端加速向消费端传导。餐饮住宿、文旅出行、养老照护、教育培训、家政美容等服务消费,直接关系到千家万户的日常生活品质。推动人工智能在服务领域深度应用,让前沿技术成果惠及更多消费者,已成为各国促进消费、提升服务业竞争力的共同关注点。
2026-11-12 02:15
全透明光伏发电玻璃可使玻璃幕墙建筑成为分布式光伏电站;新一代柔性太阳能电池阵,能为中国空间站提供电力保障。下一步,我们要高水平推进“中国碳谷”建设,形成创新合力,打通基础研究、技术攻关、产业孵化和品牌塑造全链条。
2026-11-11 09:27
国家卫生健康委、国家医保局、国家中医药局、国家疾控局共同制定印发《关于进一步做好创新药安全合理配备使用工作的通知》,满足群众多元化用药需求,提高疾病治疗效果,保障医疗质量安全。
2026-11-11 01:45
培育和发展新质生产力急需高质量创新人才。高校的独特之处,在于教育、科技、人才要素集聚,它处在科技第一生产力、人才第一资源、创新第一动力的结合点上,也承担着将三者统合起来的制度功能。
2026-11-11 01:45
与其说是AI解出了难题,不如说是人类在AI的协助下拓展了边界。这带来的不仅是解题速度的提升,更是一场深刻的科研范式之变。
2026-11-11 01:45
主动对接国家西部战略和甘肃现代产业体系建设
2026-11-11 01:45
加载更多