点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:科学家回信|朱松纯:人工智能高速发展一定会产生威胁吗?
首页> 科技频道> 综合新闻 > 正文

科学家回信|朱松纯:人工智能高速发展一定会产生威胁吗?

来源:“学习强国”学习平台 中国科学报社2023-09-12 11:02

  编者按:日前,“学习强国”学习平台与中国科学报社联合发起“科学家回信”活动,邀请广大读者向自己心中向往尊敬的科学家、科技工作者提问、留言。活动启动后,“学习强国”“科学网App”收到了读者的踊跃留言。我们精选了读者戴戈的提问,请北京通用人工智能研究院院长朱松纯发出第二十一期回信。

  以求索之问激发科学探讨,以互动回应碰撞科学新知,“学习强国”“科学网App”愿成为公众与科学的信使,欢迎你继续在评论区留言。

  读者戴戈:如何避免和防范人工智能高速发展所产生的对人类的威胁?

  朱松纯:近几个月来,以大语言模型(LLM)为基础的生成式人工智能(AIGC)应用GPT系列产品因其能够通过学习大量人类语言来完成对话、撰写邮件、视频脚本、文案、翻译和编写代码等原本只有人类可以完成的复杂任务,引发广泛关注成为了网络热点,同时也让很多人工智能研究领域的专业名词进入公众视野。

  AI的快速发展在一定程度上能够为社会经济发展起到助推作用。本轮AI热潮以生成式人工智能(AIGC)技术为代表,它将在自动化和效率提升、个性化和定制化服务等方面发挥优势作用。例如,在数据分析、内容生成、编程和设计等领域,生成式人工智能可以快速生成大量高质量的内容、代码等,提高生产效率,促进社会经济发展。

  实现通用人工智能是人工智能研究的初心也是终极目标,但在现有大模型的基础上继续扩大参数规模并不能实现通用人工智能。由于ChatGPT表现出了一定的泛化性和通用性,微软等硅谷科技公司有人认为大语言模型是实现通用人工智能的途径,国内则掀起了“all in GPT”的浪潮,开始了“百模大战”,并认为通用人工智能将很快实现,但国际主流学术界对此并不认可。美国加州伯克利大学的知名学者Stuart Russell表示,“关于ChatGPT,更多数据和更多算力不能带来真正的智能”;纽约大学教授Gary Marcus认为“AI研究不应该关注过去内容的保存,而应该探索建立具有价值表达和推理能力的智能”;OpenAI CEO也公开表示“大模型的研究已经到头了没有未来,AI研究需要新思路”。

  如果我们把实现通用人工智能看作“探月工程”,大模型现在取得的成就如同登上了珠峰,虽然也是了不起的成就但并不能实现终极目标。ChatGPT产生的轰动效应让“通用人工智能”这个专业术语进入大众视野,让原来在学术界认为无法企及的目标变得并非想象中那么遥不可及,因此,未来要格外重视真正的通用人工智能的发展。

  人工智能的高速发展一定会对人类产生威胁吗?

  在科技行业开启大模型军备竞赛的同时,很多科技公司、文化传媒行业开始裁员或收紧外包服务的新闻也不绝于耳,公众开始担心起自己的工作岗位,甚至担心未来人工智能会控制人类。前不久,数千名学者联名呼吁暂停AI研发至少6个月,要讨论出AI安全治理框架,某些公司和国家甚至开始禁用ChatGPT以防止核心数据外泄。

  这充分说明一方面人工智能作为新一轮科技革命和产业变革的重要驱动力量其蕴含的巨大潜能正在慢慢显露,另一方面其风险也愈发让人担忧。因此,我们在大力发展通用人工智能的同时,也需要积极应对新挑战,主动防范、化解新技术带来的数据安全、伦理、法律以及社会治理等方面的风险。

  其实,人们对人工智能威胁论的担心,核心是对“大模型”的不信任。人之间的信任有两个层次,第一个层次是对能力的信任。例如,我们从小到大经历的各种考试,就是在证明我们有各种各样的能力。第二个层次是对价值观的认同。人与人之间信任的核心是价值观认同。

  首先,从能力的角度看,ChatGPT在语言空间上打破了以往只能实现单一功能的局限性,表现出了多用途的能力,但同时又在很简单的问题上犯错误。究其根本在于其工作原理是基于统计学原理进行的工作,是全新一代的“知识表示和调用方式”,其表现高度依赖数据标注和训练模型,并不真正具备因果推理、数理逻辑推理、事实判断等认知方面的能力。GPT生成的内容只能从Ta“见过”的问题和答案中去找,然后用统计概率的方式计算出一个最有可能的答案输出给用户。因此,对于见过的问题,GPT准确率非常高,但对于陌生问题准确率很差,甚至出现一本正经胡说八道的情况。例如,当我们问GPT4,“请讲述一下林黛玉倒拔垂杨柳的故事”,Ta煞有介事地讲了一个故事如下图:

科学家回信|朱松纯:人工智能高速发展一定会产生威胁吗?

  由此可见,GPT其实并不理解用户给出的问题,也不理解《红楼梦》与《水浒》之间的关系。由于Ta做不到理解人的意图、理解文本之间的关系,Ta产生的海量信息是不可信的,这些不可信的信息会让原本明确的概念变得似是而非,原本比较清晰的认知变得模糊,就像在大脑里形成了一团“脑雾”,进而给社会带来“认知眩晕”等问题,影响人们作出正确的判断,引发一系列社会安全、伦理等方面的挑战。

  第二,从价值观的角度来看,大模型能否理解人类的价值取向,决定了大模型能否安全可信地应用到关系国计民生的重要领域。当前大模型不具备人类的认知和推理能力,更缺乏人类的情感和“价值观”,即缺“心”,也无法与人类用户进行有效的沟通,很难取得人类的信任。

  因此,当一个拥有一些强大且不确定的能力和不知道价值取向的新鲜事物横空出世的时候,公众难免会感到受到威胁。从另一个角度讲,正因为当前的人工智能在能力和价值两个层面上还不能取得人的信任,Ta也很难服务于人类社会。

  为机器立“心”,让AI获取人的信任

  当前,“大数据”范式人工智能的三大核心要素是:数据、算力和模型,但由于大模型先天具有模型不可解释、数据存在泄露风险、不具备认知架构、缺乏因果与数理推理能力等局限性,因此并不能通往“通用人工智能”。

  通用人工智能需要在复杂动态的物理和社会环境中满足三个关键要求:(1)处理无限任务,包括那些没有预先定义的任务;(2)具备自主性,能够像人类一样自主产生并完成任务;(3)具备价值系统,由价值驱动完成各种任务;其核心是“认知架构”,有了认知架构,智能体才能与人在共同的情景之中、拥有共同的常识、遵守共同的行动规范、形成共同的价值观,进而获得人类信任。

  我们认为,未来通用人工智能的发展,应在中国传统哲学思想和价值观的指导下,从“心”出发,让AI由“价值驱动”而非“数据驱动”;走“小数据,大任务”这一原创核心技术路线,探索统一的认知架构,“为机器立心”,实现智能体与人的“四个对齐”(在共同的情景之中、拥有共同的常识、遵守共同的行动规范、形成共同的价值观),才能让冷冰冰的AI拥有与人类相通的情感、道德与伦理,获取人类的信任,进而真正融入人类社会,造福人类。

科学家回信|朱松纯:人工智能高速发展一定会产生威胁吗?

[ 责编:张梦凡 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 景德镇陶阳里:城市更新激发文旅新活力

  • 全运会香港赛区官方特许商品开售

独家策划

推荐阅读
新时代新征程,以中国式现代化全面推进强国建设、民族复兴伟业,实现新型工业化是关键任务。
2025-07-15 04:10
现阶段,人工智能赋能新型工业化已取得明显成效,但仍存在人工智能关键硬件与开源软件储备不足、人工智能在重点行业领域应用率偏低、人工智能领域人才短缺且结构不合理、缺乏适应人工智能发展的标准体系和法律法规等问题。
2025-07-15 04:10
2025年可谓人形机器人的“破圈”之年。从蛇年春晚舞台的机器人扭秧歌,到北京亦庄的机器人马拉松,再到浙江杭州的机器人格斗赛……人形机器人正从“实验室”迈向各类“应用场”。
2025-07-15 02:55
科考船在狂风巨浪中剧烈摇摆,寻找渺小的目标如同大海捞针。回收沉睡海底半年的海底地震仪,是这次出海科研任务中最艰难的一环。“快看!在那儿!”随着一声疾呼划破沉寂,
2025-07-15 02:55
老北京人都知道,居家过日子,买剪刀要买王麻子的,吃腐乳要吃王致和的,穿布鞋要买内联升的…… 这是为啥?因为人家的这些物件,得劲儿呗!为啥得劲儿?匠心所致也!
2025-07-15 02:55
从27岁到60岁,33载深蓝搏击,马远良实现了中国航空声呐从无到有、从追赶到并跑乃至局部领先的壮举。
2025-07-14 08:49
何熙昱锦也表示,脑机接口技术涉及芯片、传感器、算法、应用等多个环节,需要上下游企业形成更紧密的合作关系。
2025-07-14 08:45
在论坛签约仪式上,中国、哈萨克斯坦、巴基斯坦、埃及等国家共签署12个数字经济合作项目,涉及跨境电商、智慧城市等领域。
2025-07-14 08:45
天然铀是重要的战略资源和能源矿产,铀资源勘查采冶位于核燃料循环体系的前端,是核工业发展的重要物质基础。
2025-07-14 08:42
这条从技术突破、场景深耕到生态协同的融合路径,正强劲驱动中国人工智能产业迈向高质量跃升。
2025-07-14 08:41
据国家统计局最新发布的数据,2025年全国夏粮总产量达到14973.8万吨,单位面积产量与去年基本持平,总体实现了夏粮生产的平稳运行。这一成绩的取得,
2025-07-14 04:15
从蓝莓大棚里的生长曲线,到肉牛项圈里的健康密码,广西的特色农业正被人工智能重新定义。
2025-07-14 04:25
7月13日,随着和田—民丰—且末—若羌750千伏输变电工程最后一相导线跨越和若铁路、国道315,稳稳抵达188号铁塔,历经15年建设的新疆环塔里木盆地750千伏输变电工程(以下简称“环塔工程”)全线贯通,进入投运倒计时。
2025-07-14 04:25
防晒,究竟该如何掌握分寸,才能在抵御伤害与拥抱健康之间找到平衡点?
2025-07-11 09:58
生命只有一次,心脏健康不容忽视。唯有提高对心梗症状的警觉性,掌握正确的急救方法,才能为生命筑起一道坚实的“心”防线。
2025-07-11 09:58
晒后背是一种传统的养生方法,符合中医“冬病夏治”的理论,其核心在于借助盛夏充沛的自然阳气,通过阳光照射背部,来提升人体自身阳气。
2025-07-11 09:58
截至7月10日,我国“北气南下”能源大通道累计输气量突破1000亿立方米,安全平稳运行超2000天,标志着这条纵贯南北的能源大动脉在保障国家能源安全、推动绿色转型方面取得重大进展。
2025-07-11 04:55
从自然资源部新一轮找矿突破战略行动办公室了解到,今年上半年,全国新发现矿产地38处,同比增长31%;新发现矿产地中,大中型矿产地25处。
2025-07-11 04:10
时下,智能手机已成为人们获取信息、社交娱乐的重要工具。多学科专家指出,当我们刷手机出现注意力极度涣散、缺乏独立思考能力、情绪化反应严重、深度学习能力下降、空虚感增加等症状时,就表明我们的大脑正在被“腐蚀”。所谓的“脑腐”,即因长期暴露于碎片化信息而引发的认知衰退与脑功能损伤。
2025-07-11 04:10
由于肉眼很难发现水污染的情况,洪水之后饮水需要特别注意,避免直接饮用自来水、山泉水、河水、湖水等。肖丹提醒,如果不适症状较为严重,出现持续高热、剧烈呕吐、严重腹泻、脱水、意识障碍等,或皮肤干燥、眼窝凹陷、少尿等情况,应及时就医。
2025-07-10 09:34
加载更多