点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:防止被算力“锁死” AI进化急需革命性算法
首页> 科技频道> 综合新闻 > 正文

防止被算力“锁死” AI进化急需革命性算法

来源:科技日报2020-08-05 09:49

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  “深度学习所需的大规模样本数据对于算力产生巨大需求,但近日美国麻省理工学院等研究机构的报告显示,深度学习正在逼近算力极限,而提升算力所需的硬件、成本和对于环境的影响正变得越来越难以承受……”

  美国麻省理工学院、安德伍德国际学院和巴西利亚大学的研究人员在最近的一项研究中发现,深度学习的进步强烈地依赖于计算的增长。其结论显示,训练模型的进步取决于算力的大幅提高,具体来说,计算能力提高10倍相当于3年的算法改进成果。大量数据和算力是促进人工智能发展的重要因素,但是研究人员认为,深度学习正在逼近算力极限。换言之,算力提高的背后,其实现目标所隐含的计算需求——硬件、环境和金钱等成本将变得无法承受。

  研究人员表示,深度学习急需革命性的算法才能让AI更有效地学习,并越来越像人类。那么,为何深度学习算法十分依赖算力的增长,现在算力的极限在哪里,如何突破?除了算力,深度学习还能否依靠其他方式改进算法性能?革命性算法的标准是什么?

  大规模样本数据催生计算需求

  “深度学习本质上是基于统计的科学,所以大规模的样本数据对于深度学习的效果至关重要。更大规模和更复杂的神经网络模型已经被证明非常有效,并在产品中有广泛的使用,同时这也让深度学习对计算能力有着更大要求和消耗。”远望智库AI事业部部长、图灵机器人首席战略官谭茗洲表示。

  人工智能设计之初,并没有考虑节能原则,只要有足够的算力和电力,算法就可以一直跑下去。

  2019年6月,美国马萨诸塞州大学阿默斯特分校的一份报告显示,训练和搜索某种模型所需的电量涉及约626000磅二氧化碳排放量,这相当于美国普通汽车使用寿命内排放量的近5倍。此外,优越的灵活性使深度学习可以很好地建立不同的模型,超越专家的模型,但也带来昂贵的算力成本。深度学习需要的硬件负担和计算次数,背后消耗的是巨额资金。

  一份业内报告显示,华盛顿大学的Grover假新闻检测模型两周内培训费用约为25000美元。另据报道,著名人工智能非营利组织OpenAI花费高达1200万美元训练其GPT-3语言模型,而GPT-2语言模型,每小时训练花费则达到256美元。

  改进算法降低对计算平台要求

  实际上,算力一直在提高。OpenAI一项研究表明,自2012年以来,每16个月将AI模型训练到ImageNet(一个用于视觉对象识别软件研究的大型可视化数据库)图像分类中,相同性能模型所需的计算量就减少了一半;谷歌的Transformer架构超越了其之前开发的seq2架构,计算量减少了61倍;DeepMind的AlphaZero与该系统的前身AlphaGoZero的改进版本相匹配,其计算量也减少了8倍。

  有网友提出,现在的硬件算力提升有些误区,不一定非得在单位面积上堆更多的晶体管,我们需要更好的框架来支持底层计算条件及相应的硬件改进。理想情况下,用消费级的GPU就能运行很多深度模型。

  “人们对深度学习的性能或结果的要求越来越高,随之对于算力的需求也越来越大。要让算力增长或突破,从算法层面,首先可以优化并行计算,有效利用多机多核的计算能力,灵活满足各种需求。同时,相对于传统的基于单机编写的程序,如果改写为多机多核的并行程序,能够充分利用其CPU和GPU(或AI芯片)的资源,将使运行效率大幅度提升。”西安电子科技大学电子工程学院教授吴家骥表示。

  除了算力,深度学习本身还可通过哪些方式改进算法?吴家骥介绍,深度学习都是在异构硬件上运行,大数据进入时,需要分流处理,从算法上来看,可以调度优化,让异构架构(CPU、GPU、AI芯片)因地制宜地调度深度学习和大数据处理业务。

  吴家骥指出,未来可能很长一段时间内,对深度算法的改进,不仅要从架构、硬件上考虑,还要考虑模型的压缩能力。例如,就具体问题而言,考虑如何把大象关进冰箱,但问题是冰箱关不了大象,但若把大象压缩成小猫小狗的大小,就可装入冰箱。这就需要模型压缩,在保证精度的前提下,压缩神经网络模型,降低对计算平台的要求,大大提高计算效率,满足更多的实际场景需求。

(记者 华 凌)

  研究人员认为,在算法水平上进行深度学习改进已有先例。例如谷歌的张量处理单元,现场可编程门阵列和专用集成电路,并试图通过网络压缩和加速技术来降低计算复杂性。他们还引用了神经体系结构搜索和元学习,查找在一类问题上保持良好性能的体系结构,以此作为计算上有效改进算法的途径。

  算力增长未必会让AI拥有类人智力

  无疑,算法突破的目的是让机器更像人类大脑一样具有神经元的功能。但就功耗而言,大脑要像超级计算机那样运算,自身温度就会飙升上百摄氏度,所以若简单认为更多的计算能力就可让人工智能拥有人类智能的想法显然是存在争议的。

  “人类的智能中基因与常识是机器所不具备的,其中基因是不需要计算的,常识是可以通过简单计算实现的。”谭茗洲指出。

  “常识决定了基本能力、发现力和创造力,而具有常识能力,是更先进意义上的人工智能。革命性的算法,就是要让AI具备拥有学习常识的能力,这也是未来一个很有潜力的研究方向。”吴家骥说。

  有人说,深度学习大多数是“炼金术”,大多数算法是对经验更朴实的归纳,对说的问题进行更精辟的演绎。谭茗洲说:“现在数据非常多,算力也在增强,人们依赖深度学习提升AI智力,但‘傻学硬练’形成更强的学习方法,很难达到或超越人类的算力及智力。”

  那么,革命性算法的标准是什么,为什么优于深度学习的算法迟迟没出现?

  谭茗洲认为,革命算法的标准首先是在不同场景具有高适应度,可以形成知识记忆和经验记忆的算法,并且低耗能低成本。未来革命性算法有可能基于三点提升,一是基于常识推理。由于我们面对的大量场景不是通过大量数据训练而来,人类大脑面对这些场景往往是通过常识推理运算而得出结论,而深度学习并没有建立这套体系。另外,常识和常识之间的关联性,加速了人类对结果的推理速度。二是基于负性小样本的学习。在深度学习模型中,往往很少去学习什么是错误的,而汲取负面行为及教训性质类型的小样本是有学习意义的。三是基于交流、沟通的学习,人与人交流在学习中分几个层次,看、听、模仿等,AI也应多从这几个方面入手,建立以交通、沟通为目的的学习,而不是单单通过大数据训练模仿人类智能。

[ 责编:涂子怡 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 农村人居环境动画:要想环境好 厕所先修好

  • 北京东城:让老城停车不堵心

独家策划

推荐阅读
2020年9月21日,是中国航空事业111周年的日子。1909年的这一天,当冯如驾驶着以自己的名字命名的“冯如一号”腾空而起的那一刻,天空中迎来了来自东方大国的身影,中国人只能靠想象去触摸天空的历史也永远地结束了。
2020-09-21 11:36
温州医科大学附属眼视光医院近视防控专科副主任徐菁菁说,现在临床上有不少控制近视发展的方法。根据目前的研究和临床经验,阿托品滴眼液、角膜塑形镜(OK镜)、多焦软性隐形眼镜和周边离焦光学镜片对近视进展控制有效。
2020-09-21 09:45
农用薄膜作为重要农业生产资料被广泛使用,图为贵州省黔东南苗族侗族自治州榕江县砂糖橘种植基地,村民为砂糖橘覆盖农膜保温。王伟指出,在回收环节,《办法》鼓励研发和推广回收机械、机械化回收等回收技术,在再利用环节,鼓励农用薄膜生产者牵头回收废旧农用薄膜,扶持农用薄膜回收再利用社会化服务组织和企业。
2020-09-21 09:43
作为解放军总医院(301医院)神经外科治疗帕金森症的专家,凌至培此刻身在海南,他一边演示指鼻尖,一边让患者照着做。利用5G技术和3D全息影像技术,把医生从屏幕中解放出来,一场“穿越式”出诊在现实中发生。
2020-09-21 09:48
糖尿病慢性并发症调查表明,动脉粥样硬化性心血管疾病(ASCVD)是2型糖尿病患者致死、致残的主要原因,近半数的糖尿病患者因心血管疾病(CVD)而死亡。近年来新一代SGLT2抑制剂类降糖药物的诞生,也是2型糖尿病治疗手段最显著的进展。
2020-09-21 09:48
如今,哈尔滨理工大学已有4人成长为中国科学院院士或中国工程院院士,他们在各自岗位上潜心研究、勇攀高峰、甘为人梯、奖掖后学,成为哈理工人传承王大珩院士科学家精神的具体体现。
2020-09-21 09:42
60岁的张庭固,是新疆伊犁州察布查尔县托布村的种粮大户。扬州大学党委书记姚冠新在江苏援疆指挥部陈翔副总指挥长的安排下,带着专家团队来到察布查尔县开展针对性调研,并签订了产学研合作协议。
2020-09-21 09:42
王虎小心翼翼地把套袋拉下来,一串串葡萄露了出来,晶莹透亮。自己种葡萄种出门道,王虎没有忘记六安的父老乡亲们。有乡亲们看到种葡萄能挣钱,想模仿,王虎会尽量支持。
2020-09-21 09:40
俄罗斯门捷列夫化工大学用壳聚糖、藻酸盐两种生物聚合物和银纳米颗粒合成了一种新材料,不仅可以有效止血,还具有明显抗菌活性。俄罗斯科研人员提出一种含有三种成分的新止血材料,藻酸盐、壳聚糖(分别从藻类和甲壳动物的壳中提取)和银纳米颗粒。
2020-09-21 09:40
(记者刘霞)据英国帝国理工学院官网近日消息,该校研究人员主导的团队将开展一项临床试验,以验证通过向呼吸道喷射的方式使用新冠疫苗的效果。牛津大学新冠疫苗项目领衔学者之一的莎拉·吉尔贝特教授说,在此前的临床试验中,通过肌肉注射完成的候选疫苗接种已展示出不错效果。
2020-09-21 09:39
如果这种对一个平方度的天区进行“铅笔束”式的高敏感度扫描都能发现45颗之前未知的卫星,那尺寸在800米以上的木星卫星数量据估计应该在600颗左右。如果一颗很“迷你”的石块,只要绕着行星运转,就算它的卫星的话,太阳系内的卫星数量恐怕要飙升了。
2020-09-21 09:38
”  始于秀丽风景,合于双创热土,安于全面小康——作为浙江省省会、长三角中心城市之一的杭州,通过数字赋能,持续丰富着“人间天堂”的内涵。杭州市数据资源管理局相关负责人介绍,杭州城市大脑已建成涵盖公共交通、城市管理、卫生健康、基层治理等11大系统48个应用场景。
2020-09-21 09:34
“今年冬天或明年春天新冠疫情应该还会继续存在,而且很可能发生局部地区的暴发。对大家普遍关心的病毒突变是否会影响疫苗效果这个问题,陈薇介绍,其团队一直在进行全球新冠病毒基因组序列进化分析。
2020-09-21 09:32
“稻蟹模式、稻虾模式是利用动物和植物和谐共生,达到稳粮增收的效果,这是一种绿色生态种养新技术。目前彭泽县已成为江西省最大的虾蟹产出地,2019年养殖小龙虾12万亩,年产量1.5万吨,年产值6亿元左右,预计到2020年底将达到16万亩以上。
2020-09-21 09:32
昌吉国家农业科技园区老龙河示范区的小麦种植基地内,无人机正在进行田地飞防作业。园区还创新农业发展模式,增强农业内生动力,逐步打造集创意种养、加工销售、科教旅游于一体的新型生态观光农业建设模式。
2020-09-21 09:30
和银河系这样的旋涡星系相比,受限于观测设备和条件,无论是超致密矮星系还是超弥散星系,观测样本都非常小,这就给研究极端密度星系带来了客观的困难。超致密矮星系的典型物理尺度为25秒差距左右,如果想观测室女星系团里的超致密矮星系,相当于在乌鲁木齐观察上海东方明珠上的一枚硬币。
2020-09-21 09:29
如果倾角最大时正好碰上距角比较大,那么水星就有机会达到最大的高度。水星逆行时,正是它和太阳的角距离最小的时候,再加上黄道倾角的影响,导致大名鼎鼎的水逆,其实仅凭肉眼根本看不到。
2020-09-21 09:28
来源:NASA   只有向金星发送探测器,在大气层中磷化氢存在的位置实地检测到微生物,才可以说金星存在生命。”  因此,金星以及其他天体环境是否可能孕育生命,与其强调环境的极端,不如探究哪些存在形式可以被定义为生命活动。
2020-09-21 09:25
2020年9月19日 16:00-18:00
2020-09-19 06:27
这个秋季学期,让一些需要赴境外国家和地区留学的学生感到纠结。参与此次招生的有北京、浙江、广东等19个省市的约90个中外合作办学以及内地与港澳台地区合作办学机构和项目。
2020-09-18 09:28
加载更多