点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:第十届ASC超算总决赛:挑战179亿参数大模型训练
首页> 科技频道> 综合新闻 > 正文

第十届ASC超算总决赛:挑战179亿参数大模型训练

来源:光明网2023-05-11 13:12

  5月10日,第十届ASC世界大学生超级计算机竞赛总决赛在中国科学技术大学落下帷幕。北京大学、中国科学技术大学分获冠亚军,中国科学技术大学获e Prize计算挑战奖,浙江大学获最高计算性能奖。

  正式决赛的首日,24支队伍向AI语言大模型、超级团队赛和HPL&HPCG基准测试三道赛题展开比拼。

第十届ASC超算总决赛:挑战179亿参数大模型训练

  据悉,本届比赛e Prize计算挑战奖的指定赛题是AI语言大模型。ASC组委会提供了100GB高质量中文数据集,要求参赛队基于此数据集分别实现15亿、179亿参数的2个AI语言大模型。参赛队需要自行设计模型训练策略并完成模型训练过程,在追求极致性能的同时,还要满足精度约束等严苛条件,使得这道赛题极具挑战性。

  南方科技大学代表队表示,“前期我们研究了很多大模型相关论文,学习如何进行并行优化、主流分布式训练框架等。但是拿到这个赛题时还是非常惊讶,179亿参数的模型真的很大,对显存、GPU等资源及并行计算优化的要求远远超出我们的预期。”

第十届ASC超算总决赛:挑战179亿参数大模型训练

  据介绍,本届超级团队赛由24支队伍通过抽签组成4个超级团队,每个超级团队需包含一支线上参赛队伍,以跨团队合作的形式共同完成决赛首日公布的量子线路采样模拟的赛题。

  随机量子线路的采样问题因为其巨大的经典模拟复杂度被认为是展示量子计算优越性的最佳候选者。2019年谷歌量子人工智能团队发表基于悬铃木量子芯片的随机量子线路采样实验,宣称其经典模拟时间需要花费超算一万年,而量子实验仅需200秒,因此展示了量子优越性。

  本届比赛的赛题是通过一个基于张量网络的算法来模拟53比特12循环的悬铃木量子线路,并计算谷歌实验中采样出来的1024个末态比特串样本的严格振幅以及这些样本的随机交叉上熵保真度。相较于传统的模拟算法,基于张量网络的量子线路模拟方法能够大大加速模拟的过程,将谷歌宣称的一万年模拟时间缩短到数十秒,达成超过10亿倍的性能提升。量子线路的高效经典模拟方法能够帮助人们对量子计算优越性有一个更为清晰的认知,与此同时也能助力量子硬件以及量子实验的设计、测试以及验证。

第十届ASC超算总决赛:挑战179亿参数大模型训练

  在HPL计算基准性能测试中,浙江大学以每秒109万亿次浮点运算性能的佳绩名列榜首。他们设计搭建了“1机8卡”异构加速系统,在3000W总功耗约束下,将更多功耗分配给GPU进行应用运算,并结合精细的控制优化,实现整体系统109万亿次/秒的HPL持续浮点运算性能。

第十届ASC超算总决赛:挑战179亿参数大模型训练

  ASC超算竞赛采用国际最通用的超级计算机浮点性能基准测试程序HPL,这也是全球超算TOP500排行的主要依据。ASC竞赛规则要求各参赛队伍自行设计超算系统,在总功耗3000W约束下正确完成包括HPL计算性能基准测试在内的各项计算任务。

  ASC世界大学生超级计算机竞赛是由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。ASC超算大赛迄今已举行至第10届,吸引超过万名世界各国大学生参赛,是全球最大规模的超算竞赛。(柯岩)

[ 责编:武玥彤 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 网络中国节短视频征集活动启动

  • 重庆巴南:非遗展演迎新春

独家策划

推荐阅读
记者21日从中国有色金属工业协会获悉,2024年我国规模以上有色金属企业工业增加值同比增长8.9%,十种有色金属总产量7919万吨,比上年增长4.3%。其中,精炼铜、电解铝产量分别达1364万吨、4400万吨,同比增长4.1%、4.6%。
2025-01-22 03:00
《自然·医学》杂志21日发表的一项研究报告称,一种手术植入的脑机接口系统能通过精准侦测和解码瘫痪患者的神经元活动,转为“手指动作”,使其可在电子游戏中自如驾驶虚拟四轴飞行器。
2025-01-22 10:02
近日,美国加州大学洛杉矶分校教授李健带领团队开展的一项研究发现,工作压力正在成为许多“打工人”的睡眠质量“隐形杀手”。
2025-01-22 10:01
华南理工大学机械与汽车工程学院教授林容周团队与合作者提出了一种新的软电子制造方法——粒子吞噬打印。
2025-01-22 09:58
复杂的人体系统内,细胞活动时时刻刻都在进行:运输氧气、吞噬细菌、传递神经信号……要想保证这些细胞各司其职、井然有序,离不开一位特殊的“指挥官”——非编码小RNA(核糖核酸)。
2025-01-22 09:58
日前,中共中央、国务院发布了《关于深化养老服务改革发展的意见》,指出要“加快养老科技和信息化发展应用”“重点推动人形机器人、脑机接口、人工智能等技术产品研发应用”。
2025-01-21 15:35
经过数月的延迟,寒冷的拉尼娜气候模式终于出现在热带太平洋东部。虽然它降低了全球平均气温,但也增加了部分地区出现干旱和强降雨的风险。
2025-01-21 15:32
中国科学院古脊椎动物与古人类研究所副研究员江左其杲及其所在团队,与中国科学院动物研究所副研究员李欣海及国外合作者,从欧亚大陆其他地区的大量豹属化石记录中识别出了稀有的雪豹化石记录,从而揭示了雪豹特殊的演化之路。相关论文近日发表于《科学进展》。
2025-01-21 15:31
来自美国亚利桑那大学的天文学家团队使用大型双筒望远镜干涉仪,在红外波段捕捉到了迄今为止最清晰的活动星系核(AGN)图像,并将研究结果发表在最新一期《自然·天文学》杂志上。
2025-01-21 15:29
20日,记者从中国科学院合肥物质科学研究院获悉,位于合肥“科学岛”上的全超导托卡马克EAST装置取得重大成果,成功实现了上亿度1066秒稳态长脉冲高约束模等离子体运行,再次创造了托卡马克装置高约束模运行新的世界纪录。
2025-01-21 15:25
“雪蘑菇”是在地表突出物体上,拥有较强黏性和附着力的雪花层层累积而形成的,主要出现在水汽充足、降雪量较多的地区。
2025-01-20 10:07
美国互联网科技公司Meta的研究人员开发了一种机器学习系统,几乎可以立即将101种语言的语音翻译成36种目标语言中的任意一种。
2025-01-20 10:02
1月16日,国际小行星中心公布了一颗由中国科学院紫金山天文台发现的新彗星,并将其命名为C/2025 A3。
2025-01-20 10:01
中国中医科学院望京医院教授、中国工程院院士朱立国团队近日在椎间盘退变研究领域取得重要突破。
2025-01-20 09:59
今年上半年,2025北京亦庄半程马拉松暨人形机器人马拉松将举办,人形机器人将与运动员共跑“半马”,挑战人类速度。
2025-01-20 09:54
近两年,教育生态正在发生深刻的转变。不论是大学、中小学还是学生与家长,都将在国家战略的牵引下重新确认自身的定位与方向。
2025-01-17 12:26
数据作为数字时代的“新石油”,不仅是传统产业、新兴产业发展的重要支撑,同时也是人工智能科技创新的关键创新资源。
2025-01-17 04:30
数千年来,人类探索宇宙的脚步从未停歇,2025年亦是如此。在这一年中,一大批探测器将承载着人类的好奇心,奔赴“星辰大海”,去揭示浩瀚星空的奥秘。此外,人类还渴望能够“扶摇直上”,亲身进入太空体验秘境。
2025-01-17 10:02
西湖大学生命科学学院、西湖实验室申恩志团队联合吴建平团队成功揭示了小鼠体内PIWI蛋白(MILI蛋白)与piRNA协作切割目标RNA(核糖核酸)的全过程。
2025-01-17 10:00
北京大学材料科学与工程学院庞全全团队开发了一种新型玻璃相硫化物固态电解质材料,并采用该材料研制出具有优异快充性能和超长循环寿命的全固态锂硫电池。
2025-01-17 04:30
加载更多