点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:智能时代存储挑战与机遇——浪潮信息的创新探索与实践
首页> 科技频道> 综合新闻 > 正文

智能时代存储挑战与机遇——浪潮信息的创新探索与实践

来源:光明网2024-11-20 11:30

  随着智能时代的全面到来,数据量呈现出爆炸性增长,这对存储系统提出了前所未有的高标准要求。从早期的“百模大战”演进至“千模大战”,现已迈入了一个以数据为核心的新时代,其中数据成为算法与算力不可或缺的基础支撑。

  在近期举行的2024中国数据与存储峰会上,浪潮信息分布式存储产品部总经理姜乐果发表了题为《智能时代的数据存储平台》的主题演讲。在演讲中,姜乐果深刻剖析了智能时代背景下数据存储所面临的挑战及浪潮信息为应对这些挑战所做出的不懈努力与创新实践。

智能时代存储挑战与机遇——浪潮信息的创新探索与实践

  智能时代下的数据存储需求

  无论是金融领域的风险精准识别、智慧交通中的自动驾驶技术、制造业中的精密质量检测,还是科研领域的高效计算探索,都深深依赖于海量数据的强大支持。然而,数据的迅猛增长也给存储系统带来了诸多前所未有的严峻挑战,这些挑战涵盖了更高的性能需求、更灵活的扩展能力,以及更智能化的管理机制等多个方面。

  在人工智能时代,数据作为最为关键的载体,其计算过程中的存储环节面临着性能、效率和韧性这三大核心挑战。

  姜乐果在演讲中着重指出,数据存储的性能已经成为制约众多应用场景进一步发展的关键因素之一。相较于以往,大模型的训练对存储性能的需求已经跃升了多个数量级。在传统时代,存储性能往往停留在百GB级的水平,而到了大模型训练的时代,这一需求已经激增到TB级。这意味着,如果没有足够快速的存储设备作为支撑,数据的读写时间将会大幅度延长,进而导致GPU等昂贵且宝贵的计算资源处于闲置状态,造成资源的极大浪费。

  除了性能之外,数据存储的效率也是至关重要的。在当今这个数据多源异构的时代,数据来源于网络、云端以及政府机构等多个渠道,如何迅速有效地对这些数据进行清洗、整合,并最终形成有价值的数据资源,成为了一个亟待解决的难题。

  此外,从国家政策的角度来看,数据要素已经被正式纳入资产负债表,成为了企业资产中不可或缺的一部分。这一举措不仅彰显了数据的巨大价值,同时也对存储系统的安全性与可靠性提出了更为严格的要求,以确保数据的完整性和保密性。

  浪潮信息的创新探索与实践

  面对智能时代的种种挑战,浪潮信息已经形成了清晰的存储平台构建策略。

  在产品布局上,浪潮信息针对大模型训练推出了软件定义存储,它融合了块、文件、对象和大数据等多种存储类型,注重提供极致的性能和容量,并能够同时管理上层业务应用和第三方存储资源。而对于推理场景,浪潮信息则推出了阵列存储,利用传统盘阵的微秒级延时优势,能够迅速响应如人工智能驾驶等高要求场景的需求。此外,浪潮信息还自主研发了SSD,通过打通IO路径,进一步提升了存储效率。

  为了提升性能,浪潮信息采用了端到端的优化策略。结合SSD和技术架构的演进,通过智能运行、缓存和自解锁等技术,对软件架构进行了重构。这使得小文件性能提升了5倍以上,大文件性能提升了10倍。在训练过程中,CheckPoint操作实现了秒级读写,TB级带宽的案例有效减少了GPU时延的浪费,从而提升了训练效率。

  在智能空间管理方面,浪潮信息去除了本地文件系统,直接管理裸盘,并预分配空间和权限到计算节点。这种方式减少了原数据的访问,使得空间利用率达到了95%以上,同时性能没有衰减,进一步缩短了大模型训练的时间。

  融合存储优化管理:浪潮信息软件定义存储从2016年自研至今不断发展,通过和客户业务深度结合的方式,推动产品从文件、对象融合逐步向四合一、五合一迈进。到目前,存储对内可以实现多协议互访互通、语义无损,同时只需要保存一份数据供多种协议访问;存储对外可通过全局文件系统支持数据跨介质、跨终端、跨域流动,实现一套存储管理所有平台,优化存储效率。

  安全可靠保障业务:数据资产入表对安全性和可靠性要求高,浪潮信息在风险防控上检测率高、误报漏报率低,达到万分之2.9。利用AIOps功能预测性能、容量趋势和故障盘,提前预警处理,减少盘体故障导致的存储宕机。

  在全球存储市场中,浪潮信息存储装机容量位居前三,企业存储业务在中国位居第二,全闪存储销售额同样在中国市场占据领先地位。随着大数据、云计算、人工智能等技术的快速发展,数据存储需求日益多样化且复杂化。基于此,浪潮信息凭借深厚的技术研发底蕴,积极推动场景共同体建设,与合作伙伴共同探索解决方案、定制产品,并协同拓展市场,共同推动存储领域的进步。展望未来,浪潮信息将不断致力于提供更加优质、高效、安全的存储解决方案,以应对市场对高效、可靠存储的迫切需求,为各行各业的数字化转型和智能化升级提供坚实支撑。(柯岩)

[ 责编:战钊 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 大屠杀死难者家庭祭告活动举行

  • 丹江口水库“守护者”

独家策划

推荐阅读
11月30日晚间,海南商业航天发射场圆满完成首次发射任务,验证了我国首个商业航天发射场在硬件、软件、人员等各方面已具备常态化发射能力。
2024-12-02 08:55
房元鹏分析,比较来看,我国的天舟飞船属于大型货物运输飞行器,上行装载货物能力强。
2024-12-02 08:50
从农业农村部获悉,12月1日,由农业农村部主办的第二十一届中国国际农产品交易会在广东省广州市落下帷幕。
2024-12-02 03:45
推进中国式现代化,科技要打头阵。科技创新是必由之路。近日,习近平总书记在湖北考察期间,到武汉产业创新发展研究院考察,观看科技创新供应链平台成功案例展示和科技创新成果,
2024-12-02 03:40
科学与哲学关系密切,恩格斯早就提出,“随着自然科学领域中每一个划时代的发现,唯物主义也必然要改变自己的形式”,有着独特思维方式的哲学必然随着科学的发展而自觉改变其本身的形式。
2024-12-02 03:45
提供更加精细化、专业化、多样化的服务。
2024-12-02 03:40
让年轻人在科技创新中“挑大梁”,要遵循人才成长规律和科研规律,在技术攻关中敢于给他们压担子,并对他们可能遭遇的失败给予一定的宽容度。
2024-11-29 09:51
国家医保局28日举行新闻发布会,发布2024年国家医保药品目录调整情况。据介绍,自成立以来,国家医保局已连续7年开展药品目录调整工作,累计将835种药品新增进入国家医保药品目录,其中谈判新增530种,竞价新增38种。
2024-11-29 09:49
第二届链博会聚焦发展新质生产力,新增先进制造链展区,从研发设计、新材料运用、关键零部件及加工、智能制造及高端装备等四个方面,展现全球先进制造领域从前端设计到终端产品应用的全产业链。
2024-11-29 09:48
持续打造服务农民生产生活和促进现代农业发展的综合平台,当好党和政府密切联系农民群众的桥梁纽带,奋力谱写供销合作事业高质量发展新篇章,为推进乡村全面振兴、加快建设农业强国作出更大贡献。
2024-11-29 09:47
根据规划,中国计划2025年完成下一代北斗系统关键技术攻关;2027年左右发射3颗先导试验卫星,开展下一代新技术体制试验;2029年左右开始发射下一代北斗系统组网卫星,2035年完成下一代北斗系统建设。
2024-11-29 09:35
在科技成果转移转化过程中,有一道看似难以跨越的鸿沟——科技人员通常不熟悉市场、经营和生产,企业经营者往往搞不懂前沿科技。
2024-11-28 02:50
在光通信系统中,硅基调制器是信息传输与处理的关键一环,是整个电光信息转换的“心脏”——信息经过这个枢纽来去、流转,高效搭上光的“顺风车”,奔赴不同目的地。
2024-11-28 02:50
“这是智能滴灌系统,能根据土壤湿度自动调节灌溉量,既让植物不缺水,又能节省水资源。”日前,在重庆市大渡口区慧泉小学,一群小讲解员正在向大家讲解智能滴灌系统的奇妙之处。
2024-11-28 02:50
11月27日10时,朱雀二号改进型遥一运载火箭在东风商业航天创新试验区发射升空,将搭载的光传01、02试验星顺利送入预定轨道,飞行试验任务获得圆满成功。
2024-11-28 02:50
走进永川区数字化城市运行和治理中心,一个巨大的视屏映入眼帘。屏幕上实时显示着电子地图及城市各领域管理问题处置进展,大厅工作人员正有条不紊地进行监测、分析和处置,整个永川区的城市运行状况一目了然。
2024-11-28 02:45
近日,在宁夏回族自治区吴忠市同心县河西镇旱天岭村,记者看到一座座农家屋舍的外墙都装有一台设备,连着地埋井,旁边还放着三块光伏板。迎着寒风,记者走进村民康凤英家,一股暖意扑面而来。
2024-11-28 02:40
记者26日从中国科学技术大学了解到,该校副教授董二宝课题组联合香港城市大学副教授于欣格团队,提出了一种基于柔性光栅结构色的触觉感知新方法。
2024-11-27 09:42
清晨,夜晚的寒气还未完全消散,新疆生产建设兵团第一师阿拉尔市十六团新开岭镇的青蟹养殖基地旁就围满了人。随着一声令下,捕捞工作正式开始。工人们熟练地捞起蟹笼,一笼笼肥美的青蟹被拉上了岸。
2024-11-27 01:55
26日,由中国科学院国家天文台主办的“中国天眼”(FAST)脉冲星科学研讨会举行。记者从会上获悉,截至2024年11月,FAST发现脉冲星数量已突破1000颗,超过同一时期国际其他望远镜发现脉冲星数量的总和。
2024-11-27 02:20
加载更多