点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:重构数据处理方式,激活数据生产力
首页> 科技频道> 创新创业 > 正文

重构数据处理方式,激活数据生产力

来源:光明网2023-12-15 11:21

  数据作为一种新兴的生产要素,被称为数字时代的“新石油”,是基础性资源和战略性资源,也是重要的生产力。如何更高效地管理和利用数据,推动数据资源转化为数字资产,成为了各行各业面临的关键问题。

  12月15日,Aloudata发布三款产品Aloudata AIR、Aloudata BIG、Aloudata CAN,依托自主研发的数据虚拟化引擎、数据语义引擎和主动元数据引擎描绘出一份自动化数据集成与管理的答卷,开创了“面向未来的 NoETL 数据工程架构”。

  Aloudata创始人、CEO周卫林介绍,传统的数据处理采用ETL架构,是将企业中的分散、零乱、标准不统一的数据整合到一起,经过提取(Extract)、转换清洗(Transform)、加载(Load)到数据仓库和大数据平台,从而为企业的决策提供分析依据。

  但随着数据量的不断增加,企业正在经历从大型数据仓库到大数据和数据湖的演变。传统的ETL架构已经不足以满足企业的数字化需求。Gartner数据显示,当前有68%的企业数据没有被分析,多达 82%的企业受到数据孤岛的阻碍。

  NoETL应运而生,周卫林介绍,NoETL 是一种分布式的数据处理方式,它不需要进行复杂的人工调度和依赖管理,可以通过虚拟化手段快速连接数据孤岛,并最大程度实现自动化的数据准备、语义建模和指标开发等数据分析和处理流程。

  这一架构和Data Fabric理念不谋而和。根据Forrester的定义,Data Fabric是指以一种智能和安全的并且是自服务的方式,动态地协调分布式的数据源,跨数据平台地提供集成和可信赖的数据,支持广泛的不同应用的分析和使用场景。

  Gartner认为,未来的数据管理就像是“具备自动驾驶能力的汽车”,Data Fabric是一种新型的数据管理架构和理念,它强调将数据编织在一起,使得当人们需要数据时,只需从这个编织好的网络中提取所需数据。

  周卫林解释,NoETL的本质是对ETL过程的透明化和自动化,具体来讲就是做到No Pipelines(没有数据管道)、No Tasks(没有任务运维)、No Cubes(没有性能调优),实现在数据处理和分析环节,用户无需搭建复杂ETL链路、无需等待漫长排期即可灵活分析所有数据,让企业的数据管理从“被动式”转变为“主动式”,实现数据管理的“自动驾驶”。

  “归根到底,Data Fabric的核心在于将有质量保障的数据及时交付给合适的人,这正是NoETL的目标”,Aloudata CPO肖裕洪表示,这意味着无论数据存放在哪里,无论其格式如何,系统都能够在正确的时间向正确的人提供正确的数据。“这种交付是及时的,且数据的使用应该是安全合规的,防止数据的滥用。”

  肖裕洪介绍,为了实现这一目标,需要具备两个关键能力。首先,它需要一个增强的数据目录,这个目录能够动态搜罗企业中的所有数据,并将数据的技术术语转换为业务上的术语,使得人们能够使用自己的业务语言就能找到所需数据。此外,这个目录还需要具备智能化推荐功能,根据用户的需求和使用习惯,主动将数据推荐给适合使用它的人。

  此外,NoETL还需要具备虚拟的数据访问能力。这意味着用户在找到所需的数据后,系统能够动态地协调这些分散的数据源,然后生成并提供用户所需的数据。这种能力使得用户无需关心数据的来源和格式,只需关注如何利用这些数据解决问题。

  肖裕洪强调,NoETL不仅解决了传统数据管理方式的困境,还为我们打开了一个全新的数据管理时代。在这个时代,数据的获取和使用变得更加便捷和高效,数据的价值和影响力得到了极大的释放。无论是个人还是企业,都能够更好地利用NoETL带来的优势,实现数据的共享、整合和最大化利用。(宋雅娟)

[ 责编:谢芸 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 飞阅中国|美丽的河套灌区

  • 第九届中国成都国际非物质文化遗产节开幕

独家策划

推荐阅读
随着数字化浪潮席卷全球,人工智能(AI)作为引领新一轮科技革命的战略性技术,不断加速突破并重塑着农业新格局。
2025-05-29 08:51
方案提出,到2027年,电子信息制造业数字化转型、智能化升级的新型信息基础设施基本完善,规模以上电子信息制造业企业关键工序数控化率超过85%,先进计算、人工智能深度赋能行业发展。典型场景解决方案全面覆盖,形成100个以上典型场景解决方案。
2025-05-29 08:50
生物正交反应,是指可以在生物体内发生,但又和正常生物过程互不干扰的化学反应。
2025-05-29 08:48
围绕计量测试中“测不了、测不全、测不准”的痛点难点,以重大项目为牵引,集中重点单位、强化协同创新,大力推进计量测试关键技术攻关。
2025-05-29 08:47
研究发现,温室内的湿度变化首先为病原菌孢子的传播提供了条件。
2025-05-29 08:21
睡前只需服用一粒药丸就能不再佩戴笨重面罩入睡,这对部分阻塞性睡眠呼吸暂停(OSA)患者来说,可能即将梦想成真。
2025-05-28 09:30
据英国《每日电讯报》26日消息称,美国开放人工智能研究中心(OpenAI)开发的高级人工智能(AI)模型o3,在接收到明确的关机指令后,不仅拒绝执行,还主动干预其自动关机机制。
2025-05-28 09:24
记者5月26日从北京大学获悉,该校环境科学与工程学院教授要茂盛团队研发了空气毒性活体监测系统(以下简称ATMS),实现了对空气污染健康效应的原位、实时、在线监测,有望为优化空气污染控制策略和公众健康防护提供技术支撑。
2025-05-28 09:24
保障粮食储存安全是粮食流通领域科技攻关的核心任务,粮食科研人员深入贯彻绿色发展理念,研发系列粮食仓储技术成果,在粮食仓储领域推广应用,取得良好成效。
2025-05-28 09:19
数据显示,地球陆地上可开采锂资源仅约2200万吨,海水中却蕴藏2300亿吨锂。然而,高效、绿色的海水提锂技术被视作科研界难啃的“硬骨头”。
2025-05-28 09:18
“黑夜给了我黑色的眼睛,我却用它寻找光明。”
2025-05-27 13:22
“世界杰出女科学家奖”由联合国教科文组织和法国欧莱雅基金会在1998年联合设立
2025-05-27 11:10
无法释放起落架的民航客机在巨大的摩擦声中以机腹着地方式从跑道上滑过,高速进入大气层的空天飞机像一个“火球”剧烈燃烧,大型运输机在超强暴风雪中艰难起飞,先进战斗机在复杂空战环境中被导弹碎片打得千疮百孔……
2025-05-27 09:27
近日,中国科学院广州地球化学研究所副研究员高名迪与研究员王煜、中国科学院院士徐义刚,以及澳大利亚国立大学教授Stephen Foley合作,通过高温高压实验与超深金刚石包裹体成分对比研究,揭示了再循环碳酸盐如何改变地幔氧化还原状态,及对克拉通演化和深部碳循环的影响。
2025-05-27 09:22
“浚澜”船配备了高压岸电接入模块,可以采用全电力驱动挖掘系统,实现施工作业零碳排放。
2025-05-27 09:16
天问二号探测器按计划完成了技术区总装、测试、加注、转场、功能检查、联合测试等工作。
2025-05-27 09:10
研究发现,自20世纪80年代以来,北半球高纬地区大气甲烷浓度的季节振幅呈现减弱趋势,而副热带及热带地区的季节振幅却显著增强。这一变化趋势及其空间差异为解析全球甲烷源汇的长期演变提供了关键观测证据,为全球甲烷减排提供了科学支撑。
2025-05-27 09:09
据两位消息人士透露,英伟达还在为中国开发另一款采用Blackwell架构的芯片,最早可能于9月开始生产。
2025-05-26 12:51
研究人员成功诱导干细胞发育成充满液体的羊膜囊。这种模型囊体直径约2厘米,相当于一个4周胚胎周围羊膜囊的实际大小,可用于研究早期妊娠。
2025-05-26 09:21
你有过牙齿酸酸胀胀的体验吗?这会让我们真切地感受到牙齿有多敏感。其实,在咀嚼食物时,这种敏感性大有用处,它能提供关于温度、压力,还有疼痛方面的重要信息。
2025-05-26 09:18
加载更多