点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:重构数据处理方式,激活数据生产力
首页> 科技频道> 创新创业 > 正文

重构数据处理方式,激活数据生产力

来源:光明网2023-12-15 11:21

  数据作为一种新兴的生产要素,被称为数字时代的“新石油”,是基础性资源和战略性资源,也是重要的生产力。如何更高效地管理和利用数据,推动数据资源转化为数字资产,成为了各行各业面临的关键问题。

  12月15日,Aloudata发布三款产品Aloudata AIR、Aloudata BIG、Aloudata CAN,依托自主研发的数据虚拟化引擎、数据语义引擎和主动元数据引擎描绘出一份自动化数据集成与管理的答卷,开创了“面向未来的 NoETL 数据工程架构”。

  Aloudata创始人、CEO周卫林介绍,传统的数据处理采用ETL架构,是将企业中的分散、零乱、标准不统一的数据整合到一起,经过提取(Extract)、转换清洗(Transform)、加载(Load)到数据仓库和大数据平台,从而为企业的决策提供分析依据。

  但随着数据量的不断增加,企业正在经历从大型数据仓库到大数据和数据湖的演变。传统的ETL架构已经不足以满足企业的数字化需求。Gartner数据显示,当前有68%的企业数据没有被分析,多达 82%的企业受到数据孤岛的阻碍。

  NoETL应运而生,周卫林介绍,NoETL 是一种分布式的数据处理方式,它不需要进行复杂的人工调度和依赖管理,可以通过虚拟化手段快速连接数据孤岛,并最大程度实现自动化的数据准备、语义建模和指标开发等数据分析和处理流程。

  这一架构和Data Fabric理念不谋而和。根据Forrester的定义,Data Fabric是指以一种智能和安全的并且是自服务的方式,动态地协调分布式的数据源,跨数据平台地提供集成和可信赖的数据,支持广泛的不同应用的分析和使用场景。

  Gartner认为,未来的数据管理就像是“具备自动驾驶能力的汽车”,Data Fabric是一种新型的数据管理架构和理念,它强调将数据编织在一起,使得当人们需要数据时,只需从这个编织好的网络中提取所需数据。

  周卫林解释,NoETL的本质是对ETL过程的透明化和自动化,具体来讲就是做到No Pipelines(没有数据管道)、No Tasks(没有任务运维)、No Cubes(没有性能调优),实现在数据处理和分析环节,用户无需搭建复杂ETL链路、无需等待漫长排期即可灵活分析所有数据,让企业的数据管理从“被动式”转变为“主动式”,实现数据管理的“自动驾驶”。

  “归根到底,Data Fabric的核心在于将有质量保障的数据及时交付给合适的人,这正是NoETL的目标”,Aloudata CPO肖裕洪表示,这意味着无论数据存放在哪里,无论其格式如何,系统都能够在正确的时间向正确的人提供正确的数据。“这种交付是及时的,且数据的使用应该是安全合规的,防止数据的滥用。”

  肖裕洪介绍,为了实现这一目标,需要具备两个关键能力。首先,它需要一个增强的数据目录,这个目录能够动态搜罗企业中的所有数据,并将数据的技术术语转换为业务上的术语,使得人们能够使用自己的业务语言就能找到所需数据。此外,这个目录还需要具备智能化推荐功能,根据用户的需求和使用习惯,主动将数据推荐给适合使用它的人。

  此外,NoETL还需要具备虚拟的数据访问能力。这意味着用户在找到所需的数据后,系统能够动态地协调这些分散的数据源,然后生成并提供用户所需的数据。这种能力使得用户无需关心数据的来源和格式,只需关注如何利用这些数据解决问题。

  肖裕洪强调,NoETL不仅解决了传统数据管理方式的困境,还为我们打开了一个全新的数据管理时代。在这个时代,数据的获取和使用变得更加便捷和高效,数据的价值和影响力得到了极大的释放。无论是个人还是企业,都能够更好地利用NoETL带来的优势,实现数据的共享、整合和最大化利用。(宋雅娟)

[ 责编:谢芸 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 法国青年与贵州“双向奔赴”

  • 牧草种质资源首次太空舱外暴露实验

独家策划

推荐阅读
制作“数字人”时,仍需谨慎应对社会伦理和个人心理等方面的问题,尤其是AI技术的滥用所带来的犯罪问题。
2024-05-08 16:52
图像识别、智能助手、虚拟人、文生视频……技术的发展和创新让人们进一步向智能时代迈进。该系统可以为“3D+AI”研究提供真实、精细的高质量三维数据,解决目前该研究领域高精度三维数据不足的问题,为AI模型生成更高质量的视频提供实时、高精度、高分辨率的数据支撑。
2024-05-08 10:38
外科医生近日将一个大鼠胚胎的肾脏组织移植到另一个大鼠胚胎中。在出生前移植一个器官,可以使其和胚胎一起生长发育,这样器官在胚胎出生时就能发挥作用,并降低排异反应风险。
2024-05-08 10:37
近日,爱因斯坦探针(EP)卫星任务发布了首批在轨科学探测图像。袁为民安排他担任“项目经理”,任务是完成2022年由中国科学院力学研究所抓总研制的“力箭一号”火箭发射的“龙虾眼X射线成像仪”(LEIA)试验。
2024-05-08 10:35
目前,提高铝合金耐热性能的途径主要有两个:一是提升析出相的热稳定性;二是引入高稳定性的陶瓷相纳米颗粒。为此,何春年团队提出并通过“界面置换”分散策略,制备了5纳米级氧化物弥散强化铝合金。
2024-05-08 10:30
中国科学院广州生物医药与健康研究院研究员刘兴国团队与合作者,首次发现线粒体可使用细胞质标准密码翻译第14个功能蛋白,打破了传统观点认为的线粒体基因只翻译13个蛋白的定律。教科书上写明哺乳动物的线粒体基因组包含37个基因,其中13个编码信使核糖核酸翻译为蛋白质、22个编码转运核糖核酸、2个编码核糖体核糖核酸。
2024-05-08 10:28
如果未来人类想在火星上生活,可能需在驻地种植作物。实验结果显示,与在同一地块只种植一种作物的单作相比,间作的番茄产量显著提高,但胡萝卜产量却明显降低,豌豆的产量则没有太大不同。
2024-05-07 10:08
乌鸦、黑猩猩、大象和其他许多鸟类与哺乳动物的行为方式表明它们可能有“意识”。该宣言指出,对于可能有意识体验的动物而言,人类在影响它们的决策中忽视这种可能性是不负责任的表现。
2024-05-07 10:07
世界经济论坛官网近日报道指出,为让人工智能(AI)发挥其变革潜力、提高生产力水平及社会福祉,人类必须确保它可持续地发展。这一愿景面临的核心难题在于,随着算力和性能的不断提升,能耗也在快速增长。
2024-05-07 10:04
5月6日,中国科学技术大学研究团队在京发布新成果。他们将自主研发的“光子盒”排布成阵列,在国际上首次实现了基于光子的分数量子反常霍尔态,为物理学家创造出一种研究分数量子霍尔效应的新平台。
2024-05-07 10:03
作为一种新的经济业态,低空经济具有高科技主导、高效能运营和高质量发展等新质生产力的核心特征,具有广阔的发展前景,是我国抢占发展机遇、推动高质量发展、建立现代化产业体系的重要布局。
2024-05-07 09:59
为基于任意子的量子信息处理迈出了重要一步。
2024-05-06 18:11
近日,全球精度最高的月球地质图集由中国科学院在京正式发布,图集囊括月球地形地貌、地质构造、岩石类型和演化历史,是探月工程取得的重大阶段性成果。与阿波罗计划时期的月球地质图相比,
2024-05-06 07:45
前不久,南开大学中国式现代化乡村工作站首期站长培训班举办,来自全国各省份的132名乡村工作站站长参加培训,取得了良好效果。南开大学中国式现代化乡村工作站于去年启动建设,
2024-05-06 07:45
锻炼对身体有益似乎已是公认常识,但这其实是一个笼统的认知,人们对其分子层面的奥秘还不甚了解。
2024-05-06 09:30
农业主导品种主推技术已持续推介发布20年,是农业科技推广标志性工作之一。
2024-05-06 09:30
研究发现,血管舒张能力受损可能会增加患动脉粥样硬化的风险,进而增加心脏病发作和中风的风险。
2024-05-06 09:30
近年来,国产科幻影视剧《流浪地球2》和《三体》火热“出圈”,获得全球关注。
2024-04-30 03:05
酚醛树脂是人类历史上第一种人工合成塑料,自诞生以来已经历了一个世纪。
2024-04-30 03:05
近日,云南农业大学盛军、田洋教授课题组突破核桃油抗氧化难题,研发出替代植脂末的核桃植物基奶粉,并实现成果转化和应用,相关研究成果在国际期刊《食品工程学报》发表。
2024-04-30 03:05
加载更多