图片、文字、语音都能理解 这个AI平台是“全能”选手 _光明网

点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:图片、文字、语音都能理解 这个AI平台是“全能”选手
首页> 科技频道> 综合新闻 > 正文

图片、文字、语音都能理解 这个AI平台是“全能”选手

来源:科技日报2021-07-12 09:20

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  “小初,请以天宫为主题作首诗吧?”

  “天宫生殿开成,万花垂露照初。稠云不掩国志,飞天当触明霞。”

  “你能看懂这个视频吗?”

  “视频中,火箭正在发射。”

  “小初,图片中航天员正在干什么?”

  “航天员正穿着航天服站在机械臂上遨游太空。”

  ……

  7月9日,在2021世界人工智能大会(WAIC2021)上,中国科学院自动化研究所所长徐波发布了自动化所研发的跨模态通用人工智能平台——“紫东太初”。基于“紫东太初”平台打造的虚拟人“小初”在大会现场赚足了眼球。它不仅能读懂图片、看懂视频、中文续写、双语翻译,而且能吟诗作赋,生动证明了通过图片、文字、语音三种模态的关联与协同,可以有效地提升机器的理解和生成能力,让AI接近人类想象力。

  “紫东太初”平台是跨模态通用人工智能平台,以多模态大模型为核心,基于全栈国产化基础软硬件平台,可支撑全场景AI应用。“所谓跨模态是指它可以理解语音、文字和图片等多种模态信息;所谓全栈国产化是指这个平台的底层算力、模型、框架等都是自主研发的。”徐波解释道。

  多种模态预训练模型被广泛认为是从限定领域的弱人工智能迈向通用人工智能路径的探索。依托面向超大规模的高效分布式训练框架,自动化所构建了具有业界领先性能的中文预训练模型、语音预训练模型、视觉预训练模型,并开拓性地通过跨模态语义关联实现了视觉、文本、语音三种模态统一表示,构建了三模态预训练大模型,赋予跨模态通用人工智能平台多种核心能力。

  徐波介绍,“紫东太初”兼具跨模态理解和生成能力。与单模态和图片、文字两种模态相比,“紫东太初”采用一个大模型就可以灵活支撑图片、文字以及语音的全场景AI应用,具有了在无监督情况下多任务联合学习、并快速迁移到不同领域数据的强大能力。

  “引入语音模态后的多模态预训练模型,可实现共性图片、语音和文字的空间表征和利用,并突破性地直接实现三模态的统一表示。”徐波说,特别值得强调的是,该平台首次让“以图生音”和“以音生图”成为现实,对更广泛、更多样的下游任务提供模型基础支撑,让AI能够在视频配音、语音播报、标题摘要、海报创作等更多场景实现应用。

  同时,研发团队还提出了弱关联三模态数据的语义统一表达,可同时支持三种或任两种模态弱关联数据进行预训练,有效降低了多模态数据收集与清洗成本。

  “‘紫东太初’跨模态通用人工智能平台包括三大关键技术和六大核心能力。”徐波说,三大关键技术分别是多模态理解与生成多任务统一建模、面向国产化软硬件的高效训练与部署、多模态预训练模型架构设计与优化。六大核心能力则体现为多模态统一表示与语义关联、跨模态内容转化与生成、预训练模型网络架构设计、标注受限自监督模型学习、模型适配与分布式训练、模型轻量化与推理加速。

  徐波表示,“大数据+大模型+多模态”将改变当前单一模型对应单一任务的人工智能研发范式,多模态大模型将成为不同领域的共性平台技术,是迈向通用人工智能路径的探索,具有广阔的应用前景。

  同时,全栈国产化通用人工智能平台的实践将使人工智能研发的规则发生重大变革并逐渐形成壁垒,对我国实现AI领域科技创新、占领核心技术高地具有重要的战略意义。(陆成宽)

[ 责编:蔡琳 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • “身为中国人,我感到非常开心”——香港青年学生观看《国家相册》大型图片典藏展有感

  • 说说我家的小康故事|铁路修到了阿勒泰

独家策划

推荐阅读
据德国《图片报》报道,贝多芬管弦乐团上周末在波恩首演人工智能(AI)谱写完成的贝多芬未竟之作《第十交响曲》。
2021-10-15 13:27
今天,京东消费及产业发展研究院发布了《2021老年用户线上消费报告》。未来,京东将持续借助供应链优势和数字技术能力,为老年生活构建高品质、一站式生活及消费解决方案。
2021-10-15 13:11
杨薇所说的“停车神器”,是成都交警“蓉e行”公众号今年5月上线的“智慧停车”服务模块。
2021-10-15 13:09
(记者 王恩博)记者15日自中国海油获悉,中国首个海上智能油田建设项目——秦皇岛32-6智能油田(一期)项目当日全面建成投用。中国海油科技信息部副总经理陈溯透露,中国海油将充分利用岸电建设铺就的信息高速公路,加快智能化步伐。
2021-10-15 12:55
2021年10月14日,中国载人航天工程办公室对外公布了神舟十三号载人飞行任务的航天员乘组名单。
2021-10-15 10:51
“这是由于一般的干细胞扩增使用的培养表面不能很好地仿生体内微环境导致的。
2021-10-15 10:46
奇怪的无线电信号正从银河系中心发出,人们并不确定它的源头是什么。
2021-10-15 10:44
数字经济蓬勃发展,新业态新模式加速孕育,图为无人收割机在江西省南昌县蒋巷镇大田农社智慧农场演示水稻收割。
2021-10-15 10:41
10月9日,中国人民大学老年学研究所举办“助老跨越数字鸿沟,共建数字包容社会”研讨会上,围绕老年人跨越“数字鸿沟”、互联网应用的适老化改造,政产学研代表展开了探讨。
2021-10-15 10:40
由于气候变化和全球变暖,北冰洋的海冰区在快速缩小,目前的面积还不到20世纪80年代的一半。
2021-10-15 10:38
在数字时代,每个字节的数据都需要到达指定位置,最好还能长期保存。该染料由喷墨打印并用显微镜读取,显微镜可以检测每种染料发出的不同波长的光。
2021-10-15 10:37
金星是太阳系的四颗类地行星之一,被视为地球的孪生兄弟,同样主要由岩石物质组成,含有一些水,并有大气层。
2021-10-15 10:32
根据总部位于瑞士布鲁塞尔的WEEE论坛公布的数据,今年全球堆积的废弃电子电气设备总量估计为5740万吨,超过地球上最重的人造物体——中国长城的重量。
2021-10-15 10:30
萨尔瓦特说,实验结果有助于验证被广泛接受的粒子物理学标准模型的准确性,还有助于理解物理学中的新思想在宇宙演化理论中的潜在作用,帮助解释第一批原子核是如何形成的。
2021-10-15 10:21
世界之巅的珠峰,在高海拔裸露的流石滩上,虽因极寒、缺氧被视为“生命禁区”,但仍存在适应极端环境的生命。
2021-10-15 10:20
10月8日,《中国的生物多样性保护》白皮书(以下简称白皮书)发布,这是中国在生物多样性领域的第一部白皮书。
2021-10-15 10:19
据了解,继共享单车、共享充电宝、共享雨伞、共享汽车之后,一些奢侈品也开启了共享模式,这其中就包括共享高级珠宝。
2021-10-14 14:14
记者15日自中国海油获悉,中国首个海上智能油田建设项目——秦皇岛32-6智能油田(一期)项目当日全面建成投用。
2021-10-15 13:14
科学家发现磷酸盐饥饿响应因子(PHR)是调控植物根途径磷元素吸收的核心转录因子。
2021-10-14 14:11
城市街头,便利店无需人工售货,用户扫码开门、自行选购,关门后系统便可自动识别所选商品,完成扣款结算。
2021-10-14 14:09
加载更多