点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:图片、文字、语音都能理解 这个AI平台是“全能”选手
首页> 科技频道> 综合新闻 > 正文

图片、文字、语音都能理解 这个AI平台是“全能”选手

来源:科技日报2021-07-12 09:20

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  “小初,请以天宫为主题作首诗吧?”

  “天宫生殿开成,万花垂露照初。稠云不掩国志,飞天当触明霞。”

  “你能看懂这个视频吗?”

  “视频中,火箭正在发射。”

  “小初,图片中航天员正在干什么?”

  “航天员正穿着航天服站在机械臂上遨游太空。”

  ……

  7月9日,在2021世界人工智能大会(WAIC2021)上,中国科学院自动化研究所所长徐波发布了自动化所研发的跨模态通用人工智能平台——“紫东太初”。基于“紫东太初”平台打造的虚拟人“小初”在大会现场赚足了眼球。它不仅能读懂图片、看懂视频、中文续写、双语翻译,而且能吟诗作赋,生动证明了通过图片、文字、语音三种模态的关联与协同,可以有效地提升机器的理解和生成能力,让AI接近人类想象力。

  “紫东太初”平台是跨模态通用人工智能平台,以多模态大模型为核心,基于全栈国产化基础软硬件平台,可支撑全场景AI应用。“所谓跨模态是指它可以理解语音、文字和图片等多种模态信息;所谓全栈国产化是指这个平台的底层算力、模型、框架等都是自主研发的。”徐波解释道。

  多种模态预训练模型被广泛认为是从限定领域的弱人工智能迈向通用人工智能路径的探索。依托面向超大规模的高效分布式训练框架,自动化所构建了具有业界领先性能的中文预训练模型、语音预训练模型、视觉预训练模型,并开拓性地通过跨模态语义关联实现了视觉、文本、语音三种模态统一表示,构建了三模态预训练大模型,赋予跨模态通用人工智能平台多种核心能力。

  徐波介绍,“紫东太初”兼具跨模态理解和生成能力。与单模态和图片、文字两种模态相比,“紫东太初”采用一个大模型就可以灵活支撑图片、文字以及语音的全场景AI应用,具有了在无监督情况下多任务联合学习、并快速迁移到不同领域数据的强大能力。

  “引入语音模态后的多模态预训练模型,可实现共性图片、语音和文字的空间表征和利用,并突破性地直接实现三模态的统一表示。”徐波说,特别值得强调的是,该平台首次让“以图生音”和“以音生图”成为现实,对更广泛、更多样的下游任务提供模型基础支撑,让AI能够在视频配音、语音播报、标题摘要、海报创作等更多场景实现应用。

  同时,研发团队还提出了弱关联三模态数据的语义统一表达,可同时支持三种或任两种模态弱关联数据进行预训练,有效降低了多模态数据收集与清洗成本。

  “‘紫东太初’跨模态通用人工智能平台包括三大关键技术和六大核心能力。”徐波说,三大关键技术分别是多模态理解与生成多任务统一建模、面向国产化软硬件的高效训练与部署、多模态预训练模型架构设计与优化。六大核心能力则体现为多模态统一表示与语义关联、跨模态内容转化与生成、预训练模型网络架构设计、标注受限自监督模型学习、模型适配与分布式训练、模型轻量化与推理加速。

  徐波表示,“大数据+大模型+多模态”将改变当前单一模型对应单一任务的人工智能研发范式,多模态大模型将成为不同领域的共性平台技术,是迈向通用人工智能路径的探索,具有广阔的应用前景。

  同时,全栈国产化通用人工智能平台的实践将使人工智能研发的规则发生重大变革并逐渐形成壁垒,对我国实现AI领域科技创新、占领核心技术高地具有重要的战略意义。(陆成宽)

[ 责编:蔡琳 ]
阅读剩余全文()

相关阅读

您此时的心情

光明云投
新闻表情排行 日/周
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平会见泰国总理阿努廷

  • 习近平会见新加坡总理黄循财

独家策划

推荐阅读
在这一亚太盛会上,中国“十五五”规划被视作“中国面向全球工商界发出的合作邀约”。这份时代邀约,中国企业正在从“开放、创新、合作”三个维度作答,为变乱交织的世界注入前行力量。
2026-11-20 09:46
国家能源局19日发布的《中国虚拟电厂发展报告(2026)》显示,我国虚拟电厂规模快速增长。截至2026年6月底,全国已建成并投运的虚拟电厂数量为592个,同比增长78.9%;最大调节能力达到2042.8万千瓦,同比增长62.7%。
2026-11-20 05:35
2026中国5G+工业互联网大会19日在湖北省武汉市开幕。记者从会上获悉,我国工业互联网体系化发展成效显著,走在全球前列。
2026-11-20 05:35
今年是二十四节气申遗成功10周年——2016年11月,在联合国教科文组织保护非物质文化遗产政府间委员会第十一届常会上,“二十四节气——中国人通过观察太阳周年运动而形成的时间知识体系及其实践”被列入人类非物质文化遗产代表作名录。
2026-11-20 05:35
近日,内蒙古鄂尔多斯伊金霍洛旗国有林场与数百公里外的锡林浩特巴彦宝拉格苏木人民政府完成了一宗22吨的林业碳票交易。
2026-11-20 05:35
前不久,山东科技大学安全与环境工程学院教授刘华清团队研发的“控释型硫基滤料新技术”成功实现转化,为一家环保公司解了燃眉之急。
2026-11-19 05:10
日前,第140届中国进出口商品交易会(以下简称“广交会”)闭幕,共吸引来自219个国家和地区的35.2万名境外采购商到会,到会人数再创历史新高。
2026-11-19 05:25
国务院学位委员会办公室近日印发《关于做好专业学位研究生以实践成果申请学位工作的意见》,在前期工程硕博士用实践成果申请学位基础上,推动5个专业学位类别试点先行。
2026-11-19 05:25
在今年西班牙巴塞罗那市议会推出的第五期“创新出行实验室(BILM)”挑战赛上,谁能拿出基于人工智能调控交通信号灯的最佳方案就赢得10万欧元,奖金用于在巴塞罗那路口开展实地测试。
2026-11-19 05:25
地磁场像一张看不见的导航网。趋磁细菌是里面的“活罗盘”:它们身体里能长出一串纳米级小磁铁,顺着地磁场方向游动,在氧气不多不少的水层里找位置。
2026-11-19 05:25
习近平总书记在2026世界人工智能大会暨人工智能全球治理高级别会议开幕式上指出:“人类不得不直面时代之问:当机器开始思考,人类如何与之相处?当算法参与决策,安全如何保障?当技术挑战伦理,治理如何跟上?当鸿沟不断拉大,普惠如何实现?
2026-11-19 05:10
据中国载人航天工程办公室消息,17日,神舟二十四号载人飞船与长征二号F遥二十四运载火箭组合体已转运至发射区,计划近日择机实施发射。
2026-11-18 05:10
工业和信息化部、市场监管总局近日联合印发《以标准提升引领轻工业优化升级实施方案》。
2026-11-18 05:25
日前,国家知识产权局印发《地理标志保护和运用“十五五”规划》,明确了“十五五”时期地理标志工作的目标指标、重点任务和专项工程。
2026-11-18 05:10
11月17日,《关于深入推进再生资源回收体系建设 促进回收行业高质量发展的意见》公开发布。意见明确,到2030年初步建立起回收网络健全完善、居民交投便捷顺畅、分拣环节高效先进、末端处理绿色规范的再生资源回收体系。
2026-11-18 05:10
目前我国输送距离最长、管径最大、设计压力最高、输送规模最大的二氧化碳长输管道——中国石油吉林石化—吉林油田二氧化碳管道工程16日建成投运,标志着我国二氧化碳规模化输送和利用取得新进展。
2026-11-18 05:25
要让一台机器人真正能干活,到底靠什么?答案是,看得见、想得出、做得到。
2026-11-17 09:33
芯片越强、集群越大、部署越密,出故障的概率和代价也在同步飙升。
2026-11-17 09:29
胜利油田济阳页岩油民丰8号台新型井工厂首批12口井平均钻井周期13.83天,其中丰页1-8-B13HF井钻井周期11.68天,刷新国内超6000米井深陆相页岩油最短钻井周期纪录。
2026-11-17 05:15
红线划得清楚,但现实难题也依然存在:当作业能让AI助写,心事能向AI倾诉,孩子还会不会自己动脑、还愿不愿意跟真人打交道?如何帮助孩子减少依赖,合理使用AI?AI时代的青少年身心健康该如何守护?记者多方采访求解。
2026-11-17 05:15
加载更多