点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:图片、文字、语音都能理解 这个AI平台是“全能”选手
首页> 科技频道> 综合新闻 > 正文

图片、文字、语音都能理解 这个AI平台是“全能”选手

来源:科技日报2021-07-12 09:20

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  “小初,请以天宫为主题作首诗吧?”

  “天宫生殿开成,万花垂露照初。稠云不掩国志,飞天当触明霞。”

  “你能看懂这个视频吗?”

  “视频中,火箭正在发射。”

  “小初,图片中航天员正在干什么?”

  “航天员正穿着航天服站在机械臂上遨游太空。”

  ……

  7月9日,在2021世界人工智能大会(WAIC2021)上,中国科学院自动化研究所所长徐波发布了自动化所研发的跨模态通用人工智能平台——“紫东太初”。基于“紫东太初”平台打造的虚拟人“小初”在大会现场赚足了眼球。它不仅能读懂图片、看懂视频、中文续写、双语翻译,而且能吟诗作赋,生动证明了通过图片、文字、语音三种模态的关联与协同,可以有效地提升机器的理解和生成能力,让AI接近人类想象力。

  “紫东太初”平台是跨模态通用人工智能平台,以多模态大模型为核心,基于全栈国产化基础软硬件平台,可支撑全场景AI应用。“所谓跨模态是指它可以理解语音、文字和图片等多种模态信息;所谓全栈国产化是指这个平台的底层算力、模型、框架等都是自主研发的。”徐波解释道。

  多种模态预训练模型被广泛认为是从限定领域的弱人工智能迈向通用人工智能路径的探索。依托面向超大规模的高效分布式训练框架,自动化所构建了具有业界领先性能的中文预训练模型、语音预训练模型、视觉预训练模型,并开拓性地通过跨模态语义关联实现了视觉、文本、语音三种模态统一表示,构建了三模态预训练大模型,赋予跨模态通用人工智能平台多种核心能力。

  徐波介绍,“紫东太初”兼具跨模态理解和生成能力。与单模态和图片、文字两种模态相比,“紫东太初”采用一个大模型就可以灵活支撑图片、文字以及语音的全场景AI应用,具有了在无监督情况下多任务联合学习、并快速迁移到不同领域数据的强大能力。

  “引入语音模态后的多模态预训练模型,可实现共性图片、语音和文字的空间表征和利用,并突破性地直接实现三模态的统一表示。”徐波说,特别值得强调的是,该平台首次让“以图生音”和“以音生图”成为现实,对更广泛、更多样的下游任务提供模型基础支撑,让AI能够在视频配音、语音播报、标题摘要、海报创作等更多场景实现应用。

  同时,研发团队还提出了弱关联三模态数据的语义统一表达,可同时支持三种或任两种模态弱关联数据进行预训练,有效降低了多模态数据收集与清洗成本。

  “‘紫东太初’跨模态通用人工智能平台包括三大关键技术和六大核心能力。”徐波说,三大关键技术分别是多模态理解与生成多任务统一建模、面向国产化软硬件的高效训练与部署、多模态预训练模型架构设计与优化。六大核心能力则体现为多模态统一表示与语义关联、跨模态内容转化与生成、预训练模型网络架构设计、标注受限自监督模型学习、模型适配与分布式训练、模型轻量化与推理加速。

  徐波表示,“大数据+大模型+多模态”将改变当前单一模型对应单一任务的人工智能研发范式,多模态大模型将成为不同领域的共性平台技术,是迈向通用人工智能路径的探索,具有广阔的应用前景。

  同时,全栈国产化通用人工智能平台的实践将使人工智能研发的规则发生重大变革并逐渐形成壁垒,对我国实现AI领域科技创新、占领核心技术高地具有重要的战略意义。(陆成宽)

[ 责编:蔡琳 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 百年接力,守护城市万亩林海

  • 山东:“渔光融合”共享海洋绿色资源

独家策划

推荐阅读
2025全球数字经济大会2日在北京开幕。除收录标准的优势外,东壁全球科技文献数据平台还根据中国科技界与教育界的习惯,对所收录期刊进行了学科分类。
2025-07-04 09:55
超材料是一类具有特殊性质的人造材料,而具有热辐射性能的超材料可以把多余的热量“打包”传递到外界,热辐射超材料可广泛应用于零能耗辐射冷却、建筑节能降温、航天热控等诸多重要领域。
2025-07-04 09:53
中国科学院院士、海南大学生物医学工程学院教授骆清铭团队成功绘制出了小鼠三维脑区和立体定位图谱
2025-07-04 09:52
7月4日,神秘的水星将迎来东大距,这是今年第二次水星东大距,观测条件依然不错。
2025-07-04 09:51
科学是生产力的核心要素。
2025-07-04 09:50
钙钛矿太阳能电池因成本低、效率高、易加工等优势备受关注,可应用于光伏发电、车载光伏、光伏建筑等领域。
2025-07-03 09:59
目前,对于10厘米以上大型空间碎片,航天器通常采用主动规避的策略,通过轨道调整,避开可能的碰撞路径。
2025-07-03 09:58
6月26日,中国民航局官网发布公告,提到为切实保障航空运行安全,自2025年6月28日起,禁止旅客携带没有3C标识、3C标识不清晰、被召回型号或批次的充电宝乘坐境内航班。
2025-07-03 09:56
药膳制作师既要懂烹饪,是餐厅的大厨,又要懂中医药理论知识,特别是能够作为食药物质的中药材。
2025-07-03 09:55
运动有助于健康和抗衰老。但究竟是什么让运动有这种奇效呢?我国研究团队历时6年,首次系统解析了人体对急性单次运动与长期规律运动的分子-细胞动态响应谱,揭示肾脏是运动效应的关键应答器官——其内源代谢物甜菜碱作为衰老延缓的核心分子信使,通过靶向抑制天然免疫枢纽激酶TBK1,协同阻遏炎症并缓解多器官衰老进程。
2025-07-03 05:20
近日,四川乐山一小伙感觉身体不适独自乘出租车前往医院就诊,途中开启“超强自救”模式:联系妈妈告知情况、打110报警求助、打120告知医院准备急救。如果长期处于焦虑引起的躯体化障碍状态,患者会反复出现头痛、心慌、呼吸急促、胃肠紊乱、肢体疼痛、睡眠问题等。
2025-07-02 10:06
使用人工智能大模型时,不少人或许都遇到过类似问题:它们有时会捏造细节,甚至“一本正经地胡说八道”。当“喂给”大模型的训练数据包含虚假信息时,它就会产生“幻觉”、给出错误答案。
2025-07-02 10:05
中国国际航空公司所属的国产C909客机平稳降落在蒙古国乌兰巴托成吉思汗国际机场,标志着国航首条C909国际航线正式开通。早8时许,这架C909客机从呼和浩特起飞,经过1个多小时飞行抵达乌兰巴托。
2025-07-02 10:03
农业是国民经济的基础,农业领域形成新质生产力是国民经济形成和发展新质生产力的基础和“底盘”。 农业新质生产力是通过提升劳动者素质、优化劳动资料和创新利用劳动对象,实现全要素生产率的显著提高。
2025-07-02 10:01
团队基于卫星遥感数据构建了1988年至2021年青藏高原30米分辨率人工草地数据集,明确了青藏高原主要的人工草地类型及其时空分布特征,并揭示了青藏高原人工草地的迅速扩张及其驱动机制。
2025-07-02 09:59
屠光绍认为,金融机构在应用人工智能时必须在服务投资人与消费者之间寻求平衡,避免AI鸿沟,坚守金融服务大众的初心。鲍建敏倡导构建产学研深度融合、开放共赢的人工智能金融生态体系,搭建跨机构、跨领域的协同创新平台。
2025-07-01 10:13
6月30日,2025温布尔登网球锦标赛在英国伦敦拉开大幕,引发球迷关注。在草地球场,球的速度更快且弹跳不规则,比赛回合较短,发球就成为球员们的重要“武器”。红土球场并不是天然土壤,而是分层分布着碎砖粉、白色碎石灰石、碎石等。
2025-07-01 10:09
7月1日起,医保定点医药机构在销售药品时,必须按要求扫药品追溯码后方可进行医保基金结算;2026年1月1日起,所有医药机构都要实现药品追溯码全量采集上传。步,进入国家医保局微信公众号主页,点击服务、药品追溯信息查询,进入查询页面;或进入国家医保局微信公众号消息对话页,点击医保服务、药品追溯信息查询,进入查询页面。
2025-07-01 10:09
记者从国家航天局获悉,7月1日,该局发布行星探测工程天问二号探测器在轨获取的地月影像图。(国家航天局供图)  月球全色图,由天问二号探测器的窄视场导航敏感器于2025年5月30日15时拍摄,经辐射校正处理后制作而成。
2025-07-01 10:08
龙芯中科近日正式发布基于国产自主指令集龙架构研发的服务器处理器龙芯3C6000系列芯片、工控领域及移动终端处理器龙芯2K3000/3B6000M芯片以及相关整机和解决方案。
2025-07-01 10:06
加载更多