点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:智能语音技术让人机交互更“丝滑”
首页> 科技频道> 人工智能 > 正文

智能语音技术让人机交互更“丝滑”

来源:科技日报2024-07-02 08:58

  在北京InfoComm China 2024展会上,外国客商在科大讯飞展位前体验智能同传系统。受访单位供图

  ◎记者 都 芃

  6月26日,中国科学院举办学部第九届学术年会,中国科学院外籍院士盖博·施德潘作学术报告。他一边用英语讲,同传系统一边将他的报告内容实时翻译为中文,呈现在大屏幕上。内容准确,翻译迅速,即使是专业名词也不在话下。

  该同传系统所采用的技术正来自于不久前获得2023年度国家科学技术进步奖一等奖的“多语种智能语音关键技术及产业化”项目。

  该项目由科大讯飞牵头,联合中国科学技术大学、清华大学、华为、中移(杭州)公司等高校及行业领军企业联合完成。项目历时10余年研发成功,攻克多项关键技术,构建起具有中国自主知识产权的多语种智能语音技术体系,为我国智能产业升级发展奠定坚实技术基础。

  复杂场景下识别准确率显著提升

  语音是人类最自然便捷的沟通方式,也是智能时代人机交互的关键入口。如今我们只需张张嘴,机器就能代替人类完成一系列任务。在这“丝滑”的交互体验背后,是一系列关键技术的创新突破。

  要让机器听清、听懂人类语言并不是一件容易的事。语音识别研究中有一道最具挑战性的典型难题被称为“鸡尾酒会”效应,即远场环境、噪声干扰、多人语音混叠等现象导致的语音识别困难。“比如在一个嘈杂的鸡尾酒会上,很多人同时说话,背景音乐也很响,如何让机器在这样的环境中精准识别出需要的声音?这是很常见的应用场景,也是非常有挑战性的难题。”科大讯飞副总裁、研究院院长刘聪介绍,针对这一典型难题,研发团队提出了多通道语音信号时空分离建模方法,即先将人声和不同的噪音分离,再进行建模。同时,团队还提出多维度语音属性解耦表征方法。“简单来说就是解耦、提取内容、韵律、音色等语音属性,以便更准确地识别和传达语音信息,解决了‘鸡尾酒会’效应难题,使得复杂场景下语音识别准确率得到显著提升。”他说。

  刘聪向记者展示的一个典型应用场景中,在人声嘈杂的大型会议现场,三人同时就不同主题进行混叠发言,此时正常人已难以分辨讲话人的具体内容。但智能语音技术不仅可以实现三人重叠语音的角色分离,还可以对每个人的发言进行实时转写,准确率在86%以上。

  多语种翻译是智能语音技术另一高频、高需求应用场景,也是最能体现智能语音技术实力的场景之一。数据是语音技术训练的关键因素之一,但部分小语种训练知识匮乏、训练数据稀缺,成为困扰技术发展的瓶颈。

  2014年,科大讯飞等单位开始研究包括中国部分民族语言在内的小语种智能语音技术。他们从维语和藏语等民族语言切入,与北京外国语大学、上海外国语大学等建立密切合作,积累了宝贵资源,沉淀大量技术。

  在此基础上,研发团队设计出全新的多语种通用音素体系和基本语言单元,实现多语种统一音素韵律体系的构建。“我们将不同的小语种进行分类,找到同类语种的共同规律,在此基础上进行分析建模和训练。最终在训练数据数量、质量有限的情况下,显著提升了小语种语音系统性能。”刘聪介绍。

  此外,为解决复杂应用场景下语音交互、语音翻译面临的深层次语义理解困难、专业性不足等难题,研发团队还提出了多源知识增强的可信文本生成技术,提升专有词汇及领域知识引用的准确率。为解决使用国产芯片开展智能语音算法模型训练和推理面临的性能低、适配难等问题,团队通过软硬件协同优化的动态张量算子自动融合、多硬件联合的量化计算模拟等方法,解决了智能语音技术硬件平台受制于人的问题。

  大模型使智能语音更具“人情味”

  近年来,大模型引发的人工智能浪潮席卷多个领域。智能语音技术同样也在大模型助力下不断取得新突破。“大模型+语音”的发展模式,被认为将给智能语音技术和产业带来新一轮革命性突破。

  “比如大模型可以实现语音技术的超拟人合成,让机器说话不再有浓厚的朗读腔,能够像真人一样自然对话。而全双工交互,则可以同时、瞬时进行信号的双向传输,让人机对话可以随时打断和继续等。这些都让大模型在智能语音领域备受关注。”科大讯飞研究院常务副院长高建清介绍说,智能语音技术的关键创新与大模型技术相结合后,二者可以相互补充、相互促进。

  例如,借助语音属性解耦、语音信号时空分离等技术突破,可以将语音信号经过编码后输入到大语言模型中,显著提升语音大模型的效果。“原来的语音合成、语音识别、机器翻译等单点技术,借助大模型后台的理解能力、文本生成能力,在语义理解、指令跟随、多轮对话、情绪感知、超拟人合成等方面实现了显著提升,使语音交互体验得到极大改善。”高建清说。

  着眼未来,大模型技术可以在复杂语义理解、长文本建模能力上进一步提升语音识别、合成和翻译的效果。同时基于大模型强大的语义理解、知识问答、多轮对话、多模态建模能力,它也能进一步提升智能语音技术的使用场景和应用价值,支撑实现语音同传、自动客服、辅学答疑、家庭医生、虚拟员工、陪伴机器人、服务机器人等未来智能产品创新,培育出更多产业机会,加速通用人工智能时代到来。高建清认为,大模型时代的语音技术本质上是一次推动万物互联和原有人机交互场景重构的巨大产业机会,是语音产业的全新战略机遇。

  目前,科大讯飞自主研发的多语种智能语音技术已支持69个语种,除了6个联合国通用语种(汉语、英语、法语、西班牙语、俄语、阿拉伯语)之外,还包括挪威语、丹麦语等小语种63个,均达到使用门槛。搭载相关技术的智能手机海内外累计激活超10亿台,车载智能化产品累计前装超5300万套,支持奇瑞、比亚迪、长安等车企超200万套“出海”订单。

[ 责编:肖春芳 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 速度与未来!世界高铁大会看中国列车如何“领跑”

  • 中国科学院发布嫦娥六号月球样品系列研究成果

独家策划

推荐阅读
由于肉眼很难发现水污染的情况,洪水之后饮水需要特别注意,避免直接饮用自来水、山泉水、河水、湖水等。肖丹提醒,如果不适症状较为严重,出现持续高热、剧烈呕吐、严重腹泻、脱水、意识障碍等,或皮肤干燥、眼窝凹陷、少尿等情况,应及时就医。
2025-07-10 09:34
国家自然科学基金委员会近日发布消息,自然科学基金委制定重大非共识项目试点实施方案,将在2025年启动资助试点。自然科学基金委作为我国资助基础研究的主渠道,制定了一系列创新举措。
2025-07-10 09:33
嫦娥六号月球样品的相关研究成果,引起了国际学术界的高度关注。这1935.3克宝贵的月壤,使得月球样品研究进入“嫦娥时代”,开启了人类认识月球的新纪元,也为中国月球研究走向世界前列奠定了基础。 一年来,中国科学家们已经利用嫦娥六号月球样品取得许多科学突破。
2025-07-10 09:32
2024年嫦娥六号任务首次从南极-艾特肯盆地内部采回月球样品,为揭示该区域物质成因提供了直接证据。综合元素和矿物组成分析,南极-艾特肯盆地镁环物质主要为斜长石(63%~67%)和低钙辉石(25%~27%)组成的亚铁苏长岩。
2025-07-10 09:32
7月9日,在北京航天城,神舟十九号航天员蔡旭哲(中)、宋令东(右)、王浩泽在记者见面会上敬礼致意。 在神舟十九号乘组中,航天员王浩泽也是一位90后,更成为首位进驻空间站的女航天飞行工程师。
2025-07-10 09:30
随着科技创新与产业创新深度融合,人工智能技术助力建材行业向更智能、更绿色、更高端方向变革。“通过数字化转型,建材企业可基本实现研发设计数字化、生产运营一体化、客户服务敏捷化,提升决策效率、协同能力和服务水平,快速提升生产力和核心竞争力。
2025-07-09 09:40
记者8日从湖南省自然资源厅获悉,通过创新地质找矿理论,经过长期勘探,湖南省郴州市临武县鸡脚山矿区已探获超大型蚀变花岗岩型锂矿床,共提交锂矿石量4.9亿吨,氧化锂资源量131万吨。
2025-07-09 09:39
根据国家卫生健康委8日晚间发布的通知,今后“颈深淋巴管/结—静脉吻合术”将不得应用于阿尔茨海默病治疗。“颈深淋巴管/结—静脉吻合术”是将颈部深层淋巴管或淋巴结与邻近的静脉进行吻合的手术,近年来部分医疗机构将其用于治疗阿尔茨海默病,引发争议。
2025-07-09 09:39
国家发展改革委、工业和信息化部、国家能源局日前发布《关于开展零碳园区建设的通知》。支持企业对标标杆水平和先进水平,实施节能降碳改造和用能设备更新,鼓励企业建设极致能效工厂、零碳工厂。
2025-07-09 09:37
近日,中国科学院近代物理研究所科研人员依托兰州重离子加速器冷却储存环,精确测量了极缺中子原子核硅-22的质量,实验发现硅-22的质子数14是一个新幻数。
2025-07-09 09:35
国家自然科学基金委员会7日发布消息,自然科学基金委近日制定重大非共识项目试点实施方案,将在2025年启动资助试点。
2025-07-08 09:20
近日,由农业农村部南京农业机械化研究所联合有关单位研制的全自动水稻覆膜插秧技术装备在江苏省靖江市投入使用,开启了我国水稻覆膜插秧新模式。
2025-07-08 09:11
日前,全球领先的720V高压固态钠盐电池,在位于内蒙古自治区鄂尔多斯市达拉特旗的建亨奥能科技有限公司正式量产,标志着中国成为全球第三个实现固态钠盐电池商用量产的国家。
2025-07-08 09:10
从国家自然科学基金委员会获悉,该委日前制定了重大非共识项目试点实施方案,将在2025年启动资助试点。
2025-07-08 05:05
什么是聚乳酸材料,在取代传统石化基塑料材料方面又有着怎样的优势?本期院士科普,让我们跟随中国科学院院士陈学思,一起走进生物降解高分子材料——聚乳酸的奇妙世界。
2025-07-07 14:19
科技的力量正让农民从传统体力劳动者向掌控全局的智慧决策者转变。
2025-07-07 12:33
在未来数十年,熟练使用人工智能很可能成为大多数职业的必备技能,并深刻影响就业市场。作为经济土壤中的“超级肥料”,新技术既带来传统岗位的替代,更促进新兴产业发展,直接创造新的岗位需求。
2025-07-07 09:12
抽水蓄能机组主要由发电电动机和水泵水轮机组成,利用山上山下两个水库进行水能和电能相互转换。
2025-07-07 09:11
回溯歼—10飞机研制历程,从立项、首飞到定型,历经数十载,“三滴油”看起来微不足道,却更加说明创新需要点滴用心、长期耕耘。
2025-07-07 09:10
加载更多