点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:AI技术,让我们“听”懂聋人
首页> 科技频道> 综合新闻 > 正文

AI技术,让我们“听”懂聋人

来源:光明网-《光明日报》2022-01-12 09:37

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  光明日报记者 刘 茜 陈建强

  这个寒假,有一批失聪的大学生成了冬奥会的远程志愿者,他们来自天津理工大学聋人工学院。这些志愿者把电视新闻栏目的内容转换成手语顺序的文本,为冬奥会转播中需要的AI(人工智能)手语数字人提供大规模的语料支持。

  袁甜甜,天津理工大学聋人工学院副院长,是这些听障大学生的老师,也是无障碍智能科技研发中心的成员。她介绍:“无障碍智能科技研发中心将为冬奥会的实况转播提供AI手语数字人的手语语料支持,我和学生们已经为此忙了两个多月。能够为冬奥会服务,我们充满了荣誉感。”

  教AI认知手语

  2021年,创办中国聋人高等工科特殊教育30年纪念大会上,一个“手语角”吸引了不少人驻足。只要在摄像头前打出手语,身后的显示屏上就会出现语意连贯的文字翻译。袁甜甜展示着这个被称为“复杂场景下中国手语实时翻译系统”的《“鲸可语”——多模态连续手语自动标注识别系统》项目(下称“鲸可语”)。据介绍,在光线充足且稳定的室内,系统对手语的识别率最高能达到95%,部分场景下可以实现“同步翻译”。研发这套系统的目的,是让每个健听人都能轻松地看懂手语。其自动标注识别系统“鲸可语”还获得了去年第七届中国国际“互联网+”大学生创新创业大赛主赛道的金奖。

  王建源是研发团队的成员之一。他是聋人家庭长大的聋儿,听力损失严重,吐字发声非常困难,手语是他和这个世界打交道最初也最有效的方式。22年来,聋人的身份没有让他感到自卑;口不能言,也没耽误他成为一个妥妥的“学霸”;但如果你问他,因为听力障碍,从小到大遇到过哪些方面的不便,他会平静地在手机上打出四个字:方方面面——因为认识手语的人太少了。

  一个最典型的例子是看病,如果没有手语翻译陪着,即便只是头疼脑热,像王建源这样的“手语族”也很难独自就医——绝大多数医生不会手语。

  从1991年9月11日首批6名聋生入学到今天,天津理工大学聋人学院的老师们积累了很多与聋人沟通的经验。

  袁甜甜学的是计算机专业,2006年研究生一毕业,她就在聋人工学院计算机科学与技术系工作。上班第一天,她面对的挑战就是学手语。通过看文字、读唇语,学生们能够了解老师,可是老师不能很快地了解学生。磕磕绊绊地学会了手语,袁甜甜记不清有多少次,凌晨一两点钟陪学生去看病,帮忙做手语翻译。

  我国有2780万聋人,如何依靠科技的力量让健康人走进他们的世界?袁甜甜、王建源等人开始了“鲸可语”手语实时翻译系统的研发。

  “鲸可语”手语实时翻译类似于手语版的“语音输入法”。只不过后者是输入语音、机器识别、转成文字,而前者是输入手语动作和表情、机器识别。

  要把人工智能训练成一个合格的手语翻译,得把手势、表情、大肢体动作,通通从视频转化为数据,再“教”给计算机。所以,能充分理解、展示手语之美的听障生,是最适合给人工智能当“老师”的人。

  很多国外团队建立的手语数据集无法支持复杂场景下的手语翻译,一个直接的原因,就是无法找到足够多的人在自然状态下采集手语。“而我们的团队背靠聋人工学院,很多成员本身就是手语使用者,在自然手语的采集上有优势。”袁甜甜说。

  让健听人“读懂”听障人更重要

  冬奥会中,袁甜甜团队服务的AI手语数字人,能够帮助聋人更好地理解健听人的表达,“鲸可语”手语识别和翻译则是借助科技的力量帮助健听人更好地理解聋人的表达。这两者之间有怎样的区别?

  做AI手语数字人,是让聋人用熟悉的方式去理解健听人的表达方式,核心研发点是手语生成,而“鲸可语”手语识别和翻译的核心研发点是手语识别,“鲸可语”这项技术更难。“鲸可语”需要计算机视觉和自然语言识别处理两种技术:聋人的手语包括表情、手部动作,肢体动作,都需要计算机做融合识别,这是计算机识别技术;把计算机识别出来的信息用计算机程序再变成健听人所熟悉的语言模式,这是自然语言识别处理技术。AI手语数字人,某种程度上只涉及自然语言识别处理技术过程。从技术转化上看,AI手语数字人的产业落地时间会更短,数据上的投入相对较少,更容易将成果市场化。

  “为什么一定要搞手语翻译呢?聋人听不到,现在有语音识别啊!有的聋人不会说话,拿手机打字不就行了吗?”曾经有一些企业向袁甜甜了解过正在开发中的手语实时翻译系统,想谈投资。但谈来谈去,他们却对项目的必要性产生了疑问,觉得手语翻译除了“做善事”没有其他意义。为什么还要倾心于“鲸可语”的研发和转化呢?

  “在与学生交流的过程中,我知道对残障人士最好的关心就是平等。他们不是残障,只是与我们不一样。”袁甜甜说。

  沟通永远是双向的。我们教听障人写字、认字,读唇语,他们在努力融入健听人的世界;我们健听人也要为听懂接纳听障人作出一点努力。

  袁甜甜说,直到今天,手语仍然是许多听障人士最自然、高效的表达方式,“比写字、打字都快”。但为了促进无障碍交流,要求健听人都去学手语,显然不现实。“鲸可语”手语实时翻译系统就是利用高科技让健听人努力向听障人靠拢。

  《光明日报》( 2022年01月12日 08版)

[ 责编:蔡琳 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 山东青岛举行海上巡游迎接中国航海日

  • 漫画视界|警惕虚假购物、服务类诈骗

独家策划

推荐阅读
防晒,究竟该如何掌握分寸,才能在抵御伤害与拥抱健康之间找到平衡点?
2025-07-11 09:58
生命只有一次,心脏健康不容忽视。唯有提高对心梗症状的警觉性,掌握正确的急救方法,才能为生命筑起一道坚实的“心”防线。
2025-07-11 09:58
晒后背是一种传统的养生方法,符合中医“冬病夏治”的理论,其核心在于借助盛夏充沛的自然阳气,通过阳光照射背部,来提升人体自身阳气。
2025-07-11 09:58
截至7月10日,我国“北气南下”能源大通道累计输气量突破1000亿立方米,安全平稳运行超2000天,标志着这条纵贯南北的能源大动脉在保障国家能源安全、推动绿色转型方面取得重大进展。
2025-07-11 04:55
从自然资源部新一轮找矿突破战略行动办公室了解到,今年上半年,全国新发现矿产地38处,同比增长31%;新发现矿产地中,大中型矿产地25处。
2025-07-11 04:10
时下,智能手机已成为人们获取信息、社交娱乐的重要工具。多学科专家指出,当我们刷手机出现注意力极度涣散、缺乏独立思考能力、情绪化反应严重、深度学习能力下降、空虚感增加等症状时,就表明我们的大脑正在被“腐蚀”。所谓的“脑腐”,即因长期暴露于碎片化信息而引发的认知衰退与脑功能损伤。
2025-07-11 04:10
由于肉眼很难发现水污染的情况,洪水之后饮水需要特别注意,避免直接饮用自来水、山泉水、河水、湖水等。肖丹提醒,如果不适症状较为严重,出现持续高热、剧烈呕吐、严重腹泻、脱水、意识障碍等,或皮肤干燥、眼窝凹陷、少尿等情况,应及时就医。
2025-07-10 09:34
国家自然科学基金委员会近日发布消息,自然科学基金委制定重大非共识项目试点实施方案,将在2025年启动资助试点。自然科学基金委作为我国资助基础研究的主渠道,制定了一系列创新举措。
2025-07-10 09:33
嫦娥六号月球样品的相关研究成果,引起了国际学术界的高度关注。这1935.3克宝贵的月壤,使得月球样品研究进入“嫦娥时代”,开启了人类认识月球的新纪元,也为中国月球研究走向世界前列奠定了基础。 一年来,中国科学家们已经利用嫦娥六号月球样品取得许多科学突破。
2025-07-10 09:32
2024年嫦娥六号任务首次从南极-艾特肯盆地内部采回月球样品,为揭示该区域物质成因提供了直接证据。综合元素和矿物组成分析,南极-艾特肯盆地镁环物质主要为斜长石(63%~67%)和低钙辉石(25%~27%)组成的亚铁苏长岩。
2025-07-10 09:32
7月9日,在北京航天城,神舟十九号航天员蔡旭哲(中)、宋令东(右)、王浩泽在记者见面会上敬礼致意。 在神舟十九号乘组中,航天员王浩泽也是一位90后,更成为首位进驻空间站的女航天飞行工程师。
2025-07-10 09:30
随着科技创新与产业创新深度融合,人工智能技术助力建材行业向更智能、更绿色、更高端方向变革。“通过数字化转型,建材企业可基本实现研发设计数字化、生产运营一体化、客户服务敏捷化,提升决策效率、协同能力和服务水平,快速提升生产力和核心竞争力。
2025-07-09 09:40
记者8日从湖南省自然资源厅获悉,通过创新地质找矿理论,经过长期勘探,湖南省郴州市临武县鸡脚山矿区已探获超大型蚀变花岗岩型锂矿床,共提交锂矿石量4.9亿吨,氧化锂资源量131万吨。
2025-07-09 09:39
根据国家卫生健康委8日晚间发布的通知,今后“颈深淋巴管/结—静脉吻合术”将不得应用于阿尔茨海默病治疗。“颈深淋巴管/结—静脉吻合术”是将颈部深层淋巴管或淋巴结与邻近的静脉进行吻合的手术,近年来部分医疗机构将其用于治疗阿尔茨海默病,引发争议。
2025-07-09 09:39
国家发展改革委、工业和信息化部、国家能源局日前发布《关于开展零碳园区建设的通知》。支持企业对标标杆水平和先进水平,实施节能降碳改造和用能设备更新,鼓励企业建设极致能效工厂、零碳工厂。
2025-07-09 09:37
近日,中国科学院近代物理研究所科研人员依托兰州重离子加速器冷却储存环,精确测量了极缺中子原子核硅-22的质量,实验发现硅-22的质子数14是一个新幻数。
2025-07-09 09:35
国家自然科学基金委员会7日发布消息,自然科学基金委近日制定重大非共识项目试点实施方案,将在2025年启动资助试点。
2025-07-08 09:20
近日,由农业农村部南京农业机械化研究所联合有关单位研制的全自动水稻覆膜插秧技术装备在江苏省靖江市投入使用,开启了我国水稻覆膜插秧新模式。
2025-07-08 09:11
日前,全球领先的720V高压固态钠盐电池,在位于内蒙古自治区鄂尔多斯市达拉特旗的建亨奥能科技有限公司正式量产,标志着中国成为全球第三个实现固态钠盐电池商用量产的国家。
2025-07-08 09:10
从国家自然科学基金委员会获悉,该委日前制定了重大非共识项目试点实施方案,将在2025年启动资助试点。
2025-07-08 05:05
加载更多