点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:AI被一件T恤蒙蔽“双眼” 见识不够是根本原因
首页> 科技频道> 综合新闻 > 正文

AI被一件T恤蒙蔽“双眼” 见识不够是根本原因

来源:科技日报2020-08-13 09:36

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  只要穿上一件印有特殊图案的T恤,就能骗过AI人体检测系统,从而达到“隐身”效果?

  近日,这一场景真实上演。美国东北大学和麻省理工学院等研究机构,共同设计了基于对抗样本技术的T恤。据研究人员介绍,这是全球首个在非刚性物体(如T恤)上,进行的物理对抗性实验。AI人体检测摄像头无法准确地检测出穿着该T恤的行人,无论衣服发生怎样的褶皱或变形,都能达到“隐身”效果。

  这件能让人在AI人体检测系统下“隐身”的T恤,其背后的原理是什么?这种缺陷会不会导致安全问题,要如何解决?科技日报记者就此采访了有关专家。

  特殊图案便能骗过AI的“眼睛”

  在本次实验中,一位穿着白T恤的男性和一位穿着黑T恤的女性从远处走来,在AI人体识别摄像头下,只能看到穿黑T恤女性的身影。

  这是如何做到的?原来研究人员使用了一种被称为对抗攻击的方法来欺骗AI。仔细观察,白T恤上印有不同的色块,这些色块在人眼看来与普通图案无异,但对于机器来说,却会造成一定干扰。

  中国科学院自动化研究所王金桥研究员解释说,科研人员对原T恤上的图案进行修改,通过技术手段生成具有较强干扰性的图案替换原有图案,改变了T恤原有的视觉外观,使得AI模型对数据标签的预测发生混淆和错误,从而到达攻击的目的。

  “攻击者通过构造微不足道的扰动来干扰源数据,可以使得基于深度神经网络的人工智能算法输出攻击者想要的任何错误结果。而这类被干扰之后的输入样本被称之为对抗样本。”王金桥说。

  对抗样本在实际中主要用来检验一些安全系数较高的系统,通过对抗的方式来提高AI模型的安全性,抵御可能面临的安全风险。比如刷脸支付,它必须具有一定的抗攻击能力,以便避免灾难性的后果,比如不能让攻击者简单地利用照片或者定向修改原输入就能破解用户支付系统。

  有实验表明,对于一个正确分类的熊猫图像,在加入特定对抗样本的干扰之后,人眼看到的仍然是熊猫,但是AI图像识别模型却将其分类为长臂猿,且置信度高达99%。

  不过,将对抗性图案印在衣服上这种欺骗AI的方式有一个缺陷,只要图案的角度和形状发生变化,就会轻易被识破。过去在设计对抗样本时,通常采用一些简单的变换,比如缩放、平移、旋转、亮度、对比度调整以及添加自适应的噪声等。

  王金桥解释说,这些简单的变换,在产生静态目标的对抗样本时往往比较有效,但是针对行人这种非刚体的动态目标则容易失效。动态目标由于运动以及姿态变化,将导致这些简单变换发生较大的改变,从而使得对抗样本丧失原有的性质。

  “相比过去设计的对抗样本,本次攻击的成功率更高。”福州大学数学与计算机科学学院、福建新媒体行业技术开发基地副主任柯逍博士指出,为应对人体移动造成的T恤形变,科研人员采用“薄板样条插值”的方法来建模行人可能发生的各种形变。同时,在训练阶段使用T恤上棋盘图案的格子来学习形变控制点位置变化关系,使得产生的对抗样本更加真实,对人体形变的贴合度更高。

  AI视觉系统受到多方因素干扰

  除了对抗攻击之外,在实际应用中的很多环境因素和人为因素,都可能导致AI人体检测出现失误。

  如在自动驾驶场景下,由于天气条件恶劣(如大雪、大雾等)或者光线及路况复杂,导致前方人员成像模糊等,会极大影响前方目标检测性能。在监控场景下,可疑人员可能通过衣物、雨伞等的遮挡来干扰人工智能算法。

  “排除本身紧急制动功能问题,具备行人检测功能的汽车也存在着无法及时、准确地检测出小目标人体等问题。”柯逍举例说,美国汽车协会曾对具备行人检测功能的多个品牌车辆做过一个测试,测试中用到的被撞目标包括成人假人与儿童假人。当车前出现儿童或汽车时速达到48千米时,仅一个品牌有一定概率检测出行人,其余3家品牌在两个场景下均未检测到行人。

  为何在AI视觉识别技术下的目标检测模型如此脆弱?“在人类眼中,轻微的图像干扰并不会影响最终的判断,但对于AI模型来说却不是如此。”柯逍举例说,有相关实验表明,一个测

  试表现良好的图像检测与识别分类器,并没有像人类一样学习与理解目标图像真正底层的信息,而只是在训练样本上构建了一个表现良好的机器学习模型。

  据了解,现有的AI视觉识别技术通常采用深度神经网络,本质上是一种特征深层映射,只是学习数据的统计特征或数据之间的关联关系,对数据量以及数据本身的丰富程度依赖较高,数据越多越丰富,则机器学习到的用于识别目标物的特征越具有判识度,也越能反映关联关系。

  王金桥表示,但真实情况是,数据往往非常有限,使得神经网络学习到的模式也比较有限,难以让神经网络模型“见多识广”,导致其面对从未见过的数据时表现往往不尽如人意。另一方面,这种统计特征分布以及关联关系,一旦被攻击者获知或者破解,就有可能针对性地修改输入样本,从而改变模型的输出,达到攻击的目的。

  AI视觉失灵易引发安全问题

  穿上特殊T恤,达到所谓的“隐身”效果,其实就是混淆AI的视觉系统。AI目标检测技术的这种缺陷是否会导致安全问题的发生?

  柯逍表示,美国汽车协会的汽车辅助驾驶案例中,行人被漏检或者未能及时被检测到,都可能导致交通事故的产生。此外,安防监控漏检危险人物与物品也可能导致安全隐患,不法分子可以利用对抗攻击来发现目标检测系统的漏洞,并进行攻击。

  “安全问题的产生可能有模型本身缺陷问题,如泛化性能不足,训练数据单一,存在过拟合等现象。此时,应当尽可能地丰富训练数据,并在模型训练过程中加入防止过拟合的技术手段等来提升模型的实战能力。”王金桥认为,另一方面,实际系统中往往也需要考虑模型安全来增强结果可信度和模型的健壮性,加入攻击模型的预判,提高对抗样本的判别能力,从而降低安全风险。

  当前,科研人员正不断提出精度更高、速度更快的AI目标检测模型,用于解决目标检测技术存在的漏检、误检、实时性与鲁棒性不强等问题。对于未来技术安全的构建,还需要做哪些努力?

  王金桥认为,人工智能目前总体还处于起步阶段,现有的人工智能算法本质上还是学习简单的映射关系,并未真正地理解数据背后内容及潜在的因果关系。因此,其理论创新和产业应用还面临着诸多的技术难点,需要科研人员持续攻关,实现真正意义上的智能以降低应用的风险。

  “其次,科研人员在进行技术研究以及新技术的应用过程中,应当尽可能地考虑各种安全问题,加入对抗样本防攻击模型,并做好相应的处理措施。”王金桥建议,从社会层面也应当建立和完善人工智能相关的法律法规,对技术的应用范围加以引导,对可能出现的安全问题作出相应的指导和规范,营造更加全面和成熟的科技创新环境。(记者 谢开飞 通讯员许晓凤 王忆希)

[ 责编:赵宇豪 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 藏东脱贫影像:温室大棚助脱贫

  • “荷花奖”入围舞剧《努力餐》在上海演出

独家策划

推荐阅读
记者从中科院合肥物质科学研究院获悉,近期该院等离子体物理研究所成功为国际热核聚变实验堆(ITER)计划研制出重要部件“校正场线圈”,并于9月22日正式竣工交付,即将运往法国ITER建设现场。
2020-09-23 15:45
图为德国法兰克福的一家商场内,孩子们观看一台智能机器人讲解防范新冠肺炎疫情的相关知识。”  关于疫情期间的学校运行,德国各州文教部长联席会议同意了默克尔总理倡议的四阶段计划。
2020-09-23 09:30
据英国剑桥大学网站21日报道,由该校科学家领导的国际天文学家小组,在最新一期《自然·天文学》杂志撰文指出,他们发现了一种新行星——“超热海王星”LTT 9779b。
2020-09-23 09:30
记者9月15日从内蒙古科技厅了解到,由内蒙古自治区蒙古文信息处理技术重点实验室研发的国内首款蒙古语“奥云AI合成主播”近日在内蒙古呼和浩特首秀成功。
2020-09-23 09:26
实践验证表明,通过妊娠母猪精准饲喂智能控制系统,母猪进食后剩余饲料比例小于1%,一次完成采食量比大于95%,大幅提高了进食效率。其中,智能饲喂系统在养猪场应用结果表明,能减少饲料浪费7%—10%,提高饲料转化效率5%以上,节省劳动力35%以上。
2020-09-23 09:25
北京经济技术开发区将于今年底之前建成网联云控式高级别自动驾驶示范区,这意味着智能网联汽车的发展迈入了新的阶段。未来,网联云控自动驾驶系统将逐步融入智慧城市建设的体系之中。
2020-09-23 09:24
江苏省与韩国SK集团战略合作机制第三次会议8月28日在无锡高新区举行,双方确定将重点推进SK海力士学校、SK海力士医院、SK海力士集成电路产业园等一批在建项目。无锡市副市长、无锡高新区党工委书记蒋敏告诉记者,17年来,无锡凭借扎实的产业基础不断深化双方合作,SK集团累积投资近200亿美元。
2020-09-23 09:23
记者从武汉市发改委获悉,为助推武汉东湖新技术开发区、武汉经济技术开发区、武汉临空港经济技术开发区三个国家级开发区打造武汉改革开放“新高地”,武汉日前出台《市人民政府关于推进全市开发区创新提升打造改革开放新高地的意见》。
2020-09-23 09:23
记者从广西壮族自治区财政厅获悉,广西财政近日下达补助资金6.35亿元,用于支持工业园区基础设施建设。本次下达的补助资金主要用于支持广西107个园区基础设施项目建设,其中包括园区路网项目71个,园区给排水和污水处理项目30个,园区电网项目5个,园区信息网络项目1个。
2020-09-23 09:22
位于辽宁沈阳高新区的东博热工装备制造热处理产业园二期工程正在抓紧施工,刚刚建好的一期厂房里,经过“热处理”的零部件整装待发。从小到大,从大到强,沈阳高新区形成了“众创空间—孵化器—加速器—产业园区”企业孵化成长链条,推动了大中小企业融通发展,科技型企业呈现出梯队发展态势。
2020-09-23 09:21
9月20日,云闪付、苏宁易购、中国移动、百度地图等10家企业的18款App(移动互联网应用程序)在京获颁安全认证证书,标志着我国App安全认证工作正式开展。
2020-09-23 09:18
“推进区块链技术的场景落地,我们觉得应该把云计算和区块链结合起来,而不是说区块链大于云计算,或云计算大于区块链,云计算和区块链的结合完全可以形成优势互补。惟其如此,才有可能避免由区块链所引发的信息孤岛的形成。
2020-09-23 09:18
量子计算云平台对量子计算资源和成果进行开放共享,并提供各种基于量子计算的衍生服务,可提前释放量子计算的潜力,进而促进量子计算产业提前布局与生态的良性培养。“这3款应用基于目前成熟的量子算法,都是由本源量子研究团队使用自主研发的量子编程框架QPanda与量子编程语言QRunes开发的。
2020-09-23 09:16
“为了防止雨水对大佛的侵蚀,古代工匠在开凿乐山大佛时,就精心地设计了排水系统。孙博告诉记者,构成乐山大佛本身的岩石主要是白色红砂岩,强度比较高。”古代匠人在设计乐山大佛时,在气候、选址和精妙工艺等方面都体现了其科学性。
2020-09-23 09:16
研究人员发现,雄性鲸鲨生长迅速,成年后的平均体长约8米;雌性鲸鲨生长速度较慢,成年后的平均体长约14米。领导这项研究的澳大利亚海洋科学研究所鱼类生物学家马克·米卡恩说,尽管鲸鲨的体型巨大,但它们生长得非常缓慢,每年体长只生长20厘米至30厘米。
2020-09-23 09:09
2016年,中科院古脊椎所研究员王敏等人发现了食鱼反鸟正型标本,该标本保存了目前已知最古老的鸟类食团,为复原早期鸟类消化系统的演化提供了关键证据。研究者认为这一结构在反鸟类原始类群中的缺失,一种可能是该骨化中心在基干类群中尚未出现,抑或虽然出现但却在发育过程中没完全骨化(保持软骨状态)而无法保存为化石。
2020-09-23 09:09
9月16日,中国科学院南京地质古生物研究所一场特殊的发布会,揭开了一亿年前介形虫有性生殖行为的奥秘。在地质古生物学研究中,介形虫与孢粉、有孔虫、放射虫等都被称为微体化石,它们需要借助显微镜才能看到。
2020-09-23 09:08
新华社北京9月22日电 特稿:基因编辑“猪1.0”升级为“猪3.0” 异种器官移植技术再获突破 内源性逆转录病毒异种传播风险已随着“猪1.0”的诞生而被“攻破”,针对免疫兼容性的研究也不断取得进展。
2020-09-22 17:58
一项进行了数十年的大规模国际合作研究,近日结果出炉——来自6个国家的科学家共同宣布,涵盖过去的6600万年的一个气候变化记录项目已经完成,这是人类第一次建立了一个详细、连续的时间表用以记录全球气候变化。研究团队表示,收集如此长的气候记录片段是一个极其繁琐的过程,此次成果体现了国际交流合作的巨大努力。
2020-09-22 09:32
PNNL化学物理学家格雷格·金梅尔说:“我们的研究证明,在极冷温度下,液态水不仅相对稳定,而且由两种结构混合而成。研究人员称,新研究可以揭示液态水在密闭环境中的行为,未来他们也可以借助这项研究中用到的技术,追踪各种化学反应背后分子如何重新排列。
2020-09-22 09:31
加载更多