点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:AI换脸骗局频现 人工智能使用边界在哪儿
首页> 科技频道> 人工智能 > 正文

AI换脸骗局频现 人工智能使用边界在哪儿

来源:中国青年报2023-06-06 16:30

  对于滥用生成式人工智能技术的担忧在世界范围内都存在。不仅因为其超越一般技术的“创造能力”和“破坏性”,更因为人们发现,生成式人工智能技术发展的速度极快。目前,世界各国对其风险的预判与防范均处于探索阶段,有赖于法律体系的进一步完善。

  ——————————

  10分钟内被骗走430万元,近期,用AI技术兴风作浪的诈骗案件,引起了社会关注。

  5月22日,包头警方发布的一起利用AI实施电信诈骗的案例冲上热搜。福州市某科技公司法人代表郭先生在接到“好友”微信视频电话后,考虑到关系好又是真人视频通话,在10分钟内直接向对方账户汇款430万元。随后才意识到自己遭遇了“高端”骗局,“好友”是骗子通过AI换脸技术佯装而成的。

  关于AI技术的争论不曾停止过。此前,ChatGPT就曾因编写假新闻而饱受诟病,而近期大量出现的AI诈骗更是令人不得不开始反思,AI生成的虚假信息或许潜藏着巨大的社会风险。

  需警惕生成式人工智能技术的滥用

  英国媒体《每日邮报》曾报道,2019年3月,英国警方逮捕了一名使用AI语音模仿软件的诈骗者。他将自己的声音改变成当地一家能源公司老板的声音,以“帮助公司避免拖欠罚款”为由要求一位高管向其汇款,通过电话骗取了22万欧元(约合人民币170万元)。据这名高管回忆,当时他也产生了疑心,但他的确听到了老板的德国口音。此案被认为是全球首例人工智能诈骗案。

  其实,模仿一个人的声音乃至外貌,对AI来说并不是新鲜事。此前,“AI孙燕姿”就曾在B站等网络平台走红,视频上传者通过使用AI音色替换技术(Sovits4.0),生成了高度还原孙燕姿音色的翻唱歌曲,其中原唱为周杰伦的歌曲《发如雪》播放量已超过200万次。近期也有媒体报道了一款网络上的付费AI换脸软件,其套餐价格从499元到2888元不等,肉眼来看,换脸之后的“数字人”口型、表情、微小的动作几乎毫无破绽。

  诸如此类生成式人工智能(Generative Artificial Intelligence,简称GAI)的大量出现很大程度上得益于深度合成和机器学习的快速发展。而AI诈骗者正是通过这些先进的技术,训练出能够模拟人类语言和神态的AI。

  苏州大学竞争政策与反垄断研究中心研究员方翔指出,近期的AI诈骗案件主要是人工智能技术在图像领域的应用,其可以将不同人脸图像中的面部特征相互替换。“拟声”则是借助深度学习模型,根据已有的语音样本(如通话录音、网络视频等)生成与其近似的声音,进而做到与人交谈。

  5月24日,中国互联网协会发文提醒,伴随着深度合成技术的开放开源,深度合成产品和服务逐渐增多,利用“AI换脸”“AI换声”等虚假音视频,进行诈骗、诽谤的违法行为屡见不鲜。面对利用AI技术的新型骗局,广大公众需提高警惕,加强防范。业内人士普遍认为,“AI换脸”技术的滥用给人们敲响了警钟,其复杂性、隐蔽性也给科技识别及运用提出了更高的要求。

  “对于生成式人工智能,正当适度使用,可以倍增工作效率,有力推动创意产业发展,促进消费者福祉增长。但同时,虚假使用可引发谣言泛滥、侵害权利、压榨利益,而过度使用可引发践踏人性、减少就业、贫富悬殊,而恶意滥用甚至成为歪曲真相、撕裂社会、政策干扰、祸乱宇内的罪恶之源。”中国互联网协会法工委副秘书长胡钢认为,要坚持依法崇德治理,使全社会形成法网大于互联网、国法高于算法、人工智能不能成为“人工制人”的共识。

  探索构建完善的人工智能法律体系

  “我国针对人工智能及数据安全、个人信息保护的立法虽然起步较晚,但日臻成熟。”方翔指出,早在2017年7月,国务院印发《新一代人工智能发展规划》,其作为我国AI发展的纲领性文件,提出了面向2030年我国新一代人工智能发展的指导思想、战略目标、重点任务和保障措施,其中特别提到“到2025年初步建立人工智能法律法规、伦理规范和政策体系,形成人工智能安全评估和管控能力”。

  2022年12月,国家网信办、工信部、公安部联合发布《互联网信息服务深度合成管理规定》,强调不得利用深度合成服务从事法律、行政法规禁止的活动,要求深度合成服务提供者对使用其服务生成或编辑的信息内容,应当添加不影响使用的标识。提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能服务的,可能导致公众混淆或者误认的,应当进行显著标识。

  2023年4月,国家网信办起草《生成式人工智能服务管理办法(征求意见稿)》并向社会公开征求意见,提出AI内容必须真实准确,禁止非法获取、披露、利用个人信息和隐私、商业秘密。

  “总的来看,构建完善的人工智能法律体系,我国目前仍在探索阶段。”方翔说。中国信息通信研究院云计算与大数据研究所所长何宝宏则指出,2022年12月发布的《互联网信息服务深度合成管理规定》明确针对在中国境内应用深度合成技术提供的互联网信息服务进行规制,其中,深度合成技术是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术。“在上述法律法规的具体落实过程中,存在两方面的挑战。”

  “一是防范深度合成技术应用生成错误价值导向、虚假信息的能力需要进一步提升。《互联网信息服务深度合成管理规定》要求深度合成服务提供者对输入数据和合成结果进行审核、建立健全识别违法和不良信息的特征库、依法处置违法和不良信息的生成合成信息内容。但是,对于深度合成服务提供者如何落实内容管理需要进一步细化,提供者需要不断提升技管结合的能力;对于内容管理落实的具体效果,也有待进行持续性的跟踪检验。”其次,何宝宏指出,对深度合成信息内容增加标识的具体规范也需要进一步细化,文件中明确深度合成服务提供者提供深度合成服务,可能导致公众混淆或者误认的,应当在生成或者编辑的信息内容的合理位置、区域进行显著标识。“但对于如何增加显著标识以及增加标识的具体方式需要尽快出台细化的要求规范。”

  超越一般技术的“破坏性”引发担忧

  对于滥用生成式人工智能技术的担忧在世界范围内都存在。不仅因为其超越一般技术的“创造能力”和“破坏性”,更因为人们发现,生成式人工智能技术发展的速度极快。

  从OpenAI去年11月推出ChatGPT,到今年3月其迭代品GPT-4面世,仅用了几个月的时间。GPT-4不仅知识面更广、回答问题更流畅,还可以描述并理解图片,甚至具备一定自我反思的能力。

  OpenAI的首席执行官Sam Altman接受采访时就曾表示,担心这些模型可能被用于大规模的虚假信息,也担心人类被控制。“ChatGPT是一个高度受人类控制的工具。但也许会有人放弃设置我们目前已有的一些安全限制。”他补充,“我认为,社会只有有限的时间来弄清楚如何对此做出反应,如何监管,如何处理它。”

  今年3月,美国特斯拉汽车公司首席执行官埃隆·马斯克曾联合1000多名业界、学界人士发表公开信,呼吁所有AI实验室立即暂停训练比ChatGPT更强大的AI系统,暂停至少6个月。其信中提到,在开发强大的AI系统之前,要确信这些系统的影响是积极的,风险是可控的。

  同时公开报道显示,今年3月31日,意大利个人数据保护局宣布即日起暂时禁止使用ChatGPT,并暂时限制OpenAI处理意大利用户数据。意大利成为首个禁止ChatGPT的西方国家,欧盟的多个国家也开始跟进,酝酿具体监管措施。

  各国政府都在加快出台人工智能监管法律。据路透社报道,英国竞争和市场管理局正在审查人工智能对消费者、企业和经济的影响,考虑是否需要新的监管措施。法国隐私监管机构正在调查与ChatGPT有关的几起投诉。澳大利亚政府正在咨询科学咨询机构,来考虑下一步的监管行动。欧洲数据保护委员会已成立ChatGPT特别工作组;欧盟消费者组织则呼吁欧盟消费者保护机构调查ChatGPT技术及对消费者的潜在危害。

  “鉴于人工智能的技术复杂性,世界各国对其风险治理均处于探索阶段,对其约束和监管仍有赖于法律体系的完善。”方翔介绍,欧盟目前正在推进全球首部人工智能法案。2023年4月,欧洲议会成员就《人工智能法(The AI Act)》提案达成临时政治协议,强化对生成式人工智能的监管,并将人工智能技术可能带来的风险细化为极小风险、有限风险、高风险、不可接受风险4个等级。“这一立法动向值得我国关注。”方翔告诉记者。

  中青报·中青网记者 李若一 王林 见习记者 裴思童

[ 责编:肖春芳 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 神十九航天员太空归来后首次公开亮相

  • 速度与未来!世界高铁大会看中国列车如何“领跑”

独家策划

推荐阅读
由于肉眼很难发现水污染的情况,洪水之后饮水需要特别注意,避免直接饮用自来水、山泉水、河水、湖水等。肖丹提醒,如果不适症状较为严重,出现持续高热、剧烈呕吐、严重腹泻、脱水、意识障碍等,或皮肤干燥、眼窝凹陷、少尿等情况,应及时就医。
2025-07-10 09:34
国家自然科学基金委员会近日发布消息,自然科学基金委制定重大非共识项目试点实施方案,将在2025年启动资助试点。自然科学基金委作为我国资助基础研究的主渠道,制定了一系列创新举措。
2025-07-10 09:33
嫦娥六号月球样品的相关研究成果,引起了国际学术界的高度关注。这1935.3克宝贵的月壤,使得月球样品研究进入“嫦娥时代”,开启了人类认识月球的新纪元,也为中国月球研究走向世界前列奠定了基础。 一年来,中国科学家们已经利用嫦娥六号月球样品取得许多科学突破。
2025-07-10 09:32
2024年嫦娥六号任务首次从南极-艾特肯盆地内部采回月球样品,为揭示该区域物质成因提供了直接证据。综合元素和矿物组成分析,南极-艾特肯盆地镁环物质主要为斜长石(63%~67%)和低钙辉石(25%~27%)组成的亚铁苏长岩。
2025-07-10 09:32
7月9日,在北京航天城,神舟十九号航天员蔡旭哲(中)、宋令东(右)、王浩泽在记者见面会上敬礼致意。 在神舟十九号乘组中,航天员王浩泽也是一位90后,更成为首位进驻空间站的女航天飞行工程师。
2025-07-10 09:30
随着科技创新与产业创新深度融合,人工智能技术助力建材行业向更智能、更绿色、更高端方向变革。“通过数字化转型,建材企业可基本实现研发设计数字化、生产运营一体化、客户服务敏捷化,提升决策效率、协同能力和服务水平,快速提升生产力和核心竞争力。
2025-07-09 09:40
记者8日从湖南省自然资源厅获悉,通过创新地质找矿理论,经过长期勘探,湖南省郴州市临武县鸡脚山矿区已探获超大型蚀变花岗岩型锂矿床,共提交锂矿石量4.9亿吨,氧化锂资源量131万吨。
2025-07-09 09:39
根据国家卫生健康委8日晚间发布的通知,今后“颈深淋巴管/结—静脉吻合术”将不得应用于阿尔茨海默病治疗。“颈深淋巴管/结—静脉吻合术”是将颈部深层淋巴管或淋巴结与邻近的静脉进行吻合的手术,近年来部分医疗机构将其用于治疗阿尔茨海默病,引发争议。
2025-07-09 09:39
国家发展改革委、工业和信息化部、国家能源局日前发布《关于开展零碳园区建设的通知》。支持企业对标标杆水平和先进水平,实施节能降碳改造和用能设备更新,鼓励企业建设极致能效工厂、零碳工厂。
2025-07-09 09:37
近日,中国科学院近代物理研究所科研人员依托兰州重离子加速器冷却储存环,精确测量了极缺中子原子核硅-22的质量,实验发现硅-22的质子数14是一个新幻数。
2025-07-09 09:35
国家自然科学基金委员会7日发布消息,自然科学基金委近日制定重大非共识项目试点实施方案,将在2025年启动资助试点。
2025-07-08 09:20
近日,由农业农村部南京农业机械化研究所联合有关单位研制的全自动水稻覆膜插秧技术装备在江苏省靖江市投入使用,开启了我国水稻覆膜插秧新模式。
2025-07-08 09:11
日前,全球领先的720V高压固态钠盐电池,在位于内蒙古自治区鄂尔多斯市达拉特旗的建亨奥能科技有限公司正式量产,标志着中国成为全球第三个实现固态钠盐电池商用量产的国家。
2025-07-08 09:10
从国家自然科学基金委员会获悉,该委日前制定了重大非共识项目试点实施方案,将在2025年启动资助试点。
2025-07-08 05:05
什么是聚乳酸材料,在取代传统石化基塑料材料方面又有着怎样的优势?本期院士科普,让我们跟随中国科学院院士陈学思,一起走进生物降解高分子材料——聚乳酸的奇妙世界。
2025-07-07 14:19
科技的力量正让农民从传统体力劳动者向掌控全局的智慧决策者转变。
2025-07-07 12:33
在未来数十年,熟练使用人工智能很可能成为大多数职业的必备技能,并深刻影响就业市场。作为经济土壤中的“超级肥料”,新技术既带来传统岗位的替代,更促进新兴产业发展,直接创造新的岗位需求。
2025-07-07 09:12
抽水蓄能机组主要由发电电动机和水泵水轮机组成,利用山上山下两个水库进行水能和电能相互转换。
2025-07-07 09:11
回溯歼—10飞机研制历程,从立项、首飞到定型,历经数十载,“三滴油”看起来微不足道,却更加说明创新需要点滴用心、长期耕耘。
2025-07-07 09:10
加载更多