点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:AI赋能影像技术,让修图小白秒变大师
首页> 科技频道> 人工智能 > 正文

AI赋能影像技术,让修图小白秒变大师

来源:科技日报2022-04-15 09:29

  近日,计算机视觉顶级会议CVPR 2022公布了会议录取结果,美图影像研究院(MT Lab)与北京航空航天大学可乐实验室联合发表的论文被接收。该论文突破性地提出分布感知式单阶段模型(DAS),用于解决极具挑战性的多人3D人体姿态估计问题。该方法通过一次网络前向推理同时获取3D空间中人体位置信息以及相对应的关键点信息,从而简化了预测流程,提高了效率。此外,该方法有效地学习了人体关键点的真实分布,进而提升了基于回归框架的多人3D人体姿态估计方法的精度。

  实际上,这只是美图利用人工智能为影像技术赋能的冰山一角。早在2010年,美图就成立了核心研发部门——美图影像研究院,该研究院致力于计算机视觉、机器学习、增强现实等人工智能(AI)相关领域的研发,在人脸技术、人体技术、图像分割、图像识别、图像生成、图像增强等方面处于领先水平,为美图现有和未来的产品提供核心算法支持,并通过前沿技术推动美图产品发展,曾先后多次参与CVPR、ICCV、ECCV等计算机视觉国际顶级会议,并斩获冠亚军10余项,被称为美图的“技术中枢”。

  高效精准获取多人3D人体姿态估计结果

  计算机视觉中的经典技术——多人3D人体姿态估计在AR/VR、游戏、运动分析、虚拟试衣等领域具有广泛的应用潜力,近年来随着元宇宙概念的兴起,更是让这一技术备受关注。

  目前,通常采用两阶段方法来解决多人3D人体姿态估计的问题:自顶向下方法,即先检测图片多个人体的位置,之后对检测到的每个人使用单人3D姿态估计模型来分别预测其姿态;自底向上方法,即先检测图片中所有人的3D关键点,之后通过相关性将这些关键点分配给对应的人体。

  尽管两阶段方法取得了良好的精度,但是需要通过冗余的计算和复杂的后处理来顺序性地获取人体位置信息和关键点位置信息,其速率通常难以满足实际场景需求,因此多人3D姿态估计算法流程亟须简化。

  为了克服两阶段方法存在的问题,该论文提出了一种分布感知式单阶段模型用于解决基于单张图片的多人3D人体姿态估计问题。另外,DAS在优化过程中对3D关键点的分布进行学习,这为3D关键点的回归提供了极具价值的指导性信息,从而有效地提升了预测精度。

  此外,为了缓解关键点分布估计的难度,DAS采用了一种迭代更新策略以逐步逼近真实分布目标,通过这样一种方式,DAS可以高效且精准地从单目RGB图片中一次性获取多个人的3D人体姿态估计结果。

  与已有的两阶段方法相比,该模型可以通过一次网络前向推理同时获取人体位置信息以及所对应的人体关键点位置信息,从而有效地简化预测流程,克服了已有方法在高计算成本和高模型复杂度方面的弊端。另外,该方法成功将标准化流引进到多人3D人体姿态估计任务中,以在训练过程中学习人体关键点分布,并提出迭代回归策略缓解分布学习难度,来达到逐步逼近目标的目的。通过该模型可以获取数据的真实分布,有效地提升模型的回归预测精度。

  人工智能技术大大提升摄影修图效率

  对人脸皮肤进行精细化的瑕疵修复与暗沉祛除,一键入“齿”修复牙齿上的瑕疵,照片上模糊的容颜清晰重现,全身美型告别大粗腿、水桶腰……AI技术正让修图小白秒变大师。

  一家商业摄影机构的业务流程基本包括:营销获客、摄影服务、后期处理、成品制作等环节。其中,后期修图是商业摄影工作流程中占比高、耗时长、工作量大的一个环节。

  在旺季或者拍摄任务激增时,从拍摄到出片的周期甚至长达1个月左右。尤其是在人像处理部分,非常考验修图师的专业功底,而一名合格修图师的培养需要耗费高昂的人力、物力成本,还需要面临人员频繁流动的风险。

  美图创始人兼首席执行官吴欣鸿在接受科技日报记者采访时表示,据不完全统计,商业摄影1年修图可达120亿张,大量繁杂的重复性劳动以及较高的技术门槛,给商业影楼带来巨大的成本压力。借助AI技术完成重复繁杂的后期初修工作,不仅能够提升商业摄影后期的修图效率,同时也为商业摄影行业提供了深度融合美学艺术的专业级图像处理服务。

  由美图技术大脑——美图影像研究院自主研发的美图云修,通过智能预设功能,一键即可完成对照片的批量处理。其中,脸部优化功能可以修复面部瑕疵,打造细腻肌肤;妆容调整功能可实现对妆容的智能调节。此外,美图云修还能够完成塑造立体的面部五官、分区域实现全身美型、美化身体肌肤等80余项修图工作。同时,灵活自由的参数自定义也满足了用户对修图更专业的需求。

  “美图云修还提供滤镜特效、牙齿修复、祛双下巴、匀肤、缩头、一键仿妆、背景增强、多人全身美型等独特功能,可以帮助影楼快速完成约80%的精修工作。”美图技术副总裁、美图影像研究院负责人刘洛麒表示。

  我国影像软件技术携手AI大步向前

  今年3月30日,美图披露2021年全年业绩报告。报告显示,2021年美图研发投入达5.455亿元,同比2020年增长35%。

  随着中国影像软件产业对技术研发投入的不断加大,近年来中国影像软件在技术能力方面有了很大的进展,有些已经不输国外同类产品。

  “我们推出的视频美颜App——Wink,它的视频人像美化功能需要将人像美颜从图像扩展到视频维度,这就需要实时的人脸检测跟踪、分割、3D建模等技术与人像美颜算法进行有机结合,同时还要应对视频抖动、大侧脸等极端情况,才能为用户提供满意的结果。”刘洛麒说。

  “用户拍摄的照片或视频存在清晰度低、画质差、产生噪点等问题,我们利用基于深度学习的画质增强技术能够提高用户照片与视频的质量,满足他们的拍摄需求。同时,我们也将深度学习应用到人像美颜中,例如我们自主研发的AI匀肤技术,既能祛除脸部瑕疵,同时也保留了细腻的皮肤纹理质感。”吴欣鸿说。

  “我们基于AI研发的人体美型技术,不是简单地对人体进行拉伸,而是先结合人体3D重建、人体分割等技术去建立人体的三维模型,再利用深度学习算法学习美化之后的人体模型形变,同时对背景的Mesh(网格)进行建模,从而缓解背景的变形扭曲,最终实现用户满意的人体美型效果。”刘洛麒指出。

  此外,美图证件照应用到的人像抠图技术,可以实现发丝级的精细抠图,完成对证件照人像的一键换装,同时保持人像和背景的光线和谐性。而基于AI生成的增发技术,可以调整发际线,可以改变发色和发型,还能使头发显得更蓬松。

  未来,人工智能将如何赋能影像技术?对此,吴欣鸿表示,一方面,基于人工智能的影像技术,将与各行各业有更多、更深入的结合,这也对影像技术提出了更高的要求。另一方面,通过3D技术和AR技术等,为用户提供沉浸式和可交互的虚拟化体验也是未来影像技术发展的热门方向。(马爱平

[ 责编:蔡琳 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平同巴西总统卢拉共同签署联合声明

  • 习近平同巴西总统卢拉共见记者

独家策划

推荐阅读
记者20日从中国航天科技集团一院获悉,该院抓总研制的长征十号系列火箭近日成功完成整流罩分离试验,标志着该系列火箭初样研制又迈出了坚实一步。
2024-11-21 09:14
作为战略性新兴产业,低空经济产业链条长,涵盖航空器研发与制造、低空飞行基础设施建设与运营、飞行服务与保障等产业,对构建现代产业体系具有重要作用。
2024-11-21 09:12
工业革命改变了世界面貌,为人类生产生活带来深远影响。当今世界,人工智能迅猛发展,推动人类社会深度变革。在此过程中,电力行业也在逐步向数字化和智能化转型。
2024-11-21 09:10
数据显示,2023年我国低空经济规模超5000亿元,增速超过33%,2030年有望达到2万亿元。2024年以来,全国已有超过26个省(区、市)将低空经济写进政府工作报告。
2024-11-21 09:09
日前,国际学术期刊《自然·通讯》在线刊发江西省农业科学院原院长颜龙安院士团队联合河北大学杜会龙教授团队的研究成果:首个稻属最全超级泛基因组图谱绘制成功。
2024-11-21 09:09
全海深光电缆绞车系统“海威GD11000”,日前随广州海洋地质调查局“海洋地质二号”船在我国南海完成了首个航次的深海调查任务。
2024-11-20 09:21
近日,中国科学院兰州化学物理研究所研究员何林团队与武汉大学教授雷爱文团队合作,在催化羰基化领域取得重要进展——成功利用一氧化碳或二氧化碳替代剧毒光气,高效合成含氮羰基化合物非对称脲。。
2024-11-20 09:24
这种菌能够迅速分解番茄、辣椒、娃娃菜等多种蔬菜尾菜,并具有促进作物生长、拮抗土传病原菌等功能特性。在此基础上,课题组进一步研发了“蔬菜尾菜+快速腐解菌+有机肥+功能菌”四位一体的原位还田技术。
2024-11-20 09:20
11月18日,在沪渝蓉高铁全线控制性咽喉工程崇太长江隧道内,我国盾构隧道智能建造V2.0技术体系正式在“领航号”盾构机成功应用
2024-11-20 09:19
19日,四川、重庆、贵州三省市同步首发动力型锂电池试运专列,这是我国铁路首次大规模试运输动力锂电池,将助力国产动力锂电池产品的全球流通。
2024-11-20 09:13
近年来,北京市延庆区大力发展低空经济,2023年相关产业产值达23.3亿元。天气渐冷,北京八达岭长城脚下,中关村延庆园内的低空经济产业园依旧热火朝天,一派繁忙景象。
2024-11-19 09:50
据最新一期《自然·化学》杂志报道,美国加州大学圣迭戈分校团队在最新研究中给出了一个涉及两种简单分子间反应的精妙解释。
2024-11-19 09:47
利用样地观测数据、空间分析和树线模型模拟,中国科学院青藏高原研究所研究员梁尔源等人系统分析了尼泊尔珠峰国家公园和安纳普纳保护区混交林树线,揭示了糙皮桦和喜马拉雅冷杉的种群更新动态和树线位置变化。
2024-11-19 09:46
机器人服务员、咖啡师、宠物……各种机器人让人目不暇接。自动载人飞行器,无人机、无人车、无人船……智能驾驶技术遍布“海陆空”。11月14日至16日,第二十六届中国国际高新技术成果交易会在广东深圳举行。
2024-11-19 04:55
近日,记者从湖北省神农架林区林业管理局野保科开展的陆生野生脊椎类动物普查中获悉,神农架现有陆生野生脊椎类动物710种,比原来的493种增加217种。
2024-11-19 05:00
北京时间11月15日23时13分,天舟八号货运飞船在文昌航天发射场由长征七号遥九运载火箭成功发射。自中国空间站建造以来,空间应用系统已在轨开展了百余项科学实验和应用试验,阶段性研究成果持续产出。
2024-11-18 10:27
中国科学院生物物理研究所王晓群研究员课题组、广东省智能科学与技术研究院张旭院士课题组和北京师范大学吴倩教授课题组合作,深入解析了人类背根神经节(DRG)发育过程中调控多种感觉神经元分化的多层级信号通路,并成功构建了人类DRG类器官(hDRGOs)模型。通过比较人类和小鼠的感觉神经元发育,研究人员发现两者在发育进程、基因表达谱和细胞亚型上存在差异。
2024-11-18 10:24
党的二十届三中全会提出,发展通用航空和低空经济。航空航天民航高校应发挥特色优势,形成“航空+”的多元化低空经济专业型人才培养模式,促进低空经济科技链、人才链、产业链的有机衔接。
2024-11-18 10:21
中北大学极端环境特种传感与测试创新研究团队成员正在围绕近期发射任务进行产品研发。日前,第28届“中国青年五四奖章”评选揭晓,中北大学极端环境特种传感与测试创新研究团队获“中国青年五四奖章集体”荣誉称号。
2024-11-18 10:16
据中国载人航天工程办公室消息,天舟七号货运飞船已于11月17日21时25分受控再入大气层。 天舟七号货运飞船于2024年1月17日在文昌航天发射场发射入轨,装载了航天员在轨驻留消耗品、推进剂、应用实(试)验装置等物资。
2024-11-18 10:14
加载更多