一种基于计算机视觉的虚拟试衣图像合成方法及系统与流程
本发明涉及计算机视觉,具体涉及一种基于计算机视觉的虚拟试衣图像合成方法及系统。
背景技术:
1、在电子商务和在线服装零售场景中,用户在购买服装前通常无法直观判断服装上身效果,虚拟试穿技术因此得到广泛关注。现有虚拟试穿方案主要包括增强现实标记点叠加、三维建模渲染和生成式对抗网络三类。增强现实标记点叠加方案通过识别人体骨骼关节点在对应位置叠加虚拟内容,生成结果具有明显的卡通化特征,虚拟服装与用户身体之间缺乏光影交互,真实感不足。三维建模渲染方案需要为每件商品手工创建高精度三维模型,单件成本高且制作周期长,难以适应海量商品的更新节奏。生成式对抗网络方案生成一张试穿图像通常需要数十秒以上,且需要用户上传多张照片并训练专属模型,使用门槛较高。上述方案均无法同时满足实时生成、体型适配和低使用门槛的需求。
技术实现思路
1、本发明提供一种基于计算机视觉的虚拟试衣图像合成方法及系统,解决相关技术中虚拟试穿图像在肤色一致性、面部还原精度及服装与体型贴合度方面存在明显失真的技术问题。
2、本发明公开了一种基于人工智能的虚拟试穿图像生成方法,包括以下步骤:获取用户人像照片和商品照片,对人像照片执行背景移除和边缘检测生成前景人物图及边缘轮廓图,对商品照片执行语义分割生成服装前景图;将前景人物图和服装前景图分别输入图像理解模型,生成人像描述文本和商品描述文本;将人像描述文本、商品描述文本和边缘轮廓图分别编码为向量,经标准化和拼接后通过映射网络压缩为综合提示向量;将综合提示向量作为条件,通过采用混合专家架构的潜扩散模型对随机噪声向量执行迭代去噪,生成初始试穿图像;将初始试穿图像与用户人像照片输入精调网络组,依次执行肤色精调、面部精调和体型精调,生成最终试穿图像。
3、进一步地,所述采用混合专家架构的潜扩散模型包含第一专家网络和第二专家网络,所述第一专家网络和所述第二专家网络共享相同的扩散变换器骨干结构且各自具有独立的前馈网络参数;在迭代去噪过程中,当当前步骤的噪声强度大于预设阈值时激活所述第一专家网络,当噪声强度小于或等于预设阈值时激活所述第二专家网络;其中,所述第一专家网络经侧重于人体结构和空间布局的数据训练,在去噪前期从高噪声中确立人物的整体轮廓、姿态位置和服装覆盖区域;所述第二专家网络经侧重于纹理细节和光影表现的数据训练,在去噪后期精修服装面料的质感、光泽过渡和面部五官的清晰度。
4、进一步地,所述映射网络为两层多层感知机,其输入为拼接后的原始提示向量,经两层全连接变换后输出维度低于输入维度的综合提示向量;所述映射网络以均方误差损失为辅助约束,与所述潜扩散模型联合端到端训练。
5、进一步地,所述肤色精调的步骤包括:将初始试穿图像和从用户原始人像中提取的皮肤区域色彩参考图输入肤色精调模型,所述肤色精调模型为条件生成对抗网络,以用户真实肤色区域为条件,对初始试穿图像中裸露皮肤区域的色调进行重绘,输出肤色校正后的图像;所述肤色精调模型以对抗损失与像素级重建损失的加权和为损失函数,采用生成器与判别器交替训练的方式进行训练。
6、进一步地,所述面部精调的步骤包括:将肤色校正后的图像和从用户原始人像中提取的面部特征点坐标输入面部精调模型,将肤色校正后图像中的面部特征点与用户原始人像中的对应特征点进行逐点比对,计算各特征点的位移向量,对面部区域的像素坐标按照位移向量执行薄板样条插值变换,调整面部区域的几何形状;所述面部精调模型的输出层为与输入图像等尺寸的空间变换场,每个空间位置对应一个二维偏移量,用于驱动薄板样条插值变换对面部区域像素坐标进行重采样。
7、进一步地,所述体型精调的步骤包括:将面部调整后的图像和所述边缘轮廓图输入体型精调模型,在面部调整后的图像上提取虚拟服装的语义边缘,将虚拟服装的语义边缘与用户真实身体轮廓进行逐点距离比对,对逐点距离超过预设阈值的区域执行局部形变,将服装边界向用户真实身体轮廓方向收缩或拉伸;所述体型精调模型的输出层为与输入图像等尺寸的空间形变场,每个空间位置对应一个二维偏移量,用于驱动服装区域像素的局部形变。
8、进一步地,所述体型精调的步骤还包括姿态精调处理:从用户原始人像中提取骨骼关键点坐标,将骨骼关键点坐标作为约束条件融入体型精调过程,在对服装边缘执行局部形变时,根据骨骼关键点坐标确定各肢体段的朝向和弯曲角度,使服装的形变方向与用户肢体的运动方向一致。
9、进一步地,当输入源为视频流时,采用关键帧生成与帧间传播相结合的策略,包括:从视频流中按照预设间隔选取关键帧,对每个关键帧执行完整的图像预处理、图像理解、多模态编码、迭代去噪和精调处理流程,生成该关键帧对应的精调试穿图像;对于关键帧之间的中间帧,通过光流估算相邻帧之间用户身体像素的运动位移矢量,将前一关键帧的精调试穿图像根据运动位移矢量执行像素级形变扭曲,生成中间帧的试穿图像。
10、进一步地,所述经标准化和拼接的步骤包括:对人像描述文本通过文本编码器转换得到的人员文本向量、商品描述文本通过文本编码器转换得到的商品文本向量、边缘轮廓图通过图像编码器转换得到的轮廓控制向量分别执行z-score标准化,消除不同模态向量的量纲差异,随后将标准化后的各向量进行拼接融合形成原始提示向量;若用户输入了额外的上下文信息,将上下文信息通过文本编码器转换为上下文向量,在标准化后一并参与拼接。
11、本发明公开了一种基于人工智能的虚拟试穿图像生成系统,用于执行上述虚拟试穿图像生成方法,包括:图像预处理模块,用于获取用户人像照片和商品照片,对人像照片执行背景移除和边缘检测生成前景人物图及边缘轮廓图,对商品照片执行语义分割生成服装前景图;图像理解模块,用于将前景人物图和服装前景图分别输入图像理解模型,生成人像描述文本和商品描述文本;多模态编码模块,用于将人像描述文本、商品描述文本和边缘轮廓图分别编码为向量,经标准化和拼接后通过映射网络压缩为综合提示向量;扩散生成模块,用于将综合提示向量作为条件,通过采用混合专家架构的潜扩散模型对随机噪声向量执行迭代去噪,生成初始试穿图像;精调模块,用于将初始试穿图像与用户人像照片输入精调网络组,依次执行肤色精调、面部精调和体型精调,生成最终试穿图像。
12、本发明具有以下有益效果:
13、本发明采用通用模型架构,将个性化适配从模型训练阶段转移至生成阶段,通过精调网络组在生成过程中动态适配每位用户的特征,用户仅需提供单张人像照片即可获得个性化试穿结果,降低了使用门槛和计算资源消耗。
14、本发明在潜扩散模型中引入混合专家架构,将去噪过程中的宏观结构生成和微观细节优化分别交由第一专家网络和第二专家网络处理,相比单一网络承担全部去噪任务的方案,生成图像在人体结构准确性和服装纹理精细度两方面均得到提升。
15、本发明将个性化适配分解为肤色、面部形状和体型贴合三个独立维度,分别由肤色精调模型、面部精调模型和体型精调模型处理,各维度的调整互不干扰且可针对性优化,克服了现有方案中虚拟服装与用户体型、肤色不匹配的问题。
16、本发明在视频试穿场景中采用关键帧生成与帧间传播相结合的策略,仅对关键帧执行完整生成流程,中间帧通过运动位移矢量传播快速生成,在保持帧间视觉一致性的同时降低了整体计算量,使实时视频试穿成为可能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com