一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像的处理方法及装置、数据处理方法与流程

2021-12-17 18:41:00 来源:中国专利 TAG:


1.本技术涉及图像合成领域,具体而言,涉及一种图像的处理方法及装置、数据处理方法。


背景技术:

2.电商场景下,用户希望看到服装上身的多姿态多角度展示,但是越多越全面的姿势摆拍也就意味着越大的运营和时间投入。为此通过训练一个生成模型,将模特在当前姿势上的图像迁移到其他的目标姿势上去,实现对于衣着等商品的全面展示。
3.目前将模特在当前姿势上的图像迁移至其他的目标姿势的模型一般采用基于深度学习生成对抗模型(generative a dversatial networks,gan),这种人体姿态转换模型采用单阶段网络,一步式转换人体姿态,但是在外观细节,如头发,衣服纹理,鞋子等细节严重丢失,这种单阶段网络在高层语义如人体姿态迁移上能完成的较好,但是对于低级语义信息的细节纹理恢复较差。
4.针对目前将模特在当前姿势上的图像迁移至其他的目标姿势的模型采用单阶段网络,在姿态迁移的过程中存在信息缺失,纹理效果单一的问题,目前尚未提出有效的解决方案。


技术实现要素:

5.本技术实施例提供了一种图像的处理方法及装置、数据处理方法,以至少解决由于目前将模特在当前姿势上的图像迁移至其他的目标姿势的模型采用单阶段网络造成的在姿态迁移的过程中存在信息缺失,纹理效果单一的技术问题。
6.根据本技术实施例的一个方面,提供了一种图像的处理方法,包括:获取目标对象的第一图像和目标旋转角度;按照目标旋转角度对第一图像进行旋转,生成第二图像;基于第一图像和第二图像,生成目标对象对应的目标图像,目标图像的细节特征多于第一图像的细节特征,其中,第二图像和目标图像均包括目标对象旋转目标旋转角度后的姿态信息。
7.根据本技术实施例的另一方面,还提供了另一种图像的处理方法,包括:获取目标对象对应的第一多媒体数据,以及用于对第一多媒体数据中目标部位进行转换的转换描述数据,其中,目标部位为目标对象的任意一个部位;基于第一多媒体数据和转换描述数据,生成目标对象对应的第一图像,其中,第一图像中包括对目标部位按照转换描述数据进行转换后的图像;基于第一多媒体数据和第一图像,生成目标对象对应的第二图像,第二图像中包括对目标部位按照转换描述数据进行转换后的图像,第二图像中目标部位的细节特征多于第一图像中目标部位的细节特征。
8.根据本技术实施例的另一方面,还提供了另一种图像的处理方法,包括:获取在相邻采样时刻采集的第一目标对象的多个图像;确定多个图像中第一目标对象的姿态变化信息;获取第二目标对象的第一图像;依据姿态变化信息对第一图像进行转换,生成第二图像;基于第一图像和第二图像,生成第二目标对象对应的目标图像,目标图像的细节特征多
于第一图像的细节特征。
9.根据本技术实施例的另一方面,提供了另一种图像的处理方法,包括:接收目标对象的第一外观图和目标姿态的姿态信息,其中,第一外观图为目标对象在当前姿态下的图像,目标姿态为目标对象从当前姿态进行转换后的姿态;基于第一外观图和目标姿态的姿态信息,生成目标对象转换为目标姿态时的第二外观图;使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在目标姿态下的第三外观图,所述第三外观图的细节特征多于所述第二外观图的细节特征。
10.根据本技术实施例的另一方面,还提供了另一种图像的处理方法,包括:当目标对象由第一姿态切换为第二姿态时,获取目标对象处于第一姿态时的第一外观图和第二姿态的姿态信息;基于第一外观图和第二姿态的姿态信息,生成目标对象处于第二姿态时的第二外观图;使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在第二姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征。
11.根据本技术实施例的另一方面,还提供了另一种图像的处理方法,包括:生成目标对象的第一外观图,其中,第一外观图为目标对象在目标姿态下的外观图像;使用全局残差网络模型对第一外观图和目标对象的默认外观图进行处理,生成目标对象在目标姿态下的第二外观图,第二外观图的细节特征多于第一外观图的细节特征。
12.根据本技术实施例的另一方面,还提供了一种数据处理方法,包括:获取目标对象对应的第一多媒体数据和转换描述数据,其中,转换描述数据用于对第一多媒体数据进行转换;基于第一多媒体数据和转换描述数据,生成目标对象对应的第一图像;和基于第一多媒体数据和第一图像,生成目标对象对应的第二图像,第二图像的细节特征多于第一图像的细节特征;其中,第一多媒体数据包括目标对象的第一姿态,第一图像和第二图像均包括目标对象的第二姿态。
13.根据本技术实施例的再一方面,还提供了一种图像的处理装置,包括:接收模块,用于接收目标对象的第一外观图和目标姿态的姿态信息,其中,第一外观图为目标对象在当前姿态下的图像,目标姿态为目标对象从当前姿态进行转换后的姿态;生成模块,用于基于第一外观图和目标姿态的姿态信息,生成目标对象转换为目标姿态时的第二外观图;处理模块,用于使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在目标姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征。
14.根据本技术实施例的再一方面,还提供了一种计算机可读存储介质,其特征在于,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行以上的图像的处理方法。
15.根据本技术实施例的再一方面,还提供了一种计算设备,包括:处理器;以及存储器,与处理器连接,用于为处理器提供处理以下处理步骤的指令:接收目标对象的第一外观图和目标姿态的姿态信息,其中,第一外观图为目标对象在当前姿态下的图像,目标姿态为目标对象从当前姿态进行转换后的姿态;基于第一外观图和目标姿态的姿态信息,生成目标对象转换为目标姿态时的第二外观图;使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在目标姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征。
16.在本技术实施例中,采用接收目标对象的第一外观图和目标姿态的姿态信息,其
中,第一外观图为目标对象在当前姿态下的图像,目标姿态为目标对象从当前姿态进行转换后的姿态;基于第一外观图和目标姿态的姿态信息,生成目标对象转换为目标姿态时的第二外观图;使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在目标姿态下的第三外观图的方式,第三外观图的细节特征多于第二外观图的细节特征,通过采用两阶段的外观转换学习,第一个阶段生成粗略的目标人体外观图,第二阶段依据第一阶段的粗略外观,由粗到精的生成纹理细节更多的目标人体外观,从而实现了缓解当前单一阶段外观转换模型中生成细节信息缺失,纹理效果单一的问题,以及提升了模特身上的衣着的展示效果的技术效果,进而解决了由于目前将模特在当前姿势上的图像迁移至其他的目标姿势的模型采用单阶段网络造成的在姿态迁移的过程中存在信息缺失,纹理效果单一的技术问题。
附图说明
17.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
18.图1示出了一种用于实现图像的处理方法的计算机终端(或移动设备)的硬件结构框图;
19.图2是根据本技术实施例的一种图像的处理方法的流程图;
20.图3是根据本技术实施例的一种训练姿态图像迁移模型的示意图;
21.图4是根据本技术实施例的一种全局残差网络模型的应用示意图;
22.图5是根据本技术实施例的另一种图像的处理方法的流程图;
23.图6是根据本技术实施例的另一种图像的处理方法的流程图;
24.图7是根据本技术实施例的一种图像的处理装置的结构图;
25.图8是根据本技术实施例的一种计算机终端的结构框图;
26.图9是根据本技术实施例的一种数据处理方法的流程图;
27.图10是根据本技术实施例的另一种图像处理方法的流程图;
28.图11是根据本技术实施例的另一种图像处理方法的流程图;
29.图12是根据本技术实施例的另一种图像处理方法的流程图。
具体实施方式
30.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
31.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于
清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.首先,在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
33.gan:深度学习生成对抗模型。
34.pix2pix:基于条件对抗网络的图像翻译(image-to-image translation with conditional adversarial networks)。
35.pix2pixhd:高清图像合成和基于条件生成对抗网络的语义分割图处理(high-resolution image synthesis and semantic manipulation with conditional gans)。
36.实施例1
37.根据本技术实施例,还提供了一种图像的处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
38.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像的处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,
……
,102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
39.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
40.存储器104可用于存储应用软件的软件程序以及模块,如本技术实施例中的图像的处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像的处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
41.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(network interface controller,nic),其可通过基站与其他网络设备相连从而可与
互联网进行通讯。在一个实例中,传输装置106可以为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
42.显示器可以例如触摸屏式的液晶显示器(lcd),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
43.在上述运行环境下,本技术提供了如图2所示的图像的处理方法。图2是根据本技术实施例1的一种图像的处理方法的流程图,如图2所示,该方法包括以下步骤:
44.步骤s202,接收目标对象的第一外观图和目标姿态的姿态信息,其中,第一外观图为目标对象在当前姿态下的图像,目标姿态为目标对象从当前姿态进行转换后的姿态。
45.参考背景技术中提到的电商应用场景,步骤s202中的目标对象为展示服装的模特。
46.第一外观图为模特在当前姿态下的图像(例如当前模特面向左前方45度),目标姿态为模特面向右前方45度的姿态。所谓的姿态迁移就是由前模特面向左前方45度的姿态图像,经过深度神经网络模型处理之后得到该模特面向右前方45度的姿态图像。需要说明的是,45度只是举例说明,也可以是其他角度或者姿态。
47.步骤s204,基于第一外观图和目标姿态的姿态信息,生成目标对象转换为目标姿态时的第二外观图。
48.本步骤即采用两阶段的外观转换学习的第一阶段,在本步骤中,将目标对象的第一外观图和目标姿态的姿态信息输入至神经网络模型,生成粗略的目标人体外观图。
49.步骤s206,使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在目标姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征。
50.步骤s206为采用两阶段的外观转换学习的第二阶段,在本步骤中,利用全局残差网络模型对第一阶段生成的粗略的目标人体外观图和目标对象的第一外观图进行处理,由粗到精的生成纹理细节更多的目标人体外观。
51.根据本技术的一个可选的实施例,在执行步骤s206时,首先利用全局残差网络模型对步骤s204得到的粗略图像进行处理,然后将得到的处理结果与目标对象的第一外观图叠加,生成目标对象的最终的目标图像,即目标对象在目标姿态下的图像,如图3所示。
52.图3是根据本技术实施例的一种全局残差网络模型的应用示意图,将使用第一神经网络模型处理第一外观图(image1)和目标姿态的姿态信息,生成的第二外观图(image2',第二外观图为粗略图像)输入到构造好的细节残差网络g2进行处理,得到处理结果,然后和第一外观图(image1)生成目标对象在目标姿态下的第三外观图(image2”)。
53.需要说明的是,上述步骤s204中用于生成目标对象转换为目标姿态时的粗略图像的神经网络模型和骤s206中的全局残差网络模型可以替换成其他网络,例如:全局残差网络模型可以换成pix2pix,pix2pixhd等图像翻译模型。
54.通过上述方法,通过采用两阶段的外观转换学习,第一个阶段生成粗略的目标人体外观图,第二阶段依据第一阶段的粗略外观,由粗到精的生成纹理细节更多的目标人体外观,从而实现了缓解当前单一阶段外观转换模型中生成细节信息缺失,纹理效果单一的问题,以及提升了模特身上的衣着的展示效果的技术效果。
55.根据本技术的一个可选的实施例,步骤s204可以通过以下方法实现:使用第一神经网络模型处理第一外观图和目标姿态的姿态信息,生成第二外观图,其中,使用训练样本
集对神经网络模型进行训练。
56.在本技术的一个可选的实施例中,在使用第一神经网络模型处理第一外观图和目标姿态的姿态信息,生成第二外观图之前,还需要使用训练样本集来训练拟合网络模型的模型参数,生成第一神经网络模型,其中,第一神经网络模型用于生成待识别的目标图像的第二外观图。
57.在本技术的另一个可选的实施例中,在使用所述训练样本集来训练拟合网络模型的模型参数之前,还需要构建所述训练样本集,其中,所述训练样本集包括多组训练样本,其中,构建所述训练样本集包括:获取多张姿态图像;从所述多张姿态图像中随机抽取具有相同样本对象的第一样本图片和第二样本图片,其中,所述第一样本图片为所述样本对象变换为目标姿态前的图像,所述第二样本图片为所述样本对象变换为所述目标姿态后的图像;从所述第二样本图片中,提取所述目标姿态的姿态图像;基于所述第一样本图片、所述第二样本图片和提取到的姿态图像,构建一组训练样本。
58.图4是根据本技术实施例的一种训练姿态图像迁移模型的示意图,如图4所示:
59.首先构造训练集合(即上述训练样本集),搜集相同模特服装的多个姿态图像组,多组图像组成训练数据集。随机取相同模特服装图像组中的两张图第一样本图片(image1)和第二样本图片(image2),并且从第二样本图片(image2)中提取18点姿态(也可以提取其他数量的点姿态),作为估计响应图(pose2,目标姿态的姿态图像),其中image1为输入参考模特图,pose2为目标姿态,image2为最终要生成的目标姿态监督图。即image1,image2和pose2为一组训练样本。
60.在训练样本集构造完成后,利用训练样本集构造第一阶段内容学习的第一神经网络模型g1,使用上述训练样本训练拟合第一神经网络模型g1的参数,并训练充分至网络收敛。
61.在第一神经网模型g1训练完成后,将第一样本图片(image1)和目标姿态的姿态图像(pose2)输入至第一神经网络模型g1进行处理,生成粗略的目标人体外观图image2'。
62.在本技术的另一个可选的实施例中,在执行步骤s206之前,还需要构建全局残差网络模型,该步骤包括:使用第二样本图片的粗略图像和第一样本图片,并以第二样本图片作为监督图对全局残差网络模型的模型参数进行拟合训练,直至全局残差网络模型收敛。
63.构造第二阶段细节残差网络g2,使用g1生成的image2'和image1作为输入,并且以image2作为监督,拟合训练g2参数,生成最终精细的目标人体外观图(image2”)。第二阶段为细节生成,采用全局人体残差模型,网络任务只需关注学习目标监督图与第一阶段生成目标图的残差,即f(x)-y=r;其中,f(x)为监督图image2,y为g1生成的粗略目标人体image2',r为学习的细节残差图像。g2在g1的基础上一起联合训练。本技术实施例提供的上述方法,通过两阶段的姿态迁移网络,第一阶段注重学习人体整体外观动作迁移,和粗粒度的肢体和面部转换;在第一阶段得到的目标人体姿态图image2'后,第二阶段采用全局的残差网络学习监督图image2和image2'的外观细节残差。达到最终整体姿态学习和外观细节学习完整结合。
64.需要说明的是,本技术实施例具体实施时,使用了开源软件pytorch,仅使用了二进制程序,不涉及修改代码。pytorch是一个开源的python机器学习库,基于torch,用于自然语言处理等应用程序。
65.根据本技术的一个可选的实施例,从所述第二样本图片中,提取所述目标姿态的姿态图像,包括:从所述第二样本图片中提取位于所述目标对象不同位置的多个特征点;按照所述多个特征点在人体中的位置以及所述多个特征点之间的关联关系对所述多个特征点进行连线,得到所述目标姿态的姿态图像。
66.在本步骤中,从第二样本图片(image2)中提取若干数量的特征点,然后按照特征点在人体中的位置进行连线,尽可能保证得到的姿态图像能够完整地反映出人体的轮廓。
67.在一个可选的实施例中,还可以按照特征点之间的关联关系对提取的特征点连线,例如将位于人体的同一个手臂上的特征点连线,然后再与其他特征点连线,这样也可以尽可能地保证得到的姿态图像能够完整地反映出人体的轮廓。
68.在本技术的一个可选的实施例中,步骤s202可以通过以下方法实现:接收图像采集设备当前采集的目标对象的服饰搭配图像,并将服饰搭配图像作为第一外观图,其中,服饰搭配图像中包括:目标对象以及该目标对象搭配的服饰信息;接收通过图像采集设备的人机交互界面输入的目标姿态的姿态信息。
69.本技术实施例应用在电商应用场景,目标对象为展示服装的模特,执行步骤s202是不仅获取展示服装的模特的图像,还需要获取模特的服饰搭配图像。目标姿态的姿态信息可以通过图像采集设备的人机交互界面输入。
70.在本技术的一个可选的实施例中,步骤s206执行完成之后,接收对第三外观图的反馈信息;在反馈信息为第一结果时,识别服饰搭配图像所属的品牌,并从品牌对应的服饰数据库中选择目标服饰输入至第二神经网络模型,其中,该第二神经网络模型为基于目标对象的历史服饰搭配信息训练得到的;在反馈信息为第二结果时,将第三外观图存储至目标对象对应的服饰搭配数据库中。
71.在生成目标对象在目标姿态下的第二外观图后,接收对第二外观图的反馈信息,该反馈信息用于评价用户对生成的第二外观图像的满意程度。如果用户对生成的第二外观图像不满意(上文中第一结果),此时需要确定该服饰搭配图像的品牌,然后从品牌对应的数据库中选择目标服饰输入神经网络模型进行处理,将处理结果作为第二外观图,该神经网络模型是基于所述目标对象的历史服饰搭配信息训练得到的。
72.如果用户对生成的第二外观图像满意,将该第二外观图像存储至服饰搭配数据库中,后续有服饰搭配需求,直接调用,不需要再用神经网络模型进行处理;或者,将该服饰搭配数据库中的图像作为训练数据对第二神经网络模型进行训练,使得第二神经网络模型预测得到的服饰搭配信息结果更加准确。
73.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本技术所必须的。
74.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的图像的处理方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在
一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例所述的方法。
75.实施例2
76.图5是根据本技术实施例的另一种图像的处理方法的流程图,如图5所示,该方法包括以下步骤:
77.步骤s502,当目标对象由第一姿态切换为第二姿态时,获取目标对象处于第一姿态时的第一外观图和第二姿态的姿态信息。
78.需要说明的是,上述第二姿态的姿态信息是指从第二姿态的图像中提取的若干数量的点姿态。
79.步骤s504,基于第一外观图和第二姿态的姿态信息,生成目标对象处于第二姿态时的第二外观图。
80.本步骤即采用两阶段的外观转换学习的第一阶段,在本步骤中,将目标对象的第一外观图和第二姿态的姿态信息输入至神经网络模型,生成目标对象处于第二姿态时的粗略图像。
81.步骤s506,使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在第二姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征
82.步骤s506为采用两阶段的外观转换学习的第二阶段,在本步骤中,利用全局残差网络模型对第一阶段生成的粗略图像进行处理,由粗到精的生成纹理细节更多的目标对象在第二姿态下的外观图。
83.需要说明的是,上述目标对象可以参考背景技术中提到的电商应用场景提到的展示服装的模特。也可以是其他的进行姿态迁移的目标对象。此外,图5所示实施例的优选实施方式可以参见图2所示实施例的相关描述,此处不再赘述。
84.实施例3
85.图6是根据本技术实施例的一种图像的处理方法的流程图,如图6所示,该方法包括以下步骤:
86.步骤s602,生成目标对象的第一外观图,其中,第一外观图为目标对象在目标姿态下的外观图像。
87.步骤s604,使用全局残差网络模型对第一外观图和目标对象的默认外观图进行处理,生成目标对象在目标姿态下的第二外观图,第二外观图的细节特征多于第一外观图的细节特征。
88.步骤s604为采用两阶段的外观转换学习的第二阶段,在本步骤中,利用全局残差网络模型对第一阶段生成的粗略的目标人体外观图进行处理,由粗到精的生成纹理细节更多的目标人体外观。
89.根据本技术的一个可选的实施例,当目标对象从当前姿态变化为目标姿态时,第二外观图为在第一外观图基础上进行精细化处理的外观图,其中,默认外观图为目标对象转换为目标姿态之前的姿态图像。
90.需要说明的是,图6所示实施例的优选实施方式可以参见图2所示实施例的相关描述,此处不再赘述。
91.实施例4
92.根据本技术实施例,还提供了一种用于实施上述图像的处理方法的装置,如图7所示,该装置包括:
93.接收模块70,用于接收目标对象的第一外观图和目标姿态的姿态信息,其中,第一外观图为目标对象在当前姿态下的图像,目标姿态为目标对象从当前姿态进行转换后的姿态;
94.上述目标对象为参考背景技术中提到的电商应用场景下展示服装的模特。
95.第一外观图为模特在当前姿态下的图像(例如当前模特面向左前方45度),目标姿态为模特面向右前方45度的姿态。所谓的姿态迁移就是由前模特面向左前方45度的姿态图像,经过深度神经网络模型处理之后得到该模特面向右前方45度的姿态图像。需要说明的是,45度只是举例说明,也可以是其他角度或者姿态。
96.生成模块72,用于基于第一外观图和目标姿态的姿本步骤即态信息,生成目标对象转换为目标姿态时的第二外观图;
97.生成模块72用于执行采用两阶段的外观转换学习的第一阶段的步骤,在本步骤中,将目标对象的第一外观图和目标姿态的姿态信息输入至神经网络模型,生成粗略的目标人体外观图。
98.处理模块74,用于使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在目标姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征;
99.处理模块74用于执行采用两阶段的外观转换学习的第二阶段的步骤,在本步骤中,首先利用全局残差网络模型对生成模块72得到的粗略图像进行处理,然后将得到的处理结果与目标对象的第一外观图叠加,生成目标对象的最终的目标图像,即目标对象在目标姿态下的图像。
100.此处需要说明的是,上述接收模块70、生成模块72和处理模块74对应于实施例1中的步骤s202至步骤s206,三个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
101.实施例5
102.本技术的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
103.可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
104.在本实施例中,上述计算机终端可以执行应用程序的图像的处理方法中以下步骤的程序代码:接收目标对象的第一外观图和目标姿态的姿态信息,其中,第一外观图为目标对象在当前姿态下的图像,目标姿态为目标对象从当前姿态进行转换后的姿态;基于第一外观图和目标姿态的姿态信息,生成目标对象转换为目标姿态时的第二外观图;使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在目标姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征。
105.可选地,图8是根据本技术实施例的一种计算机终端的结构框图。如图8所示,该计
算机终端80可以包括:一个或多个(图中仅示出一个)处理器802、存储器804、以及射频模块、音频模块和显示屏。
106.其中,存储器可用于存储软件程序以及模块,如本技术实施例中的图像的处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像的处理方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
107.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:接收目标对象的第一外观图和目标姿态的姿态信息,其中,第一外观图为目标对象在当前姿态下的图像,目标姿态为目标对象从当前姿态进行转换后的姿态;基于第一外观图和目标姿态的姿态信息,生成目标对象转换为目标姿态时的第二外观图;使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在目标姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征。
108.可选的,上述处理器还可以执行如下步骤的程序代码:使用第一神经网络模型处理第一外观图和目标姿态的姿态信息,生成第二外观图,其中,使用训练样本集对神经网络模型进行训练。
109.可选的,上述处理器还可以执行如下步骤的程序代码:使用训练样本集来训练拟合网络模型的模型参数,生成第一神经网络模型,其中,第一神经网络模型用于生成待识别的目标图像的第二外观图。
110.可选的,上述处理器还可以执行如下步骤的程序代码:获取多张姿态图像;从多张姿态图像中随机抽取具有相同样本对象的第一样本图片和第二样本图片,其中,第一样本图片为样本对象变换为目标姿态前的图像,第二样本图片为样本对象变换为目标姿态后的图像;从第二样本图片中,提取目标姿态的姿态图像;基于第一样本图片、第二样本图片和提取到的姿态图像,构建一组训练样本。
111.可选的,上述处理器还可以执行如下步骤的程序代码:使用第二样本图片的粗略图像和第一样本图片,并以第二样本图片作为监督图对全局残差网络模型的模型参数进行拟合训练,直至全局残差网络模型收敛。
112.可选的,上述处理器还可以执行如下步骤的程序代码:从所述第二样本图片中提取位于所述目标对象不同位置的多个特征点;按照所述多个特征点在人体中的位置以及所述多个特征点之间的关联关系对所述多个特征点进行连线,得到所述目标姿态的姿态图像。
113.可选的,上述处理器还可以执行如下步骤的程序代码:接收图像采集设备当前采集的目标对象的服饰搭配图像,并将服饰搭配图像作为第一外观图,其中,服饰搭配图像中包括:目标对象以及该目标对象搭配的服饰信息;接收通过图像采集设备的人机交互界面输入的目标姿态的姿态信息。
114.可选的,上述处理器还可以执行如下步骤的程序代码:接收对第三外观图的反馈信息;在反馈信息为第一结果时,识别服饰搭配图像所属的品牌,并从品牌对应的服饰数据
库中选择目标服饰输入至第二神经网络模型,其中,该第二神经网络模型为基于目标对象的历史服饰搭配信息训练得到的;在反馈信息为第二结果时,将第三外观图存储至目标对象对应的服饰搭配数据库中。
115.根据本技术的一个可选的实施例,上述处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:当目标对象由第一姿态切换为第二姿态时,获取目标对象处于第一姿态时的第一外观图和第二姿态的姿态信息;基于第一外观图和第二姿态的姿态信息,生成目标对象处于第二姿态时的第二外观图;使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在第二姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征。
116.根据本技术的一个可选的实施例,上述处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:生成目标对象的第一外观图,其中,第一外观图为目标对象在目标姿态下的外观图像;使用全局残差网络模型对第一外观图和目标对象的默认外观图进行处理,生成目标对象在目标姿态下的第二外观图,第二外观图的细节特征多于第一外观图的细节特征。
117.可选的,上述处理器还可以执行如下步骤的程序代码:当目标对象从当前姿态变化为目标姿态时,第二外观图为在第一外观图基础上进行精细化处理的外观图,其中,默认外观图为目标对象转换为目标姿态之前的姿态图像。
118.根据本技术的一个可选的实施例,上述处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取目标对象对应的第一多媒体数据和转换描述数据,其中,所述转换描述数据用于对所述第一多媒体数据进行转换;基于第一多媒体数据和转换描述数据,生成目标对象对应的第一图像;和基于第一多媒体数据和第一图像,生成目标对象对应的第二图像,第二图像的细节特征多于第一图像的细节特征;其中,第一多媒体数据包括目标对象的第一姿态,第一图像和第二图像包括目标对象的第二姿态。
119.根据本技术的一个可选的实施例,上述处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取目标对象的第一图像和目标旋转角度;按照目标旋转角度对第一图像进行旋转,生成第二图像;基于第一图像和第二图像,生成目标对象对应的目标图像,目标图像的细节特征多于第一图像的细节特征,其中,第二图像和目标图像均包括目标对象旋转目标旋转角度后的姿态信息。
120.根据本技术的一个可选的实施例,上述处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取目标对象对应的第一多媒体数据,以及用于对第一多媒体数据中目标部位进行转换的转换描述数据,其中,目标部位为目标对象的任意一个部位;基于第一多媒体数据和转换描述数据,生成目标对象对应的第一图像,其中,第一图像中包括对目标部位按照转换描述数据进行转换后的图像;基于第一多媒体数据和第一图像,生成目标对象对应的第二图像,第二图像中包括对目标部位按照转换描述数据进行转换后的图像,第二图像中目标部位的细节特征多于第一图像中目标部位的细节特征。
121.可选的,上述处理器还可以执行如下步骤的程序代码:接收来自目标对象输入的转换指令,其中,该转换指令中携带有转换描述数据;接收目标对象的语音信息,并从语音信息中识别出转换描述数据。
122.根据本技术的一个可选的实施例,上述处理器还可以通过传输装置调用存储器存
储的信息及应用程序,以执行下述步骤:获取在相邻采样时刻采集的第一目标对象的多个图像;确定多个图像中第一目标对象的姿态变化信息;获取第二目标对象的第一图像;依据姿态变化信息对第一图像进行转换,生成第二图像;基于第一图像和第二图像,生成第二目标对象对应的目标图像,目标图像的细节特征多于第一图像的细节特征。
123.采用本技术实施例,提供了一种图像处理的方案。通过采用两阶段的外观转换学习,第一个阶段生成粗略的目标人体外观图,第二阶段依据第一阶段的粗略外观,由粗到精的生成纹理细节更多的目标人体外观,从而实现了缓解当前单一阶段外观转换模型中生成细节信息缺失,纹理效果单一的问题,以及提升了模特身上的衣着的展示效果的技术效果,进而解决了由于目前将模特在当前姿势上的图像迁移至其他的目标姿势的模型采用单阶段网络造成的在姿态迁移的过程中存在信息缺失,纹理效果单一的技术问题。
124.本领域普通技术人员可以理解,图8所示的结构仅为示意,计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图8其并不对上述电子装置的结构造成限定。例如,计算机终端80还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图8所示不同的配置。
125.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read-only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
126.本技术的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例1所提供的图像的处理方法所执行的程序代码。
127.可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
128.可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收目标对象的第一外观图和目标姿态的姿态信息,其中,第一外观图为目标对象在当前姿态下的图像,目标姿态为目标对象从当前姿态进行转换后的姿态;基于第一外观图和目标姿态的姿态信息,生成目标对象转换为目标姿态时的第二外观图;使用全局残差网络模型对第二外观图和第一外观图进行处理,生成目标对象在目标姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征。
129.可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:使用第一神经网络模型处理第一外观图和目标姿态的姿态信息,生成第二外观图,其中,使用训练样本集对神经网络模型进行训练。
130.可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:使用训练样本集来训练拟合网络模型的模型参数,生成第一神经网络模型,其中,第一神经网络模型用于生成待识别的目标图像的第二外观图。
131.可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取多张姿态图像;从多张姿态图像中随机抽取具有相同样本对象的第一样本图片和第二样本图片,其中,第一样本图片为样本对象变换为目标姿态前的图像,第二样本图片为样本对象变换为目标姿态后的图像;从第二样本图片中,提取目标姿态的姿态图像;基于第一样本图
片、第二样本图片和提取到的姿态图像,构建一组训练样本。
132.可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:使用第二样本图片的粗略图像和第一样本图片,并以第二样本图片作为监督图对全局残差网络模型的模型参数进行拟合训练,直至全局残差网络模型收敛。
133.可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:从所述第二样本图片中提取位于所述目标对象不同位置的多个特征点;按照所述多个特征点在人体中的位置以及所述多个特征点之间的关联关系对所述多个特征点进行连线,得到所述目标姿态的姿态图像。
134.可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:接收图像采集设备当前采集的目标对象的服饰搭配图像,并将服饰搭配图像作为第一外观图,其中,服饰搭配图像中包括:目标对象以及该目标对象搭配的服饰信息;接收通过图像采集设备的人机交互界面输入的目标姿态的姿态信息。
135.可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:接收对第三外观图的反馈信息;在反馈信息为第一结果时,识别服饰搭配图像所属的品牌,并从品牌对应的服饰数据库中选择目标服饰输入至第二神经网络模型,其中,该第二神经网络模型为基于目标对象的历史服饰搭配信息训练得到的;在反馈信息为第二结果时,将第三外观图存储至目标对象对应的服饰搭配数据库中。
136.根据本技术的一个可选的实施例,上述存储介质还被设置为存储用于执行以下步骤的程序代码:当目标对象由第一姿态切换为第二姿态时,获取目标对象处于第一姿态时的第一外观图和第二姿态的姿态信息;基于第一外观图和第二姿态的姿态信息,生成目标对象处于第二姿态时的第二外观图;使用全局残差网络模型对粗略图像第二外观图和第一外观图进行处理,生成目标对象在第二姿态下的第三外观图,第三外观图的细节特征多于第二外观图的细节特征。
137.根据本技术的一个可选的实施例,上述存储介质还被设置为存储用于执行以下步骤的程序代码:生成目标对象的第一外观图,其中,第一外观图为目标对象在目标姿态下的外观图像;使用全局残差网络模型对第一外观图和目标对象的默认外观图进行处理,生成目标对象在目标姿态下的第二外观图,第二外观图的细节特征多于第一外观图的细节特征。
138.可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:当目标对象从当前姿态变化为目标姿态时,第二外观图为在第一外观图基础上进行精细化处理的外观图,其中,默认外观图为目标对象转换为目标姿态之前的姿态图像。
139.根据本技术的一个可选的实施例,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取目标对象对应的第一多媒体数据和转换描述数据,其中,所述转换描述数据用于对所述第一多媒体数据进行转换;基于第一多媒体数据和转换描述数据,生成目标对象对应的第一图像;和基于第一多媒体数据和第一图像,生成目标对象对应的第二图像,第二图像的细节特征多于第一图像的细节特征;其中,第一多媒体数据包括目标对象的第一姿态,第一图像和第二图像包括目标对象的第二姿态。
140.根据本技术的一个可选的实施例,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取目标对象的第一图像和目标旋转角度;按照目标旋转角度对第一图像
进行旋转,生成第二图像;基于第一图像和第二图像,生成目标对象对应的目标图像,目标图像的细节特征多于第一图像的细节特征,其中,第二图像和目标图像均包括目标对象旋转目标旋转角度后的姿态信息。
141.根据本技术的一个可选的实施例,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取目标对象对应的第一多媒体数据,以及用于对第一多媒体数据中目标部位进行转换的转换描述数据,其中,目标部位为目标对象的任意一个部位;基于第一多媒体数据和转换描述数据,生成目标对象对应的第一图像,其中,第一图像中包括对目标部位按照转换描述数据进行转换后的图像;基于第一多媒体数据和第一图像,生成目标对象对应的第二图像,第二图像中包括对目标部位按照转换描述数据进行转换后的图像,第二图像中目标部位的细节特征多于第一图像中目标部位的细节特征。
142.可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:接收来自目标对象输入的转换指令,其中,该转换指令中携带有转换描述数据;接收目标对象的语音信息,并从语音信息中识别出转换描述数据。
143.根据本技术的一个可选的实施例,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取在相邻采样时刻采集的第一目标对象的多个图像;确定多个图像中第一目标对象的姿态变化信息;获取第二目标对象的第一图像;依据姿态变化信息对第一图像进行转换,生成第二图像;基于第一图像和第二图像,生成第二目标对象对应的目标图像,目标图像的细节特征多于第一图像的细节特征。
144.实施例6
145.图9是根据本技术实施例的一种数据处理方法的流程图,如图9所示,该方法包括以下步骤:
146.步骤s902,获取目标对象对应的第一多媒体数据和转换描述数据,其中,转换描述数据用于对第一多媒体数据进行转换。
147.根据本技术的一个可选的实施例,步骤s902中的目标对象为电商应用场景下,用于展示服装的模特,第一多媒体数据可以为该用于展示服装在当前姿态下的图像(例如当前模特面向左前方45度),相当于图4中的第一样本图片(image1),转换描述数据相当于图4中从第二样本图片(image2)中提取的估计响应图(pose2,目标姿态的姿态图像)。
148.根据本技术的一个可选的实施例,步骤s902中的第一多媒体数据包括:图片或视频数据。上述第一多媒体信息还可以是视频数据,例如,在电商应用场景下,模特展示的服装的视频数据。
149.步骤s904,基于第一多媒体数据和转换描述数据,生成目标对象对应的第一图像。
150.根据本技术的一个可选的实施例,在执行步骤s904时将第一多媒体数据和描述转换数据输入至神经网络模型,生成目标对象对应的第一图像。第一图像为粗略的目标人体外观图,相当于图4中的image2'。
151.步骤s906,基于第一多媒体数据和第一图像,生成目标对象对应的第二图像,第二图像的细节特征多于第一图像的细节特征;其中,第一多媒体数据包括目标对象的第一姿态,第一图像和第二图像均包括目标对象的第二姿态。
152.在本技术的一个可选的实施例中,在执行步骤s906时将第一多媒体数据和第一图像输入至全局残差网络模型,生成最终精细的目标人体外观图(相当于图4中的image2”)。
需要说明的是,第一多媒体数据和第一图像、第二图像中包括的目标对象的姿态不同,但是第一图像和第二图像中包括的目标对象的姿态相同,而第一图像和第二图像中包括的目标对象的精细度不同,第二图像的细节特征多于第一图像的细节特征。
153.需要说明的是,图9所示实施例的优选实施方式可以参见图2所示实施例的相关描述,此处不再赘述。
154.实施例7
155.图10是根据本技术实施例的另一种图像处理方法的流程图,如图10所示,该方法包括以下步骤:
156.步骤s1002,获取目标对象的第一图像和目标旋转角度。
157.步骤s1004,按照目标旋转角度对第一图像进行旋转,生成第二图像。
158.步骤s1006,基于第一图像和第二图像,生成目标对象对应的目标图像,目标图像的细节特征多于第一图像的细节特征,其中,第二图像和目标图像均包括目标对象旋转目标旋转角度后的姿态信息。
159.步骤s1002至步骤s1006提供了另一种图像的处理方法,集合实施例1中提到的电商应用场景,目标对象的第一图像为模特在当前姿态下的图像(例如当前模特面向左前方45度),目标旋转角度为使第一图像旋转的角度(例如如果使模特面向右前方45度,那么该目标旋转角度向右旋转90度)。
160.在执行步骤s1004时,将目标旋转角度和第一图像输入至神经网络模型,生成第二图像,需要说明的是,第二图像为模特面向右前方45度的图像,但是第二图像是粗略人体外观图。
161.在执行步骤s1006时,利用全局残差网络模型对步骤s1004生成的粗略的目标人体外观图和目标对象的第一图像进行处理,由粗到精的生成纹理细节更多的目标人体外观。
162.需要说明的是,图10所示实施例和图2所示实施例的区别在于,将步骤s202中的目标姿态的姿态信息替换为步骤s1002中的目标旋转角度。图10所示实施例的优选实施方式可以参见图2所示实施例的相关描述,此处不再赘述。
163.实施例8
164.图11是根据本技术实施例的另一种图像处理方法的流程图,如图11所示,该方法包括以下步骤:
165.步骤s1102,获取目标对象对应的第一多媒体数据,以及用于对第一多媒体数据中目标部位进行转换的转换描述数据,其中,目标部位为目标对象的任意一个部位。
166.根据本技术的一个可选的实施例,转换描述数据通过以下方式获取:接收来自所述目标对象输入的转换指令,其中,该转换指令中携带有所述转换描述数据;接收所述目标对象的语音信息,并从所述语音信息中识别出所述转换描述数据。
167.步骤s1102中的第一多媒体数据可以是图片,也可以是视频数据。转换描述数据可以参考步骤s902中的转换描述数据,相当于图4中从第二样本图片(image2)中提取的估计响应图(pose2,目标姿态的姿态图像)。目标部位为展示服装的模特的任意一个肢体部位,例如手、脚、脸等部位。
168.例如第一多媒体数据为用于展示服装的模特在当前姿态下的图像(例如当前模特面向左前方45度),转换描述数据用于将第一多媒体数据中的模特的脸部数据转换为面向
右前方45度。
169.优选地,上述转换描述数据可以是用户通过人机交互界面输入,然后通过自然语言处理技术从用户输入的转换描述数据中提取有效的特征数据。也可以是通过语音识别技术从用户发出的语音控制指令中获取的。
170.步骤s1104,基于第一多媒体数据和转换描述数据,生成目标对象对应的第一图像,其中,第一图像中包括对目标部位按照转换描述数据进行转换后的图像。
171.在执行步骤s1104时将第一多媒体数据和转换描述数据输入至神经网络模型,生成目标对象对应的第一图像,需要说明的是,该第一图像为模特的粗略人体外观图。
172.步骤s1106,基于第一多媒体数据和第一图像,生成目标对象对应的第二图像,第二图像中包括对目标部位按照转换描述数据进行转换后的图像,第二图像中目标部位的细节特征多于第一图像中目标部位的细节特征。
173.在执行步骤s1106时,利用全局残差网络模型对第一阶段生成的粗略的目标人体外观图和目标对象的第一多媒体数据进行处理,由粗到精的生成纹理细节更多的目标人体外观。
174.步骤s1102至步骤s1106提供的图像处理方法可应用于模特局部特征切割,例如由模特的脸部图像a生成模特的脸部图像b,或者由模特的手部图像a生成模特的手部图像b。
175.需要说明的是,图11所示实施例的优选实施方式可以参见图2所示实施例的相关描述,此处不再赘述。
176.实施例9
177.图12是根据本技术实施例的另一种图像处理方法的流程图,如图12所示,该方法包括以下步骤:
178.步骤s1202,获取在相邻采样时刻采集的第一目标对象的多个图像。
179.步骤s1204,确定多个图像中第一目标对象的姿态变化信息。
180.步骤s1206,获取第二目标对象的第一图像。
181.步骤s1208,依据姿态变化信息对第一图像进行转换,生成第二图像。
182.步骤s1210,基于第一图像和第二图像,生成第二目标对象对应的目标图像,目标图像的细节特征多于第一图像的细节特征。
183.步骤s1202至步骤s1210提供的图像处理方法可应用于视频编辑场景,例如将第一目标对象的动作提取出来,赋能给第二目标对象,可应用于健身课程的视频剪辑等。
184.具体地,在执行步骤s1202时,获取相邻采样时刻采集的第一目标对象的多个图像,以保证采集的第一目标对象的多个动作是一系列连贯的动作。
185.在执行步骤s1202时,从获取的多个图像中确定第一目标对象的姿态变化信息。然后执行步骤s1206,获取第二目标对象的第一图像。
186.根据本技术的一个可选的实施例,在执行步骤s1208时,将第一目标对象的姿态变化信息和第二目标对象的第一图像输入至神经网络模型,生成第二目标对象的第二图像。需要说明的是,第二图像为第二目标对象的粗略人体外观图。
187.在执行步骤s1210时,利用全局残差网络模型对步骤s1208生成的粗略人体外观图和目标对象的第一图像进行处理,由粗到精的生成第二目标对象的纹理细节更多的目标人体外观。
188.需要说明的是,图12所示实施例的优选实施方式可以参见图2所示实施例的相关描述,此处不再赘述。
189.上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
190.在本技术的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
191.在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
192.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
193.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
194.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
195.以上所述仅是本技术的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献