基于风格迁移的时装风格图像迁移方法

1.本发明涉及机器视觉技术领域，具体为基于风格迁移的时装风格图像迁移方法。


背景技术：

2.时装，指款式新颖而富有时代感的服装。时间性强，每隔一定时期流行一种款式。采用新的面料、辅料和工艺，对织物的结构、质地、色彩、花型等要求也较高。讲究装饰、配套。在款式、造型、色彩、纹样、缀饰等方面不断变化创新、标新立异，在人们日益增长的物质需求以及现代的各种风格时装的更迭下，人们对于时装的要求日益增多，而我们更需要对于不同的时装风格拓展到不同的衣服上，然后根据生成的照片来决定到底如何设计下一季度的服装或是否要继续沿用这一风格，有效得降低了设计师在设计过程中花费的脑力劳动以及体力劳动，极大提升了生产效率。
3.目前基于风格迁移的时装风格图像迁移方法较为复杂，其设备性能容易出现运算较慢和发热的现象，而且其使用者无法根据自身需求选择网络层数。


技术实现要素：

4.本发明的目的在于提供基于风格迁移的时装风格图像迁移方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：基于风格迁移的时装风格图像迁移方法，包括以下步骤：
6.s1、使用者将a内容图像和b风格图像分别上传到软件，并选择要用vgg16神经网络的特征值的层数(选择较低的层数对于图像内容的提取效果较好，对于设计师的风格特征的提取效果较差，选择较高的层数对于设计师的风格特征的提取效果较好，对于图像内容的提取效果较差)。
7.s2、随机初始化一张白噪声图像，设图像为(250x250x3)。
8.s3、将a内容图像使用以canny边缘检测算法为基础的边缘检测技术，将内容图像划分为主要部分和不主要部分，将不主要部分置为全，将其得到的图像保存为a图像。
9.s4、分别将初始图象，a图像，b图像都分别喂入vgg16网络中特征矩阵，vgg16网络由卷积层()，relu层，最大值池化层()以及全连接层()组成，在vgg16网络中的卷积层和最大值池化层数来提取设计师的时装风格，将时装风格在全连接层种输出后，将其送入风格迁移网络中。
10.s5、检测中在检测后进行选择适合的层数，因为vgg16有16层神经网络，选择中间偏前的层数的矩阵更能提取a内容图像的内容信息，而选择偏后的层数的矩阵更能提取b内容图像的风格信息。
[0011][0012]
其中α和β是可以进行调参的参数，如果提升α或者降低β，则是提升内容图像的权重，如果提升β或者α，就是提升风格图像的内容。
[0013]
s6、计算内容损失函数：内容损失函数代表着生成图像和内容图像之间的内容相似度，具体来说就是计算在步骤4种选中的层数的卷积层的内容图像所得特征值和生成图像所得特征值的差值，a[l]表示卷积神经网络中的层数，a[l][c]表示内容图像在vgg16网络中的l层的特征值，a[l][g]表示生成图像在vgg16网络中l层的特征值。
[0014]
s7、计算风格损失函数：设计师的风格可以有很多，但是风格并不只是等同于某一种艺术特色，风格其实是代表着设计师表现出的设计师的思想，审美和情感，有着无限的丰富性，本质是表现了设计师在不同的生活经历、艺术素养，情感倾向、审美的不同，因而我们需要使用格拉姆矩阵设计师的风格进行表示，将vgg16网络中得到的l层风格图像的特征值变成n个向量，然后将这n个向量都进行向量的乘法运算得到一个nxn的矩阵，这样的矩阵就叫做格拉姆矩阵，这种矩阵代表了不同的特征之间的相关联的关系，然后将风格图像和生成图像的格拉姆矩阵求差值，这两个矩阵的差值就表示了这两个图像之间的风格差异。
[0015]
风格图的格拉姆矩阵表达式为：其中表示风格图在卷积神经网络第l层第(i，j，k)位置的输出，其中(i，j，k)对应高(height)、宽(width)、通道，同理内容图的格拉姆矩阵表达式为：
[0016]
所以第1层的风格损失函数为：其中是一个归一化常数，在实际训练时的风格损失函数是需要汇总不同层风格损失函数值，这里只给出了第l层的风格损失函数值函数表达式。
[0017]
s8、求得差值后对于生成图像进行关于图像的梯度下降操作，直到达到局部最优解或者全局最优解即可输出图像，获得最终图像。
[0018]
优选的，所述基于vgg16的神经网络学习，需要至少一台计算机或者一台手机，计算机或者一台手机上的设备要求有存储器，处理器。
[0019]
优选的，所述处理器可执行所示基于风格迁移的时装风格图像迁移方法。
[0020]
优选的，所述vgg16网络的层数可根据使用者自身需求选择。
[0021]
与现有技术相比，本发明提供了基于风格迁移的时装风格图像迁移方法。
[0022]
具备以下有益效果：
[0023]
1、该基于风格迁移的时装风格图像迁移方法，运用了vgg16这种成熟的规模较小的网络，能够避免设备性能不足导致的运算速度较慢和发热。
[0024]
2、该基于风格迁移的时装风格图像迁移方法，可以自动选择内容图像中的重要部分，将不重要部分的影响降低。
[0025]
3、该基于风格迁移的时装风格图像迁移方法，使用者可以根据自身的需求选择vgg16网络的层数，从而灵活选择风格特征提取较多还是图像内容提取较多，对于商业活动更加泛用。
附图说明
[0026]
图1为本发明算法流程示意图。
具体实施方式
[0027]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0029]
请参阅图1，本发明提供一种技术方案：基于风格迁移的时装风格图像迁移方法，包括以下步骤：
[0030]
s1、使用者将a内容图像和b风格图像分别上传到软件，并选择要用vgg16神经网络的特征值的层数(选择较低的层数对于图像内容的提取效果较好，对于设计师的风格特征的提取效果较差，选择较高的层数对于设计师的风格特征的提取效果较好，对于图像内容的提取效果较差)。
[0031]
s2、随机初始化一张白噪声图像，设图像为(250x250x3)。
[0032]
s3、将a内容图像使用以canny边缘检测算法为基础的边缘检测技术，将内容图像划分为主要部分和不主要部分，将不主要部分置为全，将其得到的图像保存为a图像。
[0033]
s4、分别将初始图象，a图像，b图像都分别喂入vgg16网络中特征矩阵，vgg16网络由卷积层()，relu层，最大值池化层()以及全连接层()组成，在vgg16网络中的卷积层和最大值池化层数来提取设计师的时装风格，将时装风格在全连接层种输出后，将其送入风格迁移网络中。
[0034]
s5、检测中在检测后进行选择适合的层数，因为vgg16有16层神经网络，选择中间偏前的层数的矩阵更能提取a内容图像的内容信息，而选择偏后的层数的矩阵更能提取b内容图像的风格信息。
[0035][0036]
其中α和β是可以进行调参的参数，如果提升α或者降低β，则是提升内容图像的权重，如果提升β或者α，就是提升风格图像的内容。
[0037]
s6、计算内容损失函数：内容损失函数代表着生成图像和内容图像之间的内容相似度，具体来说就是计算在步骤4种选中的层数的卷积层的内容图像所得特征值和生成图像所得特征值的差值，a[l]表示卷积神经网络中的层数，a[l][c]表示内容图像在vgg16网络中的l层的特征值，a[l][g]表示生成图像在vgg16网络中l层的特征值。
[0038]
s7、计算风格损失函数：设计师的风格可以有很多，但是风格并不只是等同于某一
种艺术特色，风格其实是代表着设计师表现出的设计师的思想，审美和情感，有着无限的丰富性，本质是表现了设计师在不同的生活经历、艺术素养，情感倾向、审美的不同，因而我们需要使用格拉姆矩阵设计师的风格进行表示，将vgg16网络中得到的l层风格图像的特征值变成n个向量，然后将这n个向量都进行向量的乘法运算得到一个nxn的矩阵，这样的矩阵就叫做格拉姆矩阵，这种矩阵代表了不同的特征之间的相关联的关系，然后将风格图像和生成图像的格拉姆矩阵求差值，这两个矩阵的差值就表示了这两个图像之间的风格差异。
[0039]
风格图的格拉姆矩阵表达式为：其中表示风格图在卷积神经网络第l层第(i，j，k)位置的输出，其中(i，j，k)对应高(height)、宽(width)、通道，同理内容图的格拉姆矩阵表达式为：
[0040]
所以第1层的风格损失函数为：其中是一个归一化常数，在实际训练时的风格损失函数是需要汇总不同层风格损失函数值，这里只给出了第l层的风格损失函数值函数表达式。
[0041]
s8、求得差值后对于生成图像进行关于图像的梯度下降操作，直到达到局部最优解或者全局最优解即可输出图像，获得最终图像。
[0042]
基于vgg16的神经网络学习，需要至少一台计算机或者一台手机，计算机或者一台手机上的设备要求有存储器，处理器，处理器可执行所示基于风格迁移的时装风格图像迁移方法，vgg16网络的层数可根据使用者自身需求选择。
[0043]
运用了vgg16这种成熟的规模较小的网络，能够避免设备性能不足导致的运算速度较慢和发热，可以自动选择内容图像中的重要部分，将不重要部分的影响降低，使用者可以根据自身的需求选择vgg16网络的层数，从而灵活选择风格特征提取较多还是图像内容提取较多，对于商业活动更加泛用。
[0044]
在实际操作过程中，其算法步骤如下；
[0045]
用户提交a、b图像，并且选择vgg16网络的层数——》对a图像进行边缘检测，得到新的a图像——》对图像a和b进行卷积——》将卷积好的两个图像的特征矩阵进行计算，对生成图像进行梯度下降——》输出运算结果。
[0046]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0047]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。