一种基于深度学习的传统香包纹样生成方法、系统

1.本发明涉及一种基于深度学习的传统香包纹样生成方法、系统，属于人工智能领域。


背景技术：

2.随着国民文化素养和社会经济水平的不断提高，国民越来越注重中华传统文化的传承，“中国风”开始了新一轮的时尚“革命”。含有中国风元素的场景应用也越来越广泛。香包文化具有悠久的历史传统，香包上的纹样图案寄托着人们祈求祥瑞、丰收年年的美好愿望。日常生活文化的丰富导致越来越多的人开始喜爱中国传统香包的制作，因此香包纹样图案的生成则具有巨大的商业价值和娱乐价值。传统人工设计纹样图案不仅耗时长、新颖度不够而且成本高，无法满足现代化的需求，所以创新性生成香包纹样的思想营运而生。因为有必要研究关于传统香包纹样生成方法。


技术实现要素：

3.本发明提供了一种基于深度学习的传统香包纹样生成方法，以用于生成香包纹样；并进一步地适用于现有香包纹样样本不足的情况。
4.本发明的技术方案是：一种基于深度学习的传统香包纹样生成方法，包括：
5.s1、获取纹样图案样本集；
6.s2、对纹样图案样本集进行预处理，获得轮廓检测后的图像集；
7.s3、依据轮廓检测后的图像集对纹样图案样本集进行分类；然后对各个类别的纹样图案样本图像利用仿射变换进行图像扩增且扩增后每个类别图像数量一致；对于扩增后的每个类别的图像大小进行统一，获得纹样图案训练样本集；
8.s4、将纹样图案训练样本集输入深度学习网络进行训练，获得纹样图案训练模型。
9.所述预处理包括：对纹样图案样本集中的每张纹样图案样本图像依次进行灰度转换处理、平滑处理、计算像素梯度、设置高低阈值处理，获得轮廓检测后的图像集。
10.所述灰度转换处理为：通过对纹样图案样本图像的r、g、b三个通道进行加权处理实现灰度转化，获得灰度纹样图案样本图像。
11.所述平滑处理为：对灰度纹样图案样本图像通过设定步长移动a*a大小的核，对每个核进行像素加权处理并将加权后的像素大小作为当前核的中心位置像素大小，所得加权后中心位置的像素用于下一个核的像素加权处理。
12.所述加权处理采用的权重公式为其中，x和y分别代表图像在x方向和y 方向像素点的坐标。
13.所述设置高低阈值处理，具体为：对于像素梯度计算后的图像中每个像素值进行高低阈值处理，如果像素值小于th1或者大于th2，则赋值为0；否则，不做处理；其中，th1表示低阈值，th2表示高阈值，且th1＝0.4th2。
14.所述仿射变换，采用以下至少之一的方式处理：水平镜像、旋转、色彩饱和度变化。
15.所述色彩饱和度变化采用线性变换函数；其中，线性变换函数中的线性比例因子取0.3， 1.2，1.6。
16.所述深度学习网络包括生成神经网络和判别神经网络；生成神经网络包括四层卷积层，每层卷积核大小为4*4，步长为2，卷积核采样时对于图像边缘像素进行填充“0”，每层卷积层的激活函数采用relu函数，输入通道数为100，输出通道数为3；所述判别神经网络包括四层卷积层，每层卷积核大小为4*4，步长为2，卷积核采样时对于图像边缘像素进行填充“0”，每层卷积层的激活函数采用leakyrelu函数，输入通道数为3，输出通道数为1。
17.根据本发明实施例的另一方面，提供了一种基于深度学习的传统香包纹样生成系统，包括：
18.获取模块，用于获取纹样图案样本集；
19.第一获得模块，用于对纹样图案样本集进行预处理，获得轮廓检测后的图像集；
20.第二获得模块，用于依据轮廓检测后的图像集对纹样图案样本集进行分类；然后对各个类别的纹样图案样本图像利用仿射变换进行图像扩增且扩增后每个类别图像数量一致；对于扩增后的每个类别的图像大小进行统一，获得纹样图案训练样本集；
21.第三获得模块，用于将纹样图案训练样本集输入深度学习网络进行训练，获得纹样图案训练模型。
22.本发明的有益效果是：
23.本发明首先基于拍摄的真实的纹样图案构成纹样图案样本；采用灰度转换处理、平滑处理、计算像素梯度、设置高低阈值处理的共同配合下完成了纹样图案的轮廓检测，并实现了纹样图案样本集的分类；通过水平镜像、旋转、色彩饱和度变化等方式实现了图像扩增，一定程度上弥补了现有纹样图案样本集数量缺少的不足。
24.鉴于传统纹样图案具有很多细腻的特征，使得香包纹样的清晰程度主要受获取的细节特征影响，而本发明采用尽大可能保留图像的原始特征的样本集输入至深度学习网络，且生成神经网络中的卷积层能实现图像特征降维，使得模型能迅速充分学习输入图像的细节特征并仿造出类似的图案特征，并且生成神经网络的卷积层能直接将随机噪声与卷积层的特征输入相连接，这一方式不仅保证了模型的学习效果也保证了模型训练的稳定性；显然本发明的方式能更好地适用于香包纹样的生成，从而极大地缓解目前纹样图案设计新颖度不够，产量小的问题。
附图说明
25.图1为本发明方法的流程图；
26.图2为实际拍摄的凤凰纹样图案的灰度展示；
27.图3为实际拍摄的凤凰纹样图案彩图进行预处理后获得的轮廓检测后的图像；
28.图4为仿射变换效果图一；
29.图5为仿射变换效果图二；
30.图6为模型概率分布变化图；
31.图7为网络层参数图；
32.图8生成图像迭代10000次效果图；
33.图9生成图像迭代20000次效果图；
34.图10生成图像迭代35000次效果图。
具体实施方式
35.下面结合附图和实施例，对发明做进一步的说明，但本发明的内容并不限于所述范围。
36.实施例1：如图1-7所示，一种基于深度学习的传统香包纹样生成方法，包括：
37.s1、获取纹样图案样本集；
38.具体而言，通过拍摄非物质文化传承者所拥有的实物样品和香包博物馆展览的实物形成最初的纹样图案样本集；通过获取2000张纹样图案样本图像构建纹样图案样本集，如图2所示，为实际拍摄的一张凤凰纹样图案样本图像的灰度展示，实际参与灰度转换处理时采用的是彩图，图2、4、5、8、9、10实际均为彩图，本技术进行了灰度展示。
39.s2、对纹样图案样本集进行预处理，获得轮廓检测后的图像集；
40.s3、依据轮廓检测后的图像集对纹样图案样本集进行分类；然后对各个类别的纹样图案样本图像利用仿射变换进行图像扩增且扩增后每个类别图像数量一致；对于扩增后的每个类别的图像大小进行统一，获得纹样图案训练样本集；
41.s4、将纹样图案训练样本集输入深度学习网络进行训练，获得纹样图案训练模型。
42.进一步地，可以设置所述预处理包括：对纹样图案样本集中的每张纹样图案样本图像依次进行灰度转换处理、平滑处理、计算像素梯度、设置高低阈值处理，获得轮廓检测后的图像集。如图3所示，为图2经过预处理后的轮廓检测后的图像。
43.进一步地，可以设置所述灰度转换处理为：通过对纹样图案样本图像的r、g、b三个通道进行加权处理实现灰度转化，获得灰度纹样图案样本图像；公式为 0.299*r 0.587*g 0.114*b，此系数设定考虑人眼的生理特点，符合人眼对于灰度图像的感知；
44.进一步地，可以设置所述平滑处理为：对灰度纹样图案样本图像通过设定步长移动a*a 大小的核，对每个核进行像素加权处理并将加权后的像素大小作为当前核的中心位置像素大小，所得加权后中心位置的像素并用于下一个核的像素加权处理。
45.进一步地，可以设置所述加权处理采用的权重公式为其中，x和y分别代表图像在x方向和y方向像素点的坐标。
46.具体而言，可以设置以步长1移动3*3的大小的核。通过灰度转换处理后再进行平滑处理可以降低计算量，而通过设定步长1移动3*3大小的核，对每个核进行像素加权处理，从而达到滤除高频噪声并提高轮廓检测的准确率的效果，而利用当前核中心位置更新后的值参与下一个核中心位置的计算，在一定程度上使得计算更加便利，同时可以进一步提升滤除高频噪声的效果。如下为3*3大小的核所用的权重。
[0047][0048]
进一步地，可以设置所述计算像素梯度，其理论推导为确定每个像素的一阶导数
的极大值的二阶导数过零点，由此获得轮廓的精确位置；而图像像素为离散的值，不存在连续性所以不具有导数，因此使用一阶有限差分来近似，对图像在x和y方向的偏导数其近似的梯度算子为：
[0049][0050]
其中，s
x
和sy分别为像素s在x方向和y方向的梯度算子，k为一个邻域点标记矩阵，[i,j]为待计算的像素点。此算子可以尽可能多的标识出图像中的实际轮廓，能提高后续的纹样图像分类的效率和准确性。
[0051]
进一步地，可以设置所述设置高低阈值处理，具体为：对于像素梯度计算后的图像中每个像素值进行高低阈值处理，如果像素值小于th1或者大于th2，则赋值为0；否则，不做处理；其中，th1表示低阈值，th2表示高阈值，且th1＝0.4th2。基于香包纹样图案多以人物及动物或者几何图案来表现，且图案轮廓总是具有尖锐或者很明显的线条特征，而本技术中对进行像素梯度处理的图像再进行高低阈值处理，可以排除非轮廓点，显然本技术的方式可以使得分类结果更准确。
[0052]
关于s3，具体而言，依据轮廓检测后的图像集对纹样图案样本集进行分类，包括龙纹、鸟纹、鱼纹、凤纹、饰品纹五类，该五大类基本涵盖了现有传统香包的纹样；然后对分类后的各个类别利用仿射变换进行图像扩增且扩增后每个类别图像数量一致(如：对2000张纹样图案样本图像进行分类后，对每个类进行扩增，扩增为每个类1200张，共计6000张)，使得每个类别在后续的模型训练中都能被充分学习；对扩增后的每个类别的图像大小进行统一将其处理为128*128；基于本步骤的处理，可便于后续模型对图像进行充分学习以实现特征提取，并使得模型训练的训练周期相较其他规格而言更短；统一规格后按“类别_序号”进行命名，将6000张图像进行随机划分，最终分为5个train-batch和1个test-batch，train-batch表示纹样图案训练样本集用于模型训练，test-batch表示纹样图案验证样本集用于模型验证。
[0053]
进一步地，可以设置所述仿射变换，采用以下至少之一的方式处理：水平镜像、旋转、色彩饱和度变化。如图4所示，从左往右依次为原图、水平镜像、旋转60度的结果；图5所示从左往右依次为alpha取0.3，1.2，1.6的结果。
[0054]
进一步地，可以设置所述色彩饱和度变化采用线性变换函数；其中，线性变换函数中的线性比例因子alpha取0.3，1.2，1.6。
[0055]
具体而言：可以采用cv模块中的镜像函数flip，实现水平镜像；采用函数rotation实现图像绕中心轴旋转angel角度，其取值为[0
°
,60
°
]；采用线性变换函数uint8实现图像的色彩饱和度的变化，其中，线性函数中的线性比例因子alpha，可以取为0.3，1.2，1.6。
[0056]
本技术采用的仿射变换具有平移不变性，能尽大可能保留图像的原始特征；同时变换过程中从多个角度对每个类别的轮廓检测后的图像进行扩增，从而丰富了数据集中图像。
[0057]
关于s4，具体而言，将纹样图案训练样本集和随机噪声向量输入生成神经网络，产生输出图像；将生成神经网络的输出图像送入判别神经网络，得到输出概率；生成神经网络通过输出的概率调整网络权重参数，由此反复迭代从而获得纹样图案训练模型。所述纹样
图案训练模型即通过迭代训练从而更新模型网络权重参数以此实现对于输入样本图像的特征提取与学习，从而生成所需的图案。
[0058]
进一步地，可以设置所述深度学习网络包括生成神经网络和判别神经网络；生成神经网络包括四层卷积层，每层卷积核大小为4*4，步长为2，卷积核采样时对于图像边缘像素进行填充“0”，从而保证图像边缘信息被学习，提高生成纹样图案的效果，每层卷积层的激活函数采用relu函数，输入通道数为100，输出通道数为3；所述判别神经网络包括四层卷积层，每层卷积核大小为4*4，步长为2，卷积核采样时对于图像边缘像素进行填充“0”，每层卷积层的激活函数采用leakyrelu函数，输入通道数为3，输出通道数为1。
[0059]
具体而言，如图7所示，所述生成神经网络包括四层卷积层，in_channels代表输入通道数，本技术输入通道数为100，表示的随机向量z的维数为100，out_channels为输出通道，随着卷积层数而改变，第一层卷积层至第四层卷积层的输出通道数依次为1024、512、256、 3，经过卷积层学习变为大小为64*64*3的图像(64*64代表图像规格，3代表通道数)，激活函数采用relu函数，能够加快模型的收敛速度。每层卷积核大小为4*4，stride为卷积核移动步长，本技术采用2，padding为填充图像所缺位置处的像素值；通过该特定的生成神经网络在兼顾计算量的同时能够使卷积层在进行特征学习能够充分学习输入图像的细节特征，且更大可能使生成图像保留图案内容的完整性。所述判别神经网络激活函数采用leakyrelu，为 relu函数的变体，其保留了一些负轴的学习，能使学习更加全面；从第一层卷积层至第四层卷积层的输出通道数依次为256、512、1024、1。
[0060]
所述判别神经网络将生成图像与真实图像视为两个特定的分布，通过相对熵即吉布斯不等式进行相似性判断，其公式为：
[0061][0062]
其中，p(x)和q(x)分别代表生成图像和真实图像的概率密度函数；
[0063]
上述公式具有非负性和不对称性，导致因不同的观察方式具有不同的损失从而陷入局部最优，从而对其优化，其公式为：
[0064][0065]
所述模型的目标函数为：
[0066][0067]
其中，a代表目标函数，分别代表判别神经网络和生成神经网络的损失函数，s代表生成神经网络，j代表判别神经网络，通过目标函数a的变换判断模型的收敛性；p
data
(x)为纹样图案训练样本集的一个概率分布函数，pz为生成神经网络的输出概率分布，e表示期望均值；所述生成神经网络的输入是纹样图案训练样本集中图像x和生成纹样图案的随机噪声向量z，输出的是生成图像s(z)；所述判别神经网络输出为(0，1)的概率，其输出为0，代表生成图像质量差，当概率为0.5时，模型训练效果达到最好；两个网络的概率分布变化和概率判断如图6，其中z表示噪声，起始为均匀分布，x表示经过生成神经网络特征学习后z 变为非均匀分布，具有了输入图像的分布特征，黑粗的点线表示真实样本概率分布
函数，细实线表示生成样本概率分布函数，黑细的点线代表判别神经网络判断概率，当其为0.5时，代表模型收敛生成图像效果好。
[0068]
在训练的过程中，为弱化训练存在的不稳定性，所以对目标函数加入一个惩罚项，其惩罚项为：
[0069]
其中，λ为惩罚力度，为拉普拉斯算子，本技术中惩罚项根据网络权重参数的变化浮动程度进行惩罚力度的调整。
[0070]
优化后的目标函数为：
[0071][0072]
模型使用，将训练好的模型参数保存，应用模型时可以通过加载权重参数直接使用，为此模型工程应用化得以实现。
[0073]
如下给出部分步骤涉及的指令操作：
[0074]
1)、/home/datamc/dataset/pattern/1_603.png
[0075]
上述为保存所拍摄纹样图案样本集中图像存储的路径，如1_603.png为所拍摄的一张纹样图案样本图像存储路径操作，即图2所示；
[0076]
2)、init实现对应类别标签(image_labels)的初始化，其函数为：
[0077]
images.append((words[0],int(words[1])))
[0078]
通过该函数实现按“类别_序号”进行轮廓检测后的图像集标签化；
[0079]
3)、getitem根据标签文档索引读取数据并进一步用于规格处理，其函数为：
[0080]
image＝self.transform(image)
[0081]
4)、len则根据索引值的列表返回纹样图案训练样本集/纹样图案验证样本集的长度；
[0082]
5)通过dataloader加载图片集并返回图片及其标签数据到主函数，函数为：
[0083]
train_dataloader＝dataloader(dataset＝train_data,batch_size＝args.batch_size,shuffle＝true)
[0084]
可选地，本发明结合实验数据给出可选地具体实施方式如下：
[0085]
在本实施例的训练模型的过程中，利用5000张扩增实物图片集，模型训练过程中权重更新采用初始学习率为2e-4
、动量为0.5的adam算法，其生成效果图如附图所示，从图7模型迭代10000次可以初步看出纹样图案轮廓，当模型迭代20000次如图8所示，纹样图案越来越清晰，但图案背景还是存在阴影，迭代到35000次时，如图9所示，其背景已无阴影，此时已经可以分辨出图案形状。
[0086]
实施例2：一种基于深度学习的传统香包纹样生成系统，包括：
[0087]
获取模块，用于获取纹样图案样本集；
[0088]
第一获得模块，用于对纹样图案样本集进行预处理，获得轮廓检测后的图像集；
[0089]
第二获得模块，用于依据轮廓检测后的图像集对纹样图案样本集进行分类；然后对各个类别的纹样图案样本图像利用仿射变换进行图像扩增且扩增后每个类别图像数量一致；对于扩增后的每个类别的图像大小进行统一，获得纹样图案训练样本集；
[0090]
第三获得模块，用于将纹样图案训练样本集输入深度学习网络进行训练，获得纹样图案训练模型。
[0091]
本发明中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0092]
根据本发明实施例的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的基于深度学习的传统香包纹样生成方法。
[0093]
根据本发明实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述中任意一项所述的基于深度学习的传统香包纹样生成方法。
[0094]
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。