一种基于笔触特征和颜色特征的西方绘画风格分类方法与流程

1.本发明属于图像处理与分析技术领域，具体为一种基于笔触特征和颜色特征的西方绘画风格分类方法。


背景技术：

2.智能移动设备的普及使得越来越多的人们接触到数字艺术作品，海量的数字作品难以有效管理。传统的人工进行绘画分类造成人力、时间的浪费，因此，使用计算机技术对绘画图像提取特征以及分类大势所趋。此外，笔触特征是画家在作画过程中的痕迹。笔触特征的提取对于绘画图像的研究至关重要。因此，基于笔触特征实现绘画作品风格的自动分类应用而生。
3.目前研究中，绘画图像风格分类主要由两种方式：(1)提取绘画图像相关的底层特征，采用机器学习的方法实现分类，但在这些诸多的图像特征中，笔触特征的选取较少，不能较显著地提取绘画风格的特征。(2)采用深度学习的方法直接在原始图像的基础上进行分类，该方法虽然可以实现图像不同风格的分类，但对图像训练样本数量要求较高。


技术实现要素：

4.本发明克服现有技术存在的不足，提供了一种基于笔触特征和颜色特征的绘画风格分类方法。
5.为了达到上述目的，本发明采用了下列技术方案：
6.本发明提供一种基于笔触特征和颜色特征的西方绘画风格分类方法，包括以下具体步骤：
7.(1)提取绘画图像的笔触特征；
8.a.将输入的西方绘画图像转换为灰度图像；
9.b.将sobel边缘检测算法作用于灰度图像，识别边缘像素；
10.具体为：使用卷积核g
x
和gy分别在图像x和y方向上进行卷积，将x和y方向上卷积计算出的结果进行代数加权和得到整个图像的边缘结果，卷积核g
x
和gy如下所示：
[0011][0012]
sobel算子是基于一阶梯度运算的边缘检测的算法，sobel算子数学表达式如下：
[0013]gx
＝f
x
(x，y)＝f(x-1,y 1) 2f(x,y 1) f(x 1,y 1)-f(x-1,y-1)-2f(x,y-1)-f(x 1,y-1)
[0014]gy
＝fy(x,y)＝f(x 1,y-1) 2f(x 1,y) f(x 1.y 1)-f(x-1,y-1)-2f(x-1,y)-f(x-1,y 1)
[0015]
sobel算子矩阵形式如下:
[0016][0017]
绘画图像执行边缘操作方法，本质上是像素点的灰度值发生了梯度变化，而梯度变化的位置是某一区域的边缘位置。此时，发生变化的灰度值大小是绘画图像中每一个像素点横向和纵向结合的灰度值，通过下列公式计算像素点的灰度值：
[0018][0019]
c.通过形态学操作对边缘进行过滤、封闭处理；
[0020]
具体为：采用先开后闭的操作，先将边缘操作后的笔触进行平滑处理，消除较细较杂的突出笔触，然后将断裂的边缘线进行闭合，在形态学操作中，二次运算中有开、闭运算，开运算记为aos，定义为:闭运算记为a
·
s，定义为：开运算和闭运算是类似于构建空间滤波器，将部分受到噪声影响的图像，尽可能的减少失真，回复原来的像素点；
[0021]
(2)通过卷积神经网络进一步优化笔触特征；
[0022]
a.将具有边缘笔触特征的图像输入卷积神经网络中，在第一卷积层c1层，用5
×
5的六个核对输入数据进行滤波，产生6个60
×
60的映射；
[0023]
b.在s1层中，子采样率为2的情况下，每个映射通过执行最大池化层，将特征大小减小到30
×
30；
[0024]
c.在第二卷积层c2层，用12个大小为5
×
5的核过滤数据，生成12个大小为26
×
26的映射；
[0025]
d.在s2层，将特征尺寸减小到13
×
13；
[0026]
e.通过全连接层fc得到2028维向量；
[0027]
f.在输出层output中获得1014维特征。
[0028]
(3)提取绘画图像的颜色特征；
[0029]
a.将每幅西方绘画图像的原始rgb图像转换为hsv模型，其中，hsv分别表示：色调、饱和度、明度；
[0030]
b.将hsv模型执行k均值聚类方法，将生成的颜色进行量化空间，其核心思想是尽量让绘画图像在hsv模型下尽可能不失真，将颜色丰富的图像映射到颜色种类较少的量化图像上，也是一种对彩色绘画图像进行数字处理的过程。首先，在生成的hsv模型上随机选取k种颜色，其中，k值为20，利用这20种颜色形成一个新的颜色空间，再将绘画图像上的每个像素映射到初始生成的颜色空间中，从而形成20种聚类，最后得到每一类颜色像素的均值，生成新的颜色空间；不断重复这一过程，直至颜色板中的颜色不再变化时终止算法，得到的所有像素个数，形成了20聚类中心；
[0031]
c.将步骤b聚类中心统计的像素个数，从大到小排序，选择前6的色彩，作为输入特征的主色调，即获得西方绘画图像的颜色特征。
[0032]
(4)基于提取的笔触特征和颜色特征，采用支持向量机(svm)分类器对西方绘画图像进行风格分类。其过程为：将提取的笔触特征和颜色特征归一化并作为图像的两个通道，
输入到支持向量机分类器进行不同绘画风格的分类。
[0033]
svm的目标是通过将绘画图像风格数据集之间的边界宽度来求出最优超平面，超平面是：
[0034]
f(x)＝w
t
φ(x)
[0035]
其中，φ为输入空间x到目标空间的映射函数，参数w为超平面的法向量。
[0036]
给出m个实例的训练数据(xi,yi)，可以定义作为：
[0037]
训练数据:{(xi,yi)|xi∈rn,yi∈{-1,1}} i＝1,2,3...m其中xi是从n维特征空间x和yi指示的类，则对应xi属于哪个类；其中为中西方绘画图像训练集，yi∈{-1,1}是绘画图像的标签；
[0038]
对于测试绘画图像来说，假设其笔触特征描述为x，如果f(x)＝1，则归类为正样本，反之则为负样本；一对多svm可解决多分类问题，其计算流程是对m个分类中的任意2个建立决策边界，即共有个决策边界，样本的类别按其对所有决策边界的判别结果中得分最高的类别选取。
[0039]
核函数的目标函数是：
[0040][0041]
其中，c是正则化参数，ε是松弛变量，参数w为超平面的法向量，b为常数项。
[0042]
与现有技术相比本发明具有以下优点：
[0043]
(1)笔触特征是艺术风格的组成部分。本发明提出了一种绘画图像笔触特征提取的方法，该方法通过边缘检测方法sobel算子提取边缘特征，使用3*3的滤波器对绘画图像进行操作，获取图像的边缘线，然后使用形态学操作中先开后闭的运算去除噪声和较杂的边缘线，最后通过神经网络模型对笔触特征进行进一步优化得到绘画图像的笔触特征。
[0044]
(2)本发明提出了一种有效的笔触特征，通过进行颜色与笔触双特征的实验，和颜色单特征和笔触单特征实验进行比较，研究证明笔触对于绘画的分类研究是有重要意义的。
[0045]
(3)本发明将笔触特征和颜色特征作为绘画图像新的两个通道，一并输入到svm分类器中。既能更好的保留绘画的笔触和颜色特征，又能有效提高整个绘画图像风格预测系统的运算效率。比起经典的网络模型来说，该分类框架提高了计算准确率，同时也大大降低了计算量。
附图说明
[0046]
图1为本发明绘画图像由rgb颜色空间转换成hsv模型的示意图；
[0047]
图2为本发明提取的笔触特征图；
[0048]
图3为本发明卷积神经网络模型；
[0049]
图4为本发明绘画图像分类框架。
具体实施方式
[0050]
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，下面结合实施例和附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。下面结合实施例和附图详细说明本发明的技术方案，但保护范围不被此限制。
[0051]
本发明选取来自公开网站的绘画，进行实验，具体实施步骤如下：
[0052]
s1：本实施例所用的数据集均来自实验团队收集的西方风格绘画图像，其中包括巴洛克风格346张、立体主义风格669张、印象主义636张、文艺复兴主义640张、洛可可风格515张。
[0053]
s2：将上述输入图像转换为灰度图像，利用边缘检测、形态学操作形成具有笔触特征的图像；
[0054]
s21：将输入图像转换为灰度图像；
[0055]
s22：将sobel边缘检测算法作用于灰度图像，识别边缘像素；
[0056]
s23：通过形态学操对边缘进行过滤、封闭处理；
[0057]
s3：采用通过卷积神经网络优化笔触特征。图2为本发明提取的笔触特征图，图3为卷积神经网络模型；卷积神经网络的结构为：在c1层，第一卷积层用5
×
5的六个核对输入数据进行滤波，产生6个60
×
60的映射。在s1层中，子采样率为2的情况下，每个映射通过执行最大池化层，将特征大小减小到30
×
30。在c2层，第二卷积层用12个大小为5
×
5的核过滤数据，生成12个大小为26
×
26的映射。在s2层，12幅图将特征尺寸减小到13
×
13。在一层中，通过设计全连接层得到2028维向量。最后，在输出层中获得1014维特征。
[0058]
s4：将绘画图像由rgb颜色空间转换成hsv模型(色调(h)，饱和度(s)，亮度(v))。图1为绘画图像由rgb颜色空间转换成hsv模型的示意图。将hsv模型执行k均值聚类方法，将生成的颜色进行量化空间，随机选取k种颜色，其中，k值为20。利用这20种颜色形成一个新的颜色空间，再将绘画图像上的每个像素映射到初始生成的颜色空间中，从而形成20种聚类，最后得到每一类颜色像素的均值，生成新的颜色空间。不断重复这一过程，直至颜色板中的颜色不再变化时终止算法。
[0059]
绘画图像由rgb颜色空间转换成hsv模型的公式如下：
[0060][0061]
cmax＝max(r
′
，g
′
，b
′
)；cmin＝min(r
′
，g
′
，b
′
)；δ＝cmax-cmin
[0062]
v＝cmax
[0063]
s5：将优化后的笔触特征和颜色特征分别进行归一化到[0，1]之间，归一化算法为：
[0064][0065]
其中v为某个像素点的灰度值，v
max
为所有像素点灰度值的最大值，v
min
为所有像素点灰度值的最小值；
[0066]
s6：将归一化后的颜色特征和笔触特征形成图像的2个通道，输入到支持向量机(svm)分类器进行分类，实现西方绘画图像的风格分类，框架如图4所示。
[0067]
为充分验证本发明方法的有效性和适用性，我们使用了单独的颜色特征分类、单独的笔触特征分类和结合笔触特征和颜色特征分类的对比实验，实验结果如表1所示。本发明采用颜色和笔触特征进行融结合的方式，得到的准确率是最高的。
[0068]
表1笔触特征和无笔触特征的比较
[0069][0070]
由表1可得，在西方风格绘画数据集上，单独颜色特征的分类准确率是89.01％，单独笔触特征的分类准确率是90.25％，而基于双特征(笔触特征和颜色特征)的西方绘画图像风格分类模型(即本发明方法)准确率达到94.03％。表明在分类模型相同的情况下，有无笔触对于最后的实验结果有很大影响。基于笔触特征的分类准确率比无笔触特征的实验结果准确率有所增加。
[0071]
此外，本发明对不同分类器下的分类精度进行了对比，结果如表2所示。实验结果表明决策树id3的分类准确率为82.24％，决策树c4.5的分类准确率为83.57％，两者同属于决策树中的算法，精确率较为相近，但与支持向量机(svm)准确率相比有明显的降低。
[0072]
综上可得，本发明方法对西方绘画风格的分类效果更加显著。
[0073]
表2：不同分类器下的精确对比
[0074]
分类器id3c4.5knnnaive bayesiancnnsvm精确度82.24％83.57％81.29％80.35％78.85％94.03％
[0075]
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。