一种基于人眼视觉深度学习的国画所属画家自动识别方法与流程

1.本发明涉及基于视觉处理机制的深度学习在艺术领域的应用，尤其是一种基于人眼视觉深度学习的国画所属画家自动识别方法。


背景技术：

2.随着生活水平的提高，人们对精神生活的追求越来越高，其中对中国画的鉴赏需求也逐步提高。网络或者数字博物馆中出现了大量的数字中国画，但如何高效地利用、管理这些画作成为亟待解决的问题。因此，对中国画艺术风格及其作者进行自动分类识别的研究具有很大的实用价值。在中国画特征提取及分类这一领域，已有的相关研究。li等设计了相关算法分类沈周、唐寅、张大千等画家的画作，但是不能全面地描述画作信息，且其对其他重要信息的忽略导致分类结果并不理想。jiang等对工笔、写意2类中国画提取颜色特征和纹理特征，采用支持向量机(support vector machine,svm)进行分类。陈俊杰等对山水和花鸟类中国画进行颜色、形状等方面的特征提取，并采用svm进行分类。sun等提出用蒙特卡罗凸包模型进行特征选择，并针对中国画作者分类。刘晓巍等通过图像颜色板熵、冗余度、有序度、复杂度等4个特征对不同的画派进行区分，但是该算法仅提取了颜色相关的特征，未考虑其他特征对分类的影响。王征等提出监督式异构稀疏特征选择算法进行特征筛选并对中国画作者分类。sheng等提出了fusion算法，以信息熵整合整体特征和局部特征的分类结果，并利用3层小波变换的方法提取纹理特征用于中国画分类。现有文献采用传统特征提取方法提取中国画的特征，其获取的特征较为单一和片面。此外，陆等人利用神经网络提取中国画特征，tenenbaum等提出了嵌入式机器学习的特征识别方法，李玉芝等使用卷积神经网络(cnn)提取国画视觉特征，采用改进嵌入式学习算法对国画艺术家作品进行分类，张佳婧等采用了人工评估与回归分析策略。
3.目前国画的特征提取及自动识别仍旧存在如下问题：1)国画体征提取方法都是基于图像像素域内的各种数学建模算法，没有考虑观赏者的人眼感知特性和主观判断经验，使得各种方法的自动识别准确率不高，和观赏者判断的结果存在较大的差距；2)对国画图像质量要求较高，任何的噪声污染和人为的干预，都会使得现有方法的性能下降或者失效。


技术实现要素：

4.本发明人针对上述问题及技术需求，提出了一种基于人眼视觉深度学习的国画所属画家自动识别方法，本发明的技术方案如下：
5.一种基于人眼视觉深度学习的国画所属画家自动识别方法，该方法包括：
6.构建样本数据集，样本数据集中包括属于若干个不同的画家的若干幅国画样本；
7.对样本数据集中的每副国画样本进行视觉前端显著性处理提取得到视觉显著图；
8.基于每个像素点及其邻域像素点的像素值关系对视觉显著图进行视觉后端感知信息处理得到有序风格效果图；
9.以每副幅国画样本处理得到的有序风格效果图为输入、对应的画家为输出，利用
样本数据集基于卷积神经网络进行模型训练得到画家识别模型；
10.提取待识别国画的有序风格效果图并输入画家识别模型，输出识别得到的待识别国画所属的画家。
11.其进一步的技术方案为，样本数据集中的国画样本包括原始国画以及对原始国画做图像预处理后模拟得到的有损国画，图像预处理包括亮度增强、色彩渲染、对比度增强、高斯污染、随机亮度改变、锐度处理、图像旋转、图像翻转中的至少一种。
12.其进一步的技术方案为，对样本数据集中的每副国画样本进行视觉前端显著性处理提取得到视觉显著图，包括对于每副国画样本：
13.对国画样本进行基于视觉的阈值滤波处理；
14.对完成阈值滤波处理后的国画样本进行频域光强的对数变换；
15.利用sdsp提取算法对变换后的国画样本进行特征提取得到视觉显著图。
16.其进一步的技术方案为，对国画样本进行基于视觉的阈值滤波处理，包括：
17.根据视觉对比度敏感阈值csf(1)、视觉中央凹函数τ(i,j)和视觉阈值δ对国画样本中任意坐标(i,j)处的像素点的像素值y(i,j)进行阈值滤波处理，得到阈值滤波处理后的像素值z(i,j)为：
[0018][0019]
其中，视觉对比度敏感阈值为：
[0020]
csf(1)＝2.6[0.0192 λ
·2‑1·
r
·
v
·
tan(0.50)]exp{
‑
[λ
·2‑1·
r
·
v
·
tan(0.50)]
1.1
}；
[0021]
视觉中央凹函数
[0022]
其中，r为分辨率参数，v为视距参数，λ为第一调节参数，d
t
为第二调节参数，d(i,j)是国画样本中坐标(i,j)的像素点与样本图像中心之间的距离，d0是国画样本的样本图像中心到图像边缘的距离。
[0023]
其进一步的技术方案为，对完成阈值滤波处理后的国画样本进行频域光强的对数变换，包括：
[0024]
对于完成阈值滤波处理后的国画样本中任意坐标(i,j)处的像素点的像素值z(i,j)，进行频域光强的对数变换后的结果为：
[0025][0026]
其中，函数f(
·
)表示进行频域正变换处理，f
‑1(
·
)表示进行频域逆变换处理，g(ω,θ
j
)为log
‑
gabor滤波器。
[0027]
其进一步的技术方案为，基于每个像素点及其邻域像素点的像素值关系对视觉显著图进行视觉后端感知信息处理得到有序风格效果图，包括：
[0028]
计算坐标(i,j)处的像素点的像素值t(i,j)与其邻域像素点的像素值t
k
(i,j)之间的互信息；
[0029]
基于像素值t(i,j)与各个邻域像素点的像素值之间的互信息，获得坐标(i,j)处的像素点在有序风格效果图中的像素值q(i,j)。
[0030]
其进一步的技术方案为，像素值t(i,j)与与其邻域像素点的像素值t
k
(i,j)之间的互信息为：
[0031]
i[t(i,j),t
k
(i,j)]＝logp[t(i,j)/t
k
(i.j)]
‑
logp[t(i,j)]；
[0032]
其中，p[t(i,j)]为像素值t(i,j)的统计概率，p[t(i,j)/t
k
(i,j)]为像素值t(i,j)与邻域像素值t
k
(i,j)的统计条件概率，log表示对数运算。
[0033]
其进一步的技术方案为，坐标(i,j)处的像素点在有序风格效果图中的像素值q(i,j)为：
[0034][0035]
其中，t(i,j)为坐标(i,j)处的像素点的所有邻域像素点的像素值构成的邻域像素值集合，c
l
是邻域像素值t
l
(i,j)对应的归一化系数且有ω(i,j)为高斯权重函数，m
×
n为t(i,j)的窗口尺寸，i[t(i,j),t
l
(i,j)]为像素值t(i,j)与邻域像素值t
l
(i,j)之间的互信息，t
k
(i,j)表示t(i,j)中的任意一个邻域像素点的像素值。
[0036]
其进一步的技术方案为，在训练得到画家识别模型时：
[0037]
按照对每副幅国画样本处理得到的有序风格效果图进行归一化处理，以每副幅国画样本的归一化处理后的有序风格效果图为输入、对应的画家为输出，利用样本数据集基于卷积神经网络进行模型训练得到画家识别模型，其中，q(i,j)是有序风格效果图中的像素值。
[0038]
其进一步的技术方案为，用于训练得到画家识别模型的卷积神经网络包括五个卷积模块和三层全连接层，每个卷积模块分别包括卷积层、激活函数和池化层，每个卷积模块中的激活函数均为relu，每层池化层的池化函数为最大池化，每个全连接层的激活函数均为relu；
[0039]
输出识别得到的待识别国画所属的画家，包括：
[0040]
输出待识别国画属于各个候选画家的预测概率，并将预测概率最大的候选画家作为待识别国画所属的画家，候选画家是样本数据集中的国画样本所属的各个画家。
[0041]
本发明的有益技术效果是：
[0042]
本技术公开了一种基于人眼视觉深度学习的国画所属画家自动识别方法，方法充分考虑了人眼视觉的感知特性和观赏者的主观判断经验，相比于现有的各种识别方法来说，大大提高了自动识别的准确率，和观赏者判断的结果高度一致。而且该方法在各种噪声污染和人为干预情况下仍旧保持较高的识别准确率。
附图说明
[0043]
图1是本技术公开的国画所属画家自动识别方法的流程示意图。
[0044]
图2是对一副国画样本进行视觉前端显著性处理后提取得到的视觉显著图。
[0045]
图3是对图2所示的视觉显著图进行视觉后端感知信息处理得到有序风格效果图。
具体实施方式
[0046]
下面结合附图对本发明的具体实施方式做进一步说明。
[0047]
本技术公开了一种基于人眼视觉深度学习的国画所属画家自动识别方法，请参考图1所示的流程图，该方法包括如下步骤：
[0048]
步骤1，构建样本数据集，样本数据集中包括属于若干个不同的画家的若干幅国画样本。本技术中的样本数据集中的国画样本包括原始国画以及对原始国画做图像预处理后模拟得到的有损国画，通过图像预处理可以模拟拟时代变迁、技术性修复以及观赏方式等因素对国画造成的影响。图像预处理包括亮度增强、色彩渲染、对比度增强、高斯污染、随机亮度改变、锐度处理、图像旋转、图像翻转中的至少一种，图像旋转处理包括任意角度的旋转，比较典型的包括顺/逆时针90
°
或180
°
或270
°
旋转，翻转包括左右反转和/或上下翻转。实际采取的图像预处理包括上述一种或多种处理手段，比如可以对原始国家进行逆时针90
°
旋转 上下翻转得到有损国画，其他组合方式可以以此类推。
[0049]
原始国画的来源较多，比如本技术在一个实测实验中，从国家各级相关部门博物馆、雅昌艺术网、flickr网络下载集中途径中获取原始国画并做相关处理，得到属于5位画家，每位画家包括原始国画以及有损国画600幅，构建形成共计包含3000幅国画样本的样本数据集。
[0050]
步骤2，对样本数据集中的每副国画样本进行视觉前端显著性处理提取得到视觉显著图。包括：
[0051]
(1)对国画样本进行基于视觉的阈值滤波处理，具体的，根据视觉对比度敏感阈值csf(1)、视觉中央凹函数τ(i,j)和视觉阈值δ对国画样本中任意坐标(i,j)处的像素点的像素值y(i,j)进行阈值滤波处理，得到阈值滤波处理后的像素值z(i,j)为：
[0052][0053]
其中，视觉对比度敏感阈值为：
[0054]
csf(1)＝2.6[0.0192 λ
·2‑1·
r
·
v
·
tan(0.50)]exp{
‑
[λ
·2‑1·
r
·
v
·
tan(0.50)]
1.1
}；
[0055]
其中，r为分辨率参数，v为视距参数，根据主观测试条件，取r＝96(pixels/inch)，v＝19.1(inch)，pixels表示图像的单位为像素，inch表示长度单位为英寸。λ为第一调节参数。作为优选，取λ＝0.228。
[0056]
视觉中央凹函数其中，d
t
为第二调节参数，d(i,j)是国画样本中坐标(i,j)的像素点与样本图像中心之间的距离，d0是国画样本的样本图像中心到图像边缘的距离。作为优选，取d
t
＝4.0。
[0057]
作为优选，取视觉阈值δ＝6.0。
[0058]
(2)对完成阈值滤波处理后的国画样本进行频域光强的对数变换，对于完成阈值滤波处理后的国画样本中任意坐标(i,j)处的像素点的像素值z(i,j)，进行频域光强的对数变换后的结果为：
[0059]
[0060]
其中，函数f(
·
)表示进行频域正变换处理，f
‑1(
·
)表示进行频域逆变换处理，g(ω,θ
j
)为log
‑
gabor滤波器。
[0061]
(3)利用sdsp提取算法对变换后的国画样本进行特征提取得到视觉显著图，得到视觉显著图中任意坐标(i,j)处的像素点的像素值sdsp(
·
)表示sdsp提取算法。
[0062]
步骤3，基于每个像素点及其邻域像素点的像素值关系对视觉显著图进行视觉后端感知信息处理得到有序风格效果图。包括：
[0063]
(1)计算像素值t(i,j)与其邻域像素点t
k
(i,j)之间的互信息。具体的，像素值t(i,j)与与其邻域像素点的像素值t
k
(i,j)之间的互信息为：
[0064]
i[t(i,j),t
k
(i,j)]＝logp[t(i,j)/t
k
(i.j)]
‑
logp[t(i,j)]。
[0065]
其中，p[t(i,j)]为像素值t(i,j)的统计概率，p[t(i,j)/t
k
(i,j)]为像素值t(i,j)与邻域像素值t
k
(i,j)的统计条件概率，log表示对数运算。
[0066]
(2)基于像素值t(i,j)与各个邻域像素点的像素值之间的互信息，获得坐标(i,j)处的像素点在有序风格效果图中的像素值q(i,j)。具体的，坐标(i,j)处的像素点在所述有序风格效果图中的像素值q(i,j)为：
[0067][0068]
其中，t(i,j)为坐标(i,j)处的像素点的所有邻域像素点的像素值构成的邻域像素值集合，c
l
是邻域像素值t
l
(i,j)对应的归一化系数且有ω(i,j)为高斯权重函数，m
×
n为t(i,j)的窗口尺寸，i[t(i,j),t
l
(i,j)]为像素值t(i,j)与邻域像素值t
l
(i,j)之间的互信息，t
k
(i,j)表示t(i,j)中的任意一个邻域像素点的像素值，也即t
k
(i,j)∈t(i,j)。
[0069]
作为优选，m
×
n＝16
×
16。
[0070]
比如，对一副国画样本进行视觉前端显著性处理提取得到视觉显著图如图2所示，继续进行视觉后端感知信息处理得到的有序风格效果图如图3所示。
[0071]
步骤4，以每副幅国画样本处理得到的有序风格效果图为输入、对应的画家为输出，利用样本数据集基于卷积神经网络进行模型训练得到画家识别模型。
[0072]
实际应用时，通常不直接将有序风格效果图为输入，而是首先按照对每副幅国画样本处理得到的有序风格效果图进行归一化处理，q(i,j)是有序风格效果图中的像素值。
[0073]
然后以每副幅国画样本的归一化处理后的有序风格效果图为输入、对应的画家为输出，利用样本数据集基于卷积神经网络进行模型训练得到画家识别模型。而在训练时，按照8:2的比例首先对样本数据集随机划分训练集和测试集，然后利用训练集进行模型训练、利用测试集进行模型测试，最终得到画家识别模型。
[0074]
本技术中用于训练得到画家识别模型的卷积神经网络在vgg16标准模型基础上进行了修改，所采用的卷积神经网络包括五个卷积模块和三层全连接层，每个卷积模块分别包括卷积层、激活函数和池化层，每个卷积模块中的激活函数均为relu，每层池化层的池化函数为最大池化。本技术中，前两个卷积模块包括两个卷积层，后三个卷积模块包括三个卷积层。每个全连接层的激活函数均为relu。在一个实验中各层的网络参数如下：
[0075][0076][0077]
作为优化，训练参数设置如下：优化器选取随机梯度下降sgd函数，损失函数选取为交叉熵cross
‑
entropy，迭代次数为30次，每批输入图像数量为16，学习率为1e
‑
5，动量为0.9。
[0078]
步骤5，提取待识别国画的有序风格效果图并输入画家识别模型，输出识别得到的待识别国画所属的画家。
[0079]
这里的待识别国画可以是原始国画或者有损国画，提取待识别国画的有序风格效果图的方法与上述模型训练的过程类似，若模型训练时以归一化处理后的有序风格效果图为输入，则这里同样需要与有序风格效果图进行归一化处理后输入。画家识别模型输出待识别国画属于各个候选画家的预测概率，并将预测概率最大的候选画家作为待识别国画所属的画家，候选画家是样本数据集中的国画样本所属的各个画家。
[0080]
在没有噪声污染和人为干扰情况下分别利用现有各种方法对国画所属画家进行自动识别并统计准确率，在有噪声污染和人为干扰情况下利用本技术提供的方法对国画所属画家进行自动识别并统计准确率，对比统计结果如下：
[0081][0082]
由上述实验结果可知，本技术提供的方法即便在各种噪声污染和人为干扰的环境条件下仍然有较高的自动识别的准确率。
[0083]
以上所述的仅是本技术的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。