一种素描图片评价方法及装置与流程

1.本发明涉及图像分类的技术领域，特别涉及一种素描图片评价方法及装置。


背景技术：

2.在美术教学工作中，对学生创作的作品进行评价是一个十分重要的工作。现实教学中，针对素描作品的构图、布局、线条、轮廓等视觉特征的优劣，教师常常将作品分成优秀、良好、中等、不及格这些类别。由于图像的复杂性以及人类审美具有一定的主观性，使得通过计算机模拟教师的评价标准，实现对素描图像优劣的自动评价成为一项十分具有挑战性的任务。
3.现有的美术作品分类方法经历了传统的手工特征提取方法和深度学习的方法这2个阶段。传统的手工特征提取方法需要研究者对研究的美术作品或者名家大师进行大量的研究后，才能够设计出专门的算法去提取美术作品的特征，之后再采取机器学习等方法对艺术品进行分类。但是美术作品的高层特征并不能通过简单的手工特征提取的方法得以完美得表示，且此类方法并非端到端的方法，在实际使用上面不如深度学习的方法方便。
4.深度学习的方法不仅不用设计相关的特征提取算法，在训练的过程中学习到的特征是更加高级和抽象的，更接近于人类的视觉特征原理，在准确率和泛化能力上要优于传统的特征提取算法。


技术实现要素：

5.基于此，本发明的目的在于，提供一种素描图片评价方法及装置，在原有的resnet50神经网络中加入了特征融合层和新的全连接层，判断过程无需人工的参与，对素描图片的分类评价结果更为准确。
6.第一方面，本发明提供一种素描图片评价方法，包括以下步骤：
7.构建素描图片评价模型，其中，所述素描图片评价模型包括顺次连接的多个残差块、特征融合层、第一全连接层、第二全连接层和分类层；
8.收集素描图片作品及对应的评价，构建训练数据集；
9.使用所述训练数据集对所述素描图片评价模型进行深度学习训练，得到训练好的素描图片评价模型；
10.将待评价的素描图片输入所述训练好的素描图片评价模型，得到所述素描图片的评价结果。
11.进一步地，使用所述训练数据集对所述素描图片评价模型进行深度学习训练，包括：
12.将所述数据集随机分为5折，其中1折为测试集，4折为训练集；
13.将训练集输入到所述素描图片评价模型中进行训练，计算损失值并进行反向传播更新模型参数，使用测试集测试模型的精度；
14.进行5折交叉验证，重复训练4次，依次选取训练集中未训练的1折数据集作为测试
集，其他作为训练集；
15.根据5折交叉验证的平均准确率，得到所述素描图片评价模型准确率的衡量标准。
16.进一步地，收集素描图片作品及对应的评价，构建训练数据集，包括：
17.获取素描图片作品的分类评价；
18.对所述素描图片作品的图像进行预处理，得到图像大小一致的数据集；
19.对数据集进行上采样操作和数据增强操作，使数据集的规模翻倍，得到训练数据集。
20.进一步地，对数据集进行数据增强操作，包括：
21.对图片进行灰度化、亮度变化、随机旋转、水平翻转、垂直翻转变化处理；
22.其中，灰度化概率为0.1，亮度变化幅度为0.2，随机旋转参数设置为30度，水平翻转的概率为0.5，垂直翻转的概率为0.5。
23.进一步地，所述残差块的数量为4个。
24.进一步地，将待评价的素描图片输入所述训练好的素描图片评价模型，得到所述素描图片的评价结果，包括：
25.将待评价的素描图片顺次输入4个残差块，使得所述4个残差块顺次对素描图片进行卷积提取特征；
26.抽取第二残差块提取得到的第二特征，使用卷积核将所述第二特征的维度和大小变化为和第四残差块提取得到的第四特征相同，将第四特征和变化后的第二特征输入所述特征融合层进行拼接，得到融合特征；
27.将所述融合特征顺次输入第一全连接层、第二全连接层和分类层，得到素描图片的评价结果。
28.进一步地，所述第二全连接层的神经元个数为第一全连接层的神经元个数的四分之一。
29.进一步地，所述第二全连接层的dropout概率为0.5。
30.进一步地，所述第二全连接层的激活函数为selu激活函数。
31.第二方面，本发明还提供一种素描图片评价装置，包括：
32.模型构建模块，用于构建素描图片评价模型，其中，所述素描图片评价模型包括顺次连接的多个残差块、特征融合层、第一全连接层、第二全连接层和分类层；
33.数据集构建模块，用于收集素描图片作品及对应的评价，构建训练数据集；
34.模型训练模块，用于使用所述训练数据集对所述素描图片评价模型进行深度学习训练，得到训练好的素描图片评价模型；
35.素描图片评价模块，用于将待评价的素描图片输入所述训练好的素描图片评价模型，得到所述素描图片的评价结果。
36.本发明所提供的一种素描图片评价方法及装置，基于resnet50网络做出改进，增加特征融合步骤，提高了分类信息的有效性；在原本的全连接层和分类层之间加入了1层新的全连接层，并在新连接层的神经元中加入dropout技术，使得模型的训练速度加快；在获取数据集的时候，由美术教师将素描作品根据考试的标准评定为优秀、良好、中等、不及格4个类别，使得最终的分类评价结果更符合人类审美标准。模型训练完成后，待评价素描图片的整个判断过程无需人工的参与，实现了机器全自动的素描图片优劣分类。
37.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
38.图1为本发明提供的一种素描图片评价方法的流程示意图；
39.图2为本发明所使用的素描图片评价模型结构示意图；
40.图3为本发明提供的一种素描图片评价装置的结构示意图。
具体实施方式
41.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
42.应当明确，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术实施例保护的范围。
43.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
44.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
45.此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
46.针对背景技术中的问题，第一方面，本发明提供一种素描图片评价方法，如图1所示，包括以下步骤：
47.s1：构建素描图片评价模型，其中，所述素描图片评价模型包括顺次连接的多个残差块、特征融合层、第一全连接层、第二全连接层和分类层。
48.本发明提供的一种素描图片评价方法，所使用的素描图片评价模型是基于resnet50网络的改进。resnet是残差网络(residual network)的缩写，该系列网络广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分，典型的网络有resnet50，resnet101等。resnet网络的证明网络能够向更深(包含更多隐藏层)的方向发展。
49.resnet50网络的结构包含4个残差块、1个全连接层和1个分类层。残差块用于提取图像的卷积特征，全连接层用于把之前提取到的特征综合起来，分类层用于输出最后的分类结果。图像在resnet50网络中进行传输的时候，只能使用经过最后的卷积块的特征进入分类层进行分类。
50.针对这一问题，本发明使用特征融合的方法，将第二残差块的提取到的卷积组特征抽取出来，经过维度和大小的变化，得到和第四残差块提取到的卷积组特征一样的维度和大小，将二者进行拼接后输入到全连接层和分类层中进行分类。特征融合能够增加分类信息的有效性，有些原本有用的信息能够不会被丢弃，能够帮助提高分类的准确率。
51.另外，本发明所使用的素描图片评价模型，还在resnet50网络的全连接层(即第一全连接层)和分类层之间加入了一层新的全连接层(即第二全连接层)。第二全连接层的神经元个数是原全连接层的神经元个数的四分之一。同时，在信息传播中使用rate＝0.5的dropout，随机让其中一半的神经元失效。
52.在dropout之后，第二全连接层还选择selu函数为激活函数。
53.常见的激活函数是relu函数，其具有解决梯度消失、计算效率高的优点，但其负数部分恒为0，称为单侧抑制，在学习率较大的时候，会出现神经单元坏死，对数据无响应的问题。selu函数则不存在死区，对比relu函数，不存在神经元“死亡”的问题，同时也没有梯度消失和梯度爆炸的问题。
54.selu函数的表达方式如下：
[0055][0056]
其中，α和λ是selu函数的固定参数，α和λ的值都是证明得到的。
[0057]
α＝1.6732632423543772848170429916717
[0058]
λ＝1.0507009873554804934193349852946
[0059]
经过上述所有改进后，在一个优选的实施例中，本发明所使用的素描图片评价模型如图2所示，包括：
[0060]
4个残差块，用于顺次提取输入模型中的图片的特征；
[0061]
特征融合层，用于将第二残差块提取到的特征和第四残差块提取到的特征进行拼接融合；
[0062]
第一全连接层，用于把之前提取到的特征综合起来；
[0063]
第二全连接层，其中dropout概率为0.5，激活函数为selu激活函数；
[0064]
分类层，用于输出最后的分类评价结果。
[0065]
s2：收集素描图片作品及对应的评价，构建训练数据集。
[0066]
为了使分类评价结果更加符合人类审美标准，在一个优选的实施例中，收集素描图片后，由美术教师按照考试的标准对作品的好坏进行评判，分成优秀、良好、中等、不及格4个类别。
[0067]
之后，将图片扫描得到电子图像，并进行数据预处理。首先需要将所有的图像调整到400*400的大小，以便于后续的其他处理和计算。
[0068]
由于数据集是现实的素描作品，满足正态分布，优秀和不及格的作品较少，中等的作品较多。为更好应对非平衡问题，在数据层面，本发明进行了简单的数据上采样，对少类的样本进行复制。
[0069]
为解决训练样本数量不足的问题，本发明使用数据增强技术将图片进行了灰度化、亮度变化、随机旋转、水平翻转、垂直翻转变化，使数据集的规模翻倍。其中，数据增强的灰度化概率为0.1，亮度变化幅度为0.2，随机旋转参数设置为30度，水平翻转的概率为0.5，
垂直翻转的概率为0.5。
[0070]
s3：使用所述训练数据集对所述素描图片评价模型进行深度学习训练，得到训练好的素描图片评价模型。
[0071]
模型训练过程中使用5折交叉验证法，每次都是将训练集和测试集按照4：1的比例进行分类，共进行5次训练，并将5次训练的结果取平均值作为衡量模型准确率的标准。
[0072]
每次训练，将训练集输入到所述素描图片评价模型中进行深度学习训练，计算损失值并进行反向传播更新模型参数。
[0073]
训练过程中，从分类层输出后得到分类的结果后，使用梯度下降法进行反向传播，更新网络参数。
[0074]
其中梯度下降法为：
[0075]
其中θj为神经网络的参数，j(θ)为损失函数，α为学习率。θ是指所有的神经网络参数，θj是下标为j的某个参数。
[0076]
在算法层面，本发明使用了focal loss，降低了简单样本的loss，提高困难样本对梯度的贡献程度，focal loss损失函数表达如下：
[0077]
fl(p
t
)＝
‑
α
t
(1
‑
p
t
)
γ
log(p
t
)
[0078]
其中，α
t
和γ为focal loss损失函数的固定参数，α
t
＝0.25，γ＝2，p
t
表示分类概率。
[0079]
将测试数据集输入深度学习网络中，测试模型的精度。
[0080]
s4：将待评价的素描图片输入所述训练好的素描图片评价模型，得到所述素描图片的评价结果。
[0081]
在一个优选的实施例中，残差块的数量为4个。使用素描图片评价模型对待评价的素描图片进行评价的过程具体包括：
[0082]
s401：将待评价的素描图片顺次输入4个残差块，使得所述4个残差块顺次对素描图片进行卷积提取特征。
[0083]
s402：抽取第二残差块提取得到的第二特征，使用卷积核将所述第二特征的维度和大小变化为和第四残差块提取得到的第四特征相同，将第四特征和变化后的第二特征输入所述特征融合层进行拼接，得到融合特征。
[0084]
本发明中的特征融合可以表示为：
[0085][0086]
其中，z表示融合特征；x1，x2，...x
c1
和y1,y2，...y
c2
分别表示网络模型第二残差块和第四残差块提取得到的卷积图，k1、k2...表示卷积核，*表示卷积操作；i表示下标，c1表示第二残差块卷积特征图数，c2表示第四残差块卷积特征图数；卷积特征图个数＝卷积核的个数，每个残差块的特征图有多少，c就有多少。
[0087]
s403：将所述融合特征顺次输入第一全连接层、第二全连接层和分类层，得到素描图片的评价结果。
[0088]
第二方面，与前述方法对应，本发明还提供一种素描图片评价装置，该装置的结构如图3所示，包括：
[0089]
模型构建模块，用于构建素描图片评价模型，其中，所述素描图片评价模型包括顺次连接的多个残差块、特征融合层、第一全连接层、第二全连接层和分类层；
[0090]
数据集构建模块，用于收集素描图片作品及对应的评价，构建训练数据集；
[0091]
模型训练模块，用于使用所述训练数据集对所述素描图片评价模型进行深度学习训练，得到训练好的素描图片评价模型；
[0092]
素描图片评价模块，用于将待评价的素描图片输入所述训练好的素描图片评价模型，得到所述素描图片的评价结果。
[0093]
优选的，模型训练模块包括：
[0094]
分集单元，用于将所述数据集随机分为5折，其中1折为测试集，4折为训练集；
[0095]
训练单元，用于将训练集输入到所述素描图片评价模型中进行训练，计算损失值并进行反向传播更新模型参数，使用测试集测试模型的精度；并进行5折交叉验证，重复训练4次，依次选取训练集中未训练的1折数据集作为测试集，其他作为训练集；
[0096]
衡量标准获取单元，用于根据5折交叉验证的平均准确率，得到所述素描图片评价模型准确率的衡量标准。
[0097]
优选的，数据集构建模块包括：
[0098]
评价获取单元，用于获取素描图片作品的分类评价；
[0099]
预处理单元，用于对所述素描图片作品的图像进行预处理，得到图像大小一致的数据集；
[0100]
数据集增强单元，对数据集进行上采样操作和数据增强操作，使数据集的规模翻倍，得到训练数据集。
[0101]
优选的，对数据集进行数据增强操作，包括：
[0102]
对图片进行灰度化、亮度变化、随机旋转、水平翻转、垂直翻转变化处理；
[0103]
其中，灰度化概率为0.1，亮度变化幅度为0.2，随机旋转参数设置为30度，水平翻转的概率为0.5，垂直翻转的概率为0.5。
[0104]
优选的，所述残差块的数量为4个。
[0105]
优选的，素描图片评价模块包括：
[0106]
特征提取单元，用于将待评价的素描图片顺次输入4个残差块，使得所述4个残差块顺次对素描图片进行卷积提取特征；
[0107]
特征融合单元，用于抽取第二残差块提取得到的第二特征，使用卷积核将所述第二特征的维度和大小变化为和第四残差块提取得到的第四特征相同，将第四特征和变化后的第二特征输入所述特征融合层进行拼接，得到融合特征；
[0108]
评价结果获取单元，用于将所述融合特征顺次输入第一全连接层、第二全连接层和分类层，得到素描图片的评价结果。
[0109]
优选的，所述第二全连接层的神经元个数为第一全连接层的神经元个数的四分之一。
[0110]
优选的，所述第二全连接层的dropout概率为0.5。
[0111]
优选的，所述第二全连接层的激活函数为selu激活函数。
[0112]
本发明所提供的一种素描图片评价方法及装置，基于resnet50网络做出改进，增加特征融合步骤，提高了分类信息的有效性；在原本的全连接层和分类层之间加入了1层新
的全连接层，并在新连接层的神经元中加入dropout技术，使得模型的训练速度加快；在获取数据集的时候，由美术教师将素描作品根据考试的标准评定为优秀、良好、中等、不及格4个类别，使得最终的分类评价结果更符合人类审美标准。模型训练完成后，待评价素描图片的整个判断过程无需人工的参与，实现了机器全自动的素描图片优劣分类。
[0113]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。