图像检测方法、装置、设备及存储介质与流程

1.本发明属于图像处理技术领域，尤其涉及图像检测方法、装置、设备及存储介质。


背景技术：

2.随着修图工具的广泛应用，对图像的像素修改、图像拼接等图像篡改现象越来越严重，使得图像的真实性和完整性受到破坏。
3.目前，基于深度学习检测图像篡改的方法有多种。但是，现有的基于深度学习检测图像是否篡改的方式中，需要对整个图像进行检测和分析，降低了检测图像是否被篡改的效率。


技术实现要素：

4.本发明实施例提供图像检测方法、装置、设备及存储介质，能够解决检测图像是否被篡改的效率低的问题。
5.第一方面，提供了一种图像检测方法，该方法包括：
6.获取待检测图像；
7.将待检测图像输入到预先训练的图像检测模型中的第一子模型中，检测待检测图像，得到待检测图像中的第一目标区域；
8.确定第一目标区域对应的第一目标图像；
9.将第一目标图像输入至图像检测模型中的第二子模型中，确定第一结果信息；
10.其中，第一子模型是根据样本检测图像和样本检测图像的标注信息中样本检测图像的第二目标区域训练得到；
11.第二子模型是根据第二目标区域内的第二目标图像和样本检测图像的标注信息中第二目标图像是否被篡改的信息训练得到。
12.第二方面，提供了一种图像检测装置，该装置包括：
13.获取模块，用于获取待检测图像；
14.检测模块，用于将待检测图像输入到预先训练的图像检测模型中的第一子模型中，检测待检测图像，得到待检测图像中的第一目标区域；
15.图像确定模块，用于确定第一目标区域对应的第一目标图像；
16.信息确定模块，用于将第一目标图像输入至图像检测模型中的第二子模型中，确定第一结果信息；
17.其中，第一子模型是根据样本检测图像和样本检测图像的标注信息中样本检测图像的第二目标区域训练得到；
18.第二子模型是根据第二目标区域内的第二目标图像和样本检测图像的标注信息中第二目标图像是否被篡改的信息训练得到。
19.第三方面，提供了一种电子设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如第一方面或者第一方面的任一可能实现方
式中的方法。
20.第四方面，提供了一种计算机存储介质，该计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面或者第一方面的任一可能实现方式中的方法。
21.基于提供的图像检测方法、装置、设备及存储介质，通过预先训练好的图像检测模型中的第一子模型来检测待检测图像中的第一目标区域，能够有针对性的确定需要检测的第一目标图像。然后再使用图像检测模型中的第二子模型来检测第一目标图像是否被篡改。由于图像检测模型中的第一子模型和第二子模型均是由样本检测图像和样本检测图像的标注信息训练得到，且标注信息中包括第二目标区域以及第二目标区域对应的第二目标图像是否被篡改的信息，因此，图像检测模型能够更有针对性的对待检测图像进行检测，从而使得利用图像检测模型检测待检测图像是否被篡改的效率得到提高。
附图说明
22.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本发明实施例提供的一种图像检测模型训练方法的流程示意图
24.图2是本发明实施例提供的一种图像检测方法的流程示意图；
25.图3是本发明实施例提供的一种图像检测装置的结构示意图；
26.图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
27.下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
28.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
29.随着信息化时代的发展，科技的进步激发了电信产业的发展，而电信产业也是推动经济发展的重要支柱。
30.目前，电信产业的图像检测方法包括专家打分法和机器学习算法。专家打分法评价用户的稳定性主观性强。基于机器学习算法的图像检测方法主要通过获取历史稳定用户
以及离开当前运营商网络的用户数据，作为机器学习的样本训练集，找到影响用户稳定性的重要因子。通过机器学习算法输出稳定性度量的因子权重或规则集，从而得到每个用户的稳定性。
31.但是，发明人经过研究发现，上述使用机器学习算法在确定用户稳定性的时候，稳定性度量因子能够从用户自身出发，确定用户在全网的稳定性情况。而实际上，集团虚拟网用户的稳定性主要体现在虚拟网用户的工作圈的稳定性情况。因此，机器学习算法是基于用户本身来评价该用户的稳定性的，并未考虑虚拟网用户在其工作圈等用户之间的通话行为之间的相互影响，进而确定用户的稳定性较为片面，不够准确。
32.基于此，本发明实施例提供了一种图像检测方法、装置、设备及存储介质，通过预先训练好的图像检测模型中的第一子模型来检测待检测图像中的第一目标区域，能够有针对性的确定需要检测的第一目标图像。然后再使用图像检测模型中的第二子模型来检测第一目标图像是否被篡改。由于图像检测模型中的第一子模型和第二子模型均是由样本检测图像和样本检测图像的标注信息训练得到，且标注信息中包括第二目标区域以及第二目标区域对应的第二目标图像是否被篡改的信息，因此，图像检测模型能够更有针对性的对待检测图像进行检测，从而使得利用图像检测模型检测待检测图像是否被篡改的效率得到提高。
33.本发明实施例提供的图像检测方法中，需要利用预先训练好的图像检测模型对图像进行检测，因此，在利用图像检测模型对图像进行检测之前，需要训练好图像检测模型。下面结合附图描述本发明实施例提供的图像检测模型的训练方法的具体实施方式。
34.图1是本发明实施例提供的图像检测模型训练方法的流程示意图。
35.如图1所示，本发明实施例提供的图像检测模型训练方法可以包括：
36.s101：获取训练样本集；训练样本集包括多个训练样本；每个训练样本包括样本检测图像和样本检测图像的标注信息。
37.训练样本是用以训练和估计图像检测模型的数据基础，为此，首先需要获取训练样本。训练样本是与图像检测模型训练完成后的实际应用场景下的输入数据是相关的，每个训练样本均包括样本检测图像和样本检测图像的标注信息。其中，样本检测图像的标注信息包括样本检测图像中第二目标区域和第二目标区域是否被篡改的信息。
38.以宽带装维工作为例，为了对宽带装维工作中的装维工作人员进行质检考核，需要对宽带装维后的分光器进行拍照得到分光器图像。通过分光器图像对装维工作人员进行质检考核，分光器图像如图2所示。将分光器图像作为样本检测图像，那么标注信息则为分光器图像中尾纤标签所在的区域和尾纤标签中的文字是否被篡改的信息。
39.s102：将样本检测图像输入至预先构建的图像检测模型中的第一子模型中，检测样本检测图像，得到样本检测图像中的第二目标区域。
40.图像检测模型包括第一子模型和第二子模型。其中，第一子模型用来检测图像中需要识别的区域，第二子模型用来确定区域中的文字是否被篡改。
41.在一些实施例中，为了提高第一子模型可以是使用具有区域特征的卷积神经网络(regions with convolutional neural networks features，rcnn)构建得到的模型。
42.在另一些实施例中，为了更精确的提取图像中的特征，对图像中的区域进行定位，第一子模型还可以是快速rcnn(faster-rcnn)。
43.将样本检测图像输入到第一子模型中，第一子模型能够确定样本检测图像中的第二目标区域。其中，第二目标区域可以是一个矩形框。例如，可以通过第二目标区域的左上角和右下角对应的两点进行归一化坐标信息：(x1，y1)、(x2，y2)。在这里，样本检测图像中可以包括多个第二目标区域。
44.s103：确定第二目标区域对应的第二目标图像。
45.确定第二目标区域后，可以根据第二目标区域的坐标，截取第二目标区域对应的第二目标图像。
46.在一些实施例中，不同的第二目标区域得到的第二目标图像的大小是不同的。为了保障训练后的图像检测模型的精度，还可以对第二目标图像进行等比例缩放。
47.作为一个示例，设第二目标图像的长边为w0，第二目标图像的短边为h0。缩放w0到固定尺寸w1，短边按比例缩放，缩放后的短边h1满足下述公式(1)：
[0048][0049]
在这里h1＜w1，在短边h1两侧同时填充黑色像素，每侧填充的黑色像素的宽度k均满足下述公式(2)：
[0050][0051]
填充黑色像素后的短边长度h1与长边w1相等。
[0052]
第二目标图像经过等比例缩放后，形状为正方形。任意尺寸的标签图像输入被转换为统一尺寸的正方形图像，且宽高等比例缩放，减少有效特征的破坏，并使得任意尺寸的标签图像能进行训练。随后再对缩放后的图像采用数据增强方法，随机裁剪，如将w1×
w1的图像可选区域随机选择位置，裁剪至w2×
w2尺寸)、随机水平翻转、随机竖直翻转、随机旋转，如0
°
、90
°
、180
°
、270
°
随机选择，进一步增加样本多样性，提升模型的泛化性能。
[0053]
s104：将第二目标图像输入至预先构建的图像检测模型中的第二子模型中，确定第二结果信息。
[0054]
第二目标图像输入到第二子模型中后，第二子模型会识别第二目标图像中的文字、图像等是否被篡改过。第二结果信息是指第二目标图像是否被篡改的结果信息。例如，第二目标图像中的文字被篡改了，那么第二结果信息可以是“是”或者“1”等。
[0055]
s105：根据第二结果信息和样本检测图像的标注信息，确定预先构建的图像检测模型中的第二子模型的第一损失函数值。
[0056]
第二结果信息是检测出来的信息，可能与第二检测图像中真实的结果存在一定的误差。也就是说，第二子模型的检测精度还未达到一定的要求，因此，需要根据第二结果信息和样本检测图像的标注信息来确定第二子模型的第一损失函数值。其中，样本检测图像的标注信息包括了第二目标区域在样本检测图像中的真实位置和第二目标区域中的图像是否被篡改的真实结果。根据第二结果信息和标注信息中第二目标区域中的图像被篡改的真是结果能够得到第一损失函数值。
[0057]
s106：根据第一损失函数值，训练预先构建的图像检测模型，得到训练后的图像检测模型。
[0058]
基于第一损失函数值，可以调整图像检测模型的参数，以提高图像检测模型的精
度。在这里，可以通过第一损失函数值，调整图像检测模型中第二子模型中的参数，进而提高图像检测模型的精度。
[0059]
在本发明的另一些实施例中，为了提高图像检测模型的精度，在s104之前，还可以包括下述步骤：
[0060]
根据第二目标区域和标注信息，确定第一子模型的第二损失函数值；
[0061]
根据第二损失函数值，训练预先构建的图像检测模型中的第一子模型，得到训练后的第一子模型；
[0062]
将训练样本中的样本检测图像输入至训练后的第一子模型中，确定训练样本中的样本检测图像中的第二目标区域。
[0063]
标注信息中包括第二目标区域在样本检测图像中的真实位置。基于第一子模型确定的第二目标区域和标注信息中第二目标区域在样本检测图像中的真实位置，能够确定第二损失函数值。基于第二损失函数值，对第一子模型进行训练，如，调整第一子模型的参数。由此，提高了第一子模型的检测精度，进而也提高了图像检测模型的精度。然后再将样本检测图像输入到训练后的第一子模型中，得到样本检测图像中的第二目标区域。训练后的第一子模型检测得到的第二目标区域的精度更高。
[0064]
调整了图像检测模型的参数后，还需要进一步训练模型，因此，针对s101中的训练样本集，从该训练样本集中选择新的训练样本，执行步骤s102至s106，直至最终图像检测模型训练完成。
[0065]
本发明实施例提供的图像检测模型训练方法，
[0066]
以上为本发明实施例提供的图像检测模型训练方法的具体实施方式。经上述训练得到的图像检测模型可应用于如下实施例提供的图像检测方法中。
[0067]
下面结合附图2详细描述本技术提供的图像检测方法的具体实现方式。需要说明，在下述具体实现方式中，以待检测图像为分光器图像为例进行描述。
[0068]
图2是本发明实施例提供的图像检测方法的流程示意图。
[0069]
如图2所示，本发明实施例提供的图像检测方法可以包括：
[0070]
s201：获取待检测图像。
[0071]
待检测图像可以是从数据库中获取得到的。以待检测图像为分光器图像为例，由于宽带装维工作量大，因此，分光器图像的数量相对也会很大，那么就需要将分光器图像保存在响应的数据库中，进而能够按照一定的周期对数据库中的分光器图像进行检测，从而能够对宽带装维工作人员的工作质量进行监督。
[0072]
s202：将待检测图像输入到预先训练的图像检测模型中的第一子模型中，检测待检测图像，得到待检测图像中的第一目标区域。
[0073]
将待检测图像输入到预先训练的第一子模型中，第一子模型能够检测待检测图像中的第一目标区域。例如，将分光器图像输入至训练好的图像检测模型中后，图像检测模型中的第一子模型能够检测得到分光器图像中的尾纤标签所在的图像区域。
[0074]
s203：确定第一目标区域对应的第一目标图像。
[0075]
第一目标图像属于待检测图像中的一部分。待检测图像是分光器图像时，那么第一目标图像则为分光器图像中尾纤标签对应的图像。确定尾纤标签在分光器图像中的位置后，可以对尾纤标签对应的图像进行裁剪、切割等获取只包含尾纤标签的第一目标图像。还
可以在分光器图像中标注第一目标区域，从而确定尾纤标签在分光器图像中的位置，然后清除除尾纤标签以外的图像，从而得到尾纤标签的图像。
[0076]
在这里，第一子模型是根据样本检测图像和样本检测图像的标注信息中样本检测图像的第二目标区域训练得到。
[0077]
s204：将第一目标图像输入至图像检测模型中的第二子模型中，确定第一结果信息。
[0078]
第一目标图像的大小可以以第一目标区域的大小相同，也可以大于第一目标区域的大小。将尾纤标签的图像输入到图像检测模型后，图像检测模型中的第二子模型能够检测尾纤标签是否被篡改。若尾纤标签被篡改，则第一结果信息可以是“是”，还可以是“1”。若尾纤标签未被篡改，则第一结果信息可以是“否”，还可以是“0”。
[0079]
在这里，第二子模型是根据第二目标区域内的第二目标图像和样本检测图像的标注信息中第二目标图像是否被篡改的信息训练得到。
[0080]
本发明实施例提供的图像检测方法，通过预先训练好的图像检测模型中的第一子模型来检测待检测图像中的第一目标区域，能够有针对性的确定需要检测的第一目标图像。然后再使用图像检测模型中的第二子模型来检测第一目标图像是否被篡改。由于图像检测模型中的第一子模型和第二子模型均是由样本检测图像和样本检测图像的标注信息训练得到，且标注信息中包括第二目标区域以及第二目标区域对应的第二目标图像是否被篡改的信息，因此，图像检测模型能够更有针对性的对待检测图像进行检测，从而使得利用图像检测模型检测待检测图像是否被篡改的效率得到提高。
[0081]
基于本发明实施例提供的图像检测方法，相应地，本发明提供了一种图像检测装置。
[0082]
图3是本发明实施例提供的一种图像检测装置的结构示意图。
[0083]
如图3所示，本发明实施例提供的一种图像检测装置，可以包括：获取模块301，检测模块302，图像确定模块303，信息确定模块304。
[0084]
获取模块301，用于获取待检测图像；
[0085]
检测模块302，用于将所述待检测图像输入到预先训练的图像检测模型中的第一子模型中，检测所述待检测图像，得到所述待检测图像中的第一目标区域；
[0086]
图像确定模块303，用于确定所述第一目标区域对应的第一目标图像；
[0087]
信息确定模块304，用于将所述第一目标图像输入至所述图像检测模型中的第二子模型中，确定第一结果信息；
[0088]
其中，所述第一子模型是根据样本检测图像和所述样本检测图像的标注信息中样本检测图像的第二目标区域训练得到；
[0089]
所述第二子模型是根据所述第二目标区域内的第二目标图像和所述样本检测图像的标注信息中所述第二目标图像是否被篡改的信息训练得到。
[0090]
可选的，在本发明的一些实施例中，该装置还包括：
[0091]
获取模块301，还用于获取训练样本集；训练样本集包括多个训练样本；每个训练样本包括样本检测图像和样本检测图像的标注信息；
[0092]
训练模块，用于对每个训练样本，分别执行以下步骤：
[0093]
将样本检测图像输入至预先构建的图像检测模型中的第一子模型中，检测样本检
测图像，得到样本检测图像中的第二目标区域；
[0094]
确定第二目标区域对应的第二目标图像；
[0095]
将第二目标图像输入至预先构建的图像检测模型中的第二子模型中，确定第二结果信息；
[0096]
根据第二结果信息和样本检测图像的标注信息，确定预先构建的图像检测模型中的第二子模型的第一损失函数值；
[0097]
根据第一损失函数值，训练预先构建的图像检测模型，得到训练后的图像检测模型。
[0098]
可选的，在本发明的一些实施例中，该装置还包括：
[0099]
函数值确定模块，用于根据第二目标区域和标注信息，确定第一子模型的第二损失函数值；
[0100]
训练模块，还用于根据第二损失函数值，训练预先构建的图像检测模型中的第一子模型，得到训练后的第一子模型；
[0101]
区域确定模块，用于将训练样本中的样本检测图像输入至训练后的第一子模型中，确定训练样本中的样本检测图像中的第二目标区域。
[0102]
可选的，在本发明的一些实施例中，该装置还包括：
[0103]
处理模块，用于对第二目标区域对应的第二目标图像进行各项中的至少一项处理：
[0104]
对第二目标图像进行等比例缩放、对第二目标图像进行随机切割、对第二目标图像进行水平翻转、对第二目标图像进行竖直翻转和对第二目标图像进行旋转。
[0105]
可选的，在本发明的一些实施例中，训练模块305，具体用于：
[0106]
根据第一损失函数值，调整预先构建的图像检测模型中第二子模型的参数，得到训练后的图像检测模型。
[0107]
可选的，在本发明的一些实施例中，第一子模型是由快速区域卷积神经网络构成；第二子模型是由初始残差神经网络构成。
[0108]
可选的，在本发明的一些实施例中，待检测图像为分光器图像。
[0109]
本发明实施例提供的图像检测装置，通过预先训练好的图像检测模型中的第一子模型来检测待检测图像中的第一目标区域，能够有针对性的确定需要检测的第一目标图像。然后再使用图像检测模型中的第二子模型来检测第一目标图像是否被篡改。由于图像检测模型中的第一子模型和第二子模型均是由样本检测图像和样本检测图像的标注信息训练得到，且标注信息中包括第二目标区域以及第二目标区域对应的第二目标图像是否被篡改的信息，因此，图像检测模型能够更有针对性的对待检测图像进行检测，从而使得利用图像检测模型检测待检测图像是否被篡改的效率得到提高。
[0110]
本发明实施例提供的图像检测装置执行图1和图2所示的方法中的各个步骤，并能够达到提高检测图像是否被篡改的效率的技术效果，为简洁描述，再此不在详细赘述。
[0111]
图4示出了本发明实施例提供的一种电子设备的硬件结构示意图。
[0112]
在电子设备可以包括处理器401以及存储有计算机程序指令的存储器402。
[0113]
具体地，上述处理器401可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本发明实施
例的一个或多个集成电路。
[0114]
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在综合网关容灾设备的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。
[0115]
处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现图1和图2所示实施例中的任意一种图像检测方法。
[0116]
在一个示例中，电子设备还可包括通信接口404和总线410。其中，如图4所示，处理器401、存储器402、通信接口404通过总线410连接并完成相互间的通信。
[0117]
通信接口404，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
[0118]
总线410包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
[0119]
该电子设备可以执行本发明实施例中的图像检测方法，从而实现结合图1和图2描述的图像检测方法。
[0120]
另外，结合上述实施例中的图像检测方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像检测方法。
[0121]
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
[0122]
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联
网等的计算机网络被下载。
[0123]
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
[0124]
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。