一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种用于设备安全检测的图像去重方法及装置与流程

2022-08-13 17:00:40 来源:中国专利 TAG:


1.本公开涉及图像处理技术领域,尤其涉及一种用于设备安全检测的图像去重方法及装置。


背景技术:

2.为了保障燃气用户的用气安全,及时发现燃气设备设施隐患,通常需要定期安全安检人员入户对燃气用户的燃气设备设施进行安全检查。在进行安全检查的过程中,通常需要拍摄燃气设备设施及其周围安装环境的图像,并将拍摄的图像进行上传,然后再根据这些图像进行检测,得出检测结果,再根据该检测结果判断燃气设备设施是否存在安全隐患。
3.然而,在实际入户进行安检拍摄时,安检人员拍摄并上传的图像可能会存在一些不符合业务标准的图像。例如,针对同一场景,按照业务标准应只拍摄一张图像,然而,安检人员可能会针对同一场景拍摄了多张仅存在微小角度变化的极其相似的图像并上传。在后续的图像检测过程中,就会重复对这些相似度较高的图像进行检测,不仅会增加检测的工作量,而且还会大大降低检测的效率。为了提高图像检测的效率,目前都是通过人工筛选删除同一场景的相似度较高的图像(可认为是重复图像),使得在同一场景同一拍摄角度下仅保留一张图像。但是,通过人工筛选删除同一场景同一角度下的重复图像,不仅需要耗费大量的人力、物力、财力,而且无法实现实时的筛选删除,从而影响到后续的设备安全检测的工作效率。


技术实现要素:

4.有鉴于此,本公开实施例提供了一种用于设备安全检测的图像去重方法及装置,以解决现有技术中通过人工筛选删除同一场景同一角度下的重复图像,不仅需要耗费大量的人力、物力、财力,而且无法实现实时的筛选删除,从而影响到后续的设备安全检测的工作效率的问题。
5.本公开实施例的第一方面,提供了一种用于设备安全检测的图像去重方法,包括:
6.获取待查重图像组,待查重图像组包括多个待查重图像对;
7.根据预设的孪生网络模型,提取得到待查重图像组中的每个待查重图像对的空间特征向量;
8.计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值;
9.利用相似度值与预设图像阈值,提取每个待查重图像对中图像的色彩数据特征向量;
10.根据色彩数据特征向量,判断待查重图像组中是否存在重复图像对。
11.本公开实施例的第二方面,提供了一种用于设备安全检测的图像去重装置,包括:
12.获取模块,被配置为获取待查重图像组,待查重图像组包括多个待查重图像对;
13.第一提取模块,被配置为根据预设的孪生网络模型,提取得到待查重图像组中的
每个待查重图像对的空间特征向量;
14.计算模块,被配置为计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值;
15.第二提取模块,被配置为利用相似度值与预设图像阈值,提取每个待查重图像对中图像的色彩数据特征向量;
16.判断模块,被配置为根据色彩数据特征向量,判断待查重图像组中是否存在重复图像对。
17.本公开实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
18.本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
19.本公开实施例与现有技术相比,其有益效果是:通过获取待查重图像组,待查重图像组包括多个待查重图像对;根据预设的孪生网络模型,提取得到待查重图像组中的每个待查重图像对的空间特征向量;计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值;利用相似度值与预设图像阈值,提取每个待查重图像对中图像的色彩数据特征向量;根据色彩数据特征向量,判断待查重图像组中是否存在重复图像对,能够快速、实时地筛除同一场景同一角度下拍摄的重复图像,省时、省力,工作效率高,并且可以精简后续图像处理的数据量,减少图像处理成本,有利于提高后续的设备安全检测的工作效率。
附图说明
20.为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
21.图1是本公开实施例的一种应用场景的场景示意图;
22.图2是本公开实施例提供的一种用于设备安全检测的图像去重方法的流程示意图;
23.图3是本公开实施例提供的一种用于设备安全检测的图像去重装置的结构示意图;
24.图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
25.以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
26.下面将结合附图详细说明根据本公开实施例的一种用于设备安全检测的图像去
重方法和装置。
27.图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括终端设备101、服务器102以及网络103。
28.终端设备101可以是硬件,也可以是软件。当终端设备101为硬件时,其可以是具有显示屏且支持与服务器102通信的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等;当终端设备102为软件时,其可以安装在如上的电子设备中。终端设备102可以实现为多个软件或软件模块,也可以实现为单个软件或软件模块,本公开实施例对此不作限制。进一步地,终端设备102上可以安装有各种应用,例如数据处理应用、即时通信工具、社交平台软件、搜索类应用等。
29.服务器102可以是提供各种服务的服务器,例如,对与其建立通信连接的终端设备发送的请求进行接收的后台服务器,该后台服务器可以对终端设备发送的请求进行接收和分析等处理,并生成处理结果。服务器102可以是一台服务器,也可以是由若干台服务器组成的服务器集群,或者还可以是一个云计算服务中心,本公开实施例对此不作限制。
30.需要说明的是,服务器102可以是硬件,也可以是软件。当服务器102为硬件时,其可以是为终端设备101提供各种服务的各种电子设备。当服务器102为软件时,其可以是为终端设备101提供各种服务的多个软件或软件模块,也可以是为终端设备101提供各种服务的单个软件或软件模块,本公开实施例对此不作限制。
31.网络103可以是采用同轴电缆、双绞线和光纤连接的有线网络,也可以是无需布线就能实现各种通信设备互联的无线网络,例如,蓝牙(bluetooth)、近场通信(near field communication,nfc)、红外(infrared)等,本公开实施例对此不作限制。
32.用户(如燃气公司的安检人员)可以通过终端设备101(如智能手机)经由网络103与服务器102建立通信连接,以接收或发送信息等。具体地,在用户通过终端设备101将入户检查时拍摄到的至少两张待查重图像上传至服务器102之后,服务器102可获取待查重图像组,待查重图像组包括多个待查重图像对;根据预设的孪生网络模型,提取得到待查重图像组中的每个待查重图像对的空间特征向量;计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值;利用相似度值与预设图像阈值,提取每个待查重图像对中图像的色彩数据特征向量;根据色彩数据特征向量,判断待查重图像组中是否存在重复图像,并在确认存在重复图像对时,删去重复图像对中的任意一张图像。通过上述方式,能够快速、实时地筛除同一场景同一角度下拍摄的重复图像,省时、省力,工作效率高,并且可以精简后续图像处理的数据量,减少图像处理成本,有利于提高后续的设备安全检测的工作效率。
33.需要说明的是,终端设备101、服务器102以及网络103的具体类型、数量和组合可以根据应用场景的实际需求进行调整,本公开实施例对此不作限制。
34.图2是本公开实施例提供的一种用于设备安全检测的图像去重方法的流程示意图。图2的用于设备安全检测的图像去重方法可以由图1的终端设备或者服务器执行。如图2所示,该用于设备安全检测的图像去重方法包括:
35.步骤s201,获取待查重图像组,待查重图像组包括多个待查重图像对。
36.待查重图像组,可以包括一个待查重图像对的图像组,也可以是包括多个待查重图像对的图像组。其中一个待查重图像对包括至少两张待查重图像。
37.待查重图像,可以是用户(如燃气公司的安检人员)在进入燃气用户家中进行燃气设备设施的安全检查时,使用手机等终端设备拍摄燃气设备设施所在位置的图像/图片/照片。
38.在实际应用中,安检人员可能会针对同一场景抓拍多张连续的图像,而这些图像可能仅存在微小角度变化。为了减少后续图像处理的数量,提高安检工作效率,通常都需要先筛除其中针对同一场景的多张相似度较高的图像,期望做到同一场景的同一拍摄角度仅保留一张图像。
39.作为一示例,假设待查重图像组为包括一个待查重图像对的图像组,该待查重图像对包括第一待查重图像和第二待查重图像。待查重图像对中的第一待查重图像和第二待查重图像可能是同一场景下拍摄的仅存在微小角度变化的相似图像,也可能是不同场景下的不同图像,抑或者是同一场景下拍摄的角度差异较大的图像。
40.在一实施例中,安检人员在入户排查燃气用户家庭中的燃气设备设施时,可将在此过程中拍摄到的图像存储至预设的存储位置(如手机内存或者云端网络等)。在需要进行图像查重时,服务器或者终端设备可以通过网络或者本地读取到相关的查重图像。
41.步骤s202,根据预设的孪生网络模型,提取得到待查重图像组中的每个待查重图像对的空间特征向量。
42.孪生网络模型,即通过孪生网络训练得到的算法模型。孪生网络(siamese network),也称为“连体的神经网络”,神经网络的“连体”是通过共享权值(所有参数)来实现的。孪生网络的网络架构包括左右两个神经网络,左右两个神经网络可以是同样的神经网络(如都为长短期记忆网络或者cnn卷积神经网络),也可以是不同的神经网络(如左边为长短期记忆网络,右边为cnn卷积神经网络;或者右边为长短期记忆网络,左边为cnn卷积神经网络)。
43.作为一示例,假设待查重图像组包括一个待查重图像对,该待查重图像对包括第一待查重图像和第二待查重图像,将第一待查重图像记为图像01,第二待查重图像记为图像02。可将图像01输入孪生网络模型的左边网络中进行特征提取,可获得与图像01对应的第一空间特征向量。将图像02输入孪生网络模型的右边网络中进行特征提取,可获得与图像02对应的第二空间特征向量。
44.第一空间特征向量、第二空间特征向量,是分别用于表征图像01、02中的物体的空间几何结构的特征信息。
45.作为另一示例,若是待查重图像组中包括有多个待查重图像对,那么可以每次抓取出其中的一个待查重图像对,输入至预设的孪生网络模型中,提取出该待查重图像对的每张图像的空间特征向量。
46.步骤s203,计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值。
47.结合上述示例,计算第一待查重图像的第一空间特征向量和第二待查重图像的第二空间特征向量之间的第一相似度。具体的,可以计算第一空间特征向量和第二空间特征向量之间的余弦距离或者欧式距离,即第一相似度。优选的,计算第一空间特征向量和第二空间特征向量之间的余弦距离,作为它们之间的第一相似度。
48.步骤s204,利用相似度值与预设图像阈值,提取每个待查重图像对中图像的色彩
数据特征向量。
49.作为一示例,若第一相似度大于或等于第一预定阈值,则提取第一待查重图像的第一色彩数据特征向量,以及第二待查重图像的第二色彩数据特征向量。
50.第一预定阈值,可以根据实际情况灵活设置,通常可设置为0.95~1之间的任意值。
51.结合上述示例,假设图像01、02的第一相似度为0.97,第一预定阈值为0.95,那么第一相似度0.97>第一预定阈值0.95,则进一步提取图像01的第一色彩数据特征向量,以及图像02的第二色彩数据特征向量。
52.第一色彩数据特征向量、第二色彩数据特征向量,是分别用于表征图像01、02的色彩空间的特征信息。色彩空间,又称颜色空间、彩色模型或者彩色系统,其用于在某些标准下用通常可接受的方式对彩色加以说明。例如,通常采用图像的rgb值来表征其色彩空间特征。
53.步骤s205,根据色彩数据特征向量,判断待查重图像组中是否存在重复图像对。
54.结合上述示例,计算第一色彩数据特征向量和第二色彩数据特征向量之间的第二相似度。具体的,可以计算第一色彩特征向量和第二色彩特征向量之间的余弦距离或者欧式距离,即第二相似度。优选的,计算第二色彩特征向量和第二色彩特征向量之间的余弦距离,作为它们之间的第二相似度。若第二相似度大于或等于第二预定阈值,则确认第一待查重图像和第二待查重图像为重复图像对,此时,可删除该重复图像对中的第一待查重图像或者第二待查重图像。也就是说,仅保留重复图像对中的任意一张图像,以减少冗余的图像。
55.第二预定阈值,可以根据实际情况灵活设置,通常可设置为0.96~0.97之间的任意值。
56.结合上述示例,若图像01与图像02的第二相似度为0.965,第二预定阈值为0.96,则第二相似度0.965>第二预定阈值0.96,那么可确认图像01(第一待查重图像)和图像02(第二待查重图像)为重复图像。此时可选择删除图像01或者图像02。
57.在一实施例中,如果待查重图像有至少三张,那么在第一次筛除时,可以先随机从这些待查重图像中选取两张作为第一待查重图像对输入预设的孪生网络模型中进行特征提取,得到这两张图像的空间特征向量,再根据这两张图像的空间特征向量,计算它们之间的第一相似度;若是第一相似度大于或者等于第一预定阈值,则进一步提取它们的色彩特征向量,根据它们的色彩特征向量计算第二相似度,再根据第二相似度判断二者是否为重复图像,若是确认二者为重复图像,则可以选择删去其中的一张图像。接下来,将剩下的图像与未处理的图像中抽取出来的一张图像组成第二待查重图像对,重复上述步骤,确认二者是否为重复图像,若确认二者为重复图像,则选择删除其中的一张。接着,再将剩下的图像与未处理的图像中抽取出来的一张图像组成再第二待查重图像对,重复上述步骤,直至遍历所有的待查重图像为止,完成图像去重的操作流程。
58.本公开实施例提供的技术方案,通过获取待查重图像组,待查重图像组包括多个待查重图像对;根据预设的孪生网络模型,提取得到待查重图像组中的每个待查重图像对的空间特征向量;计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值;利用相似度值与预设图像阈值,提取每个待查重图像对中图像的色彩数据特征向量;根
据色彩数据特征向量,判断待查重图像组中是否存在重复图像,在确认存在重复图像对时,可删去重复图像对中的任意一张图像,能够快速、实时地筛除同一场景同一角度下拍摄的重复图像,省时、省力,工作效率高,并且可以精简后续图像处理的数据量,减少图像处理成本,有利于提高后续的设备安全检测的工作效率。
59.在一些实施例中,上述孪生网络模型是由如下步骤训练得到的:
60.获取训练图像;
61.对训练图像进行两种随机图像增强处理,得到第一增强图像和第二增强图像;
62.将第一增强图像和第二增强图像输入初始网络模型,得到与第一增强图像对应的第一特征向量,以及与第二增强图像对应的第二特征向量;
63.根据第一特征向量和第二特征向量,计算得到对称损失值;
64.根据对称损失值,更新初始网络模型的第一梯度值或者第二梯度值,得到孪生网络模型。
65.训练图像,可以是用户(如燃气公司的安检人员)使用终端设备(如智能手机)在入户安检排查时拍摄到的包含燃气设备设施及其安装环境的图像。
66.两种随机图像增强处理,可以是图像旋转、图像镜像、随机裁切、通道顺序变换、图像尺寸变化、图像增加随机噪声、图像对比度变化中的任意两种。
67.初始网络模型,可以是经初始化后的孪生网络模型。
68.作为一示例,首先,可对获取到的一张训练图像x进行图像旋转处理,得到第一增强图像x1,对训练图像x进行图像镜像处理,得到第二增强图像x2。然后,将第一增强图像x1和第二增强图像x2分别输入至初始网络模型的左边、右边网络中进行特征提取,得到与第一增强图像对应的第一特征向量v1,以及与第二增强图像对应的第二特征向量v2。这里的第一特征向量和第二特征向量是指分别用于表征第一增强图像和第二增强图像的物体空间几何结构的特征信息。接着,根据上述获得的第一特征向量、第二特征向量,计算对称损失值;再根据该对称损失值更新初始网络模型的左边网络的第一梯度值,或者右边网络的第二梯度值,得到上述步骤s102所需使用的孪生网络模型。
69.通过使用对称损失值对初始网络的左边网络的第一梯度值或者右边网络的第二梯度值进行梯度截断,可以提高孪生网络模型的图像比对效果。
70.在一些实施例中,根据第一特征向量和第二特征向量,计算得到对称损失值,具体包括如下步骤:
71.对第一特征向量进行变换,得到第一变换向量,对第二特征向量进行变换,得到第二变换向量;
72.计算第一变换向量与第二特征向量之间的第一向量相似度,以及第二变换向量与第一特征向量之间的第二向量相似度;
73.根据第一向量相似度和第二向量相似度,计算得到对称损失值。
74.结合上述示例,可使用多层感知机(mlp)分别对第一特征向量v1和第二特征向量v2进行特征向量的维度变换,得到第一变换向量p1、第二变换向量p2。然后,计算第一变换向量p1与第二特征向量v2之间的第一向量相似度d(p1,v2),以及第二变换向量p2与第一特征向量v1之间的第二向量相似度d(p2,v1)。第一向量相似度、第二向量相似度,可以是余弦相似度。再根据公式l=d(p1,v2) d(p2,v1)计算得到初始网络模型的对称损失值。最后,使
用该对称损失值l更新初始网络的左边网络的第一梯度值或者右边网络的第二梯度值。
75.为了提高孪生网络模型的比对精度,可以采用一系列的训练图像对初始网络进行训练,并在达到预设的训练终止条件(如达到预设的训练轮次,或者达到预设的模型精度等)时,终止模型训练,获得上述步骤s102所需使用的孪生网络模型。
76.在一些实施例中,计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值,包括:
77.计算待查重图像组中的每个待查重图像对的空间特征向量之间的内积;
78.根据内积,计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值。
79.作为一示例,假设待查重图像组中包括一个待查重图像对,该待查重图像对中包括第一待查重图像和第二待查重图像。那么,可以计算第一待查重图像的第一空间特征向量和第二待查重图像的第二空间特征向量之间的第一相似度。具体的,可先计算第一空间特征向量和第二空间特征向量的内积;再根据内积,计算第一待查重图像和第二待查重图像之间的第一相似度。
80.内积,别称数量积、标量积、点积,是指接受在实数r上的两个向量并返回一个实数值标量的二元运算。
81.第一相似度,可以是第一待查重图像和第二待查重图像之间的余弦相似度。余弦相似度,是指n维空间中两个n维向量之间角度的余弦。它等于两个向量的点积(向量积)除以两个向量长度(或大小)的乘积。
82.在一些实施例中,利用相似度值与预设图像阈值,提取每个待查重图像对中图像的色彩数据特征向量,包括:
83.从待查重图像组中筛选出相似度值大于或等于预设图像阈值的候选图像对;
84.提取候选图像对中的图像的色彩数据特征向量。
85.作为一示例,假设待查重图像组中包括三个待查重图像对,可分别记录为待查重图像对a、待查重图像对b和待查重图像对c。其中,待查重图像对a包括图像a1和图像a2,待查重图像对b包括图像b1和b2,待查重图像对c包括图像c1和图像c2。
86.以待查重图像对a为例,假设根据上述步骤确定待查重图像对a中的图像a1和图像a2的空间特征向量之间的相似度值大于预设图像阈值,那么可以将待查重图像对a确定为候选图像对。
87.接着,提取图像a1的第一色彩数据特征向量,以及图像a2的第二色彩数据特征向量。具体的,可分别提取图像a1的第一颜色通道分布直方图、第二颜色通道分布直方图和第三颜色通道分布直方图,以及图像a2的第四颜色通道分布直方图、第五颜色通道分布直方图和第六颜色通道分布直方图。对第一颜色通道分布直方图、第二颜色通道分布直方图和第三颜色通道分布直方图进行排列,得到第一色彩数据特征向量。对第四颜色通道分布直方图、第五颜色通道分布直方图和第六颜色通道分布直方图进行排列,得到第二色彩数据特征向量。
88.作为一示例,假设图像a1的第一空间特征向量与图像a2的第二空间特征向量之间的相似度值>预设图像阈值(如0.95),则提取图像a1的第一颜色通道分布直方图(如红色通道分布直方图)、第二颜色通道分布直方图(如绿色通道分布直方图)和第三颜色通道分
布直方图(如蓝色通道分布直方图),即得到维度为3*256的分布直方图,以及图像a2的第四颜色通道分布直方图(如红色通道分布直方图)、第五颜色通道分布直方图(如绿色通道分布直方图)和第六颜色通道分布直方图(如蓝色通道分布直方图),即得到维度为3*256的分布直方图。
89.然后,对第一颜色通道分布直方图、第二颜色通道分布直方图和第三颜色通道分布直方图进行排列,可得到维度为1*768的第一色彩数据特征向量。对第四颜色通道分布直方图、第五颜色通道分布直方图和第六颜色通道分布直方图进行排列,得到维度为1*768的第二色彩数据特征向量。
90.通过提取图像a1、a2的维度为3*256的分布直方图,再将分布直方图进行排列,得到维度为1*768的特征向量,可对齐图像a1的第一空间特征向量、图像a2的第二空间特征向量,保证后续图像比对结果的准确性和可靠性。
91.在一些实施例中,上述步骤s202之前,还包括:
92.接收用户发起的图像去重申请操作;
93.加载获得与图像去重申请操作对应的孪生网络模型,并对孪生网络模型进行初始化。
94.作为一示例,用户可以在通过终端设备上传了待查重的图像之后,点击终端设备的界面上预设的“图像去重申请”按钮来向服务器(或者终端设备的后端)发起“图像去重申请操作”。此时,服务器或者终端设备的后端可接收到用户发起的图像去重申请操作,并启动预设的加载程序,加载获得与该图像去重申请操作对应孪生网络模型,并执行对该孪生网络模型的初始化动作,自动或者手动配置该孪生网络模型的网络参数(如权重参数等)。
95.在一些实施例中,上述步骤s202包括:
96.对待查重图像组中的每个待查重图像对进行图像预处理,得到预处理图像对;
97.将每个预处理图像对输入预设的孪生网络模型,提取每个预处理图像对的空间特征向量。
98.在本实施例中,可以每次从待查重图像组中抓取出一个待查重图像对,然后,对抓取出来的待查重图像对进行图像预处理。也可以是一次性对待查重图像组中的每个待查重图像对进行图像预处理,得到每个待查重图像对对应的预处理图像对。
99.作为一示例,以每次从待查重图像组中抓取出一个待查重图像对为例,该待查重图像对包括第一待查重图像和第二待查重图像。那么,可以对待查重图像对进行图像预处理,得到与第一待查重图像对应的第一预处理图像,以及与第二待查重图像对应的第二预处理图像。然后,将第一预处理图像和第二预处理图像输入预设的孪生网络模型中,提取得到与第一预处理图像对应的第一空间特征向量,以及与第二预处理图像对应的第二空间特征向量。
100.图像预处理,包括但不限于对图像进行维度扩张、通道排序变换、图像类型转换、图像送入现存、图像尺寸缩放等预处理。
101.维度扩张,是指把三维图像变成四维图像,以满足算法框架的基本要求。
102.通道排序变换,是指将图像的通道修改成满足算法框架基本要求的格式。例如,图像的原始通道为bgr,经过通道排序变换将该图像的通道改成rgb。
103.图像类型转换,是指对图像的数据类型进行转换,例如,将图像由整型数据转成
tensorflow。tensor(张量)意味着n维数组,flow(流)意味着基于数据流图的计算,tensorflow为张量从流图的一端流动到另一端计算过程。
104.图像送入现存,是指将待查重图像从内存数据中转出来放到显存读取,可使得后续的图像处理的计算速度更快。
105.图像尺寸缩放,是指把尺寸大小不一的待查重图像处理成统一规格的图像。
106.在将待查重图像对输入预设的孪生网络模型中进行特征提取之前,可先对待查重图像对进行上述的图像预处理,得到与第一待查重图像对应的第一预处理图像,以及与第二待查重图像对应的第二预处理图像。接着,将第一预处理图像和第二预处理图像输入孪生网络模型中进行特征提取,得到与第一预处理图像对应的第一空间特征向量,以及与第二预处理图像对应的第二空间特征向量。再将第一空间特征向量和第二空间特征向量从显存输送至内存,备用。
107.上述所有可选技术方案,可以采用任意结合形成本技术的可选实施例,在此不再一一赘述。
108.下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
109.图3是本公开实施例提供的一种用于设备安全检测的图像去重装置的示意图。如图3所示,该用于设备安全检测的图像去重装置包括:
110.获取模块301,被配置为获取待查重图像组,待查重图像组包括多个待查重图像对;
111.第一提取模块302,被配置为根据预设的孪生网络模型,提取得到待查重图像组中的每个待查重图像对的空间特征向量;
112.计算模块303,被配置为计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值;
113.第二提取模块304,被配置为利用相似度值与预设图像阈值,提取每个待查重图像对中图像的色彩数据特征向量;
114.判断模块305,被配置为根据色彩数据特征向量,判断待查重图像组中是否存在重复图像对。
115.本公开实施例提供的技术方案,通过获取模块301获取待查重图像组,待查重图像组包括多个待查重图像对;第一提取模块302根据预设的孪生网络模型,提取得到待查重图像组中的每个待查重图像对的空间特征向量;计算模块303计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值;第二提取模块304利用相似度值与预设图像阈值,提取每个待查重图像对中图像的色彩数据特征向量;判断模块305根据色彩数据特征向量,判断待查重图像组中是否存在重复图像对,能够快速、实时地筛除同一场景同一角度下拍摄的重复图像,省时、省力,工作效率高,并且可以精简后续图像处理的数据量,减少图像处理成本,有利于提高后续的设备安全检测的工作效率。
116.在一些实施例中,上述孪生网络模型是由如下步骤训练得到的:
117.获取训练图像;
118.对训练图像进行两种随机图像增强处理,得到第一增强图像和第二增强图像;
119.将第一增强图像和第二增强图像输入初始网络模型,得到与第一增强图像对应的
第一特征向量,以及与第二增强图像对应的第二特征向量;
120.根据第一特征向量和第二特征向量,计算得到对称损失值;
121.根据对称损失值,更新初始网络模型的第一梯度值或者第二梯度值,得到孪生网络模型。
122.在一些实施例中,根据第一特征向量和第二特征向量,计算得到对称损失值,包括:
123.对第一特征向量进行变换,得到第一变换向量,对第二特征向量进行变换,得到第二变换向量;
124.计算第一变换向量与第二特征向量之间的第一向量相似度,以及第二变换向量与第一特征向量之间的第二向量相似度;
125.根据第一向量相似度和第二向量相似度,计算得到对称损失值。
126.在一些实施例中,上述第一计算模块303包括:
127.内积计算单元,被配置为计算待查重图像组中的每个待查重图像对的空间特征向量之间的内积;
128.相似度计算单元,被配置为根据内积,计算待查重图像组中的每个待查重图像对的空间特征向量之间的相似度值。
129.在一些实施例中,上述第二提取模块304包括:
130.筛选单元,被配置为从待查重图像组中筛选出相似度值大于或等于预设图像阈值的候选图像对;
131.提取单元,被配置为提取候选图像对中的图像的色彩数据特征向量。
132.在一些实施例中,上述提取单元,可具体被配置为:
133.提取候选图像对中的图像的的第一颜色通道分布直方图、第二颜色通道分布直方图和第三颜色通道分布直方图;
134.对第一颜色通道分布直方图、第二颜色通道分布直方图和第三颜色通道分布直方图进行排列,得到候选图像对中的图像的色彩数据特征向量。
135.在一些实施例中,上述装置还包括:
136.接收模块,被配置为接收用户发起的图像去重申请操作;
137.加载模块,被配置为加载获得与图像去重申请操作对应的孪生网络模型,并对孪生网络模型进行初始化。
138.在一些实施例中,上述第一提取模块302包括:
139.预处理单元,被配置为对待查重图像组中的每个待查重图像对进行图像预处理,得到预处理图像对;
140.提取单元,被配置为将每个预处理图像对输入预设的孪生网络模型,提取每个预处理图像对的空间特征向量。
141.应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
142.图4是本公开实施例提供的电子设备4的示意图。如图4所示,该实施例的电子设备4包括:处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算
机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者,处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
143.电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解,图4仅仅是电子设备4的示例,并不构成对电子设备4的限定,可以包括比图示更多或更少的部件,或者不同的部件。
144.处理器401可以是中央处理单元(central processing unit,cpu),也可以是其它通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
145.存储器402可以是电子设备4的内部存储单元,例如,电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备,例如,电子设备4上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
146.所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
147.集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
148.以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献