不对等像素的图像匹配方法、装置、计算机设备及存储介质与流程

1.本发明涉及图像匹配技术领域，特别是涉及一种不对等像素的图像匹配方法、装置、计算机设备及存储介质。


背景技术：

2.图像识别是利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。图像识别是近年ai(artificial intelligence，人工智能)领域的重要技术之一，例如基于图像识别的人脸识别、活体检测、车牌识别、非法图像定位等技术。其中图像匹配算法也是个重要分支。图像匹配算法通过对输入的两张图像进行特征提取，计算特征值之间的差异性，得到两张图像的匹配度，最后找到输入图像的相似图像。
3.目前，主流的图像匹配度计算算法包括汉明距离、欧式距离、感知哈希等，虽然现有算法在一定程度上能够满足实际应用需求，但对于同图不同像素或者不同景深的图像对比效果差强人意。同时，由于不同像素的图像在resize(重新改变大小)后特征值也会发生变化，单方面的横向计算特征得到的结果稍显粗糙，导致匹配度计算结果不够精确。


技术实现要素：

4.本发明提供了一种不对等像素的图像匹配方法、装置、计算机设备及存储介质，旨在解决现有的图像匹配度计算算法对于同图不同像素或者不同景深的图像匹配效果差、匹配度计算结果不够精确等技术问题。
5.为解决上述技术问题，本发明采用的技术方案为：
6.一种不对等像素的图像匹配方法，包括：
7.按照设定的分割比例将至少两幅待匹配图像分割为相同数量的图像块；
8.将所述分割后的至少两幅待匹配图像输入训练好的特征提取模型，利用所述特征提取模型分别提取所述至少两幅待匹配图像的整体特征向量以及每个图像块的特征向量；
9.根据所述至少两幅待匹配图像的整体特征向量计算所述至少两幅待匹配图像的整体匹配度值，并根据所述图像块的特征向量计算所述至少两幅待匹配图像中位置相对应的图像块的匹配度值；
10.将所述待匹配图像的整体匹配度值以及所述位置相对应的图像块的匹配度值进行合并，得到所述至少两幅待匹配图像的匹配度计算结果。
11.本发明实施例采取的技术方案还包括：按照设定的分割比例将至少两幅待匹配图像分割为相同数量的图像块还包括：
12.按照设定的标记顺序对所述至少两幅待匹配图像中的图像块进行标记；
13.按照所述图像块的标记顺序分别将所述至少两幅待匹配图像中位置相对应的图像块作为块组合。
14.本发明实施例采取的技术方案还包括：所述特征提取模型为vgg模型，所述vgg模型包括transforms模块、卷积层、池化层、flatten层以及全连接层，所述利用所述特征提取
模型分别提取所述至少两幅待匹配图像的整体特征向量以及每个图像块的特征向量具体为：
15.将所述待匹配图像进行编码后输入所述transforms模块进行多头注意力序列处理后输出，将所述transforms模块的输出输入到卷积层和池化层进行特征向量提取，将所述卷积层和池化层输出的特征向量输入到flatten层进行降维处理，最后通过所述全连接层输出特征向量提取结果。
16.本发明实施例采取的技术方案还包括：所述根据所述至少两幅待匹配图像的整体特征向量计算所述至少两幅待匹配图像的整体匹配度值，并根据所述图像块的特征向量计算所述至少两幅待匹配图像中区域相对应的图像块的匹配度值包括：
17.对所述至少两幅待匹配图像的整体特征向量以及对应块组合的特征向量进行比对，分别得到所述至少两幅待匹配图像的整体匹配度值以及对应块组合的匹配度值；
18.根据设定的筛选规则，将所述匹配度值低于设定阈值的块组合删除，得到筛选后的块组合。
19.本发明实施例采取的技术方案还包括：所述将所述待匹配图像的整体匹配度值以及所述对应图像块的匹配度值进行合并具体为：
20.将所述至少两幅待匹配图像的整体匹配度值以及筛选后的块组合的匹配度值进行合并。
21.本发明实施例采取的技术方案还包括：所述至少两幅待匹配图像的匹配度计算具体为：
[0022][0023]
假设所述筛选后的块组合数量为4个，上述公式展开为：
[0024]
t1*f1(x1,y1) t2*f2(x2,y2) t3*f3(x3,y3) t4*f4(x4,y4) t0*f0(x0,y0) bias
[0025]
其中，t1、t2、t3、t4分别四个块组合的对比权重，t0表示待匹配图像的对比权重；in为归一化前权重值，i表示不同的图像块，n为待匹配图像以及块组合的数量；f(x,y)为余弦计算函数，f(x,y)＝cosine_similarity(x,y)，x和y分别为对应块组合的特征向量，bias为偏移项。
[0026]
本发明实施例采取的另一技术方案为：一种不对等像素的图像匹配装置，包括：
[0027]
图像分割模块：用于按照设定的分割比例将至少两幅待匹配图像分割为相同数量的图像块；
[0028]
特征提取模块：用于将所述分割后的至少两幅待匹配图像输入训练好的特征提取模型，利用所述特征提取模型分别提取所述至少两幅待匹配图像的整体特征向量以及每个图像块的特征向量；
[0029]
第一匹配值计算模块：用于根据所述至少两幅待匹配图像的整体特征向量计算所述至少两幅待匹配图像的整体匹配度值，并根据所述图像块的特征向量计算所述至少两幅待匹配图像中位置相对应的图像块的匹配度值；
[0030]
第二匹配值计算模块：用于将所述待匹配图像的整体匹配度值以及所述位置相对应的图像块的匹配度值进行合并，得到所述至少两幅待匹配图像的匹配度计算结果。
[0031]
本发明实施例采取的技术方案还包括：所述第一匹配值计算模块根据所述至少两
幅待匹配图像的整体特征向量计算所述至少两幅待匹配图像的整体匹配度值，并根据所述图像块的特征向量计算所述至少两幅待匹配图像中位置相对应的图像块的匹配度值具体为：
[0032]
按照设定的标记顺序对所述至少两幅待匹配图像中的图像块进行标记，按照所述图像块的标记顺序分别将所述至少两幅待匹配图像中位置相对应的图像块作为块组合；对所述至少两幅待匹配图像的整体特征向量以及对应块组合的特征向量进行比对，分别得到所述至少两幅待匹配图像的整体匹配度值以及对应块组合的匹配度值。
[0033]
本发明实施例采取的又一技术方案为：一种计算机设备，所述计算机设备包括：
[0034]
存储有可执行程序代码的存储器；
[0035]
与所述存储器连接的处理器；
[0036]
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如上所述的不对等像素的图像匹配方法。
[0037]
本发明实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行上述的不对等像素的图像匹配方法。
[0038]
本发明实施例的不对等像素的图像匹配方法、装置、计算机设备及存储介质通过将待匹配图像进行分块，在提取图像整体特征向量的同时分别提取每个图像块的特征向量，根据整体特征向量和图像块的特征向量分别计算待匹配图形的整体匹配度值以及对应图像块的匹配度值，并将匹配度值较低的图像块删除后，将整体匹配度值以及对应图像块的匹配度值进行合并，得到两幅待匹配图像的匹配度计算结果。本发明在整图匹配度对比的基础上加上了分块匹配，大大提高了图像匹配度计算结果，通过区域化对比及多区域线性组合的方式有效规避了单一特征计算的简单粗暴计算方式，从而大大提高不对等像素及尺寸下的图像相似计算结果，使得相似图像匹配值在较为合理的范围内。
附图说明
[0039]
图1是本发明第一实施例的不对等像素的图像匹配方法的流程示意图；
[0040]
图2是本发明第二实施例的不对等像素的图像匹配方法的流程示意图；
[0041]
图3是本发明实施例的图像分割结果示意图；
[0042]
图4为本发明实施例的图像特征提取过程示意图；
[0043]
图5是本发明实施例不对等像素的图像匹配装置的结构示意图；
[0044]
图6是本发明实施例的计算机设备结构示意图；
[0045]
图7是本发明实施例的存储介质结构示意图。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第
三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0048]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0049]
请参阅图1，是本发明第一实施例的不对等像素的图像匹配方法的流程示意图。本发明第一实施例的不对等像素的图像匹配方法包括以下步骤：
[0050]
s100：按照设定的分割比例将至少两幅待匹配图像分割为相同数量的图像块；
[0051]
s110：将分割后的至少两幅待匹配图像输入训练好的特征提取模型，利用特征提取模型分别提取至少两幅待匹配图像的整体特征向量以及每个图像块的特征向量；
[0052]
s120：根据至少两幅待匹配图像的整体特征向量计算至少两幅待匹配图像的整体匹配度值，并根据图像块的特征向量计算至少两幅待匹配图像中位置相对应的图像块的匹配度值；
[0053]
s130：将待匹配图像的整体匹配度值以及位置相对应的图像块的匹配度值进行合并，得到至少两幅待匹配图像的匹配度计算结果。
[0054]
基于上述，本发明第一实施例的不对等像素的图像匹配方法通过将待匹配图像进行分块，在提取图像整体特征向量的同时分别提取每个图像块的特征向量，根据整体特征向量和图像块的特征向量分别计算待匹配图形的整体匹配度值以及对应图像块的匹配度值，将整体匹配度值以及对应图像块的匹配度值进行合并，得到两幅待匹配图像的匹配度计算结果。本发明在整图匹配度对比的基础上加上了分块匹配，从而大大提高不对等像素及尺寸下的图像相似计算结果，使得相似图像匹配值在较为合理的范围内。
[0055]
请参阅图2，是本发明第二实施例的不对等像素的图像匹配方法的流程示意图。本发明第二实施例的不对等像素的图像匹配方法包括以下步骤：
[0056]
s200：获取两幅不对等像素/尺寸的待匹配图像；
[0057]
本步骤中，不对等像素是指像素或景深((dof，是指在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围)不同的图像。
[0058]
s210：按照设定的分割比例对两幅待匹配图像进行分块处理，分别生成两幅待匹配图像的相同数量的图像块，按照设定顺序对每个图像块进行标记，并按照图像块的标记顺序分别将两幅待匹配图像中位置相对应的图像块作为块组合；
[0059]
本步骤中，请一并参阅图3，是本发明实施例的图像分割结果示意图。假设两幅待匹配图像分别为图像a和图像b，按照平均分割的方式分别将图像a和图像b分割为四个图像块，并分别按照从左往右、从上往下的标记顺序将图像a的四个图像块分别标记为a0，a1，
a2，a3，将图像b的四个图像块分别标记为c0，c1，c2，c3，对分割后的图像块进行标记是为了便于后续的图像块匹配度计算。可以理解，图像的分割比例以及分割数量可根据实际应用场景进行设定，且分割比例并不局限于平均分割，也可分别设置两幅待匹配图像中同一区域的图像块的分割比例，只要两幅待匹配图像中同一区域的图像块的分割比例相同(即a0与c0、a1和c1、a2和c2、a3和c3的分割比例相同)均属于本发明实施例的保护范围。以图3为例，按照图像块的标记顺序分别将两幅待匹配图像中位置相对应的图像块作为块组合具体为：分别将a0和c0、a1和c1、a2和c2、a3和c3作为块组合。
[0060]
s220：将分割后的两幅待匹配图像输入训练好的特征提取模型，利用特征提取模型分别提取两幅待匹配图像的整体特征向量以及每个图像块的特征向量；
[0061]
本步骤中，具体如图4所示，为本发明实施例的图像特征提取过程示意图。特征提取过程具体为：输入图像经过编码后进入transforms模块进行多头注意力序列处理，并输出图像的特征向量；接着特征向量依次进入卷积层和池化层，通过卷积层和池化层增加特征向量的非线性表达能力。卷积层和池化层的输出经过flatten层进行降维处理，将多维的输入一维化，最后通过全连接层输出特征向量提取结果。本发明实施例中，为便于计算，将输出的特征向量分别标记为sa0，sa1，sa2，sa3,sa和sc0，sc1，sc2，sc3,sc，其中，sa0，sa1，sa2，sa3和sc0，sc1，sc2，sc3分别为图像块a0，a1，a2，a3和c0，c1，c2，c3的特征向量，sa和sc分别为图像a和图像b的整体特征向量。
[0062]
进一步地，本发明实施例中的特征提取模型为pytorch下的vgg模型。该模型依托于tensorflow，通过对比输入的两个图像的原始像素及尺寸，训练对应的权重值in和偏移项bias。模型的训练样本为多个不同像素和尺寸的图像组合，并通过人工标注图像组合的匹配度范围。模型训练流程包括：
[0063]
第一步、构建多元线性模型：sim＝f0*t0
…
f4*t4 bias；其中，fi表示基础相似计算函数，i表示不同的图像块，tn表示表示不同图像块的权重，n表示图像(块)的数量；其中多元线性模型包括3层卷积层 2层全连接层，模型中采用的回归方程式可根据业务场景进行设计。
[0064]
第二步、采用二次代价函数计算模型预测权重及偏移项与人工标注数据之间的差值；
[0065]
第三步、定义梯度下降算法(train.gradientdescentoptimizer)，激活神经网络开始迭代训练，使模型快速迭代到拟合状态。
[0066]
s230：对两幅待匹配图像的整体特征向量以及对应块组合的特征向量进行比对，分别得到两幅待匹配图像的整体匹配度值以及对应块组合的匹配度值；
[0067]
本步骤中，假设得到的匹配度值分别为s0，s1，s2，s3,s，其中，s0、s1、s2以及s3分别为图3中a0与c0、a1和c1、a2和c2以及a3和c3的匹配度值，s为图像a和图像b的整体匹配度值。
[0068]
s240：根据设定的筛选规则，将匹配度值低于设定阈值的块组合删除，得到筛选后的块组合；
[0069]
本步骤中，将筛选图像块的阈值设定为50％，即如果两个图像块的匹配度值低于50％，则将这两个图像块删除，具体的阈值设定范围可根据实际应用场景进行调节。
[0070]
s250：将两幅待匹配图像的整体匹配度值以及筛选后的块组合的匹配度值进行合
并，得到最终的两幅待匹配图像的匹配度计算结果；
[0071]
本步骤中，两幅待匹配图像的匹配度计算公式具体为：
[0072][0073]
展开如下：
[0074]
t1*f1(x1,y1) t2*f2(x2,y2) t3*f3(x3,y3) t4*f4(x4,y4) t0*f0(x0,y0) bias
ꢀꢀꢀꢀꢀ
(2)
[0075]
其中，t1、t2、t3、t4分别四个块组合的对比权重，t0表示待匹配图像的对比权重；in为归一化前权重值，i表示不同的图像块，n为图像(块)数量；f(x,y)为余弦计算函数，f(x,y)＝cosine_similarity(x,y)，x和y分别为对应图像块的特征向量，bias为偏移项。
[0076]
基于上述，本发明第二实施例的不对等像素的图像匹配方法通过将待匹配图像进行分块，在提取图像整体特征向量的同时分别提取每个图像块的特征向量，根据整体特征向量和图像块的特征向量分别计算待匹配图形的整体匹配度值以及对应图像块的匹配度值，并将匹配度值较低的图像块删除后，将整体匹配度值以及对应图像块的匹配度值进行合并，得到两幅待匹配图像的匹配度计算结果。本发明在整图匹配度对比的基础上加上了分块匹配，大大提高了图像匹配度计算结果，通过区域化对比及多区域线性组合的方式有效规避了单一特征计算的简单粗暴计算方式，从而大大提高不对等像素及尺寸下的图像相似计算结果，使得相似图像匹配值在较为合理的范围内。
[0077]
在一个可选的实施方式中，还可以：将所述的不对等像素的图像匹配方法的结果上传至区块链中。
[0078]
具体地，基于所述的不对等像素的图像匹配方法的结果得到对应的摘要信息，具体来说，摘要信息由所述的不对等像素的图像匹配方法的结果进行散列处理得到，比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户可以从区块链中下载得该摘要信息，以便查证所述的不对等像素的图像匹配方法的结果是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0079]
请参阅图5，是本发明实施例不对等像素的图像匹配装置的结构示意图。本发明实施例不对等像素的图像匹配装置40包括：
[0080]
图像分割模块41：用于按照设定的分割比例将至少两幅待匹配图像分割为相同数量的图像块；
[0081]
特征提取模块42：用于将分割后的至少两幅待匹配图像输入训练好的特征提取模型，利用特征提取模型分别提取至少两幅待匹配图像的整体特征向量以及每个图像块的特征向量；
[0082]
第一匹配值计算模块43：用于根据至少两幅待匹配图像的整体特征向量计算至少两幅待匹配图像的整体匹配度值，并根据图像块的特征向量计算至少两幅待匹配图像中位
置相对应的图像块的匹配度值；
[0083]
第二匹配值计算模块44：用于将待匹配图像的整体匹配度值以及位置相对应的图像块的匹配度值进行合并，得到至少两幅待匹配图像的匹配度计算结果。
[0084]
本发明实施例的不对等像素的图像匹配装置通过将待匹配图像进行分块，在提取图像整体特征向量的同时分别提取每个图像块的特征向量，根据整体特征向量和图像块的特征向量分别计算待匹配图形的整体匹配度值以及对应图像块的匹配度值，将整体匹配度值以及对应图像块的匹配度值进行合并，得到两幅待匹配图像的匹配度计算结果。本发明在整图匹配度对比的基础上加上了分块匹配，从而大大提高不对等像素及尺寸下的图像相似计算结果，使得相似图像匹配值在较为合理的范围内。
[0085]
请参阅图6，为本发明实施例的计算机设备结构示意图。该计算机设备50包括：
[0086]
存储有可执行程序代码的存储器51；
[0087]
与存储器51连接的处理器52；
[0088]
处理器52用于调用存储器51中存储的可执行程序代码并执行以下步骤：按照设定的分割比例将至少两幅待匹配图像分割为相同数量的图像块；将所述分割后的至少两幅待匹配图像输入训练好的特征提取模型，利用所述特征提取模型分别提取所述至少两幅待匹配图像的整体特征向量以及每个图像块的特征向量；根据所述至少两幅待匹配图像的整体特征向量计算所述至少两幅待匹配图像的整体匹配度值，并根据所述图像块的特征向量计算所述至少两幅待匹配图像中位置相对应的图像块的匹配度值；将所述待匹配图像的整体匹配度值以及所述位置相对应的图像块的匹配度值进行合并，得到所述至少两幅待匹配图像的匹配度计算结果。
[0089]
其中，处理器52还可以称为cpu(central processing unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0090]
本发明实施例的计算机设备通过将待匹配图像进行分块，在提取图像整体特征向量的同时分别提取每个图像块的特征向量，根据整体特征向量和图像块的特征向量分别计算待匹配图形的整体匹配度值以及对应图像块的匹配度值，将整体匹配度值以及对应图像块的匹配度值进行合并，得到两幅待匹配图像的匹配度计算结果。本发明在整图匹配度对比的基础上加上了分块匹配，从而大大提高不对等像素及尺寸下的图像相似计算结果，使得相似图像匹配值在较为合理的范围内。
[0091]
请参阅图7，图7为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现以下步骤的程序文件61：按照设定的分割比例将至少两幅待匹配图像分割为相同数量的图像块；将所述分割后的至少两幅待匹配图像输入训练好的特征提取模型，利用所述特征提取模型分别提取所述至少两幅待匹配图像的整体特征向量以及每个图像块的特征向量；根据所述至少两幅待匹配图像的整体特征向量计算所述至少两幅待匹配图像的整体匹配度值，并根据所述图像块的特征向量计算所述至少两幅待匹配图像中位置相对应的图像块的匹配度值；将所述待匹配图像的整体匹配度值以及所述位置相对应的图像块的匹配度值进行合并，得到所述至少两幅待匹配图像的匹配度计算结果。其中，该程序
文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0092]
本发明实施例的存储介质通过将待匹配图像进行分块，在提取图像整体特征向量的同时分别提取每个图像块的特征向量，根据整体特征向量和图像块的特征向量分别计算待匹配图形的整体匹配度值以及对应图像块的匹配度值，将整体匹配度值以及对应图像块的匹配度值进行合并，得到两幅待匹配图像的匹配度计算结果。本发明在整图匹配度对比的基础上加上了分块匹配，从而大大提高不对等像素及尺寸下的图像相似计算结果，使得相似图像匹配值在较为合理的范围内。
[0093]
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0094]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。