基于孪生网络和中心位置估计的目标模板图匹配定位方法

技术特征：
1.一种基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，其特征在于，该方法包括如下步骤：s1构建目标模板图匹配定位网络所述目标模板图匹配定位网络由特征提取孪生网络、深度相关卷积网络和中心位置估计网络三个部分依次级联构成，输入为模板图t和实时图s，其中t和s的尺寸分别为m
×
m和n
×
n，m、n均为正整数且n＞m；输出为单通道的热力图p
hm
，记其尺寸为m
h
×
m
h
，m
h
为正整数，具体如下：s1.1构建特征提取孪生网络，提取输入模板图和实时图的特征信息所述特征提取孪生网络由两个参数共享、结构相同的卷积神经网络级联构成，分别以模板图t和实时图s作为输入，输出为模板图特征图f(t)和实时图特征图f(s)，其中f(t)的尺寸为m1×
m1×
d，f(s)的尺寸为n1×
n1×
d，其中m1表示f(t)的长度和宽度、n1表示f(s)的长度和宽度、d表示通道数，m1、n1、d均为正整数；所述卷积神经网络是在标准resnet网络基础上修改得到，所做的具体修改如下：(1)在标准的resnet网络的第三、四、五层增加3
×
3卷积，实现特征降维，得到的特征图分别记为和(2)对特征图进行3
×
3反卷积，得到的特征图拼接在特征图后，然后对拼接得到的特征图进行3
×
3卷积，得到特征图(3)对特征图进行3
×
3反卷积，得到的特征图拼接在特征图后，得到最终的输出：模板图特征图f(t)和实时图特征图f(s)；s1.2利用深度相关卷积网络，将提取到的模板图特征图f(t)和实时图特征图f(s)进行融合所述深度相关卷积网络以s1.1中提取到的模板图特征图f(t)和实时图特征图f(s)作为输入，以f(t)作为卷积核与f(s)进行深度相关卷积运算，输出为二者融合之后的相关特征图f
fusion
，其尺寸为(m1 1)
×
(m1 1)
×
d；s1.3构建中心位置估计网络，计算单通道热力图所述中心位置估计网络由三个3
×
3反卷积层和一个3
×
3卷积层级联构成，其中：每个3
×
3反卷积层的通道数为d、步长为s，s为正整数；3
×
3卷积层的通道数为d，步长为1；该中心位置估计网络以s1.2中融合后的相关特征图f
fusion
作为输入，输出为单通道热力图p
hm
，尺寸为m
h
×
m
h
，m
h
＝m1·
s3；记p
x,y
为热力图p
hm
上(x,y)位置处的热力值，1≤x,y≤m
h
，则p
x,y
的取值范围为[0,1]；s2训练目标模板图匹配定位网络s2.1制作训练图像集s2.1.1针对房屋、道路、桥梁、车辆、舰船、飞机各种类型的目标，在不同时间段用可见光相机和红外相机分别从不同距离、不同视角、不同位置处拍摄，获得大量图像；s2.1.2从采集的图像中制作n
train
对由模板图和实时图组成的图像对；s2.1.3将制作的n
train
对图像作为训练图像集；s2.2标定训练图像集在标定所述训练图像集中的由模板图和实时图组成的图像对时，首先需要标定出模板图中心在实时图上的坐标c
ref
＝(x
ref
,y
ref
)，然后将其映射到热力图上的坐标(x
hm
,y
hm
)，即
计算模板图中心在热力图上的对应位置，具体计算方法为其中表示向下取整操作；在获得模板图中心在热力图上的对应坐标后，接下来生成这对训练样本对应的热力图标签本步骤采用高斯核加权的方式来标定热力图，具体标定方法如下：其中：表示在热力图标签的(x,y)位置处具体标定的热力值，x、y的取值范围为[1,m
h
]；σ
p
是一个与模板图大小相关的超参数；计算所有(x,y)位置的热力值，得到针对该训练样本标定的热力图标签s2.3设计损失函数设计训练所使用的损失函数如下：其中：p
x,y
表示利用s1中目标模板图匹配定位网络计算出的模板图中心位于实时图(x,y)位置处的热力值，表示s2.2中为训练样本标定的热力图在位置(x,y)处的热力值，α和β是可调整的超参数；s2.4利用s2.1采集的训练图像集和s2.2标定后的训练图像集，使用随机梯度下降法进行网络训练，即通过最小化s2.3中设计的损失函数，得到训练好的目标模板图匹配定位网络模型；s3应用训练好的目标模板图匹配定位网络模型进行目标模板图匹配定位具体流程如下：s3.1将待匹配定位的大小为m
×
m的模板图t和大小为n
×
n的实时图s输入s2.4中训练好的目标模板图匹配定位网络模型；s3.2通过该目标模板图匹配定位网络模型计算输出热力图p
hm
；s3.3寻找热力图p
hm
上的极大值，记极大值点的坐标记为(x
max
,y
max
)；s3.4将(x
max
,y
max
)代入如下公式，定位出目标模板图中心在实时图上的位置(u,v)：2.一种根据权利要求1所述基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，其特征在于：s2.1.2中，由模板图和实时图组成的图像对的数量n
train
≥40000。3.一种根据权利要求1所述基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，其特征在于：s2.1.2中，制作n
train
对由模板图和实时图组成的图像对的方法为：在某
张图像中剪切包含某目标的图像块，缩放成m
×
m大小，选做模板图，m为正整数；在其它图像中剪切包含同一目标的图像块，将图像块缩放成n
×
n大小，选做实时图，n为正整数。4.一种根据权利要求1所述基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，其特征在于：s2.2中，与模板图大小相关的超参数5.一种根据权利要求1所述基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，其特征在于：s2.3中，可调整的超参数取α＝2，β＝4。

技术总结
本发明属于图像处理和深度学习技术领域，具体涉及一种基于孪生网络和中心位置估计的目标模板图匹配定位方法，包括如下步骤：S1构建目标模板图匹配定位网络；S2训练目标模板图匹配定位网络；S3应用训练好的目标模板图匹配定位网络模型进行目标模板图匹配定位。与传统模板匹配方法相比，本发明提供的基于孪生网络和中心位置估计的目标模板图匹配定位方法，能够充分利用深度孪生网络强大的特征提取与表征能力以及中心位置估计网络的高精度定位能力，在涵盖异源、尺度、旋转、视角等大差异的训练图像集基础上，通过训练得到应对上述复杂差异的目标模板图匹配定位网络模型，具体实施示例表明本方法具有良好的鲁棒性和定位准确性。例表明本方法具有良好的鲁棒性和定位准确性。例表明本方法具有良好的鲁棒性和定位准确性。


技术研发人员：郑永斌 任强 徐婉莹 白圣建 孙鹏 朱笛 杨东旭
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2022.09.15
技术公布日：2022/11/11