一种深度图像关键点的检测与描述模型及方法与流程

1.本技术涉及深度图像处理技术领域，尤其涉及一种深度图像关键点的检测与描述模型及方法。


背景技术：

2.图像关键点检测和描述是找到图像之间像素级别的联系的流行方法，例如，图像匹配，和三维重建，均会使用到图像关键点检测和描述，又例如，在高铁列车的异常检测过程中，将同一列车的历史图像与当前图像进行匹配，然后比对两幅对应图像的图像内容，从而检测零部件缺失与异物等，确保高铁列车的运行安全。但是，由于高铁系统运行环境的复杂所带来的挑战性，例如光照、天气变化等造成的图像外观和风格变化，导致现有图像关键点检测和描述方法效果不够好。
3.现有方法，一般使用安装在铁轨附近的线阵相机获得图像，而关键点检测与描述算法无法在图像外观和可见区域变化较大的情况等复杂场景下鲁棒，且，现有基于深度学习的方法往往只使用最深层的，相较于原图缩小几倍(通常为4或者8倍)的特征图上进行关键点检测和描述，这种方法中，在深层特征图中定位原图尺寸上关键点的坐标，就必然会降低关键点的检测精度，同时，在深层特征图中，不同局部结构的关键点可能享有相同的高级语义信息，这就对提取到有区分性的保留丰富局部结构信息的关键点描述符造成困难。
4.在3d计算机视觉中，深度图像的像素值表示场景对象的表面到视点的距离信息，反映了图像中物体的几何形状。与普通图像容易受到成像时的天气，光照变化等影响造成图像内容，风格变化不同，深度图像的像素值只与拍摄设备到场景中各点的距离有关，因此，受到高铁系统的复杂工作环境的影响更小。
5.由此可见，提供一种增强网络对关键点的定位精度，以及增强网络的局部形状细节的感知能力的图像关键点检测与描述方法，是本领域技术人员亟待解决的技术问题。


技术实现要素：

6.为了提供一种增强网络对关键点的定位精度，以及，增强网络的局部形状细节的感知能力的方法，本技术提供一种深度图像关键点的检测与描述模型及方法。
7.本技术第一方面提供的一种深度图像关键点的检测与描述模型，包括：
8.主干特征提取模型，所述主干特征提取模型包括深度图像输入端，以及依次连接的第一特征提取层次、第二特征提取层次、第三特征提取层次和第四特征提取层次；
9.所述深度图像输入端用于获取待检测深度图像，所述待检测深度图像的尺寸为h
×w×
1像素；
10.所述第一特征提取层次用于将待检测深度图像卷积为尺寸为h
×w×
64像素的第一特征图；
11.所述第二特征提取层次对第一特征图进行池化及卷积，获得尺寸为h/2
×
w/2
×
64像素的第二特征图；
12.所述第三特征提取层次对第二特征图进行池化及卷积，获得尺寸为h/4
×
w/4
×
128像素的第三特征图；
13.所述第四特征提取层次对第三特征图进行池化及可变形卷积，获得尺寸为h/8
×
w/8
×
128像素的第四特征图；
14.上采样模块，所述上采样模块包括四层分别连接第一特征提取层次、第二特征提取层次、第三特征提取层次和第四特征提取层次的上采样单元和采样卷积层，所述上采样单元用于对第一特征图、第二特征图、第三特征图和第四特征图上采样，所述采样卷积层用于消除上采样可能出现的混叠效应，以获得四个原图分辨率的特征图，尺寸分别为：h
×w×
64像素、h
×w×
64像素、h
×w×
128像素和h
×w×
128像素；
15.关键点检测器，用于对四个原图分辨率的特征图分别进行1层尺寸为3
×3×
1像素，步长为1像素的卷积，得到四个尺寸都为h
×w×
1像素的特征图，并将四个尺寸的特征图按照由浅到深的顺序，分别乘以系数：0.1、0.2、0.3和0.4，然后进行累加，得到h
×w×
1像素的关键点检测图；
16.关键点描述器，包括两层全连接层，用于对按照特征尺度堆叠的四个原图分辨率的特征图进行筛选，获得尺寸为h
×w×
128像素的描述特征图，最后在通道维度对描述特征图进行l2正则化构造单位长度的描述符，所述描述符为在描述特征图中位于关键点坐标处的128维向量构成。
17.一种实现方式中，所述第一特征提取层次包括两层尺寸为3
×3×
64像素，步长为1像素的卷积层；
18.所述第二特征提取层次包括一层步长为2像素的池化层和两层尺寸为3
×3×
64像素，步长为1像素的卷积层；
19.第三特征提取层次包括一层步长为2像素的池化层和两层尺寸为3
×3×
128像素，步长为1像素的卷积层；
20.第四特征提取层次包括一层步长为2像素的池化层和两层尺寸为3
×3×
128像素，步长为1像素的可变形卷积层。
21.一种实现方式中，所述关键点检测器包括一层尺寸为3
×3×
1像素，步长为1像素的卷积层、以及第一权重模块和累加模块。
22.一种实现方式中，所述关键点检测器还包括关键点判断模块，用于判断关键点检测图上的坐标点是否为关键点，若关键点检测图上的坐标点处的值大于预设的检测门限，则将所述坐标点标记为关键点。
23.一种实现方式中，关键点描述器还包括第二权重模块，以将四个原图分辨率的特征图按照由浅到深的顺序，分别乘以权重系数并按通道维度堆叠到一起，得到尺寸为h
×w×
384的描述图。
24.一种实现方式中，还包括关键点匹配模块，所述关键点匹配模块用于：
25.提取两张待检测深度图像对应的关键点检测图和描述符；
26.针对两张待检测深度图像对应的关键点描述符，在向量空间中采用最邻近匹配算法或者深度学习匹配算法进行匹配。
27.一种实现方式中，所述关键点检测器采用以下步骤训练获得：
28.构建合成数据集，所述合成数据集中的图像上至少包括点、线或多边形；
29.构建初始模型，所述初始模型包括主干特征提取模型、上采样模块、初始关键点检测器、初始关键点描述器；
30.将合成数据集中的图像输入至所述初始模型，对初始关键点检测器进行训练，并生成带有伪真值关键点坐标标签的训练数据集；
31.使用带有伪真值关键点坐标标签的训练数据集训练初始关键点检测器，并再次生成新的伪真值关键点坐标标签，并多次重复此步骤，直到初始关键点检测器的关键点特征检测损失不再下降；
32.并将特征检测损失不再下降的初始关键点检测器保存为新的关键点检测器。
33.一种实现方式中，还包括：
34.将所述初始模型中的初始关键点检测器替换为新的关键点检测器；
35.输入训练集的图像，依据标签值和预测值之间的关键点检测误差和关键点描述损失，通过反向传播机制，调整所述初始模型的参数值，最终得到深度图像关键点检测检测和描述模型，获得所述一种深度图像关键点的检测与描述模型。
36.本技术第二方面提供一种深度图像关键点的检测与描述方法，所述一种深度图像关键点的检测与描述方法包括：
37.获取待检测深度图像，所述待检测深度图像的尺寸为h
×w×
1像素；
38.对所述待检测深度图像进行池化、卷积或可变形卷积，获得尺寸为h
×w×
64像素的第一特征图，尺寸为h/2
×
w/2
×
64像素的第二特征图，尺寸为h/4
×
w/4
×
128像素的第三特征图，以及，尺寸为h/8
×
w/8
×
128像素的第四特征图；
39.对所述第一特征图、第二特征图、第三特征图和第四特征图进行上采样和进行消除混叠效应的卷积，获得四个原图分辨率的特征图，尺寸分别为：h
×w×
64像素、h
×w×
64像素、h
×w×
128像素和h
×w×
128像素；
40.对四个原图分辨率的特征图分别进行卷积，得到四个尺寸都为h
×w×
1像素的特征图，并将四个尺寸的特征图按照由浅到深的顺序，并分别乘以系数：0.1、0.2、0.3和0.4，然后进行累加，得到h
×w×
1像素的关键点检测图；
41.对四个原图分辨率的特征图在特征维度进行堆叠，得到h
×w×
384像素的特征图，然后再经过两层全连接层，进行特征图筛选，获得尺寸为h
×w×
128像素的描述特征图，最后在通道维度对描述特征图进行l2正则化构造单位长度的描述符，所述描述符为在描述特征图中位于关键点坐标处的128维向量构成。
42.一种实现方式中，还包括：
43.提取两张待检测深度图像的关键点和描述符；
44.针对两张待检测深度图像描述符，在向量空间中采用最邻近匹配算法或者深度学习匹配算法进行匹配。
45.由以上技术方案可知，本技术提供一种深度图像关键点的检测与描述模型及方法，所述一种深度图像关键点的检测与描述模型包括主干特征提取模型、上采样模块、关键点检测器和关键点描述器。在实际应用过程中，深度图像屏蔽了天气，光照变化带来的复杂影响。一方面，为了增强网络对关键点的定位精度，上采样模块将多个层次的低分辨率特征图以双线性上采样的方式重新组织到原图分辨率，在原图分辨率上进行关键点检测，从而提高模型的关键点定位精度，另一方面，为了增强网络的局部形状细节的感知能力，关键点
描述器将多层特征聚合到一起，并且利用可变形卷积层的动态感受野，实现对输入深度图像的内容感知，同时过滤掉浅层特征图上的噪声，此外，使用两层全连接网络筛选出鲁棒的关键点描述符。
附图说明
46.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1为本技术实施例提供的一种深度图像关键点的检测与描述模型的结构示意图；
48.图2为本技术实施例提供的一种深度图像关键点的检测与描述模型的训练流程示意图；
49.图3为本技术实施例提供的一种深度图像关键点的检测与描述方法的流程示意图。
具体实施方式
50.为了提供一种增强网络对关键点的定位精度，以及，增强网络的局部形状细节的感知能力的方法，本技术实施例提供一种深度图像关键点的检测与描述模型及方法。
51.参见图1，为本技术实施例提供的一种深度图像关键点的检测与描述模型的结构示意图。
52.所述一种深度图像关键点的检测与描述模型，包括：
53.主干特征提取模型，所述主干特征提取模型包括深度图像输入端，以及依次连接的第一特征提取层次、第二特征提取层次、第三特征提取层次和第四特征提取层次。
54.所述深度图像输入端用于获取待检测深度图像，所述待检测深度图像的尺寸为h
×w×
1像素。
55.所述第一特征提取层次包括两层尺寸为3
×3×
64像素，步长为1像素的卷积层，用于将待检测深度图像卷积为尺寸为h
×w×
64像素的第一特征图。
56.所述第二特征提取层次包括一层步长为2像素的池化层和两层尺寸为3
×3×
64像素，步长为1像素的卷积层，所述第一特征图先经过一层步长为2像素的池化层，进行下采样，获得尺寸为h
×w×
64的特征图，其中，采用池化层进行下采样，可以有效的防止特征提取过程过拟合，从而减少特征提取网络的参数量，然后再经过两侧尺寸为3
×3×
64像素，步长为1像素的卷积层，获得尺寸为h/2
×
w/2
×
64像素的第二特征图。
57.所述第三特征提取层次包括一层步长为2像素的池化层和两层尺寸为3
×3×
128像素，步长为1像素的卷积层，第二特征图先经过一层步长为2像素的池化层，进行下采样，获得h/4
×
w/4
×
128像素的特征图，以防止特征提取过程过拟合，从而减少特征提取网络的参数量，然后再经过两层尺寸为3
×3×
128像素，步长为1像素的卷积层，获得尺寸为h/4
×
w/4
×
128像素的第三特征图。
58.所述第四特征提取层次包括一层步长为2像素的池化层和两层尺寸为3
×3×
128像素，步长为1像素的可变形卷积层，所以第三特征图先经过一层步长为2像素的池化层，进
行下采样，获得h/4
×
w/4
×
128像素的特征图，以防止特征提取过程过拟合，并减少特征提取网络的参数量，然后再经过两层尺寸为3
×3×
128像素，步长为1像素的可变形卷积层，获得尺寸为h/8
×
w/8
×
128像素的第四特征图。
59.需要说明的是，普通卷积单元是对输入特征图的固定位置进行采样，即对于一个卷积层来说，它的所有的激活单元的感受野是一样的，但在实际应用过程中，需要处理的深度图像往往包括复杂几何形状的物体，而且从不同的角度、距离拍摄图像，所得到的同一物体的2维几何形状和大小往往不完全一致。因此，为了对卷积神经网络的感受野进行自适应，本技术实施例第四特征提取层次采用的卷积层为可变形卷积层，进而增强网络的特征提取。
60.上采样模块，所述上采样模块包括四层分别连接第一特征提取层次、第二特征提取层次、第三特征提取层次和第四特征提取层次的上采样单元和采样卷积层，所述上采样单元用于对第一特征图、第二特征图、第三特征图和第四特征图上采样，即对第二特征图、第三特征图和第四特征图分别进行2倍，4倍和8倍上采样，所述采样卷积层用于消除采样可能出现的混叠效应，以获得四个原图分辨率的特征图，尺寸分别为：h
×w×
64像素、h
×w×
64像素、h
×w×
128像素和h
×w×
128像素。
61.关键点检测器，包括一层尺寸为3
×3×
1像素，步长为1像素的卷积层、以及第一权重模块和累加模块，通过尺寸为3
×3×
1像素，步长为1像素的卷积层对四个原图分辨率的特征图分别进行卷积，得到四个尺寸都为h
×w×
1像素的特征图，并将四个尺寸的特征图按照由浅到深的顺序，分别乘以系数：0.1、0.2、0.3和0.4，然后进行累加，得到h
×w×
1的关键点检测图。其中，特征图由浅到深是指按照第一层特征，第二层特征，第三层特征和第四层特征的顺序。
62.关键点描述器，包括第二权重模块和两层全连接层(fc)，以将四个原图分辨率的特征图按照由浅到深的顺序，分别乘以权重系数(0.1，0.2，0.3和0.4)，并按通道维度堆叠到一起，得到尺寸为h
×w×
384的描述图，然后再经过两层尺寸分别为384
×
128像素和128
×
128像素的全连接层，进行特征图筛选，获得尺寸为h
×w×
128像素的描述特征图，最后在通道维度对描述特征图进行l2正则化构造单位长度的描述符，所述描述符为在描述特征图中位于关键点坐标处的128维向量构成。
63.由以上技术方案可知，本技术实施例提供的一种深度图像关键点的检测与描述模型，包括主干特征提取模型、上采样模块、关键点检测器、关键点描述器，在实际应用过程中，一方面，为了增强网络对关键点的定位精度，上采样模块将多个层次的低分辨率特征图以双线性上采样的方式重新组织到原图分辨率，从而提高模型的关键点定位精度，另一方面，为了增强网络的局部形状细节的感知能力，关键点描述器将多层特征聚合到一起，并且利用可变形卷积层的动态感受野，实现对输入深度图像的内容感知，同时过滤掉浅层特征图上的噪声，此外，使用两层全连接网络筛选出鲁棒的关键点描述符。
64.进一步的，在判断所述关键点检测图上坐标点是否为关键点，所述关键点检测器还包括关键点判断模块，用于判断关键点检测图上的坐标点处的值是否大于预设的检测门限，若关键点检测图上的坐标点处的值大于预设的检测门限，则将所述坐标点在原图上对应的点标记为关键点。
65.其中，检测门限α＝0.5。考虑到过于密集的关键点对模型的性能是有害的，在关键
点判断模块中，使用大小为3的非最大抑制(nms)，以此删除空间分布太近的关键点，并记录关键点的坐标，其中，本技术实施例中的坐标所处坐标系的坐标原点为特征图的左上角。
66.进一步的，本技术实施例提供的一种深度图像关键点的检测与描述模型，在对深度图像进行关键点检测及描述的基础上，实现图像匹配从而实现异常检测或者三维重建等其他流程。具体的，所述一种深度图像关键点的检测与描述模型还包括关键点匹配模块；用于提取两张待检测深度图像对应的关键点检测图和描述符；并针对两张关键点检测图中的关键点的坐标和其对应的描述符，在向量空间中采用最邻近匹配算法或者深度学习匹配算法进行匹配。本技术实施例通过先进行关键点检测，然后进行关键点描述，再对关键点的描述符进行匹配，每一个描述符都有一个相应的关键点坐标，利用描述符匹配结果就能够得到两张深度图像中的关键点的坐标对应关系，进而得到两张深度图像的精准(像素级别)对应关系。
67.图2为本技术实施例提供的一种深度图像关键点的检测与描述模型的训练流程示意图；为了更清楚的介绍本技术实施例提供的一种深度图像关键点的检测与描述模型，以下对所述一种深度图像关键点的检测与描述模型建立及训练过程进行说明。
68.s201，构建合成数据集，所述合成数据集中的图像上至少包括点、线或多边形。所述深度图像数据集由安装在铁轨附近的三维扫描仪，在列车经过时拍照得到深度图像构成。
69.首先，构建一个包含，点，线，三角形等基本形状的图像的合成数据集，本技术实施例中，使用该合成数据集对关键点检测器进行预训练。
70.本技术实施例中，使用由安装在铁轨附近的三维扫描仪，在列车经过时拍照得到深度图像数据集，即本技术中采用的深度图像为高铁列车的深度图像，图像的像素值只与扫描仪成像点距离列车表面的距离有关，从而屏蔽了高铁列车复杂运行环境带来的影响，在这上面训练可以增强关键点检测精度。从而使高铁列车的异常检测任务受到高铁系统的复杂工作环境的影响更小。
71.具体的，对于合成数据集，每张合成图像包含若干个基本形状，如点，线，三角形或四边形等基本图形，和一个对应的标注文件，标注文件记录了基本形状的端点，角点的坐标，如线的端点，三角形、四边形的角点，坐标原点为深度图像的左上角，这些坐标作为关键点检测器预训练时的标签。
72.s202，构建初始模型，所述初始模型包括主干特征提取模型、上采样模块、初始关键点检测器、初始关键点描述器。
73.s203，将合成数据集中的图像输入至所述初始模型，对初始关键点检测器进行训练，并生成带有伪真值关键点坐标标签的训练数据集。
74.在合成数据集上，预训练初始关键点检测器，然后使用该预训练的初始关键点检测器，生成深度图像的训练数据集的伪真值关键点坐标标签。
75.s204，使用带有伪真值关键点坐标标签的训练数据集训练初始关键点检测器，并再次生成新的伪真值关键点坐标标签，并多次重复此步骤，直到初始关键点检测器的关键点特征检测损失不再下降。
76.其中，多次重复生成新的伪真值坐标标签的目的是为了使得初始关键点检测器性能达到最优，提高对关键点的检测精度，直到初始关键点检测器的关键点特征检测损失不
再下降。并将特征检测损失不再下降的初始关键点检测器保存为新的关键点检测器。
77.s205，将所述初始模型中的初始关键点检测器替换为新的关键点检测器，在深度图像数据集上使用最新的关键点坐标标签，联合训练初始关键点检测器和初始关键点描述器。
78.具体的，输入合成数据集的一张图像到主干特征提取网络，大小为h
×w×
1，主干特征提取模型，分别得到尺寸为h
×w×
64像素的特征图、尺寸为h/2
×
w/2
×
64像素的特征图、尺寸为h/4
×
w/4
×
128像素的特征图，以及，由可变形卷积网络处理后的尺寸为h/8
×
w/8
×
128像素的特征图。
79.上采样模块，对这四层特征图全部进行双线性插值上采样到原图分辨率，即后3个层次的特征图分别进行2倍，4倍和8倍上采样，最终得到四个层次的特征图：即h
×w×
64，h
×w×
64，h
×w×
128和h
×w×
128。
80.对于特征检测部分，将这四个层次的特征图分别经过1层大小为3
×3×
1像素，步长为1像素的卷积层，得到四个尺寸都为h
×w×
1像素的特征图，然后考虑到浅层特征容易受到噪声的影响，对于这四层由浅到深的特征图，分别乘以系数：0.1，0.2，0.3和0.4，然后进行累加，得到h
×w×
1的关键点检测图。一个在该检测图上的点被判定为关键点的条件是：位于该点坐标处的值大于检测门限α＝0.5。考虑到过于密集的关键点对网络的性能是有害的，使用大小为3的非最大抑制(nms)，以此删除空间分布太近的关键点。并记录这些关键点的坐标，坐标原点为特征图的左上角。
81.则检测可以看作是一个不平衡的二分类问题：即在预测的关键点深度图像上，位于标签点处的点是否被判定为关键点。显而易见，负样本数量远远多于正样本数量。所以，检测器的损失可以由一个交叉熵损失函数来构建，直到该检测损失不再下降后，保存关键点检测器。
82.具体的，加载初始关键点检测器，输入深度图像数据集中的深度图像，对所述深度图像数据集的每张深度图像打伪真值关键点标签。然后使用该标签和训练集图像，重新训练初始关键点检测器，等到检测损失不再下降后，重新保存初始关键点检测器，生成伪真值标签，再使用新的关键点坐标标签和数据集重新训练重新保存的初始关键点检测器，重复该流程几次后，检测损失不再下降，保存初始关键点检测器，完成对初始关键点检测器的单独训练。
83.进一步的，在单独训练的初始关键点检测器上，再联合训练初始关键点检测器和初始关键点描述器。
84.具体的，将所述初始模型中的初始关键点检测器替换为新的关键点检测器。
85.输入深度图像数据集，依据标签值和预测值之间的关键点检测误差和关键点描述损失，通过反向传播机制，调整所述初始模型的参数值，最终得到深度图像关键点检测和描述模型，获得所述一种深度图像关键点的检测与描述模型。
86.具体的，对于每张图像i，随机生成1个投影矩阵h，然后使用该矩阵对这张深度图像进行随机视角变化，得到i'。将i，i'和h保存为一个序列。依次输入一张原图i，关键点点集为k，计算其关键点检测损失，然后再输入其对应的变换深度图像i'，k'为i'的关键点点集，计算其关键点检测损失。
87.对于特征描述部分，将主干多尺度特征提取网络得到的四个层次的由浅到深的特
征图，再分别乘以权重系数：0.1，0.2，0.3和0.4后按通道维度堆叠到一起，得到尺寸为h
×w×
384的描述图。然后再经过两层尺寸分别为384
×
128和128
×
128的全连接层，进行特征图筛选，最终描述特征图尺寸为h
×w×
128。最后在通道维度对描述特征图进行l2正则化来构造单位长度的描述符，最终描述符为在描述特征图中位于关键点坐标处的128维向量构成。
88.对于成对的关键点k和k'，其中k来源于图像i，k'来源于i'。k和k'成对的条件是它们的坐标距离小于3个像素。对应的描述符是g和g'。那么描述符损失可以使用g和g'之间的三元损失来描述，网络的总损失为关键点检测损失与关键点描述损失之和。
89.由此进行联合训练初始关键点检测器和初始关键点描述器，等到损失逐渐稳定，不再下降后，保存训练得到的初始关键点检测器和初始关键点描述器，得到用于深度图像匹配或者三维重建等下游任务的基于深度学习的最终的初始关键点检测器和关键点描述器。
90.与前述一种深度图像关键点的检测与描述模型的实施例相对应，本技术还提供了一种深度图像关键点的检测与描述方法的实施例。所述一种深度图像关键点的检测与描述方法利用所述一种深度图像关键点的检测与描述模型实现。
91.参见图3，为本技术实施例提供的一种深度图像关键点的检测与描述方法的流程示意图。
92.所述一种深度图像关键点的检测与描述方法包括：
93.s301，获取待检测深度图像，所述待检测深度图像的尺寸为h
×w×
1像素。
94.s302，对所述待检测深度图像进行池化、卷积或可变形卷积，获得尺寸为h
×w×
64像素的第一特征图，尺寸为h/2
×
w/2
×
64像素的第二特征图，尺寸为h/4
×
w/4
×
128像素的第三特征图，以及，尺寸为h/8
×
w/8
×
128像素的第四特征图。
95.s303，对所述第一特征图、第二特征图、第三特征图和第四特征图进行上采样，获得四个原图分辨率的特征图，尺寸分别为：h
×w×
64像素、h
×w×
64像素、h
×w×
128像素和h
×w×
128像素。
96.s304，对四个原图分辨率的特征图分别进行卷积，得到四个尺寸都为h
×w×
1像素的特征图，并将四个尺寸的特征图按照由浅到深的顺序，并分别乘以系数：0.1、0.2、0.3和0.4，然后进行累加，得到h
×w×
1的关键点检测图。
97.s305，将四个原图分辨率的特征图按照按通道维度堆叠到一起，得到尺寸为h
×w×
384的描述图，然后再经过两层全连接层，进行特征图筛选，筛选获得尺寸为h
×w×
128像素的描述特征图，最后在通道维度对描述特征图进行l2正则化构造单位长度的描述符，所述描述符为在描述特征图中位于关键点坐标处的128维向量构成。
98.进一步的，所述一种深度图像关键点的检测与描述方法还包括：
99.提取两张高铁列车待检测深度图像对应的关键点检测图和描述符。
100.针对两张关键点检测图对应坐标点的描述符，在向量空间中采用最邻近匹配算法或者深度学习匹配算法进行匹配。
101.由以上技术方案可知，本技术实施例提供一种深度图像关键点的检测与描述模型及方法，所述一种深度图像关键点的检测与描述模型包括主干特征提取模型、上采样模块、关键点检测器和关键点描述器。在实际应用过程中，深度图像屏蔽了天气，光照变化带来的复杂影响。一方面，为了增强网络对关键点的定位精度，上采样模块将多个层次的低分辨率
特征图以双线性上采样的方式重新组织到原图分辨率，从而提高模型的关键点定位精度，另一方面，为了增强网络的局部形状细节的感知能力，关键点描述器将多层特征聚合到一起，并且利用可变形卷积层的动态感受野，实现对输入深度图像的内容感知，同时过滤掉浅层特征图上的噪声，此外，使用两层全连接网络筛选出鲁棒的关键点描述符。
102.以上的具体实施方式，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本技术的具体实施方式而已，并不用于限定本技术的保护范围，凡在本技术的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本技术的保护范围之内。