一种基于深度学习方向特征的多尺度场景识别装置和方法与流程

1.本发明涉及地图测绘领域，具体涉及一种基于深度学习方向特征的多尺度场景识别装置和方法。


背景技术：

2.随着机器人技术的不断发展，机器人对环境感知的要求不断提升，而定位技术是实现机器人感知环境技术的基础。场景识别是实现定位的重要步骤，由于图像包含大量的信息，因此，基于图像的机器人定位技术受到了大量的关注。目前，基于图像的机器人定位技术利用手工提取的特征表征道路场景。道路场景特别是室外道路场景，易受到光照和天气的影响，而基于手工提取特征受到特征提取固定模式的限制，无法稳定地表征变化环境下的场景道路。
3.目前，在场景识别方面已有一些成果，例如已授权的专利cn 106960591 b，授权日2018年11月30日，专利名为“一种基于道路指纹的车辆高精度定为装置及方法”，公开了一种基于道路指纹特征的智能车定位方法。该方法通过提取不同视角的道路场景特征，实现场景识别。但该方法是提取不同视角的orb图像局部特征。已申请的专利cn 111091099 a，申请日2019年12月20日，专利名为“一种场景识别模型的构建方法、场景识别方法及设备”，公开了一种利用场景语义特征实现的场景识别方法和装置。该方法需要训练场景识别模型。


技术实现要素：

4.本发明要解决的技术问题是：提供一种基于深度学习方向特征的多尺度场景识别装置和方法，所提取的深度学习方向特征具有较高的表征能力和较强的鲁棒性。
5.本发明所采用的技术方案是：一种基于深度学习方向特征的多尺度场景识别方法，本方法包括：
6.s1、数据采集：
7.利用载有惯导和rtk-gps模块和第一图像传感器的地图采集车，和载有消费级gps模块和第二图像传感器的测试车，经过相同的路径，每隔相同一段距离确定一个节点，并采集节点信息；地图采集车采集的节点称为地图节点，地图节点信息包括对应节点的rtk-gps信息和前视图像；测试车采集的节点称为测试节点，测试节点信息包括对应节点的gps信息和前视图像；
8.s2、构建地图集和测试点集：
9.分别提取前视图像的深度学习方向特征，并将深度学习方向特征保存至对应的节点信息中；地图节点的集合构成地图集；测试节点的集合构成测试点集；
10.s3、地图节点信息和测试节点信息的匹配：
11.利用gps信息对地图节点和测试节点进行匹配，筛选出与某一特定测试节点在一定距离内的地图节点；
12.对每一个测试节点均进行匹配，筛选出所有符合要求的地图节点，构成候选地图节点集；
13.s4、基于深度学习方向特征的场景识别：
14.通过匹配候选地图节点集和测试节点的深度学习方向特征，实现场景识别；
15.所述的前视图像的深度学习方向特征通过以下方式提取：将前视图像载入到深度学习网络，并提取特定层的参数，将特定层参数向量化，并将向量化的特定层参数映射到方向特征模型中，得到深度学习方向特征。
16.按上述方法，所述的前视图像的深度学习方向特征具体为：
17.(1)方向特征模型构建
18.将前视图像载入到预训练的深度学习网络中，然后提取深度学习网络的特定层参数p，并将p进行向量化，得到向量化后的特定层参数f：
19.f＝flatten(p)，size(f)＝1
×n20.其中，n为深度学习网络中神经元的个数；
21.逐一将前视图像载入到深度学习网络中，并构成矩阵f：
22.f＝(f
1 f2ꢀ…ꢀfk
)
t
，size(f)＝k
×n23.其中，k为地图集图像张数；
24.对矩阵f进行协方差矩阵分解，得到特征值向量λ和矩阵v
[0025][0026]
dv＝λv
[0027]
λ＝(λ
1 λ2ꢀ…ꢀ
λn)
[0028]
v＝(v
1 v2ꢀ…ꢀ
vn)
t
[0029]
d为矩阵f的对称矩阵，k为地图集图像张数，v为特征矩阵，λi为分解的第i个特征值，vi为分解的第i个特征向量；
[0030]
根据特征值的大小对特征值向量λ采用由大至小的方式进行排列，从而提取矩阵f中的主要特征，进而得到方向特征模型v
′
：
[0031]
λ
′
＝(λ
′
1 λ
′2ꢀ…ꢀ
λ
′n)
[0032]v′
＝(v
′
1 v
′2ꢀ…ꢀv′n)
t
[0033]
λ
′
1-λ
′n为第1-n个特征值，v
′
1-v
′n为第1-n个特征向量；
[0034]
当前k
*
个方向的信息量的累加和为所有方向的信息量累加和的β时，则前k
*
个方向为主要方向：
[0035][0036]
主要方向对应的特征向量构成矩阵v
′
main
，v
′
main
为矩阵v主要方向子空间：
[0037][0038]
(2)深度学习方向特征提取
[0039]
将前视图像载入到深度学习网络中，提取对应特定层的参数并将其向量化得到q，并依照步骤(1)提取前k
*
个方向的特征q
conv
，并将q
conv
映射到矩阵v
′
main
得到深度学习方向
特征p：
[0040]
p＝q
conv
×v′
main
。
[0041]
按上述方法，所述的s3中的一定距离为欧式距离或余弦距离。
[0042]
按上述方法，所述的一定距离具有一定阈值，所述的阈值h具体为：
[0043][0044]
式中，s
gps
为gps定位的最大误差，d
inter
为gps定位相邻节点的相隔距离。
[0045]
按上述方法，所述的s4具体为：
[0046]
通过计算候选地图节点集和某测试节点的深度学习方向特征的距离，找到距离该测试节点最近的候选地图节点，实现该测试节点的场景识别。
[0047]
按上述方法，所述的候选地图节点集和某测试节点的深度学习方向特征的距离为欧式距离或余弦距离。
[0048]
一种用于实现所述的基于深度学习方向特征的多尺度场景识别方法的装置，本装置包括地图采集车和测试车；
[0049]
所述的地图采集车包括移动平台，移动平台的前端固定有惯导和rtk-gps模块、用于拍摄前视图像的第一图像传感器，移动平台中通过刚性固定模块固定有第一数据传输模块、第一信号转换模块、第一数据处理模块以及供电模块，惯导和rtk-gps模块和第一图像传感器的输出端通过第一数据传输模块与信号转换模块连接，然后再与数据处理模块连接，供电模块用于供电；
[0050]
所述的测试车与地图采集车的结构相同，仅将惯导和rtk-gps模块替换为消费级gps模块；
[0051]
利用地图采集车中的第一数据处理模块和测试车中的第二数据处理模块进行多尺度场景识别。
[0052]
按上述装置，移动平台中还设有显示单元。
[0053]
本发明产生的有益效果是：首先利用惯导和rtk-gps和图像传感器制作地图，在场景识别阶段，利用消费级gps和图像传感器采集道路信息，并提取深度学习方向特征从而进行匹配，实现多尺度场景识别；所提取的深度学习方向特征具有较高的表征能力和较强的鲁棒性，相比于传统方法，所提出的基于深度学习方向特征的场景识别装置和方法能实现低成本，精度高、鲁棒性强和效率高的场景识别。
附图说明
[0054]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0055]
图1为地图构建和测试设备装置图。
[0056]
图2为深度学习方向特征构建方法流程图。
[0057]
图3为节点式地图集示意图。
[0058]
图4为多尺度场景识别方法流程图。
[0059]
图中：1-地图采集车，1-1-第一图像传感器，1-2-惯导和rtk-gps模块，1-3-第一数据传输模块，1-4-第一信号转换模块，1-5-第一供电模块，1-6-第一刚性固定模块，1-7-第一数据处理与显示模块，1-8-第一移动平台；
[0060]
2-测试车，2-1-第二图像传感器，2-2-gps模块，2-3-第二数据传输模块，2-4-第二信号转换模块，2-5-第二供电模块，2-6-第二刚性固定模块，2-7-第二数据处理与显示模块，2-8-第二移动平台。
具体实施方式
[0061]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0062]
如图1所示，本发明提供一种用于实现基于深度学习方向特征的多尺度场景识别方法的装置，包括地图采集车1和测试车2；所述的地图采集车1包括第一移动平台1-8，第一移动平台1-8的前端固定有惯导和rtk-gps模块1-2、用于拍摄前视图像的第一图像传感器1-1，第一移动平台1-8中通过第一刚性固定模块1-6固定有第一数据传输模块1-3、第一信号转换模块1-4、第一数据处理与显示模块1-7以及第一供电模块1-5，惯导和rtk-gps模块1-2和第一图像传感器1-1的输出端通过第一数据传输模块1-3与第一信号转换模块1-4连接，然后再与第一数据处理与显示模块1-7连接，第一供电模块1-5用于供电。
[0063]
所述的测试车与地图采集车的结构相同，仅将惯导和rtk-gps模块替换为消费级gps模块；所述的地测试车2包括第二移动平台2-8，第二移动平台2-8的前端固定有gps模块2-2、用于拍摄前视图像的第二图像传感器2-1，第二移动平台2-8中通过第二刚性固定模块2-6固定有第二数据传输模块2-3、第二信号转换模块2-4、第二数据处理与显示模块2-7以及第二供电模块2-5，gps模块2-2和第二图像传感器2-1的输出端通过第二数据传输模块2-3与第二信号转换模块2-4连接，然后再与第二数据处理与显示模块2-7连接，第二供电模块2-5用于供电。
[0064]
利用地图采集车1中的第一数据处理模块和测试车2中的第二数据处理模块进行多尺度场景识别。
[0065]
本发明还提供一种基于深度学习方向特征的多尺度场景识别方法，如图4所示，本方法包括：
[0066]
s1、数据采集：
[0067]
利用载有惯导和rtk-gps模块和第一图像传感器的地图采集车，和载有消费级gps模块和第二图像传感器的测试车，经过相同的路径，每隔相同一段距离确定一个节点，并采集节点信息；地图采集车采集的节点称为地图节点，如图3所示，地图节点信息包括对应节点的rtk-gps信息和前视图像；测试车采集的节点称为测试节点，测试节点信息包括对应节点的gps信息和前视图像。
[0068]
s2、构建地图集和测试点集：分别提取前视图像的深度学习方向特征，并将深度学习方向特征保存至对应的节点信息中；地图节点的集合构成地图集；测试节点的集合构成测试点集。
[0069]
所述的前视图像的深度学习方向特征通过以下方式提取：将前视图像载入到深度学习网络，并提取特定层的参数，将特定层参数向量化，并将向量化的特定层参数映射到方向特征模型中，得到深度学习方向特征。
[0070]
所述的前视图像的深度学习方向特征具体为：
[0071]
(1)方向特征模型构建
[0072]
将前视图像载入到预训练的深度学习网络中，然后提取深度学习网络的特定层参数p，并将p进行向量化，得到向量化后的特定层参数f：
[0073]
f＝flatten(p)，size(f)＝1
×n[0074]
其中，n为深度学习网络中神经元的个数；
[0075]
逐一将前视图像载入到深度学习网络中，并构成矩阵f：
[0076]
f＝(f
1 f2ꢀ…ꢀfk
)
t
，size(f)＝k
×n[0077]
其中，k为地图集图像张数；
[0078]
对矩阵f进行协方差矩阵分解，得到特征值向量λ和矩阵v
[0079][0080]
dv＝λv
[0081]
λ＝(λ
1 λ2ꢀ…ꢀ
λn)
[0082]
v＝(v
1 v2ꢀ…ꢀ
vn)
t
[0083]
d为矩阵f的对称矩阵，k为地图集图像张数，v为特征矩阵，λi为分解的第i个特征值，vi为分解的第i个特征向量；
[0084]
根据特征值的大小对特征值向量λ采用由大至小的方式进行排列，从而提取矩阵f中的主要特征，进而得到方向特征模型v
′
：
[0085]
λ
′
＝(λ
′
1 λ
′2ꢀ…ꢀ
λ
′n)
[0086]v′
＝(v
′
1 v
′2ꢀ…ꢀv′n)
t
[0087]
λ
′
1-λ
′n为第1-n个特征值，v
′
1-v
′n为第1-n个特征向量；
[0088]
当前k
*
个方向的信息量的累加和为所有方向的信息量累加和的β时，则前k
*
个方向为主要方向：
[0089][0090]
主要方向对应的特征向量构成矩阵v
′
main
，v
′
main
为矩阵v主要方向子空间：
[0091][0092]
(2)深度学习方向特征提取
[0093]
将前视图像载入到深度学习网络中，提取对应特定层的参数并将其向量化得到q，并依照步骤(1)提取前k
*
个方向的特征q
conv
，并将q
conv
映射到矩阵v
′
main
得到深度学习方向特征p：
[0094]
p＝q
conv
×v′
main
。
[0095]
提取前视图像的深度学习方向特征p，然后将其保存该节点的信息di：
[0096]
d＝[d1d2…dn
]
[0097]di
＝[p
igi
]
[0098]
其中，di为第i个节点，pi、gi分别为第i个节点的深度学习方向特征和rtk-gps信息。如此构建其他节点，并最终构建地图集。
[0099]
s3、地图节点信息和测试节点信息的匹配：利用gps信息对地图节点和测试节点进
行匹配，筛选出与某一特定测试节点在一定距离内的地图节点；对每一个测试节点均进行匹配，筛选出所有符合要求的地图节点，构成候选地图节点集。
[0100]
首先，匹配测试节点和地图节点的gps信息，筛选出距离测试节点较近的地图节点：
[0101]
mc＝{mi|dis(gi，g)≤s}
[0102]
其中，gi是第i个地图节点的gps信息，g是测试节点的gps信息，s为gps的误差值，距离阈值h与gps定位最大误差和相邻节点距离有关：
[0103][0104]
式中，h为候选地图节点的距离阈值，s
gps
为gps定位的最大误差，d
inter
为gps定位相邻节点的相隔距离。经过gps筛选后，得到候选地图节点集mc：
[0105]
mc＝{m
1 m2ꢀ…ꢀmn
}
[0106]
s4、基于深度学习方向特征的场景识别：通过匹配候选地图节点集和测试节点的深度学习方向特征，实现场景识别。
[0107]
通过匹配候选地图节点集mc和测试节点mq的深度学习方向特征，实现场景识别。具体而言，即通过计算候选地图节点集mc和测试节点mq的深度学习方向特征的距离dis(欧式距离，余弦距离，相关系数等)，找到距离测试节点最近的候选地图节点，实现场景识别：
[0108][0109]
本发明首先利用rtk-gps、惯导和图像传感器制作地图，在场景识别阶段，利用消费级gps和图像传感器采集道路信息，并提取深度学习方向特征从而进行匹配，实现多尺度场景识别。所提取的深度学习方向特征具有较高的表征能力和较强的鲁棒性，相比于传统方法，所提出的基于深度学习方向特征的场景识别装置和方法能实现低成本，精度高、鲁棒性强和效率高的场景识别。本方法只需一个图像传感器并且所提取的深度学习方向特征具有更高的鲁棒性，只需要利用预训练的深度学习网络即可实现场景识别，适合在变化大、变化频率高和部署要求快速的环境中实现场景识别。
[0110]
本发明的创新之处在于：1.提出一种基于深度学习方向特征的前视图像表征方法，从而为场景识别提供匹配依据。2.提供一种包含深度学习方向特征和rtk-gps信息的节点式地图构建方法。3.提供一种基于深度学习方向特征的多尺度场景识别方法。4.提供一套对应的数据采集和场景识别设备。
[0111]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。