一种支撑点搜索的单目视觉室内定位方法

1.本发明属于单目视觉定位技术领域，尤其涉及一种支撑点搜索的单目视觉室内定位方法。


背景技术：

2.随着移动网络、云计算和物联网等技术的飞速发展，基于位置的服务受到越来越多的关注。在当前的大数据技术背景下，人类生活的方方面面都会产生大量的数据，然而，如果获取的数据没有对应的位置信息，数据的可用性就会大大降低。对于开阔的室外环境而言，全球卫星系统(global positioning system，gps)、北斗导航系统结合通信基站定位的方法获得了广泛的应用，然而在室内环境中，由于卫星信号难以穿透建筑物，无法辅助设备在室内环境中进行定位。
3.随着计算机视觉技术的发展以及监控摄像头的广泛使用，为基于视觉定位技术的应用与发展创造了巨大的市场与机会。视觉定位技术可广泛应用于公共娱乐场所安防、居家安全监测、预防犯罪、事故监测与预警等场景下。当前主流的相机分为三大类，分别为只有一个镜头，即一次获取一幅二维图像的单目摄像头；另一类为双目相机，可同时从两个相近角度获取两幅有差异的二维图像；最后一类是可以获取目标距离的深度相机。单目相机结构简单，成本低，应用较为广泛。在单目相机的定位场景中，通常分为两类，一类是需要建库的视觉定位方法，即离线阶段拍摄多幅图像，建立离线图像库，并标注对应的位置标签。在线阶段，运动目标拍摄一幅图像，与离线库中的图像进行匹配，再通过特征点匹配方法，建立两幅图像的映射关系，最后输出在线图像的位置。另一类方法是单目相机固定，在离线阶段求解图像坐标系与定位参考坐标系之间的映射关系。在线阶段直接提取拍摄图像中的目标，求解对应的定位像素点，再通过映射，输出目标在真实世界下的位置。
4.在第二类单目视觉定位方法中，传统方法“vu h,nguyen v g,pham a t,et al.pedestrian localization and trajectory reconstruction in a surveillance camera network[c]//proceedings of the eighth international symposium on information and communication technology.2017:393-400.”需要对背景进行建模求解，再通过绝对变化像素值找到目标区域，再选择对应的像素点作为定位像素点输出。此类方法，对非目标背景变化以及光影变化较为敏感，另外对定位像素点的搜索策略完全依赖于提取的目标区域准确性，而没有进一步搜索目标在地面上的支撑像素点。所以该传统方法定位能力有限，易受到环境噪声以及背景变化的干扰，导致定位算法不够稳健。


技术实现要素：

[0005]
在传统前景提取方法中，需要采集多帧图像对背景建模，然后再用概率或者分类的方法估计出前景目标区域。该方法计算量大，依赖于准确的背景建模，另外对光影变化较为敏感。针对该问题，本发明提出一种基于目标检测结果的背景建模方法，根据目标检测结果对上一幅背景图像更新。该方法对背景中的噪声不敏感，同时对非定位目标背景区域变
化也不敏感。针对光影干扰，本发明提出相对变化特征与绝对变化特征融合的方法来估计前景目标。背景区域亮度变化前后的像素值分布变化较小，基于此原理抑制光影的干扰。另外传统方法取前景矩形区域下边框上的点为定位像素点，该策略的定位精度严重依赖于目标的体积以及姿态。针对该问题，本发明方法提出目标支撑点搜索方法，直接搜索定位目标与地面的接触(支撑)像素点。以此提高目标定位精度。
[0006]
为了实现本发明的目的，采用的技术方案如下：
[0007]
离线阶段：构建单目视觉定位场景，求解像素平面与定位坐标平面之间的映射关系。针对需要定位的目标预先训练目标识别网络。在线阶段，摄像头将拍摄的画面输入目标检测网络，根据检测结果中的id、感兴趣区域像素坐标等信息对背景进行更新，并对感兴趣区域进行分割。然后计算目标图像与背景图像的绝对变化变化量与kl散度即分布差异。经尺度归一化后对两种特征进行融合得到变化特征。最后求解垂直方向上的目标轮廓，建立支撑点搜索目标函数，求解支撑点集。最后将支撑点映射到二维定位平面中。具体包括以下步骤：
[0008]
步骤1.构建视觉定位场景。
[0009]
步骤2.离线阶段参数计算：
[0010]
步骤2-1.单目摄像头标定。
[0011]
步骤2-2.采集定位环境图像，构建定位参考坐标系。
[0012]
步骤2-3.选择像素坐标与世界坐标点对求解单应矩阵。
[0013]
步骤2-4.训练目标识别网络。
[0014]
步骤3.在线目标定位：
[0015]
步骤3-1.提取目标检测结果。
[0016]
步骤3-2.背景图像更新。
[0017]
步骤3-3.感兴趣区域分割与处理。
[0018]
步骤3-4.前景特征提取。
[0019]
步骤3-5.目标支撑点估计。
[0020]
步骤3-6.定位结果输出。
[0021]
本发明提出了传统方法与深度学习相结合的目标提取、背景建模方法，提高了对背景噪声的抗干扰能力以及背景图像的实时有效性，使算法更加关注于定位目标；基于绝对变化特征与相对变化特征融合的方法，抑制了目标邻域内的光影干扰；提出定位目标支撑点搜索算法，降低了定位目标姿态对定位精度的影响。另外提出的定位方法中的定位目标并局限于行人，定位目标取决于目标检测网络的训练类别。从而本发明提出的一种支撑点搜索的单目视觉室内定位方法是一种定位精度高、定目标自适应、稳健的单目视觉定位算法。
附图说明
[0022]
图1为本发明的流程图。
[0023]
图2为不同定位方法下的平均定位误差。
[0024]
图3为不同定位方法下定位误差累积概率分布。
具体实施方式
[0025]
1.构建视觉定位场景
[0026]
实验环境为办公楼休息区，采用树莓派4b以及树莓官方摄像头(raspberry pi camera module 2)对目标区域实时监控。设备安装在距离参考面2.3m高的三角架，成像面与定位参考面的夹角为锐角。视频采集帧率为10帧每秒(frames per second，fps)。每帧图像分辨率为1280
×
720。定位目标为区域内活动的行人。
[0027]
2.离线阶段参数计算
[0028]
2-1.单目摄像头标定。用监控摄像头拍摄数张标定棋盘格图像。用matlab图像处理与计算机视觉工具包中相机标定应用读取拍摄的图像并处理，求解标定参数。提取相机内参矩阵mi，以及径向畸变系数k1、k2、k3与切向畸变系数p1、p2。内参矩阵具体如下式子(1)所示，其中fc为相机焦距，α
x
、c
x
、αy、cy分别为成像平面与像素坐标系在水平方向与垂直方向上的缩放尺度因子与固定平移像素值。
[0029][0030]
2-2.采集定位环境图像，构建定位参考坐标系。采集背景图形b0，根据畸变成像关系对该图像进行畸变矫正。成像关系式子如(2)所示，其中[x,y]
t
为归一化像素平面坐标，[x
′
,y
′
]
t
为畸变后的坐标。[u,v]
t
为像素坐标系下的坐标。
[0031][0032]
步骤2-3.选择像素坐标与世界坐标点对，求解单应矩阵。在畸变矫正后的图像中标注出定位参考平面坐标系，选择参考点集p1,与对应的像素参考点集p2,按照式子(3)求解像素平面与定位参考平面之间的映射关系，即单应矩阵h。由h自由度为8，n1≥4。
[0033][0034]
步骤2-4.训练目标识别网络。在本实验中采用预训练yolov5轻量级目标识别网络。
[0035]
步骤3.在线目标定位。
[0036]
步骤3-1.提取目标检测结果。将摄像头获取的第i帧图像fi输入目标检测网络，输出结果yi如式(4)所示，总共检测到k个目标。其中，为第i帧图像中检测到的第j个目标的
id，为对应的检测置信度，为对应目标所在矩形像素区域的左上角与右下角二维像素坐标。
[0037][0038]
为了将目标完全包含于目标检测框内，对按照式(5)进行调整。其中αs、u
max
、v
max
分别为调整系数、水平方向最大像素坐标、垂直方向最大像素坐标。
[0039][0040]
步骤3-2.背景图像更新。背景图象bi基于b
i-1
、fi、yi联合进行更新，具体更新公式如下式(6)所示，其中p
uv
为像素点。bi对环境中非目标背景的变化是不敏感的，例如门窗状态变化等。
[0041][0042]
步骤3-3.感兴趣区域分割与处理。按照将fi以及bi分割为对应的k幅子图像为目标像素信息，为对应区域的背景像素信息。将对应的图像转化为灰度图，并用中值滤波算法对图像进行滤波。
[0043]
步骤3-4.前景特征提取。首先提取相对变化特征采用kl散度提取像素区域的分布变化特征。采用矩形滑动窗口将两幅图像划分为多个子图像区域，计算背景图像以及当前图像对应区域的kl散度值。其中，n
p
为滑窗内像素点的个数，为像素点处的像素值。具体计算公式如下式子(7)所示。
[0044][0045]
再提取区域内的绝对变化特征具体提取方法如式(8)所示：
[0046][0047]
将两种变化特征进行融合，由于与量纲不一致，需要进行尺度归一化。融合后的特征如式(9)所示。
[0048][0049]
步骤3-5.目标支撑点估计。
[0050]
3-5-1.构造阈值候选集。为了体现不同子区域内变像素点的变化程度的，构造阈
值候选集向量t
i,j
，从中选择n
t
个阈值，将d
i,j
划分为不同的变化等级，具体阈值获取方法如下。
[0051]
将变化矩阵d
i,j
降维并降序排序，得到变化特征d
i,j
。
[0052]di,j
＝[d
1i,j
,d
2i,j
,
…dli,j
]
t
,l＝(u
′
2-u
′1)
·
(v
′
2-v
′1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0053]
计算相邻数值的变化率
[0054][0055]
保存变化率最大点之前的所有数据构造阈值候选集t
i,j
。
[0056]
t
i,j
＝[d
1i,j
,d
2i,j
,
…dmi,j
]
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0057]
等间隔选取n1个阈值构造阈值向量
[0058][0059]
3-5-2.根据阈值向量提取目标模糊轮廓。在不同阈值下，搜索目标的下边缘轮廓(最大垂直方向坐标)。搜索结果如下式(14)所示。并计算n个搜索结果的一阶、二阶统计量μs,σs，一阶统计量表征下边缘纵坐标的分布均值，二阶统计量表征搜索结果中下边缘纵坐标的稳定程度。
[0060][0061]
3-5-3.建立支撑点搜索目标方程。在μs中搜索定位目标在图像中的支撑点，已知目标id，根据先验信息，搜索对应的v个支撑点。例如行人v＝2，代表两只脚。在每个物体轮廓的二维正视投影曲线中，支撑点理论上为前v个极小值点。但是由于噪声、征提取能力、相机姿态的等影响，支撑点退化为前v个凸集对应的均值曲线段。用迭代方法，依次搜索对应的v个支撑点。首先建立式(15)所示的目标求解方程，其中ξ为根据先验知识id设置的松弛参数。
[0062][0063]
3-5-4.搜索求解支撑点。可分为三个步骤求解最优分段点首先计算一阶统计量的二阶差分值根据参数ξ提取凸集分段点向量c，具体如式(16)所示。
[0064][0065]
再计算每段凸集对应的边缘点损失，计算方法如式(17)所示。
[0066][0067]
最后估计支撑点，即定位像素点。与阈值候选集构造方法一致，对损失向量p逆序排序，取最大损失变化率的前m个候选损失，并记录原始数据索引向量a，最终输出估计的支
撑点具体计算方式如式(18)所示。
[0068][0069]
步骤3-6.定位结果输出。求对应未发生畸变的正确像素坐标，然后通过单应矩阵将像素坐标映射到定位参考系下。输出估计的二维位置。
[0070]
为了验证本发明的有效性，设置两组定位场景。第一组监控摄像头位于光源与定位区域中间，即光影干扰较弱的定位场景。第二组定位场景为，定位区域位于光源与监控摄像头中间，即光影干扰较强的定位场景。两个定位场景均为室内办公区域，整个定位区域位于监控摄像头的可视区域内。定位目标为行人按照指定轨迹正常行走，最后统计估计轨迹点与真实轨迹之间的误差。通过实验，本发明方法在两种场景下的平均定位误差为5.04cm、7.46cm。背景技术方法在两种定位场景下的平均定位为7.62cm、14.91cm。另外统计累计误差概率分布，本发明方法在两种场景下80％定位点的定位误差分别小于8.15cm、12.21cm。背景技术方法在两种场景下80％定位点的定位误差分别小于12.32cm、21.40cm。该实验结果表明，在设置的定位场景中，本方法对光影干扰的抑制能力优于背景技术方法。另外本方法的总体定位性能优于背景技术方法。因此实验证明，本发明一种支撑点搜索的单目视觉室内定位方法是一种稳健的高精度室内定位方法。