一种针对位置环境的室内隐蔽点寻找方法

1.本发明是一种基于深度相机与机器学习方法的室内隐藏区域寻找算法，特别涉及深度学习技术的物体检测以及部件分割方法。


背景技术：

2.在警用及军事用途中，无人平台作为室内探测信息方式，有着极大的发展前景。在无人平台到达位置区域并进行侦查并监控该区域时，其中的一项关键的技术是藏匿位置的寻找，传统方法基于操控者通过摄像头回传的图像对环境信息进行判断，对于自动化算法寻找环境中的隐藏点的方法并无相关研究。
3.本发明利用深度相机所采集的对齐后彩色图像与深度图像，利用机器学习中的物体识别和部件分割算法，获取室内物品信息以及物体部件信息，通过物体部件的空间位置，判断物体是否可用于隐蔽的空间，综合得出视野内可以进行隐蔽的最佳区域。


技术实现要素：

4.本发明的目的是针对无人平台在室内陌生环境中寻找隐蔽区域的自动识别方法，该方法基于深度相机以及机器学习技术，从深度相机获取的彩色图像与深度图像判断视野中符合的隐蔽区域，满足警用军用作战的需要。
5.本发明提供的技术方案为一种针对位置环境的室内隐蔽点寻找方法，该方法包括：
6.步骤1：构建室内物品识别网络并训练，用于识别室内的物品；
7.步骤2：构建室内物体部件分割网络，用于将步骤1识别出的物品分割为不同的部件；
8.步骤3：获取无人平台上相机的位姿信息以及深度相机的参数；
9.步骤4：使用深度相机获取室内彩色图片与深度图片，并将彩色图片与深度图片进行对齐；
10.步骤5：将步骤4中获取的彩色图片输入步骤1的网络，得到室内各物品在图片中的位置，再根据深度图像获取各物品的大小；
11.步骤6：根据各物品的位置，对步骤4的彩色图片进行切片，得到的每张图片只包含一个物品；
12.步骤7：将步骤6中的单张图片输入到步骤2构建的室内物体部件分割网络中，得到各物品分割后物体支撑腿和物体侧沿的掩膜图像；
13.步骤8：使用opencv的轮廓提取方法获取物体支撑腿和物体侧沿的区域范围的轮廓和各部件单独掩膜图片，并得到各部件在图片中的位置及大小；
14.步骤9：将步骤8中的各部件区域位置与步骤4中获取的深度图片进行对应，得到部件相应的深度信息，并结合步骤3获取的深度相机参数以及深度相机的位姿得到各部件对应像素的空间点云信息；
15.步骤9-1：将步骤4中获取的深度图片根据步骤8所获取的各部件区域位置对应获取其对应的深度图对应区域位置；
16.步骤9-2：结合步骤3中获取深度相机参数，将步骤9-1中的各部件区域位置的深度像素值通过opencv双目视觉函数计算得到各像素的相对于相机的空间点云信息；
17.步骤9-3：结合步骤3中获取的相机位姿信息对步骤9-2中的各部件点云信息进行坐标器转换，得到各部件相对于小车的点云信息；
18.步骤10：根据步骤9中各部件实际位置信息估计预测物体空间内可隐藏区域大小及位置，并判断最优隐藏区域；
19.步骤10-1：结合步骤9中得到的物体侧沿的空间点云信息，计算其最低离地高度，得到隐藏区域的高度信息；
20.步骤10-2：结合步骤9中得到的支撑腿空间点云信息，将支撑腿点云投影到地平面得到隐藏区域宽度信息；
21.步骤10-3：结合小车对隐藏区域空间的要求，根据步骤10-1和步骤10-2的各隐藏区域信息得到最优隐藏区域并得到隐藏区域位置。
22.本方法首先通过深度摄像头获得彩色图片、深度图片、摄像头位姿信息，通过深度学习算法得到物体的在图片中的位置并计算物体的支撑腿、侧沿在图片中的区域信息，结合深度图得到其实际位置信息，通过对其空间位置信息的判断得到其可能的隐藏区域。
附图说明
23.图1是本发明中深度相机采集的原始彩色图像与深度图像
24.图2是本发明中室内物体分割模型
25.图3是本发明整体算法流程图4是本发明深度相机采集的图像。
具体实施方式
26.下面结合附图，对本发明中无人平台室内隐藏点寻找方法进行详细说明：
27.步骤1：构建室内物品识别网络模型；
28.其中，步骤1的具体步骤为：
29.步骤1-1：从大型开源室内数据集和从不同角度实际拍摄的室内场景中获取图片并进行标注；
30.步骤1-2：对1-1中数据集物体标签进行筛选与合并，构建新的室内数据集；
31.步骤1-3：使用1-2的数据集对yolov5网络进行训练，采用adagrad梯度下降算法，对输入图片中的所有非零元素进行随机采样，设置学习率为0.05，在特征向量维度小于300的情况下迭代50次，其他大小的维度迭代100次，直至收敛。
32.步骤2：构建室内物体部件分割网络模型；
33.其中，步骤2的具体步骤为：
34.步骤2-1：对于1-2中新构建的数据集通过标签数据输出为单张物体图片；
35.步骤2-2：对于2-1中的图片使用掩膜的方法进行标注，构建室内物体部件分割数据集；
36.步骤2-3：构建部件分割网络，物体图片首先进入resnet50特征提取器，使用1*1,3*3,5*5 不同卷积模块并使其以不同步长进行滑动，将各模块计算得到特征图输入仿unet 网络中，进行下采样后进行上采样，并将同一层次的上采样与下采样图片进行叠加继续上采样，最后输出结果图；；
37.步骤2-4：采用步骤2-2中的数据集对步骤2-3中的网络进行训练；训练的批次大小为2，学习率为0.001，衰减率为0.0005迭代次数为300k，并采用adam的方式进行迭代；
38.步骤3：使用软件获取无人平台上相机的位姿信息以及深度相机的参数；
39.其中，步骤3的具体步骤为：
40.步骤3-1：使用标定板放置在双目相机前，拍摄并获取标定板图片，计算相机内参与外参并将深度相机与彩色相机的图片进行对齐。
41.步骤3-2：将标准长方体放入相机视野中，测量长方体的长宽高尺寸，根据图像的像素空间值与物体实际点值输入校准程序获得深度相机位姿信息；
42.步骤4：使用深度相机获取对齐后的彩色图片与深度图片
43.步骤5：将步骤4中获取的彩色图片输入步骤2的网络中，得到各室内物品在图片中的位置及大小；
44.步骤6：将物体检测识别各结果所得到的位置在步骤4中获取的彩色图片进行切片输出成单张物体图片；
45.步骤7：将步骤6中的单张图片输入到步骤2构建的室内物体部件分割网络模型中，得到各物品分割后的部件掩膜图像；
46.步骤8：使用opencv的轮廓提取方法获取各部件的掩膜的轮廓和各部件单独掩膜图片，并得到各部件在图片中的位置及大小；
47.步骤9：将步骤8中的掩膜与步骤4中获取的深度图片进行对应，得到部件相应的深度信息，并结合步骤3获取的深度相机参数以及深度相机的位姿得到各部件实际的位置信息；
48.步骤10：根据步骤9中各部件实际位置信息估计预测物体空间内可隐藏区域大小及位置，并判断最优隐藏区域；
49.步骤11：将步骤10中最优隐藏空间的空间位置通过通信接口传输给无人平台，无人平台自动移动并进行隐蔽。
50.本方法基于深度摄像头，采用深度学习等方法，结合环境物体的彩色信息与深度信息判断是否存在合适的隐藏区域。本方法数据集主要采集自行搭建的室内无人平台，测试环境中包含桌子、椅子、沙发、凳子等室内常见物体，模拟实际居住环境与办公环境。本方法实际测试精度91％，每张图片在实验平台(cpu i7-7700hq,gpu1070)平均计算0.21s。