一种基于多摄像机三维重建的虚拟三维周界管控算法的制作方法

1.本发明涉及虚拟三维模型周界管控，具体涉及一种基于多摄像机三维重建的虚拟三维周界管控算法。


背景技术：

2.近年来，随着深度学习和计算机视觉的发展，大量的二维目标检测算法被提出并且广泛应用于各种视觉产品中。然而，对于无人驾驶、移动机器人和虚拟现实等应用，二维检测技术远远不能满足实际需求。为了提供更精确的目标位置以及边缘检测信息，三维目标检测技术已经成为重要研究热点，其目的是在真实三维场景中捕捉感兴趣目标，并且给出其在真实世界坐标系下的绝对位置、大小以及朝向等信息。
3.现在这个问题受到越来越多学者的关注，因为雷达提供可靠的深度信息可以用于精确定位物体并且确定其形状。通常来说，根据所依赖的数据类型，可以分为基于雷达数据的三维检测方法和基于图像数据的三维检测方法。基于雷达点云数据的方法能够实现较高精度的三维目标检测任务，但是这类方法存在明显的缺点：过度依赖硬件设备，造价昂贵且不具备便携性，严重限制了此类方法的应用场景。基于图像数据的方法由于其数据采集方便且来源广泛，基于单目相机的三维目标检测研究更加具有应用前景。
4.随着计算机技术的发展，图像处理越来越普遍。边缘检测是图像处理和计算机视觉中的基本问题，可以为其他计算机视觉任务，如语义分割、实例分割以及物体跟踪等提供重要基础信息。然而，目前的边缘检测大多为二维图像的边缘检测，很少有技术能够解决虚拟三维模型的边缘检测问题，且少有的虚拟三维模型边缘检测的准确性也较低。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术所存在的上述缺点，本发明提供了一种基于多摄像机三维重建的虚拟三维周界管控算法，能够有效克服现有技术所存在的无法对虚拟三维模型进行准确边缘检测识别的缺陷。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：
9.一种基于多摄像机三维重建的虚拟三维周界管控算法，包括以下步骤：
10.s1、对二维图像进行二维检测，获取物体在二维图像中的位置，并生成二维边界框；
11.s2、预测三维点云数据中的三维边界框；
12.s3、对三维边界框中的三维点云数据进行过滤，并识别过滤后三维点云数据的物理中心；
13.s4、基于物理中心、三维边界框对虚拟三维模型进行周界检测识别。
14.优选地，s1中对二维图像进行二维检测，获取物体在二维图像中的位置，并生成二
维边界框，包括：
15.利用卷积神经网络对二维图像进行二维检测和深度估计，对二维图像进行视觉识别，同时根据深度信息将二维图像转化为三维点云数据。
16.优选地，s2中预测三维点云数据中的三维边界框，包括：
17.得到每个二维边界框中感兴趣区域的位置信息，对感兴趣区域内的图像进行缩放，并利用卷积神经网络进行特征提取，得到感兴趣区域的特征图，根据特征图对三维边界框进行预测，并获得三维边界框中包含的三维点云数据。
18.优选地，所述得到每个二维边界框中感兴趣区域的位置信息，包括：
19.根据深度信息计算每个二维边界框的深度数据，从而得到二维边界框中感兴趣区域的位置信息。
20.优选地，s2中预测三维点云数据中的三维边界框，包括：
21.将三维点云数据映射到二维图像中，根据二维边界框得到三维点云数据中的三维边界框，并获得三维边界框中包含的三维点云数据。
22.优选地，所述将三维点云数据映射到二维图像中，包括：
23.确定二维图像与三维点云数据的坐标原点之间的相对位置关系，并将三维点云数据一一映射至二维图像中对应像素上。
24.优选地，所述将三维点云数据映射到二维图像中，包括：
25.根据三维点云数据与各二维图像之间的位置关系，将三维点云数据映射至各二维图像上，对每个二维图像中超出视觉范围的点云数据进行过滤，并对过滤后的映射二维图像进行结合。
26.优选地，s3中对三维边界框中的三维点云数据进行过滤，包括：
27.根据设定缩放值缩小三维边界框，删除处于缩小后三维边界框外部的三维点云数据。
28.优选地，s3中识别过滤后三维点云数据的物理中心，包括：
29.计算保留三维点云数据的三维坐标值的平均值，并将三维坐标值的平均值作为三维点云数据的物理中心，即物体中心位置。
30.(三)有益效果
31.与现有技术相比，本发明所提供的一种基于多摄像机三维重建的虚拟三维周界管控算法，能够准确预测三维点云数据中的三维边界框，并且能够对三维边界框中的三维点云数据进行过滤，识别过滤后三维点云数据的物理中心，有效减少判定物理中心的计算量，基于物理中心、三维边界框能够对虚拟三维模型进行更加快速准确地周界检测识别。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本发明的流程示意图。
具体实施方式
34.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.一种基于多摄像机三维重建的虚拟三维周界管控算法，如图1所示，包括以下步骤：
36.s1、对二维图像进行二维检测，获取物体在二维图像中的位置，并生成二维边界框；
37.s2、预测三维点云数据中的三维边界框；
38.s3、对三维边界框中的三维点云数据进行过滤，并识别过滤后三维点云数据的物理中心；
39.s4、基于物理中心、三维边界框对虚拟三维模型进行周界检测识别。
40.对二维图像进行二维检测，获取物体在二维图像中的位置，并生成二维边界框，包括：
41.利用卷积神经网络对二维图像进行二维检测和深度估计，对二维图像进行视觉识别，同时根据深度信息将二维图像转化为三维点云数据。
42.本技术技术方案中，预测三维点云数据中的三维边界框，包括两种方法。
43.第一种方法：得到每个二维边界框中感兴趣区域的位置信息，对感兴趣区域内的图像进行缩放，并利用卷积神经网络进行特征提取，得到感兴趣区域的特征图，根据特征图对三维边界框进行预测，并获得三维边界框中包含的三维点云数据。
44.得到每个二维边界框中感兴趣区域的位置信息，包括：
45.根据深度信息计算每个二维边界框的深度数据，从而得到二维边界框中感兴趣区域的位置信息。
46.其中，利用卷积神经网络进行特征提取后，得到感兴趣区域的特征图，之后通过pointnet网络预测三维点云数据中的三维边界框。
47.第二种方法：将三维点云数据映射到二维图像中，根据二维边界框得到三维点云数据中的三维边界框，并获得三维边界框中包含的三维点云数据。
48.其中，将三维点云数据映射到二维图像中，根据二维图像的数量不同又包括两种方法：
49.对于单张二维图像：确定二维图像与三维点云数据的坐标原点之间的相对位置关系，并将三维点云数据一一映射至二维图像中对应像素上；
50.对于一组二维图像：根据三维点云数据与各二维图像之间的位置关系，将三维点云数据映射至各二维图像上，对每个二维图像中超出视觉范围的点云数据进行过滤，并对过滤后的映射二维图像进行结合。
51.对三维边界框中的三维点云数据进行过滤，包括：
52.根据设定缩放值缩小三维边界框，删除处于缩小后三维边界框外部的三维点云数据。
53.识别过滤后三维点云数据的物理中心，包括：
54.计算保留三维点云数据的三维坐标值的平均值，并将三维坐标值的平均值作为三维点云数据的物理中心，即物体中心位置。
55.本技术技术方案中，通过对三维边界框中的三维点云数据进行过滤，识别过滤后三维点云数据的物理中心，能够有效减少判定物理中心的计算量，并且基于物理中心、三维边界框能够对虚拟三维模型进行更加快速准确地周界检测识别。
56.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。