跨尺度全景感知系统和全景图像的跨尺度目标检测方法与流程

1.本技术涉及深度学习技术领域，特别是涉及一种跨尺度全景感知系统和全景图像的跨尺度目标检测方法。


背景技术：

2.根据现有技术调研情况，现有的大场景的全景目标检测，在视觉传感层面的实现方式主要有三种：一是通过双鱼眼镜头获取的360度视场角成像；二是多普通摄像机全景布控获取全景成像；三是多目摄像机全景成像。
3.双鱼眼镜头和多目摄像机都具有结构简单、部署方便等特点，但是其均存在价格昂贵、边缘成像质量差、分辨率低等缺点，导致对目标检测精度较差；多普通摄像机全景布控要求在不同地点进行相机布控，在大场景下布控点过多导致成本过高、存在死角、部署结构比较离散。
4.因此发明人认识到，针对大场景全景目标检测的需求，亟需一种结构简单、部署方便、具备高精度目标检测性能的大场景全景硬件方案和算法。


技术实现要素：

5.基于此，针对上述技术问题，提供一种跨尺度全景感知系统和全景图像的跨尺度目标检测方法。
6.第一方面，一种跨尺度全景感知系统，包括排列成正多边形的多组固定装置，每组固定装置上均固定有一个相机阵列固定支架，每个相机阵列固定支架上均固定有一组相机阵列；多组相机阵列分别对应覆盖正多边形周向的多个外围区域；
7.每组相机阵列均包括三台感知成像设备，所述三台感知成像设备包括两台局部场景感知设备和一台全局场景感知设备，所述全局场景感知设备固定在两台局部场景感知设备的中间；
8.相邻两组相机阵列的全局场景感知设备的全局场景感知区域具有感知重叠区域；对于每组相机阵列，全局场景感知设备的视场角覆盖相邻的两个局部感知设备的视场角，全局感知设备的垂直视场角大于或等于局部场景感知设备的2倍。
9.可选地，所述正多边形为正八边形，所述固定装置共八组。
10.进一步可选地，所有感知成像设备的视场光轴均与所述正八边形共面，所有全局场景感知设备的视场光轴的反向延长线均经过所述正八边形的中心。
11.进一步可选地，每台全局场景感知设备的水平视角均大于或等于60
°
，每台全局场景感知设备和每台局部场景感知设备的感知图像分辨率均大于或等于1400万像素。
12.第二方面，一种面向亿像素级全景图像的跨尺度目标检测方法，包括：
13.步骤一，搭建目标检测训练数据采集装置，所述训练数据采集装置包括第一方面所提供的跨尺度全景感知系统中的一组相机阵列和用于固定该相机阵列的相机阵列固定支架；对搭建的目标检测训练数据采集装置进行感知设备位置的标定，并利用搭建的目标
检测训练数据采集装置训练得到跨尺度目标检测模型；
14.步骤二，利用第一方面所提供的跨尺度全景感知系统进行图像的采集，得到8张全局感知图像和16张局部感知图像，并计算得到全局感知图像的相邻图像的变换矩阵；利用所述全局感知图像的相邻图像的变换矩阵将8张全局感知图像进行拼接，得到360
°
全景拼接图像ig；
15.步骤三，对步骤二中采集到的16张局部感知图像，分别利用步骤一训练得到跨尺度目标检测模型进行目标检测，得到目标在每张局部感知图像中的坐标位置；根据目标在每张局部感知图像中的坐标位置得到目标在对应全局感知图像中的坐标位置，并将8张全局感知图像中的目标位置利用所述相邻图像的变换矩阵进行变换，得到360
°
全景拼接图像ig中所有目标的具体位置。
16.可选地，步骤一所述对搭建的目标检测训练数据采集装置进行设备位置的标定，并利用搭建的目标检测训练数据采集装置训练得到跨尺度目标检测模型包括：
17.利用特征点匹配方法对目标检测训练数据采集装置中的两台局部场景感知设备全局场景感知设备进行位置标定，得到相机阵列中两台局部场景感知设备分别相对于全局场景感知设备的映射矩阵m1和m2；
18.利用搭建的目标检测训练数据采集装置在特定地点进行图像数据的采集，得到局部感知图像数据集和全局感知图像数据集，并对局部感知图像数据集和全局感知图像数据集中采集到的目标进行定位框标注；将带有标注的局部感知图像数据集按照预设比例划分成训练集、测试集和验证集；带有标注的全局感知图像数据集不参与训练，其作为grountruth来约束跨尺度目标检测模型的训练；
19.利用现有的目标检测网络及其损失函数l
det
对所述训练集进行训练，训练时的损失函数定义为：
20.l＝l
det
(local) λl
aet
(global)
21.其中l
det
(local)表示现有的目标检测网络训练局部感知图像数据集的损失函数，l
det
(global)表示带有标注的全局感知数据集作为grountruth约束的损失函数，λ表示l
det
(global)的权重系数；l
det
(global)计算公式为：
22.l
det
(global)＝l
det
(predmi)
23.其中pred为基于局部感知图像预测的目标位置；predmi表示pred经过映射矩阵mj变换到全局感知图像；
24.根据预先设定的训练策略，迭代训练模型，直至损失函数l收敛，得到跨尺度目标检测模型。
25.进一步可选地，所述步骤二具体包括：
26.搭建第一方面所提供的跨尺度全景感知系统，并使用基于软件时间戳同步触发方法进行8组相机阵列的图像数据的同步采集，将在t时刻8组相机阵列感知到的8张全局图像和16张局部图像分别记为和
27.对于t时刻下全局感知图像序列(g1，g2，...，g8)，使用特征提取和匹配算法分别对序列中的相邻图像进行特征检测和匹配，得到全局感知图像的相邻图像的变换矩阵(tr
21
，tr
32
，...，tr
87
)；
28.利用所述相邻图像的变换矩阵(tr
21
，tr
32
，...，tr
87
)将8张全局感知图像进行拼
接，得到360
°
全景拼接图像ig。
29.进一步可选地，步骤三所述根据目标在每张局部感知图像中的坐标位置得到目标在对应全局感知图像中的坐标位置，具体是根据映射矩阵m1和m2，将每张局部感知图像中目标的坐标位置映射回对应的全局感知图像，得到目标在对应全局感知图像中的坐标位置的；所述将8张全局感知图像中的目标位置利用所述相邻图像的变换矩阵进行变换，具体是利用所述相邻图像的变换矩阵(tr
21
，tr
32
，...，tr
87
)，将8张全局感知图像中的目标位置进行变换的。
30.进一步可选地，所述特征点匹配方法为sift算法；所述特定地点包括步行街广场和十字路口。
31.进一步可选地，所述预设比例为8∶1∶1；所述目标检测网络为yolov5神经网络。
32.本发明至少具有以下有益效果：
33.本发明实施例提出了一种面向大场景全景目标检测的非结构化亿像素级别跨尺度全景感知系统和目标检测方法；非结构化亿像素级别感知系统结构简单、部署方便，解决了跨尺度的高分辨全景成像的问题，满足了大场景全景高精度目标检测的数据采集和训练条件，最后通过本发明实施例设计的跨尺度目标检测方法能够实现亿像素级的全景目标检测；本发明实施例提供的目标检测方法通过局部场景感知图像进行目标的大尺度检测，然后通过感知设备标定关系映射到全局场景感知图像，最终实现跨尺度高精度的目标检测；本发明相比现有的全景目标检测解决方案的像素和精度更高。
附图说明
34.图1为本发明一个实施例提供的一种非结构化跨尺度全景感知系统的结构示意图；
35.图2为本发明一个实施例提供的跨尺度目标检测训练数据采集装置的结构示意图；
36.图3为本发明一个实施例提供的一种面向亿像素级全景图像的跨尺度目标检测方法的流程示意图；
37.图4为本发明一个实施例提供的一种面向亿像素级全景图像的跨尺度目标检测装置的模块架构框图。
38.附图标记说明：
39.1、固定装置；
40.2、相机阵列；21、第一局部场景感知设备；22、第二局部场景感知设备；23、全局场景感知设备；
41.3、相机阵列固定支架。
具体实施方式
42.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
43.实施例一
44.在本实施例中，提供了一种非结构化跨尺度全景感知系统，该系统采用多边形阵列设计实现全景感知成像，包括排列成正多边形的多组固定装置，每组固定装置上均固定有一个相机阵列固定支架，每个相机阵列固定支架上均固定有一组相机阵列；多组相机阵列分别对应覆盖正多边形周向的多个外围区域；
45.每组相机阵列均包括三台感知成像设备，所述三台感知成像设备包括两台局部场景感知设备和一台全局场景感知设备，所述全局场景感知设备固定在两台局部场景感知设备的中间；
46.相邻两组相机阵列的全局场景感知设备的全局场景感知区域具有感知重叠区域；对于每组相机阵列，全局场景感知设备的视场角覆盖相邻的两个局部感知设备的视场角，全局感知设备的垂直视场角大于或等于局部场景感知设备的2倍。
47.其中，正多边形可以但不限于是八边形、十边形等。
48.本发明实施例提供的非结构化亿像素级别感知系统硬件结构简单、部署方便，解决了跨尺度的高分辨全景成像的问题，满足了大场景全景高精度目标检测的数据采集和训练条件，为进行大场景全景高精度目标检测提供了基础。
49.实施例二
50.在本实施例中，提供了一种非结构化跨尺度全景感知系统，如图1(a)所示，包括排列成正八边形的八组固定装置1；也就是说，围绕固定装置1，在多边形阵列周围排布8组相机阵列2，正八边形周向的外围区域分别被8组相机阵列2对应覆盖。图1(a)中2为一组相机阵列，每组相机阵列2包含三个感知成像设备。具体来说，如图1(a)和(b)所示，每组固定装置1上均固定有一个相机阵列固定支架3，每个相机阵列固定支架3上均固定有一组相机阵列2，每组相机阵列2均包括三台感知成像设备；该三台感知成像设备具体包括两台局部场景感知设备(第一局部场景感知设备21和第二局部场景感知设备22)和一台全局场景感知设备23，全局场景感知设备23固定在第一局部场景感知设备21和第二局部场景感知设备22的中间。
51.对于每组相机阵列2，全局场景感知设备23的视场角需能覆盖到两个局部场景感知设备的视场角，本系统包含全局感知设备8个，局部感知设备16个，且每台全局场景感知设备23和每台局部场景感知设备的感知图像分辨率均不低于1400万像素。
52.本系统的特点是：相邻两组相机阵列2的全局场景感知设备23的全局场景感知区域需要有一定的感知重叠区域，以图1中8组相机阵列2为例，单个全局感知设备的水平视场角理论上需要达到45
°
以上，为了避免出现死角且方便后续算法开发，需要保证一定的感知重叠区域大小，因此实际每台全局感知设备的水平视场角应不小于60
°
；对于一组相机阵列2，全局感知设备的垂直视场角应不小于局部感知设备的2倍，系统的局部感知设备可以实现任意角度调整以实现非结构化部署。
53.另外，如图2所示，提供了一种面向全景感知目标检测模型训练需求的大场景跨尺度目标检测训练数据采集装置。与上文中提供的一种非结构化跨尺度全景感知系统类似的，包括一组相机阵列固定支架3和一组相机阵列2，具体包括两台局部场景感知设备(第一局部场景感知设备21和第二局部场景感知设备22)和一台全局场景感知设备23，该训练数据采集装置的配置要求均与对图1中的非结构化跨尺度全景感知系统中的局部场景感知设备(第一局部场景感知设备21和第二局部场景感知设备22)和全局场景感知设备23的配置
要求相同。第一局部场景感知设备21和第二局部场景感知设备22的视场光轴可以灵活调整，只要保证全局场景感知设备23能覆盖第一局部场景感知设备21和第二局部场景感知设备22的视场角即可。
54.在图2中，a为假定的感知场景目标，b为全局场景感知设备23的全局场景感知目标示意成像结果，c、d分别表示第一局部场景感知设备21、第二局部场景感知设备22的局部场景感知目标示意成像结果，e为c、d对应在b中的区域示意。由图2可见，全局场景感知设备23与局部场景感知设备捕获的目标尺度具有明显的差异性，目标在全局场景感知下的尺寸偏小，导致对全局场景感知图像的目标检测精度较差，可以通过局部场景感知图像进行目标的大尺度检测，通过感知设备标定关系映射到全局场景感知图像，实现跨尺度高精度的目标检测。
55.本发明实施例提供的非结构化亿像素级别感知系统硬件结构简单、部署方便，解决了跨尺度的高分辨全景成像的问题，满足了大场景全景高精度目标检测的数据采集和训练条件，为进行大场景全景高精度目标检测提供了基础。
56.实施例三
57.在本实施例中，如图3所示，提供了一种面向亿像素级全景图像的跨尺度目标检测方法，包括以下步骤：
58.步骤s301，参考上述实施例二中图1和图2的硬件描述，搭建上文中图2所示的目标检测训练数据采集装置，也就是说该训练数据采集装置包括上述实施例提供的跨尺度全景感知系统跨尺度全景感知系统中的一组相机阵列和用于固定该相机阵列的相机阵列固定支架；对搭建的目标检测训练数据采集装置进行感知设备位置的标定，并利用搭建的目标检测训练数据采集装置训练得到跨尺度目标检测模型。
59.步骤s301即进行大场景跨尺度目标检测模型的训练，其中，对搭建的目标检测训练数据采集装置进行设备位置的标定，并利用搭建的目标检测训练数据采集装置训练得到跨尺度目标检测模型具体包括：
60.(1)利用特征点匹配方法对目标检测训练数据采集装置中的两台局部场景感知设备全局场景感知设备进行位置标定，得到相机阵列中两台局部场景感知设备(图2中的21和22)分别相对于全局场景感知设备(图2中的23)的映射矩阵m1和m2；其中，特征点匹配方法可以但不限于是sift算法；
61.(2)利用搭建的目标检测训练数据采集硬件开展多样性大场景数据采集，也就是在特定地点进行图像数据的采集，包括步行街广场、十字路口等地点，从而得到局部感知图像数据集和全局感知图像数据集，并对局部感知图像数据集和全局感知图像数据集中采集到的目标进行定位框标注；将带有标注的局部感知图像数据集按照预设比例(8∶1∶1)划分成训练集、测试集和验证集；带有标注的全局感知图像数据集不参与训练，其作为grountruth来约束跨尺度目标检测模型的训练；
62.(3)利用现有的目标检测网络如yolov5神经网络，及其损失函数l
det
对所述训练集进行训练，训练时的损失函数定义如下：
63.l＝l
det
(local) λl
det
(global)
64.其中l
de
(local)表示yolov5神经网络等现有的目标检测网络训练局部感知图像数据集的损失函数，l
det
(global)表示带有标注的全局感知数据集作为grountruth约束的损
失函数，也就是基于全局感知标注数据约束的损失函数，λ表示l
det
(global)的权重系数；l
det
(global)计算公式如下：
65.l
det
(global)＝l
det
(predmi)
66.其中pred为基于局部感知图像预测的目标位置，其经过映射矩阵mj变换到全局感知图像，然后与全局感知标注结果求损失；predmi表示pred经过映射矩阵mi变换到全局感知图像；映射矩阵mi即映射矩阵m1和m2；
67.(4)根据预先设定的训练策略(包括学习率、训练batch、训练epoch、优化器等)，迭代训练模型，直至损失函数l收敛，得到大场景跨尺度目标检测模型。
68.步骤s302，利用上述实施例二提供的的跨尺度全景感知系统进行图像的采集，得到8张全局感知图像和16张局部感知图像，并计算得到全局感知图像的相邻图像的变换矩阵；利用所述全局感知图像的相邻图像的变换矩阵将8张全局感知图像进行拼接，得到360
°
全景拼接图像ig。
69.步骤s302即进行亿像素级全景图像融合计算，步骤s302具体包括：
70.(1)搭建上述实施例二的图1所提供的跨尺度全景感知系统，并使用基于软件时间戳同步触发方法进行8组相机阵列的图像数据的同步采集，假定在某一时刻t，8组相机阵列感知到的8张全局图像和16张局部图像分别记为和
71.(2)对于t时刻下全局感知图像序列(g1，g2，...，g8)，使用特征提取和匹配算法分别对序列中的相邻图像进行特征检测和匹配，得到全局感知图像的相邻图像的变换矩阵(tr
21
，tr
32
，...，tr
87
)，使用该矩阵可以将相邻图像进行拼接；
72.(3)利用所述相邻图像的变换矩阵(tr
21
，tr
32
，...，tr
87
)，将8张全局感知图像进行拼接，得到360
°
全景拼接图像ig。
73.步骤s303，对步骤s302中采集到的16张局部感知图像，分别利用步骤s301训练得到跨尺度目标检测模型进行目标检测，得到目标在每张局部感知图像中的坐标位置；根据目标在每张局部感知图像中的坐标位置得到目标在对应全局感知图像中的坐标位置，并将8张全局感知图像中的目标位置利用所述相邻图像的变换矩阵进行变换，得到360
°
全景拼接图像ig中所有目标的具体位置，实现亿像素级全景的跨尺度目标检测。
74.步骤s303所述根据目标在每张局部感知图像中的坐标位置得到目标在对应全局感知图像中的坐标位置，具体是根据映射矩阵m1和m2，将每张局部感知图像中目标的坐标位置映射回对应的全局感知图像，得到目标在对应全局感知图像中的坐标位置的；所述将8张全局感知图像中的目标位置利用所述相邻图像的变换矩阵进行变换，具体是利用所述相邻图像的变换矩阵(tr
21
，tr
32
，...，tr
87
)，将8张全局感知图像中的目标位置进行变换的。
75.应该理解的是，虽然图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
76.常规目标检测通常是对单目相机感知的局部场景进行目标定位和识别，基于大场景的全景高精度目标检测要求实现对大场景的全局感知和多尺度目标的高精度检测，这对
全景成像硬件和目标检测算法都提出了更高的要求。
77.因此本发明实施例提出了一种面向大场景全景目标检测的非结构化亿像素级别跨尺度全景感知系统硬件和目标检测方法。非结构化亿像素级别感知系统硬件结构简单、部署方便，解决了跨尺度的高分辨全景成像的问题，满足了大场景全景高精度目标检测的数据采集和训练条件，最后通过本发明实施例设计的跨尺度目标检测方法能够实现亿像素级的全景目标检测；本发明实施例提供的目标检测方法通过局部场景感知图像进行目标的大尺度检测，通过感知设备标定关系映射到全局场景感知图像，最终实现跨尺度高精度的目标检测，相比现有的全景目标检测设备像素和精度更高。
78.在一个实施例中，如图4所示，提供了一种面向亿像素级全景图像的跨尺度目标检测装置，包括以下模块：
79.跨尺度目标检测模型训练模块401，用于搭建目标检测训练数据采集装置，所述训练数据采集装置包括上述实施例二提供的跨尺度全景感知系统中的一组相机阵列和用于固定该相机阵列的相机阵列固定支架；对搭建的目标检测训练数据采集装置进行感知设备位置的标定，并利用搭建的目标检测训练数据采集装置训练得到跨尺度目标检测模型；
80.全景拼接图像生成模块402，用于利用上述实施例二提供的跨尺度全景感知系统进行图像的采集，得到8张全局感知图像和16张局部感知图像，并计算得到全局感知图像的相邻图像的变换矩阵；利用所述全局感知图像的相邻图像的变换矩阵将8张全局感知图像进行拼接，得到360
°
全景拼接图像ig；
81.目标位置检测模块403，对全景拼接图像生成模块中采集到的16张局部感知图像，分别利用跨尺度目标检测模型训练模块训练得到跨尺度目标检测模型进行目标检测，得到目标在每张局部感知图像中的坐标位置；根据目标在每张局部感知图像中的坐标位置得到目标在对应全局感知图像中的坐标位置，并将8张全局感知图像中的目标位置利用所述相邻图像的变换矩阵进行变换，得到360
°
全景拼接图像ig中所有目标的具体位置。
82.关于一种面向亿像素级全景图像的跨尺度目标检测装置的具体限定可以参见上文中对于一种面向亿像素级全景图像的跨尺度目标检测方法的限定，在此不再赘述。上述一种面向亿像素级全景图像的跨尺度目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
83.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，涉及上述实施例方法中的全部或部分流程。
84.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，涉及上述实施例方法中的全部或部分流程。
85.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
86.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
87.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。