一种基于全景视觉的无人机目标跨相机关联方法与流程

本发明属于图像识别，尤其涉及一种基于全景视觉的无人机目标跨相机关联方法。

背景技术：

1、多相机目标检测时，当相机之间存在重叠区域，会导致同一个目标被检测出两次，从而导致无法进行统一的多相机目标id管理。

2、为将相邻两个相机之间的目标进行关联，通常要根据图像检测框之间的特征相似度进行匹配。中国专利“cn202510788250.4跨相机车辆匹配方法、装置、设备、介质和程序产品”提供了一种根据相机之间目标的细节特征匹配的方法，根据所述目标细节匹配模型对所述目标车辆和所述二级候选车辆集合进行细节特征提取，得到细节目标车辆特征和细节二级车辆特征，根据所述细节目标车辆特征对所述细节二级车辆特征进行二级匹配筛选，得到所述匹配结果，但是其因为车辆目标较大，细节信息明显，所以易于关联匹配。但对于无人机这种小目标，距离较远时没有明显的图像细节信息，很难用图像匹配的方式进行目标关联。

技术实现思路

1、本发明要解决的技术问题是：提供一种能对无人机目标进行跨相机关联的方法，确保在多相机重叠区域实现目标的精确匹配。

2、为解决上述技术问题，本发明的具体技术方案如下：

3、一种基于全景视觉的无人机目标跨相机关联方法，包括如下步骤：

4、s1、全景视觉相机布设以及相机内外参的标定：

5、8路可见光相机以车顶中心为原点进行均匀分布安装，确保8路相机能够覆盖周向360°全景，并且相邻相机视场之间存在重叠区域，然后对组成全景视觉相机的8路可见光相机分别进行内、外参标定；

6、s2、图像去畸变，确定相机之间重叠区域：

7、采用畸变系数对8路相机的原始图像去畸变，确定相邻两相机之间的图像重叠宽度；

8、s3、无人机识别数据集构建，模型训练：

9、构建含旋转标注框与类别标签的无人机样本集，构建yolo11n-obb卷积神经网络并进行训练，得到无人机目标识别模型；

10、s4、单目解算无人机车顶中心坐标系三维坐标：

11、采用训练完成的yolo11n-obb模型对8路图像进行无人机检测，仅保留检测框中心点落在重叠区域内的旋转检测框；针对相邻a、b相机各自有效检测框，提取旋转框左上、左下像素点计算无人机像素高度h，依据检测类别匹配无人机真实物理高度h，结合相机内参通过小孔成像相似三角形求解目标相机深度zc；再基于检测框中心像素坐标计算目标相机坐标系下的三维坐标(xc，yc，zc)；利用各路相机外参将相机坐标转换至车顶中心坐标系，分别得到a、b相机对应无人机车顶坐标系三维坐标集合；

12、s5、构建相邻相机目标之间的匈牙利代价矩阵，并进行最优配对

13、以a、b相机车顶坐标系目标三维坐标构建二范数距离代价矩阵，采用匈牙利算法实现目标一对一最优匹配；匹配成功的同一无人机取两组三维坐标均值作为融合后目标坐标存储，未匹配目标全部独立保存；

14、s6、对全部相邻相机重复执行步骤s4~s5，生成消除跨相机重复后的全部无人机目标位置信息。

15、进一步，步骤s1中，相机内参采用张正友标定法，得到相机内参

kn和畸变系数

distn：

16、

17、其中，n表示相机的序号，8路相机的内参分别为k1，k2…k8，畸变系数分别为dist1，dist2…dist8；kn中的fx表示x方向焦距，fy表示y方向焦距，cx表示光心x方向像素坐标，cy表示光心y方向像素坐标；distn中的k1表示一阶径向畸变，k2表示二阶径向畸变，k3表示三阶径向畸变，p1表示竖直方向切向偏移， p2表示水平方向切向偏移；

18、相机外参标定：生成相机坐标系到车顶中心点坐标系的旋转矩阵rn、平移矩阵tn；其中，8路相机的旋转矩阵分别为r1，r2…r8，平移矩阵分别为t1，t2…t8。

19、进一步，步骤s3中，构建yolo11n-obb卷积神经网络后，设置n个无人机类别，n为常见无人机类别数量，每类无人机人工标注500幅以上）样本，训练yolo11n-obb卷积神经网络，直到网络收敛，得到无人机目标识别模型。

20、进一步，步骤s4中，在a相机重叠区域里的旋转检测框为，类别标签为，i表示a相机检测框数量；

21、在b相机重叠区域里的旋转检测框为，类别标签为，j表示b相机检测框数量；

22、取a相机旋转检测框左上角点(x1，y1)和左下角点(x2，y2)，两个点的像素距离即无人机的像素高度h为：

23、

24、根据模型给出的类别标签得出无人机的真实高度h，根据相似三角形公式，以及相机内参，得出目标相机深度zc为：

25、

26、旋转检测框的中心点为(x0，y0)，根据下面公式计算出无人机在相机坐标系下的x轴和y轴坐标xc和yc分别为：

27、

28、

29、因此，旋转检测框转换到相机坐标系下后的坐标为(xc，yc，zc)，将a相机重叠区域里的旋转检测框转换到相机坐标系下为，然后根据a相机的外参，将相机坐标转换到车顶中心坐标系下，表示为(xv，yv，zv)，得到，用同样的方式得到b相机重叠区域目标车顶中心坐标系下坐标。

30、进一步，步骤s5中，用a相机无人机目标坐标和b相机无人机目标坐标，构建和之间一对一的匈牙利匹配代价矩阵:

31、

32、为a相机和b相机目标之间一对一的匹配代价，找到让总代价最小的一对一目标配对。

33、本发明具有以下优点：本发明采用yolo11n-obb旋转检测框进行无人机目标的框取，并识别出无人机的类别，得到目标先验高度，然后采用小孔成像算法，根据相机内参进行目标距离的计算，提高了目标距离计算的精度；根据计算的目标距离，将目标像素坐标转换到相机坐标下，然后再根据相机外参转到车顶中心坐标系下，从而可以得到所有相机车顶中心坐标系下的目标位置信息；采用匈牙利匹配算法对重叠区域的无人机目标进行一对一配对，配对上的进行目标融合，未配对上的则全部保留。降低了图像坐标系下由于目标检测框小、细节不明显带来的跨相机目标匹配不准确等问题。

1.一种基于全景视觉的无人机目标跨相机关联方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于全景视觉的无人机目标跨相机关联方法，其特征在于，步骤s1中，相机内参采用张正友标定法，得到相机内参kn和畸变系数distn：

3.根据权利要求1所述的基于全景视觉的无人机目标跨相机关联方法，其特征在于，步骤s3中，构建yolo11n-obb卷积神经网络后，设置n个无人机类别，n为常见无人机类别数量，每类无人机人工标注500幅以上）样本，训练yolo11n-obb卷积神经网络，直到网络收敛，得到无人机目标识别模型。

4.根据权利要求1所述的基于全景视觉的无人机目标跨相机关联方法，其特征在于，步骤s4中，在a相机重叠区域里的旋转检测框为，类别标签为，i表示a相机检测框数量；

5.根据权利要求1所述的基于全景视觉的无人机目标跨相机关联方法，其特征在于，步骤s5中，用a相机无人机目标坐标和b相机无人机目标坐标，构建和之间一对一的匈牙利匹配代价矩阵: