一种动态组网协同探测系统及方法与流程

1.本发明属于协同探测成像技术领域，尤其涉及一种动态组网协同探测系统及方法


背景技术：

2.目前的协同探测算法多用于近距离的目标识别及指定数目的多成像系统协同探测，系统较为冗余，算法复杂度过高，系统的可移植性差，同时在传输距离及协同探测效率上无法满足多成像系统协同组网的探测需求；而目前相关的协同探测方法及研究方案亦严重不足，这极大地制约了协同探测算法在民用、军事等相关领域走向实用工程化的进度。


技术实现要素：

3.本发明解决的技术问题是：克服现有技术的不足，提供了一种动态组网协同探测系统及方法，从而完成对目标的位置推算，满足协同探测的场景需求。
4.本发明解决技术的方案是：一种基于动态组网的协同探测系统，该系统包括m个无人机平台观测平台、系统网关、地面工作站和飞控数据地面接收设备；每个无人机平台观测平台包括网桥、成像探测系统、飞控模块；无人机平台观测平台与地面工作站时间同步；m大于等于2；
5.m个无人机平台观测平台和地面工作站构成局域网，系统网关，为每个无人机平台观测平台动态分配唯一的网络地址、配置网络接口；
6.无人机平台观测平台的飞控模块，按照预设的周期发送带有位姿信息的无线信号至飞控数据地面接收设备，飞控数据地面接收设备解算出位姿信息，将位姿信息转发至地面工作站；
7.当目标出现时，各无人机平台观测平台的成像探测系统对目标进行观测，获取目标图像信息，通过网桥将目标图像信息发送给系统网关，系统网关，将目标图像信息发送给地面工作站；
8.地面工作站，利用各无人机平台观测平台发送的目标图像信息和位姿信息、位姿信息，采用多目视觉协同探测的方法，计算得到观测目标的位置信息。
9.所述多目视觉协同探测的方法具体如下：
10.根据任意两台无人机平台观测平台目标图像信息和位姿信息，通过双目协同探测算法得到观测目标的一组位置信息，将观测目标的多组位置信息再进行滤波处理，得到精确的观测目标位置信息。
11.所述系统网关为无人机观测平台动态分配地址的过程为：
12.s1-1、新的无人机观测平台通过无线网络自动发送入网请求信息给系统网关；
13.s1-2、系统网关收到入网请求信息后为新的无人机观测平台分配一个网络地址，并将其并入局域网，并将分配的网络地址返回给新的无人机观测平台；
14.s1-3、无人机观测平台收到分配的网络地址后发出应答信号，将自身的设备描述信息发向系统网关进行注册，完成新的无人机观测平台的局域网加入；
15.s1-4、网关定时向已加入局域网的无人机观测平台发出信息，测试无人机观测平台是否处于在线状态，若无人机观测平台预设的时间段内无相应响应信号，则系统网关将该无人机观测平台从局域网中删除。
16.所述系统网关中的网口通信通过vs2010平台实现。
17.所述局域网采用udp协议进行网络通信。
18.所述系统网关采用多线程实现目标图像的转发。
19.所述双目协同探测算法具体步骤如下：
20.s1、获取两个无人机观测平台同一时刻的位姿信息和目标图像；
21.s2、将无人机观测平台的位姿信息,转换到世界坐标系下；
22.s3、采用fusiello极线校正方法对两个无人机观测平台获得的目标图像进行校正得到极线校正后的目标图像；
23.s4、采用orb算法在极线校正后的两幅目标图像中提取待测目标的fast 特征点并对fast特征点进行brief算子描述，得到fast特征点的brief描述子；
24.s5、根据两副目标图像中fast特征点的brief描述子，将两副目标图像中fast特征点进行双向暴力匹配，得到匹配特征点对；
25.s6、利用透射投影方程组，将匹配特征点对的像素坐标代入透射投影方程组，求解透射投影方程组得到匹配特征点对在世界坐标系下的三维坐标，即：观测目标的位置信息。
26.所述步骤s5双向暴力匹配方法如下：
27.s5.1、以校正后的第一幅目标图像为基准图像，校正后的第二幅目标图像作为匹配图像，遍历基准图像上的fast特征点，找到匹配图像与基准图像上相匹配的fast特征点；
28.s5.2、以校正后的第二幅目标图像为基准图像，校正后的第一幅目标图像作为匹配图像，遍历基准图像上的fast特征点，找到匹配图像与基准图像上相匹配的fast特征点；
29.s5.3、遍历步骤5.1和步骤5.2中两副图像中匹配成功的特征点对，若两幅目标图像中的fast特征点相互匹配到彼此，那么则认为匹配成功，将相互匹配成功的特征点定为匹配特征点对。
30.所述s5.1和步骤s5.2找到匹配图像与基准图像上相匹配的fast特征点的具体过程如下：
31.(a)、提取基准图像中任一个fast特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,a
l
)；
32.(b)、在匹配图像上遍历(y-d,y d)范围内的fast特征点，得到fast 特征点的像素坐标qj(xj,yj)及其brief描述子(b
1j
,...,b
kj
...,b
lj
)；其中，j＝1,2,...,m，m 为遍历到(y-d,y d)范围内的fast特征点个数；
33.(c)、计算基准图像fast特征点的像素坐标p(x,y)与匹配图像中 (y-d,y d)范围内的每一个fast特征点brief描述子之间的汉明距离，并对汉明距离排序，得到汉明匹配距离最近的特征点对和汉明匹配距离第二近的特征点对；
34.(d)、如果最近距离和次近距离的比值小于阈值，那么认为汉明匹配距离最近的特征点对匹配成功，反之则失败；重新提取基准图像中另一个fast特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,a
l
)，重复步骤(b)～(d)，直到遍历完基准图像中所有fast特征点。
35.所述步骤(6)的具体步骤如下：
36.(6.1)、将匹配特征点对的像素坐标代入透射投影方程组：
[0037][0038]
其中，(u1,v1)和(u2,v2)是匹配特征点的两个特征点像素坐标，m'1为匹配特征点对中第一幅目标图像所对应的成像探测系统的透视投影矩阵，m'2为匹配特征点对中第二幅目标图像所对应的成像探测系统的透视投影矩阵，p(x,y,z) 为待测目标在地心地固坐标系下的三维坐标；
[0039]
(6.2)、利用最小二乘算法求得透射投影方程组唯一解，即可得到待测目标在地心地固坐标系下的三维坐标：
[0040]
p＝(h
t
h)-1htb[0041]
其中，。
[0042][0043]
所述地面工作站还将二次曲线作为目标位置的最佳逼近，根据连续多个观测目标的位置信息，采用最小二乘法拟合目标三维运动轨迹，将目标三维运动轨迹参数回传至无人探测平台，无人探测平台根据预测的观测目标的位置信息实时调整自身的位置和姿态，稳定跟踪探测目标。
[0044]
本发明的另一个技术解决方案是：一种动态组网协同探测方法，该方法包括如下步骤：
[0045]
s1、m个无人机平台观测平台的飞控模块，按照预设的周期发送带有位姿信息的无线信号至飞控数据地面接收设备，飞控数据地面接收设备解算出位姿信息，将位姿信息转发至地面工作站；
[0046]
s2、当目标出现时，m个无人机平台观测平台的成像探测系统对目标进行观测，获取目标图像信息，通过网桥将目标图像信息发送给系统网关，m大于等于2；
[0047]
s3、系统网关，将目标图像信息发送给地面工作站；
[0048]
s4、地面工作站，利用各无人机平台观测平台发送的目标图像信息和位姿信息、位姿信息，采用多目视觉协同探测的方法，计算得到观测目标的位置信息。
[0049]
本发明与现有技术相比的有益效果是：
[0050]
(1)、本发明通过高动态组网模式实现了多无人探测平台之间的数据传输，并开发
了基于多目探测的协同探测优化算法，满足了多探测平台和远距离探测的探测需求；
[0051]
(2)、本发明给出了多目探测平台及信息解算的方法，从而完成对目标的位置解算；
[0052]
(3)、本发明采用双向匹配方法寻找匹配特征点对，确保彼此是对方的最优匹配点，防止误匹配；
[0053]
(4)、本发明无人机观测平台在成像探测接收过程中，成像探测过程中不向目标发送激光、雷达等主动探测源，达到的效果为整体隐蔽性好，适用于空中战场环境。
附图说明
[0054]
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
[0055]
图1是本发明实施例提供的一种动态组网协同探测系统组成示意图。
具体实施方式
[0056]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0057]
本发明提供了一种动态组网协同探测系统，其特征在于包括m个无人机平台观测平台、系统网关、地面工作站和飞控数据地面接收设备；每个无人机平台观测平台包括网桥、成像探测系统、飞控模块；无人机平台观测平台与地面工作站时间同步；m大于等于2，可根据实际情况调整。在此以2个观测平台举例：无人机观测平台a包括网桥a、成像探测系统a、飞控模块a；无人机观测平台b包括网桥b、成像探测系统b、飞控模块b，如图1所示。
[0058]
m个无人机平台观测平台和地面工作站构成局域网，系统网关，用于组建高速动态局域网络，为每个无人机平台观测平台动态分配唯一的网络地址、配置网络接口，同时，将地面工作站的多个网口接入系统，并自动分配地址，实现局域网内部的多条并行互相访问线路；本实施例中，成像探测系统a和b将目标图像通过网关和系统网关下传到地面工作站。
[0059]
无人机平台观测平台的飞控模块，按照预设的周期发送带有位姿信息的无线信号至飞控数据地面接收设备，飞控数据地面接收设备解算出位姿信息，将位姿信息转发至地面工作站；
[0060]
当目标出现时，各无人机平台观测平台的成像探测系统对目标进行观测，获取目标图像信息，通过网桥将目标图像信息发送给系统网关，系统网关，将目标图像信息发送给地面工作站；
[0061]
地面工作站，用于作为整个系统的数据中转及处理中心，利用各无人机平台观测平台发送的目标图像信息和位姿信息、位姿信息，采用多目视觉协同探测的方法，计算得到观测目标的位置信息。多目视觉协同探测的方法是基于双目协同探测方法，具体为：根据任意两台无人机平台观测平台目标图像信息和位姿信息，通过双目协同探测算法得到观测目
标的一组位置信息，然后利用剩余的探测平台中选择双目进行目标位置解算，依次类推(若剩余目数为单数，可利用已使用数据进行解算)，将观测目标的多组位置信息再进行滤波处理，得到精确的观测目标位置信息。地面工作站还可以结合接收到的飞控模块信息对数据进行综合处理，给出具体的指令回传到两个平台，两个平台及时调整位姿，进行下一时刻的目标观测。
[0062]
所述系统网关为无人机观测平台动态分配地址的过程为：
[0063]
s1-1、新的无人机观测平台c(若有多个，以此类推)通过无线网络自动发送入网请求信息给系统网关；
[0064]
s1-2、系统网关收到入网请求信息后为新的无人机观测平台分配一个网络地址，并将其并入局域网，并将分配的网络地址返回给新的无人机观测平台；
[0065]
s1-3、无人机观测平台收到分配的网络地址后发出应答信号，将自身的设备描述信息发向系统网关进行注册，完成新的无人机观测平台的局域网加入；设备描述信息包括了无人机观测平台的端口号、网络属性等信息
[0066]
s1-4、网关定时向已加入局域网的无人机观测平台发出信息，测试无人机观测平台是否处于在线状态，若无人机观测平台预设的时间段内无相应响应信号，则系统网关将该无人机观测平台从局域网中删除。
[0067]
所述系统网关中的网口通信通过vs2010平台实现。
[0068]
所述局域网采用udp协议进行网络通信，完成对数据的接收。
[0069]
为提高程序的实时性，采用多线程的方法，主线程功能实现对数据的接受，及是否丢包的判读。将接收的数据存于缓存区；子线程1通过对帧头的判读实现对一帧图像的数据包收集与解包，并解包拼接为一帧完整的图像；子线程2 完成对一帧完整数据的存取与实施限制。通过以上方法，可实现图像接收与现实，帧频达到50hz以上。
[0070]
由上可知，多目视觉探测的核心在于双目探测算法，现将双目视觉解算方法介绍如下：
[0071]
所述双目协同探测算法具体步骤如下：
[0072]
s1、获取两个无人机观测平台同一时刻的位姿信息和目标图像；
[0073]
s2、将无人机观测平台的位姿信息,转换到世界坐标系下；所述世界坐标系优选地心地固坐标系。
[0074]
s3、采用fusiello极线校正方法对两个无人机观测平台获得的目标图像进行校正得到极线校正后的目标图像；
[0075]
s4、采用orb算法在极线校正后的两幅目标图像中提取待测目标的fast 特征点并对fast特征点进行brief算子描述，得到fast特征点的brief描述子；
[0076]
fast特征点的brief描述子通过如下步骤得到：
[0077]
s4.1、在n
×
n区域内，选取l个点对模板，构成点对模板集合s，l为2 的整数次幂，例如，l为64或者128，n为奇数，n大于等于3，n
×
n≥l，n 可以是16、32等；
[0078]
s4.2、提取极线校正后目标图像中的fast特征点，计算以fast特征点 o为中心的n
×
n区域的灰度质心坐标c，并计算向量的方向θ，n≤n；
[0079]
灰度质心坐标c通过以下公式得到：
[0080][0081]
其中，(x,y)分别表示像素坐标，i(x,y)表示像素坐标(x,y)处的灰度值；
[0082]
向量的方向θ通过以下公式得到：
[0083][0084]
s4.3、将步骤s4.1中的l个点对模板集合s旋转角度θ，得到以fast特征点o为中心点的n
×
n区域内新的点对模板集合s
θ
；
[0085]n×
n区域内新的点对模板集合s
θ
通过以下公式得到：
[0086][0087]
s包括每个点对模板中第一特征点和第二特征点的像素坐标。
[0088]
s4.4、比较以fast特征点o为中心的n
×
n区域中新的点对模板集合s
θ
中每个点对对应像素灰度值大小，生成特征点的brief描述子。
[0089]
特征点的brief描述子是l位二进制比特串，通过以下公式得到：
[0090][0091]
例如，本发明某一具体实施例中，l为128，
[0092][0093]
其中，fd为特征点的brief描述子；
[0094]
其中，xi,yi为像素坐标,i为图像灰度值。
[0095]
s5、根据两副目标图像中fast特征点的brief描述子，将两副目标图像中fast特征点进行双向暴力匹配，得到匹配特征点对；
[0096]
双向暴力匹配方法如下：
[0097]
s5.1、以校正后的第一幅目标图像为基准图像，校正后的第二幅目标图像作为匹配图像，遍历基准图像上的fast特征点，找到匹配图像与基准图像上相匹配的fast特征点；
[0098]
s5.2：以校正后的第二幅目标图像为基准图像，校正后的第一幅目标图像作为匹配图像，遍历基准图像上的fast特征点，找到匹配图像与基准图像上相匹配的fast特征点；
[0099]
s5.3：遍历步骤5.1和步骤5.2中两副图像中匹配成功的特征点对，若两幅目标图像中的fast特征点相互匹配到彼此，那么则认为匹配成功，将相互匹配成功的特征点定为匹配特征点对。
[0100]
上述s5.1和步骤s5.2找到匹配图像与基准图像上相匹配的fast特征点的具体过
程如下：
[0101]
(a)、提取基准图像中任一个fast特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,a
l
)；
[0102]
(b)、在匹配图像上遍历(y-d,y d)范围内的fast特征点，得到fast 特征点的像素坐标qj(xj,yj)及其brief描述子(b
1j
,...,b
kj
...,b
lj
)；其中，j＝1,2,...,m，m 为遍历到(y-d,y d)范围内的fast特征点个数；
[0103]
(c)、计算基准图像fast特征点的像素坐标p(x,y)与匹配图像中 (y-d,y d)范围内的每一个fast特征点brief描述子之间的汉明距离，并对汉明距离排序，得到汉明匹配距离最近的特征点对和汉明匹配距离第二近的特征点对；
[0104]
(d)、如果最近距离和次近距离的比值小于阈值，那么认为汉明匹配距离最近的特征点对匹配成功，反之则失败；重新提取基准图像中另一个fast特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,a
l
)，重复步骤(b)～(d)，直到遍历完基准图像中所有fast特征点。
[0105]
s6、利用透射投影方程组，将匹配特征点对的像素坐标代入透射投影方程组，求解透射投影方程组得到匹配特征点对在世界坐标系下的三维坐标，即：观测目标的位置信息。
[0106]
假设(u1,v1)和(u2,v2)是匹配特征点的两个特征点像素坐标，根据透射投 影方程如公式1。如目标在其中之一左相机图像上的投影点为p，实际上从左相 机光心ol和p连线上的任意一点(p1,p2等)在左相机图像是的投影点都是p， 而其对应到右相机图像上的投影为一条直线(即直线o1p在左相机图像上的投 影。
[0107]
将中建立的投射投影方程联立：
[0108][0109]
式中，(u1,v1)和(u2,v2)是匹配特征点的两个特征点像素坐标，m'1为匹配特征点对中第一幅目标图像所对应的成像探测系统的透视投影矩阵，m'2为匹配特征点对中第二幅目标图像所对应的成像探测系统的透视投影矩阵，m'1和m'2均为3
×
4的透视投影矩阵，p(x,y,z)为待测目标在地心地固坐标系下的三维坐标；
[0110]
p(x,y,z)为待测目标在地心地固坐标系下的三维坐标。
[0111]
通过对公式(1)简化、然后利用最小二乘算法可以求得超定方程组唯一解： p＝(h
t
h)-1htb[0112]
其中，
[0113]
p即待测目标在地心地固坐标系下的坐标。
[0114]
本发明某一具体实施例中，所述地面工作站还将二次曲线作为目标位置的最佳逼近，根据连续多个观测目标的位置信息，采用最小二乘法拟合目标三维运动轨迹，将目标三维运动轨迹参数回传至无人探测平台，无人探测平台根据预测的观测目标的位置信息实时调整自身的位置和姿态，稳定跟踪探测目标。
[0115]
具体步骤如下:
[0116]
(1)、将二次曲线作为目标位置的最佳逼近，即目标在世界坐标系下各个方向上做匀加速运动，其运动方程为：
[0117][0118]
式中，(x
t
，y
t
，z
t
)为t时刻目标位置坐标，a为方程组系数，t为时间。
[0119]
(2)、通过网桥交换状态信息得到两个成像探测系统都在稳定跟踪目标的工作状态下，本发明仅根据包括当前帧在内的最近n'帧探测目标三维位置信息，将其代入下述公式(4)所示方程组，解算出的目标在世界坐标系下的位置，辨识出目标运动的位置参数，n'取5。
[0120]
本发明还可以采用最小二乘法拟合目标三维运动轨迹，得到待求参数 a(a
x0
,a
x1
,a
x2
,a
y0
,a
y1
,a
y2
,a
z0
,a
z1
,a
z2
)。
[0121][0122]
(3)、通过最小二乘算法可以求得超定方程组唯一解：
[0123]
a＝(f
t
f)-1ftc[0124]
其中，
[0125]
在工作站推算出的目标实时位置、距离信息的基础上，本发明还可以通过网桥反
馈给综成像观测平台a和b，a和b跟踪指令实时调整本平台的相关位置和姿态，以此类推，完成成像系统对目标的稳定，及对目标的实时位置，姿态输出。
[0126]
综上所述，本发明给出了搭建探测平台及信息解算的方法，从而完成对目标的位置解算；本发明通过高动态组网的形式实现跨平台之间的数据传输，并开发了基于高速数据链的协同探测优化算法，可满足外场变化场景及对未知目标的探测需求；本发明通过被动探测接收，成像过程无需通向外界发送激光、雷达等主动探测源，达到的效果为整体隐蔽性好，适用于空中战场环境。
[0127]
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。