一种基于多无人机的监控装置和方法与流程

1.本发明属于测绘技术领域，具体涉及一种基于多无人机的监控装置和方法。


背景技术：

2.森林是生态环境中重要的一部分，森林火灾是森林最具有破坏性的灾难，所以实现对森林火灾的监测对保护森林具有重要的意义。目前森林火灾的监控主要有地面巡护、瞭望塔观测、视频站点监控、航空巡护和卫星遥测等手段。地面巡护是对森林进行巡逻和监督，但地面巡逻区域较小，对于地势复杂的较远地区无法覆盖；瞭望塔观测是通过建在高处的观测台对森林进行监测，但观测受瞭望台的限制；视频站点监测，需建立各种视频监测点，无法全面监测；卫星遥感监测，利用卫星来探测林火，但准确率低；航空巡护是利用飞机在森林上空进行巡航观测，视野宽阔、机动性好，其中航空巡护又可分为有人机巡护和无人机巡护，但有人机飞行成本太高，而无人机具有成本低、灵活方便和无人员伤亡等特点，所以具有极大的应用前景，无人机技术的发展极大的方便了人们的各种活动，逐渐的成为了研究的热点。
3.目前对于基于无人机的森林火灾监测系统也有许多研究，主要是通过图像检测算法，对采集到的图像进行处理，但由于单个无人机工作效率低等劣势，需要多个无人机进行同时处理。多无人机控制系统可以分为集中式、分布式和分散式，集中式控制中，所有无人机的状态信息被发送到地面站，效果较好，但无人机数量较多时，地面站会有高通信负担；分布式控制是编队中无人机被赋予不同的自主和决策能力，通过临近无人机的信息交互，得到局部信息来降低通信带宽。分散式控制中，编队无人机控制大都由自身控制器进行分布和执行，只和相邻最少无人机或者不和周围无人机进行通信，虽然结构简单但编队的稳定性不太好。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种基于多无人机的监控装置和方法。本发明方案能够解决上述现有技术中存在的问题。
5.本发明的技术解决方案：
6.根据第一方面，提供一种基于多无人机的监控装置，包括n架无人机、n套视觉采集系统和地面站，n架无人机分为主机和从机，所述的主机与地面站数据链接，所述的从机与负责本区域的主机数据链接；
7.所述的每架无人机上设有机载计算机、卫星定位系统和视觉采集系统，所述的视觉采集系统将拍摄到的图像发送给机载计算机，所述的机载计算机对接收到的图像按照目标检测算法进行检测，所述的卫星定位系统将获得的无人机的定位发送给机载计算机，所述的从机将获得的定位、图像和检测结果发送给主机，所述的主机将自身数据和从机数据传送给地面站，所述的地面站对监控区域进行子区域划分，并根据划分的子区域设定主机和从机，将每个子区域的主机和从机的飞行航迹进行规划，并将规划好的航迹发送给主机
的机载计算机，由主机发送给其分管的从机；所述的地面站对获得的图像按照相同的目标检测算法进行检测，将获得的检测结果和无人机检测过的同一时刻图像的检测结果做比较，完成问题点的检测。
8.进一步的，所述的子监测区域的划分采用凸多边形分割算法进行计算。
9.进一步的，所述的飞行航迹采用平行搜索策略进行规划。
10.进一步的，所述的目标检测算法采用centernet目标检测算法。
11.进一步的，在地面站检出问题点后，可由人工进行进一步的确认，保证报警的正确性。
12.进一步的，所述的主机的个数和每个主机下从机的个数根据子区域的大小和个数进行选择。
13.根据第二方面，提供上述一种基于多无人机的监控方法，包括以下步骤：
14.根据所用无人机监测飞行时的飞行高度、机载相机的采集图像范围、无人机飞行时间、燃油量、无人机架数等参数，对无人机的待检测区域进行分割，得到无人机的飞行子区域；
15.设置每个飞行子区域的主机和从机的数量；
16.对每个飞行子区域的无人机飞行航迹进行规划，得到无人机飞行监测的航迹；
17.无人机按照规划好的航迹飞行，获取待监测区域的图像数据和gps数据；
18.根据获取的图像数据，机载计算机根据目标检测算法对图像数据进行按照目标检测方法进行检测，从机将图像数据和检测结果发送给主机；
19.主机将从机和自身获得的图像数据、检测结果和gps数据发送给地面站；
20.地面站接收到图像数据后按照相同的目标检测算法对图像数据按照目标检测方法进行处理，和机载计算机计算的检测目标做比较，得到最终的结果。
21.进一步的，所述的无人机的待检测区域进行分割方法为凸多边形分割算法。
22.进一步的，所述的航迹规划方法按照平行搜索法进行规划，以转弯次数最少的方向为搜索方向。
23.进一步的，所述的机载计算机在进行图像处理时采用的目标检测算法为centernet目标检测算法。
24.优选的，所述的机载计算机在进行图像处理时采用地面站利用centernet目标检测算法进行线下训练后的权重文件，以提高计算的速度。
25.进一步的，所述的最终结果得出后，可以再次进行人工复检，进一步的保证监测结果的准确性。
26.进一步的，所述的机载计算机在处理图像时，利用cpu模块和gpu模块对前后视频帧同时进行处理，即处理本帧视频流时利用空余的资源预处理下一帧图像。
27.本发明与现有技术相比的有益效果：
28.(1)本发明通过多无人机的监控区域的划分和centernet目标检测算法，实现了多无人机监控的实际操作性；
29.(2)本发明通过将无人机分为主机和从机，在带宽有限的情况下，减少了地面站对多无人机的控制难度；
30.(3)本发明通过采用cuda加速，利用cpu模块和gpu模块对前后视频帧同时进行处
理，缩短了图案计算的时间，提高了计算效率。
附图说明
31.所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1示出了根据本发明实施例提供的一种基于多无人机的监控装置示意图；
33.图2示出了根据本发明实施例提供的一种基于多无人机的监控方法步骤示意图；
34.图3示出了根据本发明实施例提供的相机观测范围示意图；
35.图4示出了根据本发明实施例提供的平行搜索策略示意图。
具体实施方式
36.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
38.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
39.如图1所示，根据本发明实施例提供根据第一方面，提供一种基于多无人机的监控装置，包括n架无人机、n套视觉采集系统和地面站，n架无人机分为主机和从机，主机与地面站数据链接，从机与负责本区域的主机数据链接；
40.每架无人机上设有机载计算机、卫星定位系统和视觉采集系统，视觉采集系统将拍摄到的图像发送给机载计算机，机载计算机对接收到的图像按照目标检测算法进行检测，卫星定位系统将获得的无人机的定位发送给机载计算机，从机将获得的定位、图像和检测结果发送给主机，主机将自身数据和从机数据传送给地面站，地面站对监控区域进行子区域划分，并根据划分的子区域设定主机和从机，将每个子区域的主机和从机的飞行航迹
进行规划，并将规划好的航迹发送给主机的机载计算机，由主机发送给其分管的从机；地面站对获得的图像按照相同的目标检测算法进行检测，将获得的检测结果和无人机检测过的同一时刻图像的检测结果做比较，完成问题点的检测。
41.根据第二方面，提供上述一种基于多无人机的监控方法，包括以下步骤：
42.根据所用无人机监测飞行时的飞行高度、机载相机的采集图像范围、无人机飞行时间、燃油量、无人机架数等参数，对无人机的待检测区域进行分割，得到无人机的飞行子区域；
43.设置每个飞行子区域的主机和从机的数量；
44.对每个飞行子区域的无人机飞行航迹进行规划，得到无人机飞行监测的航迹；
45.无人机按照规划好的航迹飞行，获取待监测区域的图像数据和gps数据；
46.根据获取的图像数据，机载计算机根据目标检测算法对图像数据进行按照目标检测方法进行检测，从机将图像数据和检测结果发送给主机；
47.主机将从机和自身获得的图像数据、检测结果和gps数据发送给地面站；
48.地面站接收到图像数据后按照相同的目标检测算法对图像数据按照目标检测方法进行处理，和机载计算机计算的检测目标做比较，得到最终的结果。
49.进一步的，所述的最终结果得出后，可以再次进行人工复检，进一步的保证监测结果的准确性。
50.在一个具体的实施例中，如图2所示，多无机监测系统采用多旋翼无人机或固定翼无人机做为平台，通过挂载高清相机或者光电吊舱作为视觉的采集系统，卫星定位系统选用gps定位，利用多无人机监测系统进行森林火灾监控，步骤如下：
51.步骤一，根据所用无人机监测飞行时的飞行高度、机载相机的采集图像范围、无人机飞行时间、燃油量、无人机架数等参数，对无人机的待检测区域进行分割，得到无人机的飞行子区域；
52.在本实施例中，对于待检测区域的划分，采用一种凸多边形分割算法对待监测区域进行分割得到无人机的监测子区域，通过分割将多无人机的复杂控制转换为地面站对各个无人机的单独控制，即降低了多无人机控制的难度，又可以实现多无人机对森林区域检测的高效性。
53.步骤二，设置每个飞行子区域的主机和从机的数量；
54.在一个实施例中，可以每个飞行子区域设置一架主机和多架从机，也可以几个相邻的子区域设置一架主机和，每架主机下设置多架从机。通过主机和从机的设置，使地面站对无人机的控制效果更好。通过地面站对主机的集中式控制和地面站对从机的分布式控制，达到平衡控制效果和通信带宽的目的。
55.步骤三，对每个监测子区域的无人机飞行航迹进行规划，得到无人机飞行监测的航迹；在本实施例中，如图3为相机观测范围，根据无人机巡航时的飞行高度及机载相机的视角可以计算出无人机实时监测的森林范围为2l＝2htanθ，其中h为无人机的飞行高度，l为相机检测范围的一半长度，θ为相机拍摄的最大角；根据相机观测范围，如图4所示，采用平行搜索策略进行航迹规划，实现子区域的全覆盖监测，以转弯次数最少的方向为搜索方向；
56.步骤四，无人机按照规划好的航迹飞行，获取待监测区域的图像数据和gps数据；
57.步骤五，根据获取的图像数据，机载计算机根据目标检测算法对图像数据进行按照目标检测方法进行检测，从机将图像数据和检测结果发送给主机；
58.在本实施例中，通过收集森林着火的各种高空对象，利用centernet目标检测算法对采集的各种图像进行线下训练，得到权重文件。在无人机上利用机载任务管理计算机处理图像信息，机载任务计算机采用cuda加速，利用cpu模块和gpu模块对前后视频帧同时进行处理，即处理本帧视频流时利用空余的资源预处理下一帧图像，具体方法为：
59.s5.1在cpu模块中处理第一帧视频的矢量计算，计算完成后传送给gpu；
60.s5.2在gpu中处理第一帧视频的矩阵计算，在此同时，cpu模块中进行第二帧视频的矢量计算；
61.s5.3gpu将处理完的第一帧视频传送给cpu进行第二次矢量计算后，第一帧视频数据处理完毕；
62.s5.4将cpu中的第二帧视频数据传送给gpu进行矩阵计算；
63.s5.5按照上述步骤进行后续的视频数据处理。
64.通过视频数据的预处理，缩短了处理图像需要的时间，提高了工作效率。
65.在本实施例中，机载计算机利用地面站线下训练的权重文件，通过centernet目标检测算法对采集的实时森林图像进行在线检测，并且在检测的同时进行图像增强去雾处理，同时从机用无线图传，将从机机载相机采集到实时图像、检测的结果和gps数据编码压缩发送到主机；
66.步骤六，主机将从机和自身获得的图像数据、检测结果和gps数据发送给地面站；
67.步骤七，地面站接收到图像数据后按照相同的目标检测算法对图像数据按照目标检测方法进行处理，和机载计算机计算的检测目标做比较，得到最终的结果。
68.在本实施例中，地面站实时接收解码得到无人机采集的森林图像，在地面站也同时采用centernet目标检测算法对解码得到的实时森林图像进行是否有火灾图像目标的检测。若机载端或者地面站端检测到有火灾图像目标，记录此时无人机的位置并通过报警通知地面站值班人员进行最后的人工判读。在本实施例中，地面站通过航迹显示软件实时监测无人机的位置，进而可以得到发生火灾的位置。通过地面站和无人机的双重计算，减小了误差的可能性，并通过人工判读，提高了监测结果的准确性。
69.综上，本发明提供的一种基于多无人机的监控装置和方法，相比于现有技术至少具有以下优势：
70.(1)本发明通过多无人机的监控区域的划分和centernet目标检测算法，提高了多无人机监控的实际操作性；
71.(2)本发明通过将无人机分为主机和从机，在带宽有限的情况下，减少了地面站对多无人机的控制难度；
72.(3)本发明通过采用cuda加速，利用cpu模块和gpu模块对前后视频帧同时进行处理，缩短了图案计算的时间，提高了计算效率。
73.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。