基于多用户多无人机系统进行实时堤坝目标检测方法及系统与流程

1.本发明属于实时检测技术改进领域，尤其涉及一种基于多用户多无人机系统进行实时堤坝目标检测方法。


背景技术：

2.在传统的堤坝检测系统中，需要大量摄像头的调用来完成数据的采集，在通过人工检测来完成堤坝目标的检测。这样的方式不仅消耗大量的资源，而且对于堤坝的检测工作不能快速完成，使得堤坝对于洪涝等自然灾害的防范存在隐患。采用无人机进行视频数据的采集能够很好地解决上述存在的问题，但是无人机也存在一定的局限性，无人机电池所能提供的工作时长一般在半个小时到一个小时之间，再次执行任务就需要等待大量的时间。多架无人机对不同的地段进行数据的采集，再通过vlc构建无人机的流媒体服务器，流媒体服务器可以为每一架无人机对外提供一个可以拉取视频流数据的地址，当多架无人机执行飞行任务对堤坝进行录制的时候，多个用户可以通过自己的需求不同地址对数据进行实时拉取，从而实现多用户多无人机实时堤坝目标的检测。


技术实现要素：

3.本发明的目的在于提供基于多用户多无人机系统进行实时堤坝目标检测方法，旨在解决上述的技术问题。
4.本发明是这样实现的，基于多用户多无人机系统进行实时堤坝目标检测方法，所述基于多用户多无人机系统进行实时堤坝目标检测方法包括以下步骤：s1、通过大量的无人机对堤坝进行大量视频采集；s2、对采集的视频进行抽帧和筛选得到符合条件的图片数据集；s3、使用lableimg对图片数据集进行打标签得到xml文件；s4、在darknet框架下创建自己的数据集目录，将原始图片和xml文件放到相应的目录下；s5、根据数据集的情况对相应的配置文件进行修改，运行相应的python文件生成带全路径的训练文件和测试文件并将xml文件转换成txt文件；s6、对数据集进行训练得到收敛效果和损失值并获取权重文件，根据权重文件完成对视频流数据进行实时检测。
5.本发明的进一步技术方案是：所述步骤s3中对图片打标签时，标签分为正常的堤坝、产生了裂缝的堤坝及渗水的堤坝。
6.本发明的进一步技术方案是：所述步骤s4中在darknet框架下对数据集的yolo模型进行训练，并将训练好的模型发布到各个用户本地服务器中。
7.本发明的进一步技术方案是：所述户本地服务器检测到流媒体服务器训练好的模型，对需要检测的数据到相应的地址进行拉取对堤坝进行实时检测。
8.本发明的进一步技术方案是：每台所述用户本地服务器只对其管理的分布式的多
无人机进行实时的检测保证其负载均衡。
9.本发明的进一步技术方案是：某个所述用户本地服务器发生故障不能继续工作时，将其管理的数据无人机检测工作均匀的分配到其他的用户本地服务器中。
10.本发明的另一目的在于提供基于多用户多无人机系统进行实时堤坝目标检测系统，所述基于多用户多无人机系统进行实时堤坝目标检测系统包括无人机流媒体服务器、用户本地服务器及无人机，所述无人机通过通信连接所述用户本地服务器，所述用户本地服务器通过通信连接所述无人机流媒体服务器，所述无人机流媒体服务器，用于将多架无人机采集的历史数据进行存储，为每一架无人机对外提供一个支持多用户实时获取无人机实时采集数据的接口地址，将采集的数据进行分析处理，目标检测进行训练；所述用户本地服务器，用于信息处理，通过无人机流媒体服务器获取训练好的模型和相应无人机的视频流数据，并对视频流数据进行堤坝目标的检测；所述无人机，用于进行数据采集并上传到无人机流媒体服务器上。
11.本发明的进一步技术方案是：所述用户本地服务器具有多台，多台所述用户本地服务器分别通信连接所述无人机流媒体服务器。
12.本发明的进一步技术方案是：所述无人机若干架，每台用户本地服务器控制多架无人机，若干架所述无人机以分布式均匀分布。
13.本发明的有益效果是：通过该方法中的无人机、用户本地服务器及无人机流媒体服务器相互合作，不仅快速完成堤坝目标的检测，还能够保证系统的高可用性，有效地进行相应的防范工作，保证堤坝附近居民的生命和财产安全。
附图说明
14.图1是本发明实施例提供的基于多用户多无人机系统进行实时堤坝目标检测方法的流程图。
15.图2是本发明实施例提供的基于多用户多无人机系统进行实时堤坝目标检测系统的示意图。
具体实施方式
16.提供一种基于多用户多无人机系统进行实时堤坝目标检测的方法，用户能够通过拉流地址拉取无人机实时的视频流数据，在本地对堤坝数据进行实时的检测，相较于传统的通过将无人机传输的数据存储在无人机本地存储中，再等无人机执行完任务之后将本地存储的视频流数据进行数据传输到用户的服务器，再进行堤坝的检测，该方法提供了多用户多无人机实时检测目标的支持，极大的降低了人工成本和检测时间。
17.如图1所示，本发明提供的基于多用户多无人机系统进行实时堤坝目标检测方法，其详述如下：基于多用户多无人机实现堤坝实时检测系统，该系统由无人机的流媒体服务器系统和用户本地服务器检测系统组成。无人机的流媒体服务器系统可以将多架无人机采集的历史数据进行存储，而且可以为每一架无人机对外提供一个可以支持多用户实时获取无人机实时采集数据的接口地址。因为大量的历史数据都在该服务器上，所以可以直接在该服务器进行目标检测的训练，极大的减少了数据传输的时间代价。在该服务器上需要完成的
工作包括：1.对大量的历史视频流数据进行抽帧和筛选得到原始的图片，在通过lableimg工具对原始的堤坝图片进行打标签的工作，得到数据集2.通过darknet框架对yolo模型进行训练，最终得到训练好的模型。3.将训练好的模型发布到各个用户本地服务器中。用户本地服务器检测系统得到流媒体服务器训练好的模型，再对需要检测的数据到相应的地址进行拉取，从而对堤坝进行实时检测，当检测的堤坝出现问题时，能够及时进行反馈。多用户多无人机分布式检测系统可以保障每台本地服务器只对其需要管理的几架无人机进行实时的检测，实现整个系统的负载均衡。当某个本地服务器发生故障，不能继续工作时，将其管理的数架无人机的检测工作均匀分配到其他本地服务器中，保证整个系统不会因为个别本地服务器的崩溃，导致工作的停止，确保了系统的高可用性。
18.通过上述两个系统的相互合作，不仅快速完成堤坝目标的检测，还能够保证系统的高可用性，有效地进行相应的防范工作，保证堤坝附近居民的生命和财产安全。
19.将对多用户多无人机的检测系统进行进一步的描述。整个系统类似于云边协作系统，如图中所示的无人机流媒体服务器相当于云服务器，它能将各架无人机采集的数据进行存储，并为每架无人机提供一个实时的对外访问地址，当无人机工作的时候就能够通过外部设备访问该地址获取实时视频流数据。除此之外，它还能进行模型的训练，将训练好的模型发布到各个本地用户服务器。本地用户服务器类似于边缘服务器，具备信息处理的能力，能够通过无人机流媒体服务器获取训练好的模型和相应无人机的视频流数据，并对视频流数据进行堤坝目标的检测。无人机相当于节点，能对数据进行采集并上传到无人机流媒体服务器上。整个系统通过相互协作快速实时完成大量的目标检测工作。而且整个系统的性能非常稳定，一方面每个本地服务器只需要处理较少的检测工作，不会造成本地服务器的崩溃；另一方面即使个别本地服务器发生故障，也能将其需要处理的检测任务均匀分配到其他本地服务器上进行检测。
20.这里对堤坝目标检测进行简单说明，使用无人机采集大量的堤坝视频，对视频进行抽帧和筛选，得到符合条件的图片数据集。堤坝标签的类型分为三类，正常的堤坝、产生了裂缝的堤坝和渗水的堤坝。使用工具lableimg进行打标签得到xml文件，在darknet框架下创建自己的数据集目录，将原始图片和xml文件放到相应的目录下。再根据数据集的情况对相应的配置文件进行修改，运行相应的python文件生成带全路径的训练文件和测试文件，将xml文件转换成txt文件，存放在相应的目录下，这样就完成了训练前的所有准备工作。最后，执行命令对数据集进行训练，当得到较好的收敛效果和很低的损失值时，代表训练的结果很不错，此时得到的权重文件就可以进行保留，使用该文件就可以完成视频流数据的检测。
21.基于多用户多无人机系统进行实时堤坝目标检测系统，所述基于多用户多无人机系统进行实时堤坝目标检测系统包括无人机流媒体服务器、用户本地服务器及无人机，所述无人机通过通信连接所述用户本地服务器，所述用户本地服务器通过通信连接所述无人机流媒体服务器，所述无人机流媒体服务器，用于将多架无人机采集的历史数据进行存储，为每一架无人机对外提供一个支持多用户实时获取无人机实时采集数据的接口地址，将采集的数据进行分析处理，目标检测进行训练；所述用户本地服务器，用于信息处理，通过无人机流媒体服务器获取训练好的模型和相应无人机的视频流数据，并对视频流数据进行堤坝目标的检测；所述无人机，用于进行数据采集并上传到无人机流媒体服务器上。
22.所述用户本地服务器具有多台，多台所述用户本地服务器分别通信连接所述无人机流媒体服务器。
23.所述无人机若干架，每台用户本地服务器控制多架无人机，若干架所述无人机以分布式均匀分布。
24.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。