一种无人机人脸识别与目标定位回传系统及方法与流程

摘要: 本发明属于无人机智能巡检,具体涉及一种无人机人脸识别与目标定位回传系统及方法。背景技术:1、无人驾驶的机械简称无人机,其是利用无线电遥控设备和自备的程序控制装置...
一种无人机人脸识别与目标定位回传系统及方法与流程

本发明属于无人机智能巡检,具体涉及一种无人机人脸识别与目标定位回传系统及方法。

背景技术:

1、无人驾驶的机械简称无人机,其是利用无线电遥控设备和自备的程序控制装置操纵的设备,或者由机载计算机完全地间隙地自主地操作,被广泛应用于多个领域中,如航拍、农业、植保以及灾难救援等。

2、现有的人脸识别技术包括使用固定监控摄像头人脸识别系统进行人脸识别,将摄像头安装在固定位置,并对进入监控区域的人员进行检测和识别,在部署后可持续运行;或者使用普通无人机视频回传系统,现有的无人机可实现航拍、实时图传和定位显示的功能;或使用基于服务器端的图像识别方案,其通常由前端采集图像,并将采集的图像传送到远程服务器进行识别分析;还可以使用单一定位或测距系统获取无人机自身gps位置或相对距离。

3、然而,现有的人脸识别技术在应用方面存在相应的不足之处,如:(1)监控范围固定且机动性不足:监控摄像头的监控范围固定,其覆盖的区域有限,无法快速到达临时的任务区域,对于开放区域、复杂地形或大范围巡查场景的适应性较差;(2)缺乏目标身份识别能力:普通无人机视频回传系统只具备图像采集的功能,其缺乏机载智能识别能力,无法自动判断目标身份,也无法对重点目标进行抓拍记录和结果结构化回传;(3)实时性差:现有技术中需要持续上传无人机采集的视频流,导致无线通信链路长期处于高负载状态,在带宽受限或网络不稳定环境下容易出现数据传输延迟、丢包以及识别响应不及时的问题,其不适用于无人机巡查过程中对时效性要求较高的场景;(4)无法进行下一步推算过程:使用单一定位或测距系统仅能获得无人机自身gps位置,或仅能通过双目相机测得目标与无人机之间的相对距离,但无法将无人机位置信息、航向信息和视觉感知信息进行融合,无法进一步推算目标的大致位置。

4、因此,如何提供一种有效的技术方案以解决现有技术中存在的监控范围固定且机动性不足、缺乏目标身份识别能力、实时性差以及无法进行下一步推算过程的问题,已成为目前亟待解决的技术难题。

技术实现思路

1、本发明的目的是提供一种无人机人脸识别与目标定位回传系统及方法,用以解决现有技术中存在的上述问题。

2、为了实现上述目的,本发明采用以下技术方案:

3、第一方面,本发明提供了一种无人机人脸识别与目标定位回传系统,包括无人机模块,所述无人机模块包括飞控与姿态获取模块、图像采集模块以及机载计算模块:

4、所述飞控与姿态获取模块,用于获取无人机参数,所述无人机参数包括无人机航向角、无人机gps坐标、飞行姿态信息以及无人机当前经纬度位置,将无人机参数发送至机载计算模块;

5、所述图像采集模块,用于采集目标区域的实时图像,所述实时图像包括彩色图像和深度图像,将实时图像发送至机载计算模块;

6、所述机载计算模块,用于基于预设目标人脸特征对实时图像进行目标人脸识别,得到目标人脸识别结果,所述目标人脸识别结果包括判定为目标人物;

7、所述机载计算模块,还用于当判定为目标人物后,根据人脸位置对实时图像进行区域截取,得到目标抓拍图像,根据无人机参数得到无人机当前位置,随后根据深度图像得到目标距离,以根据无人机当前位置、目标距离以及目标抓拍图像计算目标相对于无人机的方位,根据目标相对于无人机的方位和无人机参数,得到目标地理位置。

8、在一种可能的设计中,还包括服务器模块,所述服务器模块与所述机载计算模块通信连接,所述服务器模块用于获取机载计算模块发送的目标地理位置、目标抓拍图像和无人机当前位置,并对目标地理位置、目标抓拍图像和无人机当前位置进行存储。

9、在一种可能的设计中,还包括网页交互与显示模块,所述网页交互与显示模块与服务器模块通信连接;

10、所述网页交互与显示模块用于获取用户上传的目标人脸照片,使用人脸特征提取模型提取目标人脸照片的目标人脸特征,并基于目标人脸特征构建目标人脸特征库,以便将目标人脸特征库中的预设目标人脸特征发送至机载计算模块中进行人脸识别;

11、所述网页交互与显示模块还用于对目标地理位置、目标抓拍图像和无人机当前位置进行可视化显示。

12、在一种可能的设计中,还包括无线通信模块,所述无人机模块通过无线通信模块与服务器模块通信连接。

13、在一种可能的设计中,所述无人机模块还包括定位模块,所述定位模块与飞控与姿态获取模块通信连接,所述定位模块用于获取无人机当前经纬度位置,并将无人机当前经纬度位置发送至飞控与姿态获取模块。

14、在一种可能的设计中,所述图像采集模块为d455双目深度相机。

15、第二方面,本发明提供了一种无人机人脸识别与目标定位回传方法,包括:

16、获取无人机参数,所述无人机参数包括无人机航向角、无人机gps坐标、飞行姿态信息以及无人机当前经纬度位置;

17、获取实时采集目标区域的实时图像,所述实时图像包括彩色图像和深度图像;

18、基于预设目标人脸特征对实时图像进行目标人脸识别,得到目标人脸识别结果,所述目标人脸识别结果包括判定为目标人物;

19、当判定为目标人物后,根据人脸位置对实时图像进行区域截取,得到目标抓拍图像,根据无人机参数得到无人机当前位置,随后根据深度图像得到目标距离,以根据无人机当前位置、目标距离以及目标抓拍图像计算目标相对于无人机的方位,根据目标相对于无人机的方位和无人机参数,得到目标地理位置。

20、在一种可能的设计中,基于预设目标人脸特征对实时图像进行目标人脸识别,得到目标人脸识别结果,所述目标人脸识别结果包括判定为目标人物,包括:

21、使用scrfd模型对实时图像进行人脸检测,得到人脸位置;

22、基于人脸位置,使用arcface模型对实时图像进行特征提取,得到实时人脸特征;

23、计算实时人脸特征与预设目标人脸特征的相似度,若相似度大于等于预设相似阈值,则判定为目标人物,将判定为目标人物作为目标人脸识别结果。

24、在一种可能的设计中,当判定为目标人物后,根据人脸位置对实时图像进行区域截取,得到目标抓拍图像,包括:

25、以人脸位置为基准,基于预设比例对人脸位置进行扩展,得到扩展区域,将扩展区域的边界作为目标区域边界;

26、若扩展区域超出实时图像的边界,则将实时图像的边界作为目标区域边界;

27、当判定为目标人物后,基于目标区域边界对实时图像进行区域截取,得到目标抓拍图像。

28、在一种可能的设计中,所述目标地理位置的表达式为:

29、;

30、式中,为目标地理位置,为目标地理位置的纬度,为目标地理位置的经度,为预设位置计算函数,为目标距离,为检测目标偏角,为无人机航向角,为无人机的纬度。

31、第三方面,本发明提供了一种计算机设备,包括依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如上述第一方面所述的无人机人脸识别与目标定位回传方法。

32、第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如上述第一方面所述的无人机人脸识别与目标定位回传方法。

33、第五方面,本发明提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如上述第一方面所述的无人机人脸识别与目标定位回传方法。

34、本发明的有益效果如下:本发明公开了一种无人机人脸识别与目标定位回传系统及方法,其使用飞控与姿态获取模块获取无人机参数,并将无人机参数发送至机载计算模块,使用图像采集模块采集目标区域的实时图像,将实时图像发送至机载计算模块,机载计算模块基于预设目标人脸特征对实时图像进行目标人脸识别,得到目标人脸识别结果,所述目标人脸识别结果包括判定为目标人物,当判定为目标人物后,根据人脸位置对实时图像进行区域截取,得到目标抓拍图像,根据无人机参数得到无人机当前位置,随后根据深度图像得到目标距离,以根据无人机当前位置、目标距离以及目标抓拍图像计算目标相对于无人机的方位,根据目标相对于无人机的方位和无人机参数,得到目标地理位置。本发明通过使用无人机模块进行目标识别,突破了固定监控设备覆盖范围有限以及人工巡查效率较低的限制,使得系统能快速到达指定区域并完成巡查任务,适用于大范围、临时性以及复杂环境场景,并且在无人机模块完成目标人脸检测、特征提取和相似度比对,无需将完整视频流传输至远程服务器后再处理,降低传输时延,提高系统识别响应速度和实时性,同时实现识别目标到估计目标位置的拓展,能进一步推算目标的大致位置,便于应用和推广。