无人机智能跟随目标确定方法、无人机和遥控器与流程

技术特征：
1.一种无人机智能跟随目标确定方法，应用于电子设备，其特征在于，所述方法包括：获取无人机传回的图像，并根据用户对所述无人机传回的图像的点击获取用户在屏幕上的点击位置；根据所述点击位置获取感兴趣的区域图片；将区域图片输入深度学习网络模型后，获取所述图像中目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；获取该候选外接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值的目标作为可能目标图像；计算所述可能目标图像与所述用户点击位置的距离系数；获取各个可能目标图像的距离系数与其所属的类别的概率的乘积并找出所述乘积的最大值，如果该最大值大于第三预设阀值，则将该乘积的最大值对应的可能目标图像作为所述目标图像，并记录所述目标图像所属的类别；如果存在目标图像，则发送目标跟随命令给所述无人机。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：如果不存在目标图像，所述电子设备提示用户所述图像内无感兴趣的目标。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：如果不存在目标图像，所述电子设备提示用户重新点击所述图像以重新选择感兴趣目标。4.根据权利要求1中任一所述的方法，其特征在于，还包括：针对每一个所述预设类别，获取属于该预设类别概率最大的目标对应的候选外接框；分别计算该预设类别的候选外接框与该预设类别的其他各个候选外接框的重合率，将重合率大于第一预设阀值的候选外接框内的目标属于该预设类别的概率置为零；获取该候选外接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值的目标作为可能目标图像；所述距离系数δ表示为：其中，可能目标图像的坐标为(x
o
，y
o
)，点击位置坐标为(x
p
，y
p
)。5.根据权利要求4中任一所述的方法，其特征在于，所述深度学习网络模型包括至少2个卷积层和至少2个采样层。6.根据权利要求5中任一所述的方法，其特征在于，所述深度学习网络模型依次包括：第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷积层、第三下采样层、第四卷积层、第四下采样层、第五卷积层、第五下采样层、第六卷积层、第六下采样层、第七卷积层、第八卷积层和区域层。7.根据权利要求6所述的方法，其特征在于，所述第一卷积层、所述第二卷积层、所述第
三卷积层、所述第四卷积层、所述第五卷积层和所述第六卷积层中，后一个卷积层的滤波器数量是前一个卷积层滤波器数量的2倍，所述第六卷积层和所述第七卷积层的滤波器数量相等；所述第一下采样层、所述第二下采样层、所述第三下采样层、所述第四下采样层和所述第五下采样层的窗口尺寸为2*2像素，跳跃间隔为2，所述第六下采样层的窗口尺寸为2*2像素，跳跃间隔为1。8.根据权利要求6或7所述的方法，其特征在于，所述第一卷积层的滤波器数量为4，所述第一下采样层、所述第二下采样层、所述第三下采样层、所述第四下采样层、所述第五下采样层和所述第六下采样层均采用最大值下采样法。9.根据权利要求8中任一所述的方法，其特征在于，各个所述卷积层均使用3*3像素的滤波器。10.根据权利要求1
‑
6中任一所述的方法，其特征在于，所述区域图片大小为288*288像素，利用所述深度学习网络模型共获得9*9*5个所述候选外接框。11.一种无人机智能跟随目标确定方法，应用于无人机，其特征在于，所述方法包括：获取图像，并根据用户的点击操作获取感兴趣的区域图片；加载深度学习网络模型并将获取的所述区域图片输入所述深度学习网络模型，输出多个框选所述区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；获取该候选外接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值的目标作为可能目标图像；计算所述可能目标图像与所述用户点击位置的距离系数；获取各个可能目标图像的距离系数与其所属的类别的概率的乘积并找出所述乘积的最大值，如果该最大值大于第三预设阀值，则将该乘积的最大值对应的可能目标图像作为所述目标图像，并记录所述目标图像所属的类别；如果存在目标图像，则跟随所述目标。12.根据权利要求11所述的方法，其特征在于，所述方法还包括：如果不存在目标图像，所述无人机发送指令至电子设备，所述指令用于提示所述用户所述图像内无感兴趣目标。13.根据权利要求11所述的方法，其特征在于，所述指令还用于提示所述用户重新点击所述图像以重新选择感兴趣目标。14.根据权利要求11中任一所述的方法，其特征在于，还包括：针对每一个所述预设类别，获取属于该预设类别概率最大的目标对应的候选外接框；分别计算该预设类别的候选外接框与该预设类别的其他各个候选外接框的重合率，将重合率大于第一预设阀值的候选外接框内的目标属于该预设类别的概率置为零；获取该候选外接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值的目标作为可能目标图像；所述距离系数δ表示为：
其中，可能目标图像的坐标为(x
o
，y
o
)，点击位置坐标为(x
p
，y
p
)。15.根据权利要求11中任一所述的方法，其特征在于，所述深度学习网络模型包括至少2个卷积层和至少2个采样层。16.根据权利要求15所述的方法，其特征在于，所述深度学习网络模型依次包括：第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷积层、第三下采样层、第四卷积层、第四下采样层、第五卷积层、第五下采样层、第六卷积层、第六下采样层、第七卷积层、第八卷积层和区域层。17.根据权利要求16所述的方法，其特征在于，所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层、所述第五卷积层和所述第六卷积层中，后一个卷积层的滤波器数量是前一个卷积层滤波器数量的2倍，所述第六卷积层和所述第七卷积层的滤波器数量相等；所述第一下采样层、所述第二下采样层、所述第三下采样层、所述第四下采样层和所述第五下采样层的窗口尺寸为2*2像素，跳跃间隔为2，所述第六下采样层的窗口尺寸为2*2像素，跳跃间隔为1。18.根据权利要求16所述的方法，其特征在于，所述第一卷积层的滤波器数量为4，所述第一下采样层、所述第二下采样层、所述第三下采样层、所述第四下采样层、所述第五下采样层和所述第六下采样层均采用最大值下采样法。19.根据权利要求15中任一所述的方法，其特征在于，各个所述卷积层均使用3*3像素的滤波器。20.根据权利要求11
‑
19中任一所述的方法，其特征在于，所述区域图片大小为288*288像素，利用所述深度学习网络模型共获得9*9*5个所述候选外接框。21.一种遥控器，其特征在于，包括：操作杆；信号接收器，用于接收无人机传回的图像；信号发送器，用于发送指令给所述无人机；显示屏；以及处理器；其中，处理器用于：根据用户对所述无人机传回的图像的点击获得感兴趣的区域图片；加载深度学习网络模型并将获取的所述区域图片输入所述深度学习网络模型，利用所述深度学习网络模型输出多个框选所述区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；获取该候选外接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值的目标作为可能目标图像；
计算所述可能目标图像与所述用户点击位置的距离系数；获取各个可能目标图像的距离系数与其所属的类别的概率的乘积并找出所述乘积的最大值，如果该最大值大于第三预设阀值，则将该乘积的最大值对应的可能目标图像作为所述目标图像，并记录所述目标图像所属的类别；如果存在目标图像，则通过所述信号发送器发送目标跟随命令给所述无人机。22.根据权利要求21所述的遥控器，其特征在于，如果不存在目标图像，所述显示屏显示所述图像内无感兴趣的目标的提示。23.根据权利要求21或22所述的遥控器，其特征在于，如果不存在目标图像，所述显示屏显示重新点击所述图像以重新选择感兴趣目标的提示。24.根据权利要求21任一所述的遥控器，其特征在于，所述处理器还用于执行权利要求3
‑
10中任一项所述的方法。25.一种无人机，包括机身、与所述机身相连的机臂、设于所述机臂的动力装置、用于获取图像的图像传感器、设于所述机身内的处理器和信号发送器，其特征在于，所述处理器用于：根据用户的点击操作获取感兴趣的区域图片；加载深度学习网络模型并将获取的所述区域图片输入所述深度学习网络模型，利用所述深度学习网络模型输出多个框选所述区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；获取该候选外接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值的目标作为可能目标图像；计算所述可能目标图像与所述用户点击位置的距离系数；获取各个可能目标图像的距离系数与其所属的类别的概率的乘积并找出所述乘积的最大值，如果该最大值大于第三预设阀值，则将该乘积的最大值对应的可能目标图像作为所述目标图像，并记录所述目标图像所属的类别；如果存在目标图像，则控制所述无人机跟随所述目标。26.根据权利要求25所述的无人机，其特征在于，所述方法还包括：如果不存在目标图像，所述无人机通过所述信号发送器发送指令至电子设备，所述指令用于提示所述用户所述图像内无感兴趣目标。27.根据权利要求25或26所述的无人机，其特征在于，所述指令还用于提示所述用户重新点击所述图像以重新选择感兴趣目标。28.根据权利要求26任一所述的无人机，其特征在于，所述处理器还用于执行权利要求14
‑
21中任一项所述的方法。29.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行权利要求1
‑
10的任一项所述的方法。30.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人机执行时，使所述无人机执行权利要求11
‑
21任一项所述的方法。

技术总结
本发明实施例公开了一种无人机智能跟随目标确定方法、无人机和电子设备。所述方法包括：获取无人机传回的图像；根据用户对所述无人机传回的图像的点击获得感兴趣的区域图片；加载深度学习网络模型并将获取的所述区域图片输入所述深度学习网络模型，利用所述深度学习网络模型输出多个框选所述区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；依据所述候选外接框及所述候选外接框内的目标属于预设类别的概率判断所述区域图片内是否存在目标图像。本发明实施例通过获取用户感兴趣的图像，从而可以将该用户感兴趣的图像作为基于深度学习算法网络模型的输入，进行目标预测，计算量小、运算时间短、对硬件设备要求低。对硬件设备要求低。对硬件设备要求低。


技术研发人员：梅江元
受保护的技术使用者：深圳市道通智能航空技术股份有限公司
技术研发日：2017.08.18
技术公布日：2021/12/6