一种无人机自动探索视频画面中兴趣点的方法及系统与流程

1.本发明属于无人机探索领域，特别涉及一种无人机自动探索视频画面中兴趣点的方法及系统。


背景技术：

2.随着技术的发展，无人机逐渐跳脱了单单被用作玩具的用途，开始出现在人类社会生产生活的各方面，在巡检、安防、救灾、航拍等领域也大有作为；但是早期各场景中，无人机的实际作业基本离不开人为遥控或规划干预，而当今爆发增长的需求下，无人机自动化的程度和速度很大程度上决定了其在各行各业的发展潜力。
3.在无人机探索兴趣点的任务中，多数情况是依靠人工预先记录目标点坐标位置以及方位，输入给无人机使其前往完成的；使用这种方法，不仅人工成本高，而且依赖飞手自身能力及经验来规划航线，而且一旦航线既定，灵活性就很低，一旦目标物变化，就需要重新进行记录，耗时耗力，没有可变性；其他，还有利用双目相机或激光雷达等进行实时或离线建图，结合路径规划的方法，让无人机自主锁定兴趣点并接近的方法；这类方法虽然提升了无人机作业的自主性，但是对设备要求较高，一般都需要配置价格高昂的外部挂载，增加了无人机负载压力，而且对机载算力要求较高，而且对于一般场景，进行高精度建图也往往有些大材小用。
4.因此，目前亟需一种通过实时计算和调整让无人机自动接近和观察指定兴趣点位置的无人机自动探索方法。


技术实现要素：

5.发明目的：为了克服以上不足，本发明的目的是提供一种无人机自动探索视频画面中兴趣点的方法及系统，其通过实时计算和调整，能够让无人机自动接近并观察兴趣点位置，其准确度高，灵活性和实时性强，能够降低人工成本，且能够降低对作业人员的依赖。
6.为解决上述技术问题，本发明提供了一种无人机自动探索视频画面中兴趣点的方法，包括：步骤s1：根据实时预设影像中标记的预设兴趣点，生成预设信息，且将预设信息传输给待探索无人机；步骤s2：根据预设参数计算预设视场角度，且记录待探索无人机的预设值，进而根据预设视场角度、预设值生成预设数据；步骤s3：根据预设数据计算待探索无人机相对坐标系中的位置坐标，根据位置坐标进行预设兴趣点的坐标转换，形成预设兴趣点相对待探索无人机的真实坐标，同时计算预设兴趣点与预设光心之间的俯仰角和偏航角；步骤s4：根据俯仰角和偏航角调整待探索无人机的航向、待探索无人机云台的俯仰角，进而记录以预设兴趣点为中心向四周扩散预设范围的影像数据，进而计算预设兴趣点的第一经纬坐标；
步骤s5：根据预设信息计算待探索无人机与预设兴趣点的水平距离，进而根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；步骤s6：使待探索无人机飞向第二经纬坐标位置，进而将影像数据与移动后的无人机云台的实时影像进行特征点匹配，判断误差是否处于预设范围；步骤s7：若是，则探索完成，返回预设位置，若否，则返回步骤s2，重新进行预设兴趣点探索。
7.优选地，根据预设参数计算预设视场角度的方法为：步骤s20：根据待探索无人机云台的相机参数和相机变焦放大倍数计算水平视场角度：；步骤s21：根据待探索无人机云台的相机参数和相机变焦放大倍数计算垂直视场角度：。
8.优选地，根据预设数据计算待探索无人机相对坐标系中的位置坐标的方法为：步骤s30：根据水平视场角度、垂直视场角度、待探索无人机云台的俯仰角、无人机高度，计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标：步骤s31：根据四个顶点在图像坐标系中的坐标，计算在以待探索无人机为原点的相对坐标系中的坐标。
9.优选地，计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标的方法为：步骤s300：计算第一角度：，其中，为待探索无人机云台的俯仰角；步骤s301：计算第二角度： ；步骤s302：在，且时，计算轴最远值：,其中， 为无人机相对高度，且计算轴最近值：；步骤s303：计算第三角度： ，计算第四角度： ，计算第五角度：，计算第六角度：；步骤s304：计算轴最远值：，计算轴最近值：；步骤s305：计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标： 、、、。
10.优选地，计算形成预设兴趣点相对待探索无人机的真实坐标的方法为：步骤s306：计算图像坐标系中的坐标到无人机相对坐标系中的坐标的单应性矩阵
h：,将上面的矩阵展开成方程的形式：将上面的矩阵展开成方程的形式：将上面的矩阵展开成方程的形式：；步骤s307：根据单应性矩阵h，将预设兴趣点在图像坐标系中的坐标转换到待探索无人机的相对坐标系中，形成预设兴趣点相对待探索无人机的真实坐标：；其中， 为预设兴趣点在图像坐标系中的坐标。
11.优选地，计算预设兴趣点与预设光心之间的俯仰角和偏航角的方法为：步骤s30：计算预设兴趣点与预设光心之间的俯仰角：步骤s31：计算预设兴趣点与预设光心之间的偏航角：。
12.优选地，计算预设兴趣点的第一经纬坐标的方法为：步骤s40：将预设兴趣点的相对坐标系转换为大地坐标系：：,其中， 为待探索无人机的航向角；步骤s41：将大地坐标系转化为第一经纬坐标：转化为第一经纬坐标：,其中，为待探索无人机当前的gps坐标，为地球半径。
13.优选地，计算最终探索位置的第二经纬坐标的方法为：步骤s50：计算待探索无人机与预设兴趣点的水平距离：；步骤s51：计算预设兴趣点与待探索无人机的距离：；步骤s52：计算最终探索位置与待探索无人机的距离：,计算与的比例：；
步骤s53：计算最终探索位置相对待探索无人机的位置：，。
14.本发明还提供一种无人机自动探索视频画面中兴趣点的系统，包括：兴趣标识模块，用于根据实时预设影像中标记的预设兴趣点，生成预设信息，且将预设信息传输给待探索无人机；数据计算模块，用于根据预设参数计算预设视场角度，且记录待探索无人机的预设值，进而根据预设视场角度、预设值生成预设数据；根据预设数据计算待探索无人机相对坐标系中的位置坐标，根据位置坐标进行预设兴趣点的坐标转换，形成预设兴趣点相对待探索无人机的真实坐标，同时计算预设兴趣点与预设光心之间的俯仰角和偏航角；根据俯仰角和偏航角调整待探索无人机的航向、待探索无人机云台的俯仰角，进而记录以预设兴趣点为中心向四周扩散预设范围的影像数据，进而计算预设兴趣点的第一经纬坐标；根据预设信息计算待探索无人机与预设兴趣点的水平距离，进而根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；飞行控制模块，用于使待探索无人机飞向第二经纬坐标位置；误差判断模块，将影像数据与移动后的无人机云台的实时影像进行特征点匹配，判断误差范围；若误差处于预设范围，则探索完成，返回预设位置，若误差不处于预设范围，则重新进行预设兴趣点探索。
15.优选地，还包括：无人机，其包括激光测距模块，通过激光测距模块获取无人机距离地面的高度值；无人机云台，其包括摄像模块，通过摄像模块摄取影像。
16.本发明的上述技术方案相比现有技术具有以下优点：1、本发明所述的一种无人机自动探索视频画面中兴趣点的方法，通过预设兴趣点在图像中的坐标，然后利用已知的相机参数，结合无人机的经纬高位置坐标，或者激光测距的数值，计算得出目标在真实世界的经纬度，然后根据设定的最终观察角度和无人机高度来确定无人机最终观察位置，通过三维直线飞行的方式令无人机自动前往进行探索；2、能够将无人机的自动探索流程进行闭环的多次识别，进而通过微调使得结果处于设定的误差范围内，提高探索结果的精确度、可复用性、鲁棒性，且提高无人机的灵活性、实时性、可变性；3、能够让无人机自主计算预设兴趣点的位置，进而自动前往探索，进一步降低了人工成本以及对作业人员的依赖。
附图说明
17.为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
18.图1是本发明的自动探索视频画面中兴趣点方法的流程图。
19.图2是本发明的计算预设视场角度方法的流程图。
20.图3是本发明的计算预设兴趣点与预设光心俯仰角、偏航角方法的流程图。
21.图4是本发明的计算第一经纬坐标方法的流程图。
22.图5是本发明的计算第二经纬坐标方法的流程图。
23.图6是本发明的计算四个顶点坐标方法的流程图。
24.图7是本发明的计算待探索无人机真实坐标方法的流程图。
25.图8是本发明的自动探索视频画面中兴趣点系统的连接示意图。
26.图9是本发明的待探索无人机云台摄取的区域影像的示意图。
27.图10是本发明的区域影像标记预设兴趣点的示意图。
28.图11是本发明的待探索无人机前往预设兴趣点的示意图。
29.说明书附图标记说明：10、兴趣标识模块，11、数据计算模块，12、飞行控制模块，13、误差判断模块，14、无人机，15、无人机云台，140、激光测距模块，150、摄像模块。
具体实施方式
30.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
31.在本发明的描述中，需要理解的是，术语“包括”意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或设备，没有限定于已列出的步骤或单元而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
32.实施例一参照图1-图5、图9-图11所示，本发明提供一种无人机自动探索视频画面中兴趣点的方法的实施例，包括以下步骤：步骤s1：根据实时预设影像中标记的预设兴趣点，生成预设信息，且将预设信息传输给待探索无人机14；在步骤s1中，具体的，所述预设影像在本实施例中参考，待探索无人机14在空中悬停时，待探索无人机云台15实时回传的视频画面；所述预设兴趣点在本实施例中参考，作业人员从视频画面中选取需要探索的画面坐标系的坐标位置，所述预设兴趣点在本实施例中，由作业人员通过终端设备点击选取或画圈选取；所述预设信息包括预设兴趣点所在的画面坐标系的坐标位置、待探索无人机14的期望高度、待探索无人机云台15俯仰角度。
33.步骤s2：根据预设参数计算预设视场角度，且记录待探索无人机14的预设值，进而根据预设视场角度、预设值生成预设数据；在步骤s2中，具体的，所述预设参数在本实施例中参考，待探索无人机云台15的相机参数、相机变焦放大倍数；所述预设视场角度在本实施例中参考：水平视场角度、垂直视场角度；在本实施例中，参考图2所示，计算预设视场角度的方法为：步骤s20：根据待探索无人机云台15的相机参数和相机变焦放大倍数计算水平视场角度：；步骤s21：根据待探索无人机云台15的相机参数和相机变焦放大倍数计算垂直视场角度：。
34.其中，所述预设值包括当前待探索无人机14的gps（global positioning system，全球定位系统）/rtk（real-time kinematic，实时动态）的相对高度、待探索无人机云台15的俯仰角度、待探索无人机14在大地坐标系的航向角以及经纬度，其中，所述待探索无人机14的gps/rtk的相对高度，能够更换为：利用激光测距数值、待探索无人机云台15的俯仰角度，计算待探索无人机14距离地面的高度：。
35.步骤s3：根据预设数据计算待探索无人机14相对坐标系中的位置坐标，根据位置坐标进行预设兴趣点的坐标转换，形成预设兴趣点相对待探索无人机14的真实坐标，同时计算预设兴趣点与预设光心之间的俯仰角和偏航角；在步骤s3中，具体的，所述预设数据包括水平视场角度、垂直视场角度、待探索无人机云台15的俯仰角度、待探索无人机14距离地面的高度计算待探索无人机14相对坐标系中的位置坐标，计算预设影像中地面投影范围的四个顶点在图像中的坐标；所述预设光心在本实施例中参考待探索无人机云台的光心；进而根据四个顶点在图像坐标系中的坐标，计算在以待探索无人机14为原点的相对坐标系中的坐标；进而计算图像坐标系坐标到无人机14相对坐标系坐标的单应性h矩阵，通过h矩阵，将预设兴趣点在图像坐标系的坐标转换到待探索无人机14的相对坐标系中，获得预设兴趣点在真实世界相对待探索无人机14的真实坐标；同时，参考图3所示，计算预设兴趣点与预设光心之间的俯仰角和偏航角，具体计算步骤为：步骤s30：计算预设兴趣点与预设光心之间的俯仰角：步骤s31：计算预设兴趣点与预设光心之间的偏航角：,其中，预设兴趣点的相对坐标为。
36.步骤s4：根据俯仰角和偏航角调整待探索无人机14的航向、待探索无人机云台15的俯仰角，进而记录以预设兴趣点为中心向四周扩散预设范围的影像数据，进而计算预设兴趣点的第一经纬坐标；在步骤s4中，具体在调整待探索无人机14的航向、待探索无人机云台15的俯仰角时，实时将预设兴趣点保持在摄取画面的中央；所述预设范围在本实施例参考360*360像素，具体所述预设范围由作业人员根据实际作业需求进行设定；其中，参考图4所示，所述第一经纬坐标的计算方法为：步骤s40：将预设兴趣点的相对坐标系转换为大地坐标系：：,其中，为待探索无人机14的航向角；步骤s41：将大地坐标系转化为第一经纬坐标：
,其中，为待探索无人机14当前的gps坐标，为地球半径。
37.步骤s5：根据预设信息计算待探索无人机14与预设兴趣点的水平距离，进而根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；在步骤s5中，具体的，参考图5所示，计算最终探索位置的第二经纬坐标的步骤为：步骤s50：计算待探索无人机14与预设兴趣点的水平距离：；步骤s51：计算预设兴趣点与待探索无人机14的距离：；步骤s52：计算最终探索位置与待探索无人机14的距离：,计算与的比例：；步骤s53：计算最终探索位置相对待探索无人机14的位置：， 。
38.步骤s6：使待探索无人机14飞向第二经纬坐标位置，进而将影像数据与移动后的无人机云台15的实时影像进行特征点匹配，判断误差是否处于预设范围；在步骤s6中，以同时调整水平和高度的三维飞行的方式使待探索无人机14飞向第二经纬坐标位置、待探索无人机14的期望高度，同时，实时调整无人机云台15使得预设兴趣点一直在画面中央；在抵达第二经纬坐标位置、待探索无人机14的期望高度后，根据步骤s4中的影像数据、移动后的无人机云台15实时画面，进行特征点匹配；所述预设范围在本实施例中参考预设兴趣点中心与光心的两个角度差异小于
±
2度，具体所述预设范围由作业人员根据实际作业需求设定。
39.步骤s7：若是，则探索完成，返回预设位置，若否，则返回步骤s2，重新进行预设兴趣点探索。
40.在步骤s7中，所述预设位置即指无人机14初始空中悬停的位置。
41.其中，本实施例的一种无人机自动探索视频画面中兴趣点的方法，适用于具备摄像模块150和无人机14位置信息的无人机14来执行和使用。
42.实施例二参照图6-图7所示，实施例二与实施例一基本相同，其中不同之处在于：优选地，计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标的方法为：步骤s300：计算第一角度： ，其中，为圆周率，为待探索无人机云台15的俯仰角；步骤s301：计算第二角度： ；步骤s302：在，且时，计算轴最远值：,
其中， 为无人机14相对高度，且计算轴最近值：；步骤s303：计算第三角度： ，计算第四角度：，计算第五角度：，计算第六角度：；步骤s304：计算轴最远值：，计算轴最近值：；步骤s305：计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标： 、、、。
43.其中，具体所述第一角度、第二角度、第三角度、第四角度、第五角度、第六角度由作业人员根据实际作业需求设定；作业人员根据实际作业需求，自定义待探索无人机14的最远飞行距离，对待探索无人机14进行约束。
44.优选地，计算形成预设兴趣点相对待探索无人机14的真实坐标的方法为：步骤s306：计算图像坐标系中的坐标到无人机14相对坐标系中的坐标的单应性矩阵h：首先，利用单应性矩阵表示点之间的映射关系，即：,将上面的矩阵展开成方程的形式：将上面的矩阵展开成方程的形式：将上面的矩阵展开成方程的形式：；步骤s307：根据单应性矩阵h，将预设兴趣点在图像坐标系中的坐标转换到待探索无人机14的相对坐标系中，形成预设兴趣点相对待探索无人机14的真实坐标：；其中，为预设兴趣点在图像坐标系中的坐标。
45.实施例三参照图1-图11所示，本发明还提供一种无人机自动探索视频画面中兴趣点的系统的实施例，使用所述的一种无人机自动探索视频画面中兴趣点的方法对预设影像的预设兴趣点进行自动探索，包括：兴趣标识模块10，用于根据实时预设影像中标记的预设兴趣点，生成预设信息，且将预设信息传输给待探索无人机14；
数据计算模块11，用于根据预设参数计算预设视场角度，且记录待探索无人机14的预设值，进而根据预设视场角度、预设值生成预设数据；根据预设数据计算待探索无人机14相对坐标系中的位置坐标，根据位置坐标进行预设兴趣点的坐标转换，形成预设兴趣点相对待探索无人机14的真实坐标，同时计算预设兴趣点与预设光心之间的俯仰角和偏航角；根据俯仰角和偏航角调整待探索无人机14的航向、待探索无人机云台15的俯仰角，进而记录以预设兴趣点为中心向四周扩散预设范围的影像数据，进而计算预设兴趣点的第一经纬坐标；根据预设信息计算待探索无人机14与预设兴趣点的水平距离，进而根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；飞行控制模块12，用于使待探索无人机14飞向第二经纬坐标位置；误差判断模块13，将影像数据与移动后的无人机14记录的实时影像进行特征点匹配，判断误差范围；若误差处于预设范围，则探索完成，返回预设位置，若误差不处于预设范围，则重新进行预设兴趣点探索；无人机14，其包括激光测距模块140，通过激光测距模块140获取无人机14距离地面的高度值；无人机云台15，其包括摄像模块150，通过摄像模块150摄取影像。
46.其中，所述摄像模块150包括但不仅限于单目相机、多目相机，具体由作业人员根据实际作业需求设定；所述激光测距模块140包括但不仅限于单线激光测距仪、多线激光测距仪，具体由作业人员根据实际作业需求设定。
47.实施例四本发明还提供一种计算机介质，所述计算机介质上存储有计算机程序，所述计算机程序被处理器执行实现所述的一种无人机自动探索视频画面中兴趣点的方法。
48.本发明还提供一种计算机，包括所述的一种计算机介质。
49.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质包括但不限于磁盘存储器、cd-rom、光学存储器等上实施的计算机程序产品的形式。
50.本技术是参照根据本技术实施例的方法、设备系统、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
51.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
52.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
53.显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。