一种面向农业无人机第一视角画面的语义化增强现实引导方法及软件程序产品与流程

本发明涉及无人机领域，尤其涉及一种面向农业无人机第一视角画面的语义化增强现实引导方法及软件程序产品。

背景技术：

1、农业四旋翼无人机在植保喷洒、撒播、巡田和地块边界作业过程中，飞手通常依赖第一视角画面、地面站地图、任务航线和经验判断来完成进场、沿带飞行、掉头、绕障和返场等操作。

2、现有增强现实（ar）方案大多只是将点、线、航点、路径或边界直接叠加到当前画面中，虽然能够提供一定的辅助信息，但在农业作业场景下仍存在明显不足，当前画面中显示的信息通常不是飞手当下关心的信息，比如，在沿带作业阶段，飞手关心的是是否偏离喷幅中心，若仅显示普通航线或普通航点，无法提供决策信息。

3、因此，亟需一种能够在农业作业阶段主动在无人机第一视角画面中提供决策信息的技术方案。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在解决现有增强现实方案无法在农业作业阶段主动在无人机第一视角画面中提供决策信息的问题。

2、第一方面，本发明实施例提供了一种面向农业无人机第一视角画面的语义化增强现实引导方法，其特征在于，包括以下步骤：

3、步骤s100：根据无人机当前的第一视角画面、当前的位姿和作业任务信息，确定无人机当前的作业阶段；

4、步骤s200：根据所述无人机当前的作业阶段，从预设的语义化引导构件集合中选择目标类型的语义化引导构件；

5、步骤s300：根据选中的所述语义化引导构件的目标类型和无人机当前的作业任务参数，生成目标语义化引导构件，其中，所述无人机当前的作业任务参数由所述无人机当前的位姿和作业任务信息确定；以及

6、步骤s400：将所述目标语义化引导构件显示到所述无人机当前的第一视角画面中。

7、基于上述方法的进一步改进，响应于所述无人机当前的作业阶段为沿带作业阶段，选中的所述语义化引导构件的目标类型为作业走廊，所述作业走廊的空间表示为平行于作业方向的两条实线和与所述两条实线等距的中心虚线，所述中心虚线为目标作业带的中心线。

8、基于上述方法的进一步改进，所述作业走廊由以下方式确定：

9、根据如下公式确定所述作业走廊的有效区域：

10、

11、其中，为无人机当前的位置，为第i个目标作业带的中心线，为到的横向距离，为无人机喷射作业时的喷幅宽度，为无人机喷射作业时的风偏修正量，、、从所述无人机作业任务信息中获取。

12、基于上述方法的进一步改进，响应于所述无人机当前的作业阶段为进场阶段或掉头过渡阶段，选中的所述语义化引导构件的目标类型为切入门框，所述切入门框的空间表示为由四个顶点构成的四边形，所述切入门框的空间表示对应目标作业带的空间入口。

13、基于上述方法的进一步改进，所述切入门框由以下方式确定：

14、根据如下公式确定所述切入门框的四个顶点、、、：

15、

16、

17、

18、

19、其中，为目标作业带的入口中心点位置，为目标作业带的法向量，为门框的宽度，为门框的高度，、从所述无人机作业任务信息中获取，和由所述无人机作业任务信息确定。

20、基于上述方法的进一步改进，响应于所述无人机当前的作业阶段为掉头过渡阶段，并且当以下式子成立时显示所述切入门框：

21、

22、其中，为无人机回接方向与目标作业带方向的夹角，为允许回接夹角阈值，由所述无人机当前的位姿和作业任务信息确定。

23、基于上述方法的进一步改进，响应于所述无人机当前的作业阶段为绕障阶段，选中的所述语义化引导构件的目标类型为绕障回接通道，所述绕障回接通道空间表示为绕障后仍能回接目标作业带的可行区域，并且当以下式子成立时显示所述绕障回接通道：

24、

25、其中，为回接可行性代价，为回接代价阈值，根据如下方式确定：

26、

27、其中，为绕障回接点相对于目标作业带的横向偏差，为绕障回接时无人机航向夹角误差，为绕障回接后造成的漏喷距离或重喷距离，为权重系数，、、由所述无人机当前的位姿和作业任务信息确定。

28、基于上述方法的进一步改进，响应于所述无人机当前的作业阶段为返场阶段，选中的所述语义化引导构件的目标类型为返场漏斗，所述返场漏斗的空间表示为由远到近逐渐收敛的三维漏斗状空间区域，所述返场漏斗两侧的边界由返场目标点和扩展边界共同确定，所述扩展边界由所述无人机当前的位姿和作业任务信息确定。

29、基于上述方法的进一步改进，所述步骤s200中的所述语义化引导构件包括多个类型，并且所述步骤s300还包括：

30、根据以下维度中的至少一个对各个所述目标语义化引导构件进行优先级排序：

31、目标语义化引导构件的任务相关度；

32、目标语义化引导构件的风险相关度；

33、目标语义化引导构件的时序紧迫度；

34、目标语义化引导构件的画面显示拥挤代价；

35、所述步骤s400包括：

36、将优先级最高的前k个所述目标语义化引导构件显示到所述无人机当前的第一视角画面中，其中，所述k为大于或等于1的整数。

37、第二方面，本发明实施例提供了一种软件程序产品，包括程序代码指令，当所述程序产品由计算设备执行时，所述程序代码指令使所述计算设备执行本发明实施例第一方面任一项所述的方法。

38、现有技术相比，本发明至少可实现如下有益效果之一：

39、1、本发明方案不再将农业无人机任务对象以普通点、线或航点形式直接叠加到第一视角画面，而是根据农业无人机当前所处的作业阶段，将底层任务对象动态转换为具有明确作业语义的目标语义化引导构件，并将目标语义化引导构件在当前第一视角画面中显示，从而使飞手直接感知“当前该如何飞”“飞到哪里算有效”“怎样切入或回接下一条作业带”。

40、2、在本发明方案中，由于将普通任务对象转换为目标语义化引导构件，因此飞手不再只看到抽象点线，而是直接看到具有作业意义的“作业走廊”“切入门框”或“绕障回接通道”。

41、3、在本发明方案中，由于根据作业阶段动态切换目标语义化引导构件类型，因此ar 信息能够适应进场、沿带、掉头、绕障和返场等不同场景，提升辅助显示的针对性。

42、4、在本发明方案中，由于根据喷幅参数生成有效作业走廊，因此飞手可以直接判断是否偏离有效喷洒区域，从而降低漏喷和重喷风险。

43、5、在本发明方案中，由于根据回接代价生成回接门或绕障回接通道，因此飞手能够更直观地理解掉头或绕障后的恢复路径，提高作业效率和安全性。

44、6、在本发明方案中，由于引入优先级压缩显示，因此当前画面中只保留最有决策价值的目标语义化引导构件，降低信息拥挤和认知负担。

45、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。