基于AR眼镜的无人机操控系统及方法与流程

基于ar眼镜的无人机操控系统及方法
技术领域
1.本发明涉及ar技术以及无人机远程操控领域，尤其涉及一种基于ar眼镜的无人机操控系统及方法。


背景技术：

2.ar眼镜与无人机相在联合巡检时，ar眼镜是作为外接的观看模块，通过无线投屏或连接线接入无人机，获取视频画面。而ar眼镜仅作为外接观看的显示设备，缺少与无人机的操控交互。


技术实现要素：

3.本发明提供一种基于ar眼镜的无人机操控系统及方法。
4.第一方面，本发明提供了一种基于ar眼镜的无人机操控系统，包括：头动操控模块，用于根据用户头部的旋转角度控制无人机摄像头的转动角度；语音操控模块，用于接收用户输入的语音，并根据预设的关键词唤醒和操控无人机；手势操控模块，用于捕捉到用户的手势和手指的坐标以触发相应的功能。
5.进一步地，所述头动操控模块还用于获取至少一个自由度的旋转角度，并将关于所述至少一个自由度的旋转角度的控制信号发送至无人机，以控制无人机摄像头根据所述至少一个自由度的旋转角度转动。
6.进一步地，所述头动操控模块还用于根据ar眼镜内部的陀螺仪获取至少一个自由度的旋转角度，并调取已设定好的转动角度对照表，根据所述对照表和陀螺仪获取的至少一个自由度的旋转角度确定对应无人机的至少一个自由度的旋转角度，将关于所述对应无人机的至少一个自由度的旋转角度的控制信号发送至无人机，以控制无人机摄像头根据所述控制信号转动至少一个自由度的旋转角度。
7.进一步地，所述头动操控模块还用于根据无人机能够转动的最大角度控制无人机摄像头的转动角度。
8.进一步地，语音操控模块还用于根据预设的唤醒词唤醒无人机，根据预设的指令词操控无人机。
9.进一步地，语音操控模块还用于根据预设的指令词操控无人机的飞行状态，以及操控无人机的摄像头。
10.进一步地，所述功能包括无人机镜头对焦、在ar眼镜的视野中标记重点区域和控制无人机拍摄画面的功能。
11.进一步地，所述系统还包括：存储模块，用于将语音操控模块接收的语音转换为文字并记录下来，以及用于绑定存储对应所述文字的无人机拍摄的画面。
12.第二方面，本发明还提供了一种基于ar眼镜的无人机操控方法，包括：响应于获取用户头部的旋转角度和/或用户输入的语音和/或用户的手势和手指的坐标，将相应的控制信号发送至无人机，以控制无人机摄像头的转动角度和/或唤醒和操控无人机和/或触发其
他功能。
13.第三方面，本发明还提供了一种基于ar眼镜的无人机操控装置，包括第一处理模块，用于：响应于获取用户头部的旋转角度和/或用户输入的语音和/或用户的手势和手指的坐标，将相应的控制信号发送至无人机，以控制无人机摄像头的转动角度和/或唤醒和操控无人机和/或触发其他功能。
14.第四方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的基于ar眼镜的无人机操控方法的步骤。
15.第五方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的基于ar眼镜的无人机操控方法的步骤。
16.本发明提供的一种基于ar眼镜的无人机操控系统及方法，包括头动操控模块，用于根据用户头部的旋转角度控制无人机摄像头的转动角度；语音操控模块，用于接收用户输入的语音，并根据预设的关键词唤醒和操控无人机；手势操控模块，用于捕捉到用户的手势和手指的坐标以触发相应的功能。通过头动、语音控制和手势操作的多种交互方式实现了ar眼镜操控无人机的飞行和拍摄，便于无人机全方位无死角巡检和更加便捷舒适地通过人机交互方式操作无人机。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是根据本发明提供的基于ar眼镜的无人机操控系统的一些实施例的流程示意图；图1a是至少一个自由度的旋转角度的示意图；图1b是单击手势以对焦或触发预设的其他操作的一个应用场景的示意图；图1c是拳头手势表示异常，ok手势表示通过的一个应用场景的流程示意图；图1d是抓取手势的一个应用场景的流程示意图；图1e是单手手指框选的一个应用场景的流程示意图；图1f是双手手指框选的一个应用场景的流程示意图；图2是根据本发明提供的基于ar眼镜的无人机操控方法的一些实施例的流程示意图；图3是根据本发明提供的基于ar眼镜的无人机操控装置的一些实施例的结构示意图；图4是根据本发明提供的电子设备的结构示意图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，
而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
21.需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
22.需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
23.本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
24.下面将参考附图并结合实施例来详细说明本发明。
25.请参阅图1，图1是本发明提供的基于ar眼镜的无人机操控系统的一些实施例的流程示意图。如图1所示，该基于ar眼镜的无人机操控系统，包括：头动操控模块，用于根据用户头部的旋转角度控制无人机摄像头的转动角度；语音操控模块，用于接收用户输入的语音，并根据预设的关键词唤醒和操控无人机；手势操控模块，用于捕捉到用户的手势和手指的坐标以触发相应的功能。针对目前ar眼镜只能观看无人机拍摄画面的情况，增加头动、语音和手势三种方式交互操控无人机，真正地将ar眼镜与无人机相融合。
26.在一些实施例中，用户头部的旋转可以控制无人机镜头转向，也可以控制无人机整体转向。
27.在一些可选的实现方式中，所述头动操控模块还用于获取至少一个自由度的旋转角度，并将关于所述至少一个自由度的旋转角度的控制信号发送至无人机，以控制无人机摄像头根据所述至少一个自由度的旋转角度转动。
28.其中，至少一个自由度可以是3dof（3个自由度）。参考图1a，通过头部沿xyz三轴转动，控制无人机上镜头进行对应角度的转动。
29.在一些可选的实现方式中，所述头动操控模块还用于根据ar眼镜内部的陀螺仪获取至少一个自由度的旋转角度，并调取已设定好的转动角度对照表，根据所述对照表和陀螺仪获取的至少一个自由度的旋转角度确定对应无人机的至少一个自由度的旋转角度，将关于所述对应无人机的至少一个自由度的旋转角度的控制信号发送至无人机，以控制无人机摄像头根据所述控制信号转动至少一个自由度的旋转角度。
30.其中，用户佩戴ar眼镜沿xyz三轴转动头部时，ar眼镜内部陀螺仪获取三轴转动角度，通过ar眼镜与无人机手柄连接的方式传输关于三轴转动角度的信号，调取已设定好的转动角度对照表（例如无人机按照1:1的角度旋转，即ar眼镜旋转角度和方向与无人机的旋转角度和方向一致），根据转动角度对照表确定无人机的旋转角度和方向，根据确定好的无人机的旋转角度和方向确定控制信号，并将控制信号发送至无人机，控制无人机摄像头转动相应的角度。
31.在一些可选的实现方式中，所述头动操控模块还用于根据无人机能够转动的最大角度控制无人机摄像头的转动角度。
32.由于ar眼镜可按xyz三轴进行360度旋转，无人机摄像头在理想情况下也需支持三轴360度旋转。如果无人机摄像头转动角度有限，则需在ar眼镜转动超过最大角度时，予以
提示和并画面固定在最大角度上。其中，最大转动角度为镜头可转的最大角，头部超过最大转动角度，ar眼镜给予提示。
33.作为示例，ar眼镜水平左右转动，向右转动30度，控制无人机摄像头向右转动30度拍摄。ar眼镜向上转动90度，控制无人机摄像头向上转动90度。若无人机摄像头有向左最大90度的限制，则在摄像头转动到90度时予以提示，且ar眼镜继续向左转动，摄像头画面保持在90度的画面。通过头动控制镜头，实现了高效便捷地拍摄巡检部位。
34.在一些可选的实现方式中，语音操控模块还用于根据预设的唤醒词唤醒无人机，根据预设的指令词操控无人机或者无人机的摄像头等其他无人机的其他附属设备。
35.作为示例，通过标准化语音词触发操作，标准化语音词如无人机的起飞、降落、前进、后退、转向、拍照、摄影、记录等，通过，标准化语音词控制无人机进行大篇幅语音转写文字记录或者无人机拍照等。
36.在一些可选的实现方式中，语音操控模块还用于根据预设的指令词操控无人机的飞行状态，以及操控无人机的摄像头。
37.在一些实施例中，可以预先在ar眼镜的系统中设定好语音唤醒词和指令词，以操控无人机进行基础操作，避免操作过程中误触发。如“小亮小亮，无人机起飞”，小亮小亮为唤醒词，起飞为指令词。在上一个语音词说完两秒内，保持唤醒状态，可继续说指令词，以节省频繁说“小亮小亮”的次数。
38.在一个应用场景中，用户佩戴ar眼镜并与无人机连接后，说出唤醒词唤醒无人机语音操控，说出“起飞”控制无人机起飞，说出“前进、后退、上升、下降、左转或右转”控制无人机飞行，说出“拍照、摄影、放大或缩小”控制摄像头操作。
39.在一些可选的实现方式中，所述功能包括无人机镜头对焦、在ar眼镜的视野中标记重点区域和控制无人机拍摄画面的功能。
40.在ar眼镜视野中，可以通过手指单点手势进行无人机镜头对焦，参考图1b；食指指尖和大拇指指尖两点（或者两手的食指指尖，参考图1f）进行拍摄画面框选，画出重点区域，参考图1e；ok手势表示镜头所拍巡检区域正常，准许通过，拳头手势表示镜头所拍巡检区域存在异常等，参考图1c；也可以通过抓取手势选择某个选项，参考图1d。
41.佩戴ar眼镜看到拍摄画面后，在视野内通过手势对画面操作，眼镜上摄像头会捕捉到手势整体和手指的坐标以触发相应的分项功能。通过手势操控，快速标记巡检中的重点区域，优化了巡检工作效率。
42.在一些可选的实现方式中，所述系统还包括：存储模块，用于将语音操控模块接收的语音转换为文字并记录下来，以及用于绑定存储对应所述文字的无人机拍摄的画面。
43.在对电力高压线路巡检过程的一个应用场景中，无人机拍摄到导线上有污秽，此时用户说出“小亮小亮，无人机拍照”，无人机摄像头就拍下电网高压导线的污秽图像，接着用户说出“详细记录”，开启语音转写功能，然后，用户说出：“某省某市某区县某段500kv高压输电线编号800导线处发现污秽，存在影响输电质量和效率的隐患。”ar眼镜即可将整段文字和图像绑定，存储于电子作业报告内。通过语音操控和语音识别转写，实现了解放双手的同时完成巡检文字记录。
44.本发明一些实施例公开的基于ar眼镜的无人机操控系统，包括头动操控模块，用于根据用户头部的旋转角度控制无人机摄像头的转动角度；语音操控模块，用于接收用户
输入的语音，并根据预设的关键词唤醒和操控无人机；手势操控模块，用于捕捉到用户的手势和手指的坐标以触发相应的功能。通过头动、语音控制和手势操作的多种交互方式实现了ar眼镜操控无人机的飞行和拍摄，便于无人机全方位无死角巡检和更加便捷舒适地通过人机交互方式操作无人机。同时，也丰富了ar眼镜与无人机交互体验。
45.请参阅图2，图2是本发明提供的基于ar眼镜的无人机操控方法的一些实施例的流程示意图。如图2所示，该基于ar眼镜的无人机操控方法，包括：响应于获取用户头部的旋转角度和/或用户输入的语音和/或用户的手势和手指的坐标，将相应的控制信号发送至无人机，以控制无人机摄像头的转动角度和/或唤醒和操控无人机和/或触发其他功能。
46.基于ar眼镜的无人机操控方法的具体内容和效果可以参考图1中描述的基于ar眼镜的无人机操控系统的描述，在此不赘述。
47.请参阅图3，图3是根据本发明提供的基于ar眼镜的无人机操控装置的一些实施例的结构示意图，作为对上述各图所示方法的实现，本发明还提供了一种基于ar眼镜的无人机操控装置的一些实施例，这些装置实施例与图2所示的一些方法的实施例相对应，且该装置可以应用于各种电子或头戴式设备中。
48.如图3所示，一些实施例的基于ar眼镜的无人机操控装置300包括第一处理模块301，用于：响应于获取用户头部的旋转角度和/或用户输入的语音和/或用户的手势和手指的坐标，将相应的控制信号发送至无人机，以控制无人机摄像头的转动角度和/或唤醒和操控无人机和/或触发其他功能。
49.可以理解的是，该装置300中记载的各模块与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置300及其中包含的模块、单元，在此不再赘述。
50.图4示例了一种电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于ar眼镜的无人机操控方法，该方法包括：响应于获取用户头部的旋转角度和/或用户输入的语音和/或用户的手势和手指的坐标，将相应的控制信号发送至无人机，以控制无人机摄像头的转动角度和/或唤醒和操控无人机和/或触发其他功能。
51.此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
52.另一方面，本发明还提供一种计算机程序产品，上述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，上述计算机程序包括程序指令，当上述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于ar眼镜的无人机操控方
法，该方法包括：响应于获取用户头部的旋转角度和/或用户输入的语音和/或用户的手势和手指的坐标，将相应的控制信号发送至无人机，以控制无人机摄像头的转动角度和/或唤醒和操控无人机和/或触发其他功能。
53.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于ar眼镜的无人机操控方法，该方法包括：响应于获取用户头部的旋转角度和/或用户输入的语音和/或用户的手势和手指的坐标，将相应的控制信号发送至无人机，以控制无人机摄像头的转动角度和/或唤醒和操控无人机和/或触发其他功能。
54.以上所描述的装置实施例仅仅是示意性的，其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
55.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分上述的方法。
56.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。