一种户外空间观光方法及系统与流程

1.本发明涉及无人机技术领域，具体涉及一种户外空间观光方法及系统。


背景技术：

2.目前，由于传统旅游业的运营模式较为固定，在某些场景下无法为游客提供较好的观光体验。比如，热门景区和热门旅游城市的客流量较大且较为集中，在进行观光的过程中，会花费大量时间在门票购买等人员密集的场景，影响游客的体验；此外，在某些场景下还会出现景点游玩不全的情况，比如在游玩过程中感到疲劳，需要停下来休息，或由于想要观赏的景点所处的位置地势较为危险或者通路尚未修缮，游客无法靠近去观赏。综上所述，需要一种方法来解决上述问题，为游客提供更好的观光体验。


技术实现要素：

3.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种户外空间观光方法及系统，能够为游客提供更好的观光体验。
4.根据本发明的一方面，本发明一实施例提供了一种户外空间观光方法，包括：控制器根据用户输入的观光路线选择指令从当前户外空间预设的至少一条观光路线中确定目标观光路线；所述控制器根据所述目标观光路线划定电子围栏，以引导用户和飞控器联合控制所述无人机在所述电子围栏的范围内在所述当前户外空间飞行；所述无人机通过预设的摄像机实时获取飞行途中的音视频数据；所述控制器将所述音视频数据进行ar处理，生成所述显示设备可播放的实时音视频流；以及所述显示设备播放ar处理后的所述音视频流，以使用户由所述无人机的视角对所述当前户外空间进行观光。
5.在一实施例中，户外空间观光方法还包括：当所述无人机与所述电子围栏的任一边界的距离值小于第一阈值时，所述控制器在ar处理后的所述音视频流中生成提示信息并显示，以引导用户控制所述无人机远离所述边界；以及当所述无人机与所述电子围栏的任一边界的距离值小于第二阈值时，所述控制器向所述飞控器发送控制指令，以使所述飞控器控制所述无人机远离所述边界，其中，所述第二阈值小于所述第一阈值。
6.在一实施例中，每个所述观光路线中包括至少一个景点区域，户外空间观光方法还包括：当所述无人机飞行至一所述目标景点区域范围内时，所述控制器获取所述目标景点区域预设的讲解音频；以及所述控制器将所述讲解音频输出至所述显示设备进行播放。
7.在一实施例中，所述户外空间观光方法还包括：所述显示设备识别用户的视角调整动作；所述控制器将所述视角调整动作转化为相应的视角调整指令；以及所述飞控器根据所述视角调整指令对所述无人机的摄像头姿态进行调整。
8.在一实施例中，所述视角调整指令包括：视景放大、视景缩小、视角俯向转动、视角仰向转动、视角左向转动、视角右向转动和还原初始视角的指令。
9.在一实施例中，所述户外空间观光方法还包括：所述无人机在飞行中实时获取外部环境信息；以及所述控制器根据所述外部环境信息对用户所处的观看环境进行调整。
10.在一实施例中，所述外部环境信息包括风速信息和风向信息，所述控制器根据所述外部环境信息对用户所处的观看环境进行调整包括：所述控制器根据所述风向信息调整预设的至少一个风扇的吹风角度；以及根据所述风速信息控制所述至少一个风扇进行吹风；
11.在一实施例中，所述外部环境信息包括温度信息，所述控制器根据所述外部环境信息对用户所处的观看环境进行调整包括：所述控制器根据所述温度信息，对所述观看环境的温度进行调整。
12.在一实施例中，所述户外空间观光方法还包括：所述控制器提取所述音视频数据中的音频数据；根据噪声的音频特征，提取所述音频数据中的噪声数据；以及对所述噪声数据进行降噪处理。
13.在一实施例中，所述户外空间观光方法还包括：所述无人机通过预设的毫米波雷达根据预设的时间间隔发送毫米波波束来探测航线环境；当探测到障碍物时，所述控制器判断所述障碍物的是否处于移动状态；当所述障碍物静止时，通过所述飞控器控制所述无人机避开所述障碍物；当所述障碍物处于移动状态时，所述控制器对所述障碍物的移动路径进行模拟；以及所述控制器根据所述移动路径，通过所述飞控器控制所述无人机避开所述障碍物。
14.根据本发明的另一方面，本发明实施例提供了一种户外空间观光系统，包括：控制器、飞控器、无人机和显示设备；所述控制器，用于从用户输入的观光路线选择指令从当前户外空间预设的至少一条观光路线中确定目标观光路线；根据所述目标观光路线划定电子围栏，以引导用户和飞控器联合控制所述无人机在所述电子围栏的范围内在所述当前户外空间飞行；所述无人机，用于通过预设的摄像机实时获取飞行途中的音视频数据；所述控制器，还用于将所述音视频数据进行ar处理，生成所述显示设备可播放的实时音视频流；以及所述显示设备，用于将播放ar后的所述实时音视频流，以使用户由无人机的视角对所述当前户外空间进行观光。
15.本发明实施例提供的一种户外空间观光方法及系统，通过飞控器接管无人机和传达控制指令，之后，根据用户用预设的多条观光路线中选择的目标观光路线进行路线指引，引导用户在划定的电子围栏内控制无人机根据目标观光路线进行飞行。无人机起飞后，开始通过摄像机实时获取飞行途中的音视频数据并回传给控制器，控制器将音视频数据转码为显示设备能够播放的音视频流，显示设备播放ar处理后的实时音视频流，使游客在显示设备中沉浸式体验到无人机实时拍摄到的景色。本技术提供的方案通过无人机，为户外空间开辟了独特的空中游览线路，能够到达很多游客徒步无法到达的地方，并且游客不需要花费大量的时间在路途中，观光过程中也不会感到劳累，为游客提供更好的观光体验。
附图说明
16.图1是本技术一示例性实施例提供的一种户外空间观光方法的流程示意图。
17.图2是本技术一示例性实施例提供的另一种户外空间观光方法的流程示意图。
18.图3是本技术一示例性实施例提供的另一种户外空间观光方法的流程示意图。
19.图4是本技术一示例性实施例提供的一种视角调整方法的流程示意图。
20.图5是本技术一示例性实施例提供的另一种户外空间观光方法的流程示意图。
21.图6是本技术一示例性实施例提供的一种降噪方法的流程示意图。
22.图7是本技术一示例性实施例提供的一种无人机避障方法的流程示意图。
23.图8是本技术一示例性实施例提供的一种户外空间观光系统的结构示意图。
24.图9是本技术一示例性实施例提供的另一种户外空间观光系统的结构示意图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.此外，在示例性实施例中，因为相同的参考标记表示具有相同结构的相同部件或相同方法的相同步骤，如果示例性地描述了一实施例，则在其他示例性实施例中仅描述与已描述实施例不同的结构或方法。
27.在整个说明书及权利要求书中，当一个部件描述为“连接”到另一部件，该一个部件可以“直接连接”到另一部件，或者通过第三部件“电连接”到另一部件。此外，除非明确地进行相反的描述，术语“包括”及其相应术语应仅理解为包括所述部件，而不应该理解为排除任何其他部件。
28.本发明一实施例提供了一种户外空间观光方法，该方法包括以下步骤：
29.步骤110：控制器根据用户输入的观光路线选择指令从当前户外空间预设的至少一条观光路线中确定目标观光路线。
30.具体地，每条观光路线是根据预先勘测好的环境来进行规划的，每条观光路线可以包括景区户外空间的全部或者一些具有代表性的景点，包括全部景点的观光路线较长，观看所需要的时间也比较多，用户可以根据自己想要观看的景点或者根据期望的观看时间来进行观光路线的选择。
31.步骤120：控制器根据目标观光路线划定电子围栏，以引导用户和飞控器联合控制无人机在电子围栏的范围内在当前户外空间飞行。
32.具体地，由于无人机的操控需要一些基础，并且为了便于管理，每条观光路线实际上是一个相对固定且封闭的区域，即电子围栏。在确定目标观光路线后会出现路线指引，引导用户根据路线指引来控制无人机。与此同时，飞控器也会后台对无人机进行辅助控制，确保无人机不会离开目标观光路线，并在必要时飞控器介入阻止危险操作行为的出现。每条观光路线在景点与景点之间的路线可以设置一个相对较小的范围，能够保证无人机的前进。当到达景点后，可以围绕景点在观光路线创建一个较大的范围，让用户可以控制无人机在该范围内移动，全方位的观赏该景点的景色。综上所述，通过相对固定的观光路线和飞控器的辅助控制，能够避免各种人为因素带来的危险和不确定性。在每个景点附近设置相对自由的浏览区域，保证了用户体验。比如，观光路线包括至少一个悬停区，无人机端从起点开始沿观光路线移动，并在到达每个悬停区内后悬停预定时间，之后继续沿观光路线移动，直到到达终点。可以理解的是，观光路线可以为封闭图形或非封闭图形。
33.步骤130：无人机通过预设的摄像机实时获取飞行途中的音视频数据。
34.具体地，无人机上安装有通信模块和摄像机，摄像机用于获取无人所在现场的音
视频数据，实现多角度的视频音频拍摄，向控制器上报音视频数据，控制器作为无人机与显示设备的媒介，将音视频数据转发给显示设备；为了保证数据上报的速率和稳定性，因此无人机和控制器之间的通讯通过自带的无线信号来进行。通过该无线信号，一方面可以传递控制器对无人机的控制信号，另一方面是接收无人机传回的音视频数据。如果通信模块使用wifi信号，通信会受到信号范围的限制。在无人机离开wifi信号范围后，控制器和无人机之间的连接会断开，导致音视频数据无法回传，控制器也会失去对无人机的控制，用户在没有音视频数据回传的情况无法看到无人机的移动情况，无法根据看到的画面来手动控制无人机，容易发生意外事故。由此，可以在无人机上安装4g/5g模块，无人机发出的音视频信息通过4g/5g模块转发至显示设备。由于4g/5g的信号覆盖范文较大，无人机在整个景区户外空间内或在整个观光路线内均能保证信号传递的完整性、速度和信号质量。通过4g/5g对无人机和显示设备之间的数据传输进行中转，增强了无人机和显示设备之间数据传输的可靠性和传输速度，提高数据传输质量。此外，通过4g/5g模块可以更大范围得拓展音视频数据回传的距离和覆盖范围，扩大无人机飞行和控制半径，探索更广大的空间。
35.步骤140：控制器将音视频数据进行ar处理，生成显示设备可播放的实时音视频流。
36.具体地，如果仅通过无人机拍摄画面并将画面传输到手机、电脑等设备的屏幕上来进行观看缺乏第一视角沉浸感，并且仅通过传统的屏幕进行观看在收到观看环境中光照等条件的影响时，可能给用户带来不好的观看体验，因此，使用能够播放实时音视频流的显示设备来进行观看能够保证用户的观看体验。通过ar技术将与户外空间相关的风景名胜，地名学名，历史风貌，地质变迁等画面形象得叠加展现在实景之上，丰富观看效果。显示设备可以是头戴式的智能眼镜，智能头盔，带显示屏的一体机或体验仓等，也可增加耳机等其他音频输出设备。
37.步骤150：显示设备播放ar处理后的音视频流，以使用户由所述无人机的视角对所述当前户外空间进行观光。
38.具体地，无人机通过摄像机进行了视频和立体声拍摄，但该音视频数据并不能直接用于显示设备。在控制器将音视频数据转发给显示设备后，显示设备对音视频数据进行编解码和ar效果等处理，转化为无人机现场的音视频流图像。用户通过显示设备能够更加立体化、形象化的观看无人机的现场画面，从不同的角度对景点进行观光，满足用户的观看需求和观看体验。
39.在本发明一实施例中，如图2所示，该户外空间观光方法还可以包括以下步骤：
40.步骤210：当无人机与电子围栏的任一边界的距离值小于第一阈值时，控制器在ar处理后的音视频流中生成提示信息并显示，以引导用户控制无人机远离边界。
41.具体地，如前文所述，无人机在提前勘测好的环境中沿着相对固定的观光路线飞行，保障无人机的运行安全是保障观光方法稳定可靠执行的关键，因此，用户对无人机的控制是受到限制的，用户可以控制无人机在目标观光路线允许的范围内飞行，但无人机不能飞离目标观光路线所属的电子围栏的范围。当距离值小于预设第一阈值时，即表示无人机正在靠近目标观光路线的边界，无人机如果继续保持当前的移动状态的话有可能会飞离目标观光路线，因此，在音视频流中生成提示提示信息来引导用户调整无人机的飞行方向，比如，在音视频流中通过ar显示一个方向箭头来提示用户向该方向调整无人机的飞行方向。
42.步骤220：当无人机与电子围栏的任一边界的距离值小于第二阈值时，控制器向飞控器发送控制指令，以使飞控器控制无人机远离边界，其中，第二阈值小于第一阈值。
43.具体地，当距离值小于预设第二阈值时，由于第二阈值小于第一阈值，表明此时无人机与电子围栏的边界非常接近了，保持这个方向进行飞行很快就会离开目标观光路线。为了防止人为因素带来的危险和不确定性，飞控器介入无人机的方向控制，强行使无人机改变飞行方向，保持在目标观光路线中飞行。必要时，可以完全切断用户输入的控制指令，由控制器控制无人机悬停或飞到目标观光路线的电子围栏范围内，保证飞行过程的安全。
44.在本发明一实施例中，如图3所示，每个所述观光路线中包括至少一个景点区域，该户外空间观光方法还可以包括以下步骤：
45.步骤310：当无人机飞行至一目标景点区域范围内时，控制器获取目标景点区域预设的讲解音频。
46.具体地，为了进一步的提高用户的观光体验，使用户对每个景点、景观的特色进行了解，预先对每个景点设置好对应的讲解音频。讲解音频的内容包括该景点的自然环境、社会环境和文化环境等。优选地，可以预先将讲解内容分类为各类讲解词，包括地质地貌、气候、水文、生物、文物、民俗风情和土特产等。
47.步骤320：控制器将讲解音频输出至显示设备进行播放。
48.具体地，在无人机飞行至目标景点区域范围内，开始播放预先设置好的讲解内容，帮助用户更好的了解该景点。此外，在播放讲解内容的同时，还可以在音视频流内容中插入一些辅助讲解内容，比如图片、动画或者视频，进一步的提高用户的观光体验。
49.如图4所示，在户外空间观光方法的基础上，本发明一实施例提供了一种视角调整方法，包括：
50.步骤410：显示设备识别用户的视角调整动作。
51.具体地，针对不同用户的观景偏好，显示设备在展示音视频流的同时，还能够识别用户做出的视角调整动作。在进行动作识别之前，需要先设置作为识别参照物的检测物，比如用户的头部，即根据用户头部的动作来进行识别。视角调整动作包括：检测物向上转动、检测物向下转动、检测物向左转动、检测物向右转动等。
52.步骤420：控制器将视角调整动作转化为相应的视角调整指令。
53.具体地，各视角调整动作与各视角调整指令的对应关系为：检测物向上转动对应视角仰向转动，检测物向下转动对应视角俯向转动，检测物向左转动对应视角左向转动，检测物向右转动对应视角右向转动。对于视景放大、视景缩小和和还原初始视角，可通过设置其他相应的视角调整动作来与其对应，如检测物为头部时，头部前伸动作可以对应视景放大，头部后缩可以对应视景缩小，连续摇头三次对应还原初始视角。
54.步骤430：飞控器根据视角调整指令对无人机的摄像头姿态进行调整。
55.具体地，飞控器控制无人机端进行视景放大、视景缩小、视角俯向转动、视角仰向转动、视角左向转动、视角右向转动、无动作和还原初始视角等动作，无人机端在空中飞行/悬停的同时接视角调整指令，根据视角调整指令执行相应动作，以使用户能够根据自身需求来更加合理、个性化地观景。
56.在本发明一实施例中，如图5所示，户外空间观光方法还可以包括：
57.步骤510：无人机在飞行中实时获取外部环境信息。
58.步骤520：控制器根据外部环境信息对用户所处的观看环境进行调整。
59.在本发明一实施例中，外部环境信息包括风速信息和风向信息，控制器根据外部环境信息对用户所处的观看环境进行调整包括：
60.控制器根据风向信息调整预设的至少一个风扇的吹风角度；以及
61.根据风速信息控制至少一个风扇进行吹风；
62.在本发明一实施例中，外部环境信息包括温度信息，控制器根据外部环境信息对用户所处的观看环境进行调整包括：
63.控制器根据温度信息，对观看环境的温度进行调整。
64.具体地，为了提高用户在观光过程中的沉浸感，在显示设备周围还设置有用于模拟实景环境的设备，比如设置在各个方向的风扇和中央空调。风扇的转速和方向能够自由控制，结合中央空调，模拟户外空间的温度、风向和风速。
65.在户外空间观光方法的基础上，如图6所示，本发明一实施例提供了一种降噪方法，包括：
66.步骤610：控制器提取音视频数据中的音频数据。
67.步骤620：根据噪声的音频特征，提取音频数据中的噪声数据。
68.步骤630：对噪声数据进行降噪处理。
69.具体地，由于无人机在空中移动，在移动过程中会产生一些影响观看体验的噪音，比如在移动速度较快或者自然风较大时产生的风噪。在获取到音视频数据后，根据噪声的音频特征，将噪声数据提取出来，并进行降噪处理。比如，通过计算噪声数据的声波特征，发射反向声波来相互抵消，从而起到降噪的作用。
70.如图7所示，在户外空间观光方法的基础上，本发明实施例提供了一种无人机避障方法，包括：
71.步骤710：无人机通过预设的毫米波雷达根据预设的时间间隔发送毫米波波束来探测航线环境。
72.步骤720：当探测到障碍物时，控制器判断障碍物的是否处于移动状态。
73.步骤730：当障碍物静止时，通过飞控器控制无人机避开障碍物。
74.步骤740：当障碍物处于移动状态时，控制器对障碍物的移动路径进行模拟。
75.步骤750：控制器根据移动路径，通过飞控器控制无人机避开障碍物。
76.具体地，为了防止无人机在移动过程中出现碰撞事故，通过毫米波雷达每间隔一段时间发送毫米波波束来检测是否路线上有障碍物存在，当探测到障碍物时，根据多个检测时间点获得的障碍物的位置是否相同来确定障碍物是否处于移动状态。若多个检测时间点测得障碍物的位置相同，则控制无人机根据障碍物的位置避开障碍物。若多个检测时间点测得障碍物的位置不同，则根据位置的变化距离、变化方向来模拟障碍物的移动路径，并避开移动路径，防止与障碍物相撞。
77.此外，因为无人机本体的正常工作与否关系到观光能否正常进行，所以保障无人机本体的运行安全是保障系统稳定可靠工作的关键。因此，控制器还可以无人机本体的运行速度、航向、偏角等工作状态进行监控，在发现异常后，及时控制无人机本体降落到指定的位置进行维护工作。无人机电量不足或出故障时，控制器控制无人机降落到预设的充电区进行检测并充电。
78.如图8所示，本发明一实施例提供了户外空间观光系统，包括：
79.控制器810、飞控器820、无人机830和显示设备840；
80.控制器810，用于从用户输入的观光路线选择指令从当前户外空间预设的至少一条观光路线中确定目标观光路线；根据目标观光路线划定电子围栏，以引导用户和飞控器820联合控制无人机830在电子围栏的范围内在当前户外空间飞行；
81.无人机830，用于通过预设的摄像机实时获取飞行途中的音视频数据；
82.控制器，还用于将音视频数据进行ar处理，生成显示设备840可播放的实时音视频流；以及
83.显示设备840，用于将播放ar后的实时音视频流，以使用户由无人机830的视角对当前户外空间进行观光。
84.在本发明一实施例中，如图9所示，控制器可以包括中控模块811和多个操控台，户外空间观光系统中还包括多个飞控器820，每个飞控器820用于接收中控模块的控制指令，根据控制指令来对其控制的无人机进行控制以两个操控台为例，操控台812和操控台813与中控模块811通信，每个操控台连接多个显示设备840并接收用户通过控制杆输出的无人机控制指令，将控制指令发送给中控模块811，中控模块811转发给对应的飞控器820，实现对无人机的控制。
85.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
86.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
87.还需要指出的是，在本技术的方法和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
88.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
89.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。