无人机视角的视频显示方法及显示系统与流程

1.本技术涉及无人机技术领域，尤其涉及一种无人机视角的视频显示方法及显示系统。


背景技术：

2.无人机现已广泛运用于监控及航拍，操作者可通过远程显示终端（如电脑、手机或vr头盔等）来观看无人机上的摄像装置所拍摄到的图像或视频，以获得无人机视角的观看体验。
3.现有的无人机的监控或航拍方案大多是在无人机上搭载飞行方向的前方搭载一拍摄云台，然后将拍摄云台拍摄到视频发送至远程显示终端供无人机操作者观看，从而实现无人机飞行方向的视角飞行体验。
4.但上述无人机的监控或航拍方案存在以下缺陷：1、只能观看特定方向的图像或视频。由于拍摄云台朝向无人机飞行方向，因此只能观看到无人机前方一定视角范围内的图像或视频。
5.2、调整视频拍摄角度需控制飞机的飞行来实现，操作较为复杂。例如，在无人机操作者需要对某个感兴趣的视频对象持续进行观察时候，如果该视频对象已不在拍摄云台的视角范围内，则需要操控无人机转向或掉头才能重新观察到该感兴趣的视频对象。
6.因此，有必要对现有的无人机监控及航拍方案进行改进。


技术实现要素：

7.本发明的目的在于提供一种无人机视角的视频显示方法及显示系统。
8.第一方面，本发明提供了一种无人机视角的视频显示方法，包括：获取无人机的位姿信息；获取对应位姿的无人机周围的视频；获取视频的显示视角；根据显示视角显示视频的对应视角；其中，所述视频包括球形全景视频、环形全景视频或广角视频，所述显示视角与无人机的位姿相互独立。
9.第二方面，本发明提供了一种无人机视角的视频显示系统，包括无人机和接收控制端；所述无人机包括摄像装置和飞控装置，所述摄像装置用于拍摄无人机周围的视频，所述飞控装置用于获取无人机的位姿以及控制无人机的运动；所述接收控制端包括遥控装置和显示器装置，所述遥控装置用于将飞行控制指令发送至无人机的飞控装置；所述显示器装置用于根据显示视角显示视频的对应部分；其中，所述视频包括球形全景视频、环形全景视频或广角视频，所述显示视角与所述无人机的位姿相互独立。
10.与现有技术相比，本发明技术方案中的无人机飞行方向与无人机周围视频的显示视角相互独立，因此当无人机改变飞行方向时不影响观看无人机周围视频的显示视角，且无需操控无人机的飞行方向即可在任意角度观看无人机视角的视频，提高了观看者的无人机视角的视频观看体验。
附图说明
11.图1为本发明实施例1中的无人机视角的视频显示方法的流程图。
12.图2为本发明实施例2中的无人机视角的视频显示系统的构成框图。
13.图3为本发明在平面显示屏上显示全景视频的对应部分的示意图。
14.图4是无人机在沿观看者方向飞行时的显示界面的示意图。
15.图5是图4中的无人机向左飞行时的显示界面的示意图。
具体实施方式
16.为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
17.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
18.实施例1如图1所示，本实施例中的无人机视角的视频显示方法包括以下步骤。
19.s1：获取无人机的位姿。
20.本实施例中的位姿包括无人机的飞行方向和/或空间坐标，无人机的飞行方向可以通过无人机上安装的惯性传感单元（imu）获得；无人机的空间坐标则可以通过导航装置（如全球定位系统（gps））获得。
21.s2：获取无人机周围的视频。
22.本步骤中的视频包括球形全景视频、环形全景视频或广角视频。球形全景视频是以无人机为球心的形成立体球面视频；环形全景视频为球形全景视频的一部分，可以通过剪裁球形全景视频获得，例如，剪裁球形视频中间一圈即可形成环形全景视频；广角视频为广角镜头或鱼眼镜头拍摄的大于180
°
但小于360度的视频，广角视频也可以由多个镜头拍摄的视频拼接形成。
23.以球形全景视频为例，无人机的周围的全景视频的获取方式不限。例如，通过在无人机周围设置n个镜头(n》=2)组成，镜头可以分布在无人机的机身周围的任意位置；镜头的分布方式需满足使得n个镜头组成的视角范围可以包括无人机周围360
°
视角，即相邻镜头的视场相互重叠，以在无人机周围形成360
°
全景视角。
24.本实施例在获取全景视频后，还可通过全景防抖技术对全景视频进行处理，以得到平滑的全景视频，减少因无人机的抖动而导致视频上下或左右晃动，降低视频观看者的眩晕感。全景防抖技术可采用任一方式防抖技术，例如可采用三轴云台的物理防抖技术，也可以通过电子防抖或算法防抖等方式来实现。
25.在本实施例的具体方案中，采用两个鱼眼镜头，在无人机的机身相对两侧分别安装了一个鱼眼镜头（单个鱼眼镜头的视角范围大于180
°
），两个鱼眼镜头的组合视角达到360
°
，两个鱼眼镜头的分布方式包括：背靠背的分布于机身的上下两侧、前后两侧以及左右两侧，或者在机身同一侧的上方或下方以背靠背的方式分布，然后将两个鱼眼镜头在同一时刻拍摄的视频帧合成全景视频帧，进而得到全景视频。全景视频的拼接为现有技术，具体可以参考中国专利公开号为cn106023070a中的相关描述。
26.在一些其他的可实现方案中，还可以通过安装在无人机上的全景相机来拍摄全景
视频。
27.s3：获取视频的显示视角。
28.本实施例中的显示视角包括显示方向，或显示方向及视角大小。其中，显示视角和无人机的位姿相互独立，具体地，视频的显示方向可以无人机的飞行方向相同，也可以和无人机的飞行方向不同。在本实施例中的优化方案中，默认显示方向和无人机的飞行方向相同。在其他一些实施例中，也可以在显示器装置中设置参考物，如飞机的机头朝向，便于用户将需要的显示方向与无人机的飞行方向关联起来。
29.显示方向可以按预先设定的多个角度进行显示，例如，在无人机的飞行坐标系下（世界坐标系），显示方向的选项包括沿x、y、z三个轴分别设置8个旋转角度（即每隔45
°
设置一个），则可以形成8*8*8合计512个角度，观看者可以通过选择x、y、z三个轴的值来确定要显示的角度；显示方向也可以根据传感装置检测到的用户的操作来确定显示方向，例如通过操作鼠标移动、控制操作杆的方向、移动头部带动vr眼镜及vr头显的操作来确定显示方向。
30.视角大小可以按预先设定的多个数值来显示全景视频，如90
°
、120
°
、150
°
等；也可以通过可视终端的触摸屏幕放大或缩小视角。
31.s4：根据显示视角显示视频的对应视角。
32.在确定显示视角后，即可在显示器装置上显示视频的对应视角。如图2所示，用平面显示器来显示全景视频为例，在获取视角显示信息后，需要显示全景视频中的球面中的曲面a’b’c’d’时，可以通过投影的方式将曲面a’b’c’d’投影为平面abcd图像，再在平面显示器上予以显示，即将全景视频的对应部分显示在平面显示屏上。由上可知，本实施例中，仅需根据视角显示信息对全景视频的对应部分进行渲染，而不需对整个全景视频进行渲染，有利于提高图像处理速度，提升观看视角的视频显示实时性。
33.如图4所示，无人机在沿观看者方向飞行时，观看者看到的显示器装置的显示界面的示意图。图中的树木、河流及人物为全景视频中的对应角度的画面，右上角的三角形图标为无人机的飞行方向（当然，图中也可以增加无人机的实际坐标信息，如世界坐标系下的经纬度及高度等）。
34.如图5所示，为无人机接收到向左飞行的控制命令后，观看者看到的显示界面的示意图。因无人机向前飞行了一段距离，图5中的树木、河流及人物相对图4中变大了一些，基本保持平滑的变化，同时右上角的三角形图标方向发生了变化，可以提示观看者当前飞机的飞行方向。
35.通过图4、图5的对比可以得知，本实施例的无人机飞行方向与无人机周围视频的显示视角相互独立，因此当无人机改变飞行方向时不影响观看无人机周围视频的显示视角，显示器装置的显示画面为平滑的画面。
36.实施例2如图3所示，本实施例中揭示了一种无人机视角的视频显示系统，包括无人机和接收控制端。
37.无人机包括摄像装置、图像处理装置和飞控装置。摄像装置用于拍摄无人机周围的视频。以拍摄球状全景视频为例，本实施例中的摄像装置包括两个鱼眼镜头，两个鱼眼镜头分别安装在无人机的机身的上下两面，每个鱼眼镜头突出于机身表面，两个鱼眼镜头的
视场在机身周围形成一环形的重叠视场，从而形成360
°
全景视场。图像处理装置（如isp单元，image signal processing unit）用于将摄像装置拍摄的视频进行防抖处理，在本实施例中，还可以用于将两个鱼眼镜头拍摄的视频帧拼接成全景视频帧，在本实施例中，图像处理装置包括图像信号处理器（image signal processor），还可用于自动曝光、自动增益控制、伽马校正、白平衡等图像处理。图像装置可以安装在无人机、遥控装置或显示器装置上。飞控装置包括全球定位系统（gps）、惯性传感单元（imu）和微处理器（mcu），全球定位系统（gps）用于获取无人机的空间位置（即世界坐标系下的坐标位置），惯性传感单元（imu）用于获取无人机的飞行方向，微处理器（mcu）用于根据接收到控制指令控制无人机运动。此外，本领域一般技术人员可以得知本实施例中的无人机还包括用于检测无人机周围障碍的障碍检测章子、用于将全景视频发送至显示器装置的图传装置、用于接收及发送控制执行的无线传输装置（如rc控制器）等必要构成硬件。
38.接收控制端包括遥控装置和显示器装置。遥控装置用于将用户的飞行控制指令发送至无人机的飞控装置。遥控装置包括但不限于遥控装置为鼠标、操作杆或体感遥控器；飞行控制指令包括但不限于飞行方向和飞行速度。显示器装置用于根据显示视角显示全景视频的对应视角。显示视角包括显示方向，或显示方向及视角大小。
39.需要说明的是，显示视角中的显示方向与无人机的飞行方向相互独立，显示视角根据用户的输入或检测用户的运动产生，因此视频的显示方向和无人机的飞行方向可以相同，也可以不同。具体地，显示视角可以在显示器装置上根据用户的操作生成，例如当显示器装置为电脑时，可以通过操作鼠标生成显示视角；当显示器装置为vr眼镜时，通过vr眼镜检测到的用户的头部运动来生成显示视角；显示视角也可以通过用户操作遥控装置来生成，例如，当遥控装置为摇杆时，通过检测摇杆的运动方向来生成显示视角。
40.在本实施例的一些具体方案中，接收控制端的遥控装置和显示器装置可以一体设计，例如vr头盔，可以设置飞控模式和观看模式，当处于飞控模式时，可以通过摆动头部控制无人机的飞行方向，当处于观看模式时，可以通过摆动头部生成视角显示信息并同步显示到vr头盔上。
41.本发明方案的无人机飞行方向与无人机周围视频的显示视角相互独立，因此当无人机改变飞行方向时不影响观看无人机周围视频的显示视角。具体地，以无人机朝正前方飞行、观看视角朝正前方为例进行说明，当无人机接收到遥控装置向右飞行的命令时，微处理器（mcu）接收障碍检测模块反馈的无人机前方和右方的障碍信息，如果不存在障碍，则控制飞行模块使无人机向右飞行，同时惯性传感单元（imu）获取无人机相对正前方的旋转角度，然后根据该旋转角度及无人机的位姿得到视角显示信息，再根据该视角显示信息显示无人机在该位姿获取的全景视频的对应部分。通过上述方式可知，即使无人机的运动方向发生改变，用户的观看视角也不会发生变化，因而提升了用户的无人机视角的视频观看体验。
42.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。