本公开涉及无人飞行载具(uav)。
背景技术：
大型工业公司，尤其是在公用设施、石油和天然气领域，可拥有数百英里的资产(例如，电力线、管线)基础设施，需要定期检查这些基础设施以确保高生产率。由于无人飞行载具(uav)能够快速收集高质量数据，最近一些实体已经开始利用小型uav来执行这些周期性检查。联邦航空管理局(faa)法规要求uav操作员或飞行员始终保持与uav的视线(los)。
技术实现要素：
一般来讲，本公开涉及用于确定和指示至少一个无人飞行载具(uav)相对于uav的飞行员的位置以便协助飞行员保持与uav的视线(los)的系统和技术。如本文所述，由uav飞行员佩戴的增强现实(ar)头戴式显示器(hmd)被配置为显示uav相对于hmd的视场(fov)的位置的指示。
在一个示例中，本公开描述了一种设备，该设备包括arhmd和处理电路，该处理电路被配置为：确定uav的位置；确定arhmd的取向；以及基于arhmd的取向在arhmd上呈现uav的位置的指示。
在另一示例中，本公开描述了一种方法，该方法包括：确定uav的位置；确定arhmd的取向；以及基于arhmd的取向在arhmd上呈现uav的位置的指示。
本公开的一个或多个示例的细节在以下附图和说明书中阐述。其他特征、目的和优点将从描述、附图以及权利要求书中显而易见。
附图说明
图1是描绘了可根据本公开的一种或多种技术进行的利用无人飞行载具(uav)检查公用设施资产的概念图。
图2是示出了用于确定uav相对于头戴式显示器(hmd)的视场(fov)的位置的示例性系统的框图。
图3a是示出了根据本公开的一种或多种技术的hmd确定uav相对于hmd的fov的水平位置的概念图。
图3b是图3a的示意图的俯视图。
图3c是示出了根据本公开的一种或多种技术的hmd确定uav相对于hmd的fov的竖直位置的概念图。
图3d是图3c的示意图的侧视图。
图4是根据本公开的一种或多种技术的可在hmd上生成和显示的示例性图形用户界面(gui)。
图5是根据本公开的一种或多种技术的可在hmd上生成和显示的另一示例性gui。
图6是根据本公开的一种或多种技术的可在hmd上生成和显示的另一示例性gui。
图7是示出了根据本公开的技术的用于确定和显示uav相对于hmd的fov的位置的示例性操作的流程图。
图8是示出了根据本公开的技术的用于确定和显示uav相对于hmd的fov的位置的示例性操作的流程图。
图9是示出了根据本公开的技术的用于确定和显示uav相对于hmd的fov的位置的示例性操作的流程图。
具体实施方式
在非军事行动中，无人飞行载具(uav)的使用变得越来越普遍，包括但不限于监视、搜索与营救、装运与交付以及检查。例如，图1是描绘了利用无人飞行器系统(uas)10(包括uav14)检查公用设施资产的概念图。无人飞行器系统10包括uav操作员或飞行员12、uav14、增强现实(ar)头戴式设备(hmd)16、地面站20和uav控制器30。
uav飞行员12使用uav控制器30来控制uav14的飞行路径114，例如以便进行结构22a至22e(统称为“结构22”)的检查。在图1所描绘的示例中，结构22被描绘为输电塔，但结构22可包括任何结构，包括管线、火把烟囱、太阳能电池板、桥等。
例如，飞行员12可从发射位置18发射uav14并且围绕结构22引导uav14，使得安装在uav14上的相机或其他传感器可捕获数据。例如，uav14可通过使用一个或多个基于相机的传感器来捕获照相或视频数据，并且可除此之外或另选地使用安装在uav14上的其他类型的传感器来捕获其他类型的数据，诸如温度数据、环境数据或电磁场数据。
飞行员12可沿着延伸的和/或曲折的飞行路径114引导uav14，以便在单次发射期间捕获大量数据。例如，在检查期间的任何时间，uav14可能在进行检查任务时离飞行员121600米。uav14距飞行员12的距离可能仅受uav14的电池寿命和/或控制器30的无线电通信范围的限制。
联邦航空管理局(faa)small-uasrule§107.311要求uav飞行员在操作期间必须始终保持与uav的视线(los)。许多因素，包括但不限于曲折的地形、背景(例如，天空)颜色对比度、天气或其他障碍物，可能会妨碍飞行员12保持与uav14的视线的能力。
在本公开的一些示例中，飞行员12可佩戴hmd16，该hmd在其中具有处理电路，该处理电路被配置为确定uav14相对于hmd16的视场(fov)26的位置，并且输出uav14的相对位置的指示以在hmd16的透明显示屏上显示，以便协助飞行员12保持和/或重新获得与uav14的视线24。在一些示例中，诸如当uav14定位在hmd16的fov26内时，hmd16可在屏幕上围绕uav14的近似位置显示边界框。在其他示例中，诸如当uav14未定位在hmd16的fov26内时，hmd16可显示指示uav14的相对位置的信息，诸如引导飞行员12转动他或她的头部以便将uav14带回hmd16的fov26内的一组箭头。如下面进一步详细描述的，hmd16可被配置为向飞行员12显示其他相关uav飞行信息，包括但不限于uav空速和/或方向、距uav的距离、剩余uav电池寿命、预期的uav飞行路径或uav14必须避开的管制空域28的指示。
图2是示出了用于确定uav14相对于hmd16的fov的位置的图1的系统10的框图。示例性系统10包括飞行员12、uav14、hmd16、地面站20和uav控制器30。
飞行员12是沿着飞行路径引导uav14诸如以拍摄航空照片、收集传感器数据或递送包裹的人员。uav14(在图1中)被示出为四旋翼“四轴飞行器”，但uav14可为任何类型的uav，包括但不限于旋翼飞行器、固定翼飞行器、复合飞行器(诸如倾转旋翼飞机、x2和x3)、浮空器或任何其他这种类型的uav，包括所有垂直起降(vtol)飞机、立式起落飞机等。uav14可被配置为以不同程度的自主性飞行。尽管本公开的技术不限于任何特定类型的uav，但uav14可为例如相对小型的低海拔低空速uav，其中在这种情况下，“小型”对应于低于100磅，“低海拔”对应于地面上方低于3000英尺的操作海拔，并且“低空速”对应于低于250节的空速。此外，设想uav14可具有悬停能力，意味着uav14可具有保持在空气中的大致恒定位置的能力。
uav14包括定位系统(ps)52、惯性测量单元(imu)54、取向单元(ou)56、测高仪58、处理电路(pc)60、存储器61、收发器62、相机116和传感器118。在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。尽管出于说明的目的在图2中单独示出，但uav14的许多所述部件实际上可以是高度集成的。例如，uav14的许多所述部件可实现为单个电路或片上系统。各种单元或多个模块可通过互操作硬件单元(包括一个或多个处理器)结合合适的软件和/或固件的集合组合到单个硬件单元中或或由其提供。
定位系统(ps)52包括被配置为确定uav14的相对位置(诸如地理位置)的任何硬件和/或软件。在一些示例中，ps52可包括gps系统，该gps系统被配置为确定uav14的纬度和经度。在其他示例中，ps52可被配置为基于附近的无线互联网信号、蜂窝塔信号或应答器信号来确定uav14的位置。在其他示例中，定位系统52可包括基于相机的定位系统。一般来讲，定位系统52可包括任何一种或多种类型的定位系统，并且不限于任何一种特定类型的定位系统。
惯性测量单元(imu)54是被配置为检测uav14的加速度、运动和/或取向的电子部件或设备。imu54可包括一个或多个加速度计、陀螺仪和/或磁力仪。imu54(单独或与ou56组合)可被配置为输出指示uav14的飞行方向的数据。
取向单元(ou)56包括被配置为确定uav14相对于地球的基本方向的相对取向的一个或多个设备。例如，ou56可包括磁力仪，该磁力仪被配置为测量地球磁场的强度和方向以识别北方向。在其他示例中，ou56包括被配置为识别磁北方向的简单罗盘。在一些示例中，处理电路60可被配置为将来自ou56的基于磁的取向数据与来自ps52的位置数据组合，以便确定uav14相对于真北(如由地球旋转轴线所定义)的取向。在其他示例中，ou56可为基于相机的和常见的视觉界标，以确定uav14的取向。
测高仪58为用于确定uav14在地面上方的高度的设备或部件。在一些示例中，测高仪58可包括被配置为基于大气压力来确定uav14的海拔的设备。测高仪58可包括来自定位系统52的数据，以基于在当地纬度和经度的地面水平的已知高度处测得的大气压力与预期大气压力之间的差值来确定海拔，如定位系统52所指示。在其他示例中，测高仪58可包括信号收发器，该信号收发器被配置为将信号(诸如电磁信号、声纳信号或其他信号)反射出地面并且测量直到检测到反射信号为止的时间。在其他示例中，测高仪58可使用立体图像来确定海拔。
uav14包括处理电路(pc)60和存储器61，该处理电路和存储器被配置为处理和存储数据，诸如从收发器62或从uav14的任何其他内部部件所接收的数据。pc60可包括被配置为执行指令的一个或多个处理器，诸如一个或多个数字信号处理器(dsp)、通用微处理器、asic、fpga或其他等效的集成或离散逻辑电路。处理电路60可包括模拟和/或数字电路。如本文所使用的术语“处理器”或“处理电路”可指任何前述结构或适用于实施本文所描述的技术的任何其他结构。
存储器61可由多种存储器设备中的任一种形成，诸如动态随机存取存储器(dram)，包括同步dram(sdram)、磁阻ram(mram)、电阻ram(rram)或其他类型的存储器设备。存储器61可包括硬盘驱动器、闪存存储器、易失性或非易失性存储器或用于存储编码视频数据的任何其他合适的数字存储介质中的一者或多者。
收发器62包括被配置为诸如从地面站20、控制器30或hmd16无线地发送和接收数据的一个或多个电子部件。收发器62可表示以下任一者或多者：无线发射器/接收器、调制解调器、联网部件、根据多种ieee802.11标准中的任一种进行操作的无线通信部件、或其他物理部件。收发器62可被配置为根据蜂窝通信标准诸如4g、4g-lte(长期演进)、lte高级、5g等，或根据其他无线标准诸如ieee802.11规范、ieee802.15规范(例如，zigbeetm)、bluetoothtm标准等传输数据。
uav14包括相机116和/或附加传感器118，该相机和/或附加传感器被配置为捕获指定目标诸如结构的照片或其他数据。相机116可表示被配置为获取图像和/或视频数据的单视场相机或立体相机中的一者或两者。uav14可将图像和视频存储在存储器61中，或者可除此之外或另选地将图像和视频流传输到另一设备，诸如地面站20。
hmd16包括定位系统(ps)32、惯性测量单元(imu)34、取向单元(ou)36、显示器38、相机40、处理电路(pc)42、存储器43、收发器44和测高仪45。hmd16为头戴式设备，其可包括存在于计算系统中的各种电子部件，包括一个或多个处理器42(例如，微处理器或其他类型的处理单元)和可安装在框架上或框架内的存储器43。此外，hmd16可包括透明显示屏38，当用户诸如uav飞行员12佩戴hmd16时，该透明显示屏定位在视平线(eyelevel)处。在一些示例中，显示屏38可包括一个或多个液晶显示器(lcd)或其他类型的显示屏，在该显示屏上可经由显示器38感知到佩戴或以其他方式使用hmd16的uav飞行员12的图像。其他显示器示例包括有机发光二极管(oled)显示器。在一些示例中，hmd16可操作以使用本领域已知的技术将3d图像投影到用户的视网膜上。
在一些示例中，显示器38可包括透视全息透镜(有时称为波导)，该透视全息透镜允许用户通过(例如，超出)透镜看到真实世界对象，并且还通过显示器诸如硅上液晶(lcos)显示设备看到投影到透镜中并且投影到用户的视网膜上的全息图像，该透视全息透镜有时被称为光引擎或投影仪，作为hmd16中的全息投影系统的示例进行操作。换句话讲，hmd16可包括一个或多个透视全息透镜以向用户呈现虚像。因此，在一些示例中，hmd16可操作以经由例如由全息透镜形成的显示器38将3d图像投影到用户的视网膜上。这样，hmd16可被配置为在通过显示器38观察到的真实世界视图内向用户呈现3d虚像，例如，使得虚像看起来形成真实世界环境的一部分。在一些示例中，hmd16可为购自美国华盛顿州雷德蒙德的微软公司(microsoftcorporation,ofredmond,washington,usa)的microsofthololenstm头戴式耳机或类似设备，诸如例如包括波导的类似mr可视化设备。hololenstm设备可用于经由全息透镜或波导呈现3d虚拟对象，同时允许用户通过全息透镜查看真实世界场景中(即，真实世界环境中)的实际对象。
在其他示例中，显示屏38可包括被配置为显示渲染图像的不透明(例如，非透明)数字屏幕。具有不透明显示屏的设备的一些非限制性示例包括realwearhmt-1、vuzixm300、或任何标准智能电话或平板电脑。就具有不透明显示屏38的arhmd而言，用户的光轴(例如，视线或视场的中心)可与相机40的光轴略微不同。在一些示例中，arhmd可具有被配置为仅覆盖用户的一只眼睛(“单眼”)或两只眼睛(“双眼”)的显示屏38。
如图4至图6所示，hmd16还可生成用户可见的图形显示或用户界面(ui)，例如，作为投影到如上所述的透视全息透镜中的全息图像。由hmd16呈现的图像可包括例如一个或多个3d虚拟对象。示例性ui的细节在本公开的其他地方有所描述。hmd16还可包括扬声器或可邻近用户的耳朵定位的其他传感设备。传感设备可传达可听信息或其他可感知信息(例如，振动)以帮助hmd16的用户。
hmd16还可包括收发器44，以诸如经由有线通信协议或无线协议(例如，wi-fi、蓝牙等)将hmd16连接到第二处理设备诸如中间地面站20，或直接连接到uav14，和/或连接到网络和/或计算云。收发器44可表示以下任一者或多者：无线发射器/接收器、调制解调器、联网部件、根据多种ieee802.11标准中的任一种进行操作的无线通信部件、或其他物理部件。收发器44可被配置为根据蜂窝通信标准诸如4g、4g-lte(长期演进)、lte高级、5g等，或根据其他无线标准诸如ieee802.11规范、ieee802.15规范(例如，zigbeetm)、bluetoothtm标准等传输数据。
hmd16还包括用于收集传感器数据的多种传感器，诸如安装到框架、安装在框架上或安装在框架内的一个或多个光学相机40(或其他光学传感器)和一个或多个深度相机(或其他深度传感器)。在一些示例中，光学传感器40可操作为扫描hmd16的用户所位于的物理环境的几何形状并且收集二维(2d)光学图像数据(单色或彩色)。深度传感器可操作为提供3d图像数据，诸如通过采用飞行时间、立体或其他已知或未来开发的技术来确定深度，从而生成三维的图像数据。相机40可表示被配置为获取图像和/或视频数据的单视场相机或立体相机中的一者或两者。hmd16可将图像和视频存储在存储器43中，或者可除此之外或另选地将图像和视频流传输到另一设备，诸如地面站20。其他传感器可包括运动传感器(例如，惯性质量单元(imu)传感器34、加速度计等)以帮助跟踪移动。
系统10处理传感器数据，使得可定义用户环境或“场景”中的几何、环境、纹理等界标(例如，拐角、边缘或其他线、墙壁、地板、对象)，并且可检测场景内的移动。例如，可组合或融合各种类型的传感器数据，使得hmd16的用户可感知可在场景内定位或固定和/或移动的3d图像。当固定在场景中时，用户可围绕3d图像走动，从不同视角查看3d图像，并且使用手势、语音命令、注视线(或方向)和/或其他控制输入来操纵场景内的3d图像。又如，可处理传感器数据，使得用户可将3d虚拟对象(例如，边界框)定位在场景(例如，uav14)中观察到的物理对象上和/或将利用场景中显示的其他虚像来对3d虚拟对象进行取向。
hmd16可例如在hmd的帧内包括一个或多个处理器或处理电路(pc)42和存储器43。pc42可包括被配置为执行指令的一个或多个处理器，诸如一个或多个数字信号处理器(dsp)、通用微处理器、asic、fpga或其他等效的集成或离散逻辑电路。处理电路42可包括模拟和/或数字电路。如本文所使用的术语“处理器”或“处理电路”可指任何前述结构或适用于实施本文所描述的技术的任何其他结构。
存储器43可由多种存储器设备中的任一种形成，诸如动态随机存取存储器(dram)，包括同步dram(sdram)、磁阻ram(mram)、电阻ram(rram)或其他类型的存储器设备。存储器43可包括硬盘驱动器、闪存存储器、易失性或非易失性存储器或用于存储编码视频数据的任何其他合适的数字存储介质中的一者或多者。
在一些示例中，作为帧内pc42和存储器43的替代或补充，一个或多个外部计算资源处理并且存储信息，诸如传感器数据。以这种方式，可由hmd16内的一个或多个pc42和存储器43执行数据处理和存储，和/或可从hmd16卸载处理和存储要求中的一些。因此，在一些示例中，控制hmd16的操作的一个或多个pc可位于hmd内，例如作为pc42。另选地，在一些示例中，控制hmd16的操作的处理器中的至少一个处理器可位于hmd外部。同样，在一些示例中，hmd16的操作可部分地由可视化设备内的一个或多个pc42和可视化设备外部的一个或多个处理器的组合来控制。
例如，在一些示例中，当hmd16处于图2的上下文中时，传感器数据的处理可由pc42结合存储器43或存储设备来执行。在一些示例中，安装到框架的pc42和存储器43可提供足够的计算资源以处理由相机40和运动传感器34收集的传感器数据。在一些示例中，可使用同时定位与地图构建(slam)算法或用于处理和映射2d和3d图像数据并且跟踪hmd16在3d场景中的位置的其他已知或未来开发的算法来处理传感器数据。在一些示例中，可使用由microsofthololenstm系统(例如，由hmd16内的基本上符合microsofthololenstm设备或类似的混合现实(mr)可视化设备的一个或多个传感器和处理器42)提供的传感器处理和跟踪功能来执行图像跟踪。
hmd16包括定位系统(ps)32。ps32包括被配置为确定hmd16的相对位置(诸如地理位置)的任何硬件和/或软件。在一些示例中，ps32可包括被配置为确定hmd16的纬度和经度的gps系统。在其他示例中，ps32可被配置为基于附近的无线互联网信号、蜂窝塔信号或应答器信号来确定hmd16的位置。在其他示例中，定位系统32可包括基于相机的定位系统。一般来讲，定位系统32可包括任何一种或多种类型的定位系统，并且不限于任何一种特定类型的定位系统。
hmd16包括惯性测量单元(imu)34。imu34为被配置为检测hmd16的加速度、运动和/或取向(诸如相对于重力)的电子部件或设备。imu34可包括一个或多个加速度计、陀螺仪和/或磁力仪。imu34可被配置为输出指示hmd16相对于重力的角度的数据，该数据对应地指示hmd16的视场相对于地面的角度，该角度可被假设为局部垂直于重力方向。
hmd16包括取向单元(ou)36。ou36包括被配置为确定hmd16相对于地球的基本方向的相对取向的一个或多个设备。例如，ou36可包括磁力仪，该磁力仪被配置为测量地球磁场的强度和方向以识别北方向。在其他示例中，ou36包括被配置为识别磁北方向的简单罗盘。在一些示例中，处理电路42可被配置为将来自ou36的基于磁的取向数据与来自ps32的位置数据组合，以便确定hmd16相对于真北(如由地球旋转轴线所定义)的取向。在其他示例中，ou36可为基于相机的和常见的视觉界标，以确定hmd16的取向。
在一些示例中，hmd16包括测高仪45。测高仪45包括用于确定hmd16高于地面的高度的硬件和/或软件。在一些示例中，当佩戴在飞行员12的头部上时，hmd16的高度相对于飞行中uav14在地面上方的高度基本上可忽略不计。在这些示例中，出于确定uav14的相对位置的目的，pc42将hmd16的高度确定为零。在其他示例中，测高仪45可包括被配置为基于大气压力来确定hmd16的海拔的设备。测高仪45可包括来自定位系统32的数据，以基于在当地纬度和经度的地面水平的已知高度处测得的大气压力与预期大气压力之间的差值来确定海拔，如定位系统32所指示。在其他示例中，测高仪可包括信号收发器，该信号收发器被配置为将信号(诸如电磁信号、声纳信号或其他信号)反射出地面并且测量直到检测到反射信号为止的时间。由于hmd16被佩戴在飞行员12的头部上，因此在其他示例中，测高仪45可包括数据输入设备，以供飞行员12输入他或她的身高，该身高大致对应于当飞行员12直立时hmd16在地面上方的高度。在其他示例中，测高仪45可使用立体图像来确定海拔。
地面站(gs)20为基于接地的计算设备，其包括收发器46、控件48和显示器50。在一些示例中，gs20为固定通信站，诸如无线电塔。在其他示例中，gs20为移动计算设备，诸如膝上型电脑、平板电脑、智能电话或其他计算设备。如图2所示，gs20被配置为经由收发器46从uav14和hmd16两者发送和接收数据。在一些示例中，uav14被配置为与hmd16直接通信。
gs20包括一个或多个控件48，诸如键盘、触摸屏、按钮、节流阀或其他类似的用户输入设备。gs20进一步包括显示器50，诸如被配置为显示来自uav14的相机、传感器和/或飞行数据的屏幕。在一些示例中，显示屏50被配置为显示由uav14上的相机116捕获的实况视频馈送(livevideofeed)。在一些示例中，地面站20包括收发器46，该收发器被配置为从uav14的传感器118接收遥测数据并且将遥测数据无线传送到hmd16的收发器44。
在一些示例中，系统10还可包括一个或多个用户操作的控制设备(控制器)30，该一个或多个控制设备允许用户操作uav14、与ui交互和/或以其他方式向连接到网络的处理设备或其他系统提供命令或请求。例如，控制器30可包括麦克风、触摸板、控制面板、运动传感器或用户可与之进行交互的其他类型的控制输入设备。在一些示例中，控制器30可结合在gs20内。在其他示例中，控制器30可结合在hmd16内。在其他示例中，控制器30为不同的手持设备，其具有一个或多个按钮、切换件、触摸屏或被配置为控制uav14的运动的其他类似控制输入。
在根据本公开的一些示例中，并且如关于图3a至图3d进一步详述的，在下面，hmd16的处理电路42被配置为从uav14接收位置数据并且从hmd16接收至少位置数据，并且使用所接收的数据来确定uav14相对于hmd16的显示屏38的fov的位置。hmd16的在hmd16和uav14之间的fov可呈现矩形截头锥体的形状，该矩形截头锥体具有扩展的水平宽度尺寸和扩展的高度尺寸，这两个尺寸均垂直于从hmd16延伸到uav14的距离处的视场的中心“c”的线截取。例如，hmd16内的处理电路42可被配置为基于所接收的位置和取向数据来确定uav14相对于hmd16的fov的中心“c”水平位置(图3a至图3b)和竖直位置(图3c至图3d)两者。图3a至图3d的示例性方法和过程(例如，具体公开的计算)仅作为示例进行叙述，并非旨在进行限制。
图3a是示出根据本公开的一种或多种技术的用于确定uav14相对于hmd16的fov26的水平位置的示例性过程的概念图。为了确定uav14是否位于hmd16的水平fov内，hmd16(例如，hmd16内的处理电路42)确定两个水平距离的量值：(1)在uav14的距离处，hmd16的视场26的中心“c”与fov的左边缘fov左(或等同地，右边缘fov右)之间的宽度fov宽度；和(2)uav14与fov中心之间的水平距离dhor。一旦hmd16确定fov宽度和dhor的值(例如，量值)，则hmd16比较这两个值以确定uav14是否位于fov26的水平宽度内。例如，如果dhor小于fov宽度，则uav14位于fov26的水平宽度内。如果dhor大于fov宽度，则uav14不位于fov26的水平宽度内。
等同地(例如，除此之外或另选地)，hmd16可确定fov中心c、hmd16和uav14之间的水平角度αδ是大于还是小于1/2fθ，其中fθ表示hmd16的水平视场的固定角度。如果αδ小于1/2fθ，则uav14位于fov26的水平宽度内。
图3b是图3a的示意图的俯视图。在一个示例性过程中，hmd16基于一个已知值和三个测量值来确定αδ、dhor和/或fov宽度的值。水平角度fθ(其限定视场26的水平分量)为由所制造的hmd16的显示屏38和/或相机40(图2)的尺寸和相对位置限定的固定值。例如，显示屏38和相机40可各自限定视场，该视场在一些情况下可基本上彼此对齐。在一些示例中，显示屏38和相机40的视场可略微不同，例如，可不完全对齐，然而对于本文所述的示例性技术可足够相似以互换。因此，hmd16(例如，pc42和存储器43)知道1/2fθ的固定值。
hmd16(例如，收发器44和/或pc42)接收由各种传感器和/或检测器测量的三个其他值。hmd16的定位系统32(图2)确定hmd16的相对位置。例如，定位系统32可包括gps设备，该gps设备被配置为确定hmd16的纬度和经度(hlat,hlon)。类似地，uav14的定位系统52(图2)确定uav14的相对位置。例如，定位系统52可包括gps设备，该gps设备被配置为确定uav14的纬度和经度(ulat,ulon)。hmd16内的取向单元36(图2)确定hmd16的相对取向。例如，取向单元36可包括被配置为确定角度αhmd(fov中心c、hmd16和北66(例如，磁北和/或真北)之间的水平角度)的值的罗盘或磁力仪。hmd16内的收发器44和/或pc42(图2)接收指示(hlat,hlon)、(ulat,ulon)和αhmd的数据。
基于(hlat,hlon)和(ulat,ulon)，hmd16确定距离d地面，即hmd16和uav14之间沿着直线的水平“地面距离”。例如，hmd16可实施勾股定理a2 b2＝c2，其中“a”为ulat和hlat之间的差值“δlat”，“b”为ulon和hlon之间的差值“δlon”，并且“c”等于d地面。
使用d地面、δlat和δlon的确定值，hmd16可确定αuav的值，即uav14、hmd16和北66之间的水平角度。例如，使用已知的数学关系，即sine(θ)＝(对边/斜边)的已知数学关系，hmd16可确定角度αuav等于(δlon/d地面)的反正弦。
使用αhmd的测量值和αuav的确定值，hmd16可将αδ的值确定为αhmd和αuav之间的差值。然后，hmd16可将αδ的确定值与1/2fθ的固定值进行比较，以确定αδ是否小于1/2fθ，并且因此确定uav14是否在hmd16的水平视场26内。使用另外的三角比，hmd16可类似地确定fov宽度和dhor的值，以确定uav14在fov26内的近似水平位置(例如，uav14在显示屏38上的近似水平位置)。例如，dhor等于d地面*sine(αδ)。从hmd16到fov中心c的水平距离dch等于d地面*cosine(αδ)。fov宽度等于dch*tangent(1/2fθ)。
如果hmd16确定uav14在水平视场内，则pc42可采用(dhor/fov宽度)的比率来确定显示屏38上的近似位置(作为屏幕宽度的百分比)以放置指示uav14的位置的边界框。
图3c是示出了根据本公开的一种或多种技术的hmd确定uav相对于hmd的fov的竖直位置的概念图。hmd16(例如，hmd16内的处理电路)确定两个竖直距离的量值：在uav14的距离处，hmd16的视场26的中心“c”与fov的顶部边缘fov顶部(或等同地，底部边缘fov底部)之间的高度fov高度；以及uav14与fov中心之间的竖直距离dvert。一旦hmd16确定fov高度和dvert的值，则hmd16比较这两个值以确定uav14是否位于fov26的竖直高度内。例如，如果dvert小于fov高度，则uav14位于fov26的竖直高度内。如果dvert大于fov高度，则uav14不位于fov26的竖直高度内。
等同地，hmd16可确定fov中心c、hmd16和uav14之间的对顶角βδ是大于还是小于
图3d是图3c的示意图的侧视图。hmd16基于一个或多个已知值和测量值来确定βδ、dvert和/或fov高度的值。竖直视场26的对顶角
hmd16接收由各种传感器和/或检测器输入或测量的三个其他值。hmd16确定hmd16在地面上方的高度或海拔ahmd。例如，由于hmd16旨在佩戴在飞行员12的头部上，因此如果飞行员12在控制hmd16的同时直立，则ahmd可大致等于飞行员12的身高。系统10可包括用于接收指示飞行员12的身高的输入的装置。在一些示例中，hmd16可包括其自身的测高仪，类似于uav14的测高仪58。在一些示例中，为了计算简单起见，系统10可假设ahmd与飞行中uav14的海拔相比显著更小(例如，可忽略不计)，并且因此将ahmd设置为等于零。
uav14的测高仪58(图2)确定了uav14在地面上方的高度或海拔auav。hmd16内的收发器44(图2)接收指示auav的数据。hmd16内的惯性测量单元(imu)34(图2)确定hmd16相对于重力的相对取向。例如，imu34可包括被配置为确定角度βhmd(从hmd16延伸的水平轴线(例如，平行于地面)与视场中心之间的对顶角)的值的加速度计或其他传感器。hmd16确定hmd16与uav14之间的水平地面距离d地面，如上面关于图3b所描述的。
hmd16将距离dcv(水平轴线和fov中心c之间的竖直距离)确定为等于d地面*tan(βhmd)。使用dcv，hmd16将距离dvert(uav14与视场中心c之间的竖直距离)确定为等于(auav-ahmd-dcv)。
使用dvert，hmd16将角度βuav(水平轴线、hmd16和uav14之间的角度)确定为等于[(dvert dcv)/d地面]的反正切。使用βuav，hmd16将βδ确定为βuav和βhmd之间的差值。hmd16将f高度确定为等于
然后，hmd16可将βδ的确定值与
如果hmd16确定uav14在竖直视场内，则pc42可确定(dvert/fov高度)的比率以确定显示屏38上的近似位置(作为屏幕高度的百分比)以放置指示uav14的位置的图形对象，诸如边界框。
图4是根据本公开的一种或多种技术的可在hmd16(图2)的显示屏38上生成和显示的示例性用户界面(ui)或图形用户界面(gui)72。在图4所描绘的示例性gui72中，根据关于图3描述的示例性技术，hmd16的处理电路42(图2)已确定uav14的位置在显示屏38的视场内。在这种情况下，处理电路42生成并且输出指示uav14相对于屏幕的位置的图形对象(诸如边界框64)以在显示屏38上显示。尽管图4将图形对象描绘为矩形边界框64，但图形对象可采取uav位置的任何图形指示的形式，诸如任何其他几何形状，诸如圆形或三角形、uav14周围的大致轮廓，或uav14在显示屏38上的图像周围的高亮、阴影、闪烁或其他视觉识别的指示。
在一些示例中，hmd16(例如，hmd16内的收发器44)可分别从ou56和imu54接收取向数据和惯性数据，使得pc42可“预测”uav14的后续相对位置并且相应地更新边界框64。通过在uav14到达该位置之前确定uav14的位置，hmd16可减少uav14到达特定位置与在该位置上方显示边界框64之间的“滞后时间”。
gui72进一步包括指示由uav14、hmd16或两者内的传感器获得的数据的多个虚拟元素。例如，gui72包括指示uav14与hmd16之间的距离70、uav14的空速和取向74、连接到定位系统部件32、52(图2)的卫星76的数量以及uav14的估计剩余电池寿命78的元素。
图5是根据本公开的一种或多种技术的可在hmd16(图2)的显示屏38上生成和显示的示例性ui或gui80。在图5所描绘的示例性gui80中，根据关于图3描述的示例性技术，hmd16的处理电路42(图2)已确定uav14的位置不在显示屏38的视场内。在这种情况下，处理电路42生成并且输出文本警报82以在显示屏38上显示，该文本警报指示uav飞行员12已丢失与uav14的视线。在一些示例中，hmd16可除此之外或另选地输出指示这一情况的音频警报。gui80进一步包括图形对象诸如一组箭头84，该图形对象向飞行员12指示转动他们的头的方向以便将uav14带回显示屏38的视场内。尽管图5将图形对象描绘为一组箭头84，但图形对象可采用任何其他方向指示形式，诸如沿着显示屏38的相应边缘的单个箭头或闪光灯。在一些示例中，除图形对象之外或作为图形对象的替代，hmd16可在佩戴者的相应耳朵中输出可听指示，诸如音调或声音，指示佩戴者转动他或她的头部的方向。
图6是根据本公开的一种或多种技术的可在hmd16(图2)的显示屏38上生成和显示的示例性ui或gui86。在图6所描绘的示例性gui86中，hmd16的处理电路42(图2)已确定uav14的位置在显示屏38的视场内并且已在uav的位置周围生成边界框64。然而，hmd16的收发器44已从uav14的测高仪58接收到指示uav14飞行得太低并且可能有撞向地面的风险的数据。在这种情况下，处理电路42生成并且输出文本警报88以在显示屏38上显示，该文本警报建议uav飞行员12应操作控制器30以便增加uav14的海拔。在一些示例中，hmd16可除此之外或另选地输出指示这一情况的音频警报。
在一些其他示例中，处理电路42可生成并且输出若干其他虚拟或图形元素(图6中未示出)以在屏幕38上显示。例如，屏幕38可显示uav14的计划飞行路径，包括飞行路径内的任何潜在障碍物的指示，诸如边界框。在另一示例中，屏幕38可显示管制空域或“禁飞区”的指示。例如，屏幕38可接收指示炼油厂的数据，并且生成指示uav14必须离开炼油厂的阈值距离(诸如100米)的虚拟边界。在一些示例中，屏幕38可显示来自uav14的相机116的实况视频馈送，在屏幕38的较大视场内显示为“画中画”。在一些示例中，屏幕38可显示指示uav14的相机116的视场的图形元素，诸如uav14在其顶点处的三角形图形元素。在一些示例中，屏幕38可显示多个其他飞行指示或警告，诸如指示低uav电池电量、gps信号丢失、障碍物非常接近或完成了一个或多个任务里程碑。例如，处理电路42可对由hmd16的相机40、uav14的相机116或两者捕获的图像数据执行图像处理，以便识别靠近uav14的一个或多个障碍物，诸如鸟或附近飞行器。在其他示例中，当收发器44从飞机接收到广播式自动相关监视(ads-b)信号时，处理电路可确定附近飞行器的存在。
图7是示出了根据本公开的技术的用于确定和显示uav相对于hmd的fov的位置的示例性操作的流程图。描述了关于图1和图2的系统10的图7的示例性技术，但该技术可由任何适当的计算系统执行。处理电路42经由收发器62和44诸如从安装在uav内的gps设备52和测高仪58接收指示uav14的地理定位的数据。处理电路42进一步诸如从安装在uav内的罗盘56和imu54接收指示uav14的取向的数据(120)。
处理电路42进一步诸如从安装在hmd内的gps设备32接收指示hmd16的地理位置的数据。处理电路42进一步诸如从安装在hmd内的罗盘36和imu34接收指示hmd16的取向的数据(122)。
处理电路42根据uav14和hmd16两者的位置和取向数据确定uav14相对于hmd16的显示屏38的视场的相对位置(124)。例如，处理电路42确定uav14是在屏幕的视场内还是视场外。
处理电路42生成并且输出uav14的位置的指示以在屏幕38上显示(126)。例如，如果uav14在显示屏38的视场内，则处理电路42在uav14相对于屏幕的大致位置周围生成并且输出矩形形状的边界框。在uav14不在显示屏38的视场内的示例中，处理电路生成并且输出指示uav14相对于屏幕38的位置的指示，诸如箭头或箭头组，使得hmd16的用户可转动他或她的头部以将uav14带回视场内。
图8是示出了根据本公开的技术的用于确定和显示uav相对于hmd的fov的位置的示例性操作的流程图。描述了关于图1和图2的系统10的图8的示例性技术，但该技术可由任何适当的计算系统执行。在一些示例中，hmd16与地面站20诸如膝上型电脑或其他数据传输设备建立数据通信连接(90)。在其他示例中，hmd16与uav14直接通信。hmd16诸如从uav14内的gps传感器52和测高仪58接收uav位置数据(92)。hmd16诸如从hmd16内的gps传感器32接收hmd位置数据(94)。
hmd16诸如从uav14内的罗盘56和imu54接收uav取向数据(96)。hmd16诸如从hmd16内的罗盘36和imu34接收hmd位置数据(98)。
使用hmd16和uav14两者的位置和取向数据，hmd16确定hmd16和uav14之间的距离(100)。hmd16内的处理电路42生成在hmd16内居中的球面坐标平面，使得显示屏38的视场的边界沿着球体的一组半径延伸(102)。基于球面坐标平面，处理电路42确定由相机40的视场界定的截头锥体(104)。处理电路42确定uav14的大致位置与所确定的截头锥体的中心(例如，球面坐标平面的中心)之间的距离(106)。处理电路42基于该距离确定uav14的位置是否在所确定的截头锥体内(108)。
如果uav14在截头锥体尺寸之外，则处理电路42确定并且指示移动截头锥体的方向(例如，通过hmd16的佩戴者转动他或她的头部来移动)以便减小截头锥体和uav14之间的距离(110)，然后根据需要重复先前的步骤，直到uav14在截头锥体尺寸内。
如果uav14在截头锥体尺寸内，则处理电路42在uav位置周围生成并且输出图形指示，诸如矩形边界框以供显示(112)。
图9是示出了根据本公开的技术的用于确定和显示uav相对于hmd的fov的位置的示例性操作的流程图。描述了关于图1和图2的系统10的图9的示例性技术，但该技术可由任何适当的计算系统执行。无人飞行载具系统10包括增强现实(ar)头戴式显示器(hmd)设备16，该hmd设备具有处理电路(pc)42，该处理电路被配置为至少确定无人飞行载具(uav)14的位置(900)。例如，uav14可包括定位系统(ps)52，诸如全球定位系统(gps)、测高仪58和收发器62，该收发器被配置为将uav14在地面上方的uav纬度ulat、uav经度ulon和海拔auav传输到hmd16。
hmd16的pc42还可被配置为确定hmd16的位置和取向(902)。例如，hmd16可包括其自己的定位系统(ps)32和取向单元(ou)36，该定位系统和取向单元被配置为：确定hmd纬度hlat、hmd经度hlon、基本方向航向或方位αhmd和相对于重力的角度βhmd。
基于arhmd的取向在arhmd上呈现uav的位置的指示。
使用至少该数据，hmd16的pc42被配置为确定uav的位置(包括地理定位和海拔)是否在hmd16的视场(fov)内(904)。在一些示例中，pc42可构建基于网格的坐标系以确定uav14是否定位在hmd16的水平视场和竖直视场两者内。在其他示例中，pc42可构建以hmd16为中心的球面坐标系，并且确定fov的中心c与uav14之间的角度是大于还是小于hmd16的fov的固定角度。在一些示例中，pc42可使用基于网格的距离和球面角两者的组合来确定uav14的相对位置。
响应于(例如，基于)确定uav14是否在hmd16的fov内，pc42被配置为在arhmd16的显示屏38上生成并且呈现uav的相对位置的指示。例如，响应于确定uav14在hmd16的fov内，pc42被配置为在hmd16上呈现第一图形对象(906)。第一图形对象可包括例如指示uav的可能位置的边界框，或任何其他基于视觉的uav位置指示。
pc42还被配置为响应于确定uav14不在hmd16的fov内，在hmd16上呈现第二图形对象(908)。第二图形对象可包括例如一组箭头，或uav14相对于hmd16的相对位置的其他基于视觉的指示。
在一些示例中，pc42还被配置为确定uav14的飞行路径附近的障碍物的位置，并且基于arhmd的取向在arhmd上呈现障碍物的位置的指示。例如，pc42可通过处理来自hmd相机40或uav相机116的图像数据来确定障碍物的位置，然后在显示屏38上在障碍物周围显示边界框。飞行路径障碍物的示例包括结构(例如建筑物、无线电塔)、鸟、有人驾驶飞行器(诸如飞机、直升机等)、第二uav或地形(诸如岩石、树木、山丘等)。
在一些示例中，pc42被进一步配置为确定管制空域的位置，并且基于arhmd的取向在arhmd上呈现管制空域的位置的指示。例如，附近的管制空域可包括机场、炼油厂、体育场或具有周围禁飞阈值距离的其他监管空域。
在一些示例中，pc42被配置为确定uav14的相机116的视场并且输出相机116的视场的指示以在hmd16上显示，使得hmd16的佩戴者可在视觉上确定相机116及其目标捕获窗口的大致方向。
在一些示例中，pc42可被进一步配置为确定并且输出uav14的剩余电池寿命、uav14的海拔auav、uav14的空速、与uav14通信的卫星数量或uav14的罗盘航向中的一者或多者以显示。
在一些示例中，pc42可被进一步配置为输出警报以在hmd16上显示，该警报诸如响应于确定并且指示uav电池电量低、gps信号丢失、障碍物接近警告、达到uav任务里程碑中的一者或多者。
在一些示例中，收发器44和pc42可被配置为从uav相机116接收视频数据，并且输出该视频数据以在hmd16上显示。例如，hmd16的显示屏38可包括“画中画”式窗口，该窗口以来自uav14的相机116的录制视频数据的实况馈送为特征。
在一些示例中，收发器44和pc42可被配置为诸如相对于uav14的当前定位或位置，接收uav14的计划飞行路径并且输出飞行路径的指示以在hmd16上显示。
在一些示例中，pc42可被进一步配置为确定hmd16和uav14之间的视线丢失，并且输出视线丢失的指示以在hmd16上显示。
在一个或多个示例中，所描述的功能可以通过硬件、软件、固件或其任何组合来实现。如果以软件实施，则可将功能作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质传输，并且由基于硬件的处理单元执行。计算机可读介质可包括对应于有形介质(诸如数据存储介质)的计算机可读存储介质43、61，或者包括例如根据通信协议促进计算机程序从一个地方传输到另一个地方的任何介质的通信介质。这样，计算机可读介质通常可对应于：(1)非暂态的有形计算机可读存储介质，或者(2)通信介质诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
以举例而非限制的方式，此类计算机可读存储介质43、61可包括ram、rom、eeprom、cd-rom或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存，或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。而且，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(dsl)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、dsl或无线技术诸如红外线、无线电和微波都包含在介质的定义中。然而，应该理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是针对非暂态有形存储介质。如本文所用，磁盘和光盘包括压缩光盘(cd)、激光盘、光学光盘、数字通用光盘(dvd)、软磁盘及blu-ray光盘，其中磁盘通常以磁性方式复制数据，而光盘则利用激光以光学方式复制数据。上述的组合也应该包括在计算机可读介质的范围内。
可由一个或多个处理器42、60诸如一个或多个dsp、通用微处理器、asic、fpga或其他等效集成或离散逻辑电路执行指令。因此，如本文所使用的术语“处理器”可以指任何前述结构或适用于实施本文所描述的技术的任何其他结构。此外，在一些方面中，可以在被配置用于编码和解码的专用硬件和/或软件模块内提供本文描述的功能，或者将其结合到组合编解码器中。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在各种设备或装置包括无线手机、集成电路(ic)或一组ic(例如，芯片组)中实现。在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，各种单元可组合在编解码硬件单元中或者由结合合适的软件和/或固件的互操作硬件单元(包括如上所述的一个或多个处理器)的集合提供。
用于将图像自动保存在web服务器上的云技术不限于本地或全局互联网云。其可以是受用户id和密码保护的私有云和/或公共云。密码可不限于一个或两个。
已经描述了各种示例。这些实施例和其他实施例在以下权利要求的范围内。
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
