到多层建筑物的UAV阳台递送的制作方法

到多层建筑物的uav阳台递送
1.相关申请的交叉引用
2.本技术基于2019年12月4日提交的美国申请第16/703,170号，其内容通过引用整体并入本文。
技术领域
3.本公开总体上涉及无人飞行器(uav)，并且具体地但非排他地涉及使用uav来递送包裹。


背景技术：

4.无人机递送定位于改变轻量货物在位置之间(例如从零售商到消费者)移动的方式。然而，高密度的城市空间，特别是多层(multi-level)建筑物，对试图进行递送的飞行器提出了挑战。最直接和最期望的递送方式具有用于无人机在其路线期间跟随以投送包裹的无遮挡路径，这在高密度的城市空间中识别和分配具有挑战性。对于外部区分特征的发生率低的紧密坐落的城市公寓住宅，识别正确的递送目的地的挑战尤其严峻。使问题加重的是在传统导航方法(例如gps)不可靠的“城市峡谷”内部操纵的导航挑战。
附图说明
5.参考以下附图描述了本发明的非限制性和非穷举性实施例，其中除非另有指定，否则相同的附图标记在各个视图中指代相同的部分。并非元素的所有实例都必须进行标记，以在适当的地方不使附图混乱。附图不一定按比例绘制，而是将重点放在说明被描述的原理上。
6.图1示出了根据本公开的实施例的通过无人飞行器(uav)将邮包递送到多层建筑物的阳台。
7.图2示出了根据本公开的实施例的uav邮包递送系统。
8.图3是示出了根据本公开的实施例的uav邮包递送系统注册和验证阳台以用于经由uav的邮包递送的操作的流程图。
9.图4示出了根据本公开的实施例的示出阳台的大致位置的航空地图，其可以用于获得阳台的更精确位置的识别或确认。
10.图5示出了根据本公开的实施例的建筑物的包括要注册和验证的阳台的侧面的视觉模型或图片。
11.图6示出了根据本公开的实施例的用于接收来自终端用户的方向反馈以用于识别阳台上的目标递送位置的示例用户界面。
12.图7示出了根据本公开的实施例的经由手势向uav提供方向反馈以用于识别阳台上的目标递送位置。
13.图8示出了根据本公开的实施例的显示基准标记以协助uav识别阳台以及还可以如何使用由uav获取的确认性图像来验证阳台的正确识别。
具体实施方式
14.本文描述了用于验证阳台并将阳台注册到使用无人飞行器(uav)的邮包递送服务中的系统、装置和操作方法的实施例。在以下描述中，阐述了许多具体细节以提供对实施例的透彻理解。然而，相关领域的技术人员将认识到，本文描述的技术可以在没有一个或多个具体细节的情况下或使用其他方法、组件、材料等来实践。在其他实例中，众所周知的结构、材料、或操作未详细示出或描述以避免模糊某些方面。
15.贯穿本说明书的对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，贯穿本说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”不一定都指代相同的实施例。此外，特定特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。
16.一种用于将轻量邮包递送到多层建筑物(诸如高密度的城市公寓单元)的解决方案是使用无人飞行器(uav)将邮包递送到这些单元的阳台。该递送路线通常提供到客户方便地访问的位置的清晰、无遮挡的方法。阳台不仅是针对客户的方便位置，而且它们典型地是只有客户可以轻易接近的安全位置。从客户的角度来看，私人阳台的便利性和安全性使这些位置成为特别有吸引力的递送投送目的地。因此，阳台非常适合于轻量邮包(诸如信件和文件、处方药、小杂货、预制餐食或热食、小型电子设备等)的uav递送。
17.图1示出了根据本公开的实施例的由uav 105将邮包100递送到多层建筑物115的阳台110。然而，在uav 105能够开始递送邮包100之前，阳台110必须在航空递送服务中被验证并且然后被注册。验证要接收航空递送的阳台110包括从其他紧密定位且看起来相似的相邻阳台中识别正确的阳台110。在大型、高密度、多层的城市建筑物中，仅该任务会是挑战性的。识别正确阳台以用对应的客户帐户注册确保了未来的邮包100被递送到正确的终端用户/客户。除了识别正确的阳台之外，验证还包括确保邮包100可以可靠且安全地递送到请求的阳台。可靠、安全的递送要求到阳台110的无遮挡路径，以允许uav 105安全进入和出去。还需要在阳台110上或周围的充足的空间和间隙(clearance)。
18.本文的实施例描述了用于验证阳台110以接收邮包100的递送的过程。验证技术确保阳台110的正确识别和阳台110与给定客户的正确关联，连同确定阳台110的入口和出口是否无遮挡以及阳台110是否被适当地确定大小和/或无障碍物以接收航空递送。一旦成功实现验证，注册以经由uav航空递送来接收未来的邮包100可以继续进行。
19.uav 105的示出的实施例是垂直起降(vtol)uav，其包括用于提供水平和垂直推进力的分立的推进单元。uav 105是固定翼飞行器，顾名思义，其具有下述翼型：当被水平推进时，翼型可以基于机翼形状和载具的前向空速产生升力。uav 105的示出的实施例仅仅是示范性的，并且其他类型的uav(固定翼或非固定翼)也可以用于提供到多层建筑物的阳台的航空递送。
20.应当理解，本文对“无人”飞行器或uav的引用可以同样适用于自主和半自主飞行器。在完全自主的实现方式中，飞行器的所有功能是自动化的；例如，经由对来自各种传感器的输入和/或预定信息作出响应的实时计算机功能来预编程或控制。在半自主的实现方式中，飞行器的一些功能可以由人类操作员控制，而其他功能自主地执行。此外，在一些实施例中，uav可以被配置为允许远程操作员接管原本可以由uav自主控制的功能。更进一步地，给定类型的功能可以在一个抽象层次被远程控制，并且在另一个抽象层次被自主地执
行。例如，远程操作员可以控制针对uav的高层次导航决策，诸如指定uav应当从一个位置行进到另一个位置(例如，从郊区区域的仓库到附近城市的递送地址)，而uav的导航系统自主地控制更细粒度的导航决策，诸如在两个位置之间采取的特定路线、实现路线以及在导航路线时避开障碍物的特定飞行控制输入等。
21.图2示出了根据本公开的实施例的uav邮包递送系统200。uav邮包递送系统200的示出的实施例包括一个或多个uav 105、在一个或多个基于云的服务器210上运行的uav注册和验证后端205、一个或多个数据库215、以及在计算设备225(例如，移动计算设备)上可执行的客户端侧应用220。数据库215的示出的实施例包括安全用户数据230、航空地图235和详细地图240。
22.后端205与应用220和uav 105通信以管理用户账户、从应用220和uav 105两者恳请(solicit)用户数据和阳台信息以验证阳台并注册航空递送服务的新客户。后端205维护数据库215中与客户账户相关的安全用户数据230，以及与客户的阳台的物理位置、大小、几何形状、递送路线、可识别属性等相关的数据。用户数据230在可能的情况下被匿名化，并且这样的匿名化可以发生在从用户数据230的即时信息网关或源开始的系统200的任何组件内，诸如应用220或uav 105。后端205还从数据库215访问航空地图235，其详细说明与客户帐户相关联的建筑物和建筑物周围的邻近区(vicinity)。航空地图235不仅有助于在注册和验证过程中识别客户的建筑物，而且还可以针对阳台的入口和出口障碍物(诸如树木、电话线杆、毗邻的建筑物、塔等)而被分析。详细地图240可以包括建筑物的各种视觉模型或图片，以用于到/从阳台导航和识别阳台的目的。在可能的情况下，对用户数据230的访问限于注册和验证阳台所需的自动化机器和算法，并且对潜在的人类操作员匿名化或遮掩。应用220提供客户端侧接口以使客户能够与后端205通信、在航空递送系统中注册，并且潜在地在成功注册之后下订单以递送一个或多个邮包100。
23.尽管系统200将后端205示出为驻留在单个服务器210上以及示出了存储在单个数据库215中的安全用户数据230、航空地图235和详细地图240，但是应当理解，系统200可以实现为分布式系统，其具有在跨许多远程计算平台散布的许多位置处存储且在所述许多位置处执行的组件。
24.图3是示出了根据本公开的实施例的用于uav邮包递送系统200注册和验证阳台110以用于航空邮包递送的操作的过程300的流程图。一些或所有过程块出现在过程300中的顺序不应被视为限制性的。反而，受益于本公开的本领域普通技术人员将理解，一些过程块可以以未示出的各种顺序执行，或者甚至并行执行。此外，过程块中的几个过程块描绘了可选的步骤并且可以被省略。
25.在过程块305中，后端205经由在计算设备225上执行的应用220获得新客户的阳台的大致位置的识别。在一个实施例中，计算设备225是客户的移动计算设备，诸如智能电话、平板计算机、膝上型计算机或其他。在一个实施例中，大致位置的识别是客户的建筑物的物理地址。如果建筑物是多住所单元，则物理地址还可以包括单元编号(例如，套房或公寓编号)。此外(或替选地)，可以恳请客户输入以下中的一项或多项：其单元的楼层、其阳台离地面的大约高度、其阳台上方或下方的阳台数量或其他大致位置信息。
26.后端205使用大致位置信息(例如，带有单元编号的物理地址)从数据库215选择图像(例如，从航空地图235或详细地图240中选择)，以帮助用户精确地识别他们的阳台110在
他们的建筑物115上的位置。如果客户的建筑物尚未被绘图，或者绘图不足以好到基于他们的单元编号知道他们的阳台的精确位置(判定块310)，则过程300继续到过程块315。在过程块315，后端205将航空地图235发送到应用220以显示给客户。可以基于用户的物理地址来选择航空地图235。图4示出了示例航空地图图像400，其包括客户的建筑物115和周围的邻近区。然后通过与航空地图400的终端用户交互，恳请客户精确地识别他们的阳台110在航空地图图像400上的位置(过程块325)。例如，应用220的终端用户可以物理地触摸(或以其他方式指示)航空地图图像400上的定位(position)，以传达他们的阳台110在他们的建筑物115上的精确位置。
27.在一些实例中，客户的建筑物可以被充分地绘图(判定块310)以用于后端205显示系统认为对应于客户的单元编号的建筑物115的侧面的视觉模型或图片(过程块320)。例如，建筑物115内的足够的现有客户可能已经在航空递送服务中注册，使得后端205已经构建了建筑物115的模型或图片，并且能够对阳台110在建筑物115上的精确位置做出受过训练的(educated)确定或定位。图5示出了可以呈现给潜在(prospective)新客户的建筑物115的侧面的示例视觉模型或图片500。然后可以要求终端用户经由与图像的物理交互(例如，触摸精确位置)来识别他们的阳台110。替选地，系统可突出显示被认为对应于潜在新客户的阳台110的定位，并恳请对精确的阳台位置的确认(过程块325)。
28.在过程块325中确定的精确位置可以由后端205转换成客户的阳台的全球定位系统(gps)坐标。然而，在大多数情景下，对于唯一识别阳台110或远程确定到阳台110的可递送性，阳台110在多层建筑物中仍然过于密集聚居。因此，在过程块330中，恳请终端用户使用应用220和计算设备225捕获阳台110的一张或多张图片或从阳台110捕获一张或多张图片。
29.例如，应用220可以请求终端用户在站在阳台110上时捕获一张或多张图片。这些图片可以是从阳台110朝外的图片以捕获针对uav 105的任何潜在的入口或出口障碍物的图像。朝外的阳台图片也可以由uav 105使用以帮助视觉导航到阳台110并从建筑物115中的其他阳台识别阳台110。这些图片可以是客户想要投送他们的包裹的阳台110上的特定位置的图片。应用220可以引导终端用户从几个不同的有利点和/或方向获取图片。在一个实施例中，应用220可以请求终端用户站在阳台110上的一个或多个位置并获取一张或多张全景图片或指定方向上的图片。图片可以具有下述质量和性质：其不仅识别针对飞行器的任何入口/出口障碍物，而且提取视觉测量，使得后端205可以估计阳台110的大小(例如，宽度和深度)和/或到阳台110的接近开口的大小(例如，栏杆上方和下一层阳台下方的区域)。因此，后端205可以分析图片以确定阳台110上是否有足够的空间用于邮包递送。
30.在一些实施例中，应用220可以请求终端用户从地面获得他们的阳台的一张或多张图片。基于地面的图片也可以用于识别针对uav 105的任何障碍物或危险，和/或进一步帮助uav 105视觉导航到正确的阳台。
31.在过程块335中，应用220可以进一步请求来自终端用户的授权以从计算设备225收集附加的位置识别信息。可以向计算设备225查询gps坐标、大气压力或可以帮助定位阳台110的其他可用数据110。在一个实施例中，在用户允许的情况下，可以向计算设备225查询识别由计算设备225使用以与其他计算设备进行无线通信的无线网络信号的联网标识符。例如，应用220可以获得由计算设备225使用的蓝牙信号或无线接入点的名称或标识符
(例如，服务集标识符)。一旦uav 105到达现场以用于逼近飞行(flyby)验证，uav 105可以使用该信息来加快正确阳台110的搜索和识别。该识别信息供自动化系统使用，并且因此在可能的情况下匿名化，或者在人类操作员执行支持角色时以其他方式对人类操作员遮掩。
32.一旦后端205已经获取了阳台的大致位置(例如，建筑物地址、单元编号、楼层编号)、精确位置(如在航空地图图像、视觉模型或图片上识别的)，连同任何附加信息(例如，图片、位置数据、联网标识符)，分析收集的数据以计算可递送性分数(判定块340)。可递送性分数可以是对入口/出口的航空障碍物和阳台110是否具有足够的大小或间隙以接受经由空中的邮包递送的测量或估计。可递送性分数还可以考虑对于同一建筑物中相邻阳台的先前验证/注册(或其拒绝)。在一些情景中，数据可能足够清楚(例如，高于阈值高分数)以注册客户和他们的阳台，而不需要uav 105的逼近飞行验证(过程块345)。在其他情景下，数据可能足够清楚(例如，低于阈值低分数)以便立刻拒绝注册，而不需要逼近飞行验证(过程块350)。然而，在许多情况下，可递送性分数可能落在需要派遣uav 105执行初始或一次性逼近飞行验证的中间范围内。在命令(order)逼近飞行验证的这种中间范围情景中，过程300继续到过程块355。
33.在过程块355中，可以由后端205向终端用户提供与阳台110相关联的基准标记。基准标记作为视觉代码(code)进行操作：一旦uav 105到达现场，它就可以搜寻出该视觉代码，并使用该视觉代码来识别正确的阳台。基准标记可以经由应用220以视觉代码(诸如快速响应(qr)代码)的形式提供给终端用户。在一个实施例中，终端用户可以打印基准标记并将其附接在他们的阳台上。在其他实施例中，基准标记可以简单地由计算设备225上的应用220显示以供终端用户从阳台110显示给uav 105(例如，参见图8中的基准标记805)。
34.一旦uav 105到达建筑物115的邻近区，后端205可以通知终端用户uav 105在现场。通知可以是以文本消息、电话呼叫或应用内通知的形式。该消息可以被视为uav 105当前搜寻出阳台110的警报。如果终端用户选择不打印出基准标记并将其粘贴到阳台110，则终端用户可以简单地以突出的方式将计算设备225朝外握住以使uav 105发现(例如，参见图8)。
35.当uav 105到达现场以用于逼近飞行验证时，uav 105初始可以前往由过程块305中提供的物理地址识别的建筑物115，并进一步前往过程块325中由终端用户识别的建筑物115的侧面。此外，uav 105可以悬停在从终端用户的单元编号或楼层确定的初始海拔或高度(过程块365)。替选地(或附加地)，uav 105可以悬停在与从计算机设备225获得的大气压力(如果提供的话)匹配的初始海拔处。从该初始海拔，uav 105可以使用基于视觉的导航技术来搜索阳台110。这些基于视觉的技术可以参考在过程块330中由终端用户提供的图像，同时还光学扫描基准标记。此外，uav 105可以电子扫描用户的网络标识符(例如，wifi网络名称或服务集标识符(ssid)、蓝牙信号等)，作为uav 105是否在客户的阳台110的邻近区的进一步线索。搜索可以继续，直到uav 105能够识别基准标记805(过程块370)，或者继续有限的时间段。在搜索阳台110时，uav 105将采取预防措施，以通过匿名化隐私或敏感视觉或光学信息来保护隐私，例如通过模糊窗户、面部或其他这样的信息。
36.在一个实施例中，应用220可以恳请终端用户提供方向反馈以帮助uav 105识别阳台110和/或细化阳台110上的精确目标递送位置(过程块375)。例如，在一个实施例中，应用220可以显示用户界面(诸如图6中所示的用户界面600)，其允许终端用户提供方向反馈以
帮助uav 105到目标上。方向反馈可能不为终端用户提供对uav 105的实际或直接导航控制，而是被认为是uav 105可能慎重考虑的对uav 105的信息反馈。在一个实施例中，uav 105可以允许终端用户以手势的形式提供方向反馈，诸如图7中所示的手势705以识别阳台110上的目标递送位置710。一旦目标递送位置710被识别，阳台110和目标递送位置710两者可以由后端220记录/登记(register)。
37.在过程块380中，uav 105捕获阳台110的一个或多个图像，其可以包括基准标记805(参见图8)。后端205分析图像不仅用于识别，还用于确定阳台110针对接收航空邮包递送是否是可行的。可递送性基于清楚的入口和出口，连同足够的间隔和空间。图像之一还可以用作经由后端205和应用220发送回终端用户的确认性图像。在过程块385中，将由uav 105捕获的确认性图像提供给终端用户并且恳请最终确认。如果终端用户确认确认性图像并且图像的后端分析认为阳台110是可递送的(判定块390)，则阳台110被验证和注册(过程块395)。如果终端用户未能确认确认性图像或后端205分析确定阳台110不可接近或对递送不安全(判定块390)，则验证失败并拒绝注册(过程块350)。
38.上面解释的过程是在计算机软件和硬件的方面来描述的。所描述的技术可以构成被体现在有形或非暂时性机器(例如，计算机)可读存储介质内的机器可执行指令，当由机器执行时，将使机器执行所描述的操作。此外，这些过程可以体现在诸如专用集成电路(“asic”)或其他的硬件中。
39.一种有形机器可读存储介质包括以机器(例如，计算机、网络设备、个人数字助理、制造工具、具有一个或多个处理器的集合的任何设备等)可访问的非暂时性形式提供(即存储)信息的任何机制。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪存设备等)。
40.以上对本发明的示出的实施例的、包括在摘要中描述的内容的描述，并不旨在是穷举性的或将本发明限制为所公开的精确形式。尽管本文出于说明性目的描述了本发明的具体实施例和示例，但是如相关领域的技术人员将认识到的，在本发明的范围内可以进行各种修改。
41.可以根据以上详细描述对本发明进行这些修改。所附权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的具体实施例。反而，本发明的范围将完全由所附权利要求确定，这些权利要求将根据权利要求解释的既定原则来解释。