基于点播图像的位置跟踪平台的制作方法

基于点播图像的位置跟踪平台
1.相关应用申请的交叉引用-权利或优先权
2.本技术是2019年3月15日提交的共同转让的且共同未决的题为“基于点播室外图像的位置跟踪平台”的在先美国申请no.16/355,443的部分继续申请，并根据35 usc
§
120要求该先美国申请no.16/355,443的优先权的权益，该先美国申请no.16/355,443的公开内容通过引用整体并入本文。申请no.16/355,443要求于2018年3月15日提交的题为“基于点播室外图像的位置跟踪平台”的美国临时申请no.62/643,501的优先权，该美国临时申请no.62/643,501通过引用整体并入本文。
技术领域
3.在此描述的各种实施例涉及用于执行位置定位的系统和方法，并且更具体地涉及用于在室内和室外环境中对对象和人的准确定位和位置跟踪的系统和方法。


背景技术：

4.鉴于智能城市、联网汽车和“物联网”(internet of things，iot)等应用的兴起，各种基于位置的应用变得越来越重要，因此对准确定位和位置跟踪的需求一直在增加。人们正在将位置定位用于从标记拍摄图片的位置到个人导航的所有内容。越来越多的公司将基于位置的服务集成到他们的平台中，以提高其服务的生产力和可预测性。
5.在大多数情况下，由需要知道设备位置的应用使用的方法需要本地接收器访问全球定位系统(global positioning system，gps)的。其他有竞争性的全球导航卫星系统也存在，例如glonass等。此类全球导航卫星系统(例如当前基于gps的系统)的一个主要缺点是它们都需要位于被跟踪对象上的相对灵敏的gps接收器。这不一定有效、实用或可行，尤其是在安全威胁或紧急情景(如自然灾害等)等危急情况下。此外，存在难以接收当前全球导航卫星系统的卫星传输的必要信号的情况。这可能是由于使用位于室内的卫星接收器或在对卫星信号有障碍物(例如高大建筑物、植物等)存在的情况下尝试接收卫星信号时存在固有困难。
6.除此之外，大多数目标资产(例如，对象和人)需要发射器以与目标资产并列，并将目标资产获得的信息发送到处理系统，然后处理系统评估所传输的信息。对发射器的需要增加了与目标资产一起存在的设备的功耗、成本和复杂性。
7.因此，需要一种用于定位和跟踪目标资产的系统，而无需在被跟踪的目标资产上的发射器或接收器。


技术实现要素：
附图说明
8.图1是根据所公开的方法和装置的系统的一个示例的示意图；
9.图2是安装在建筑物内部墙壁上的室内相机的示意图；
10.图3是根据所公开的方法和装置的实施例的系统的示意图；
11.图4示出了当感兴趣区域直接位于相机视野下方时基于2d旋转的位置跟踪步骤的示例；
12.图5示出了当感兴趣区域不位于相机视野下方并且具有任意倾斜角度时基于3d旋转的位置跟踪步骤的示例。
13.各图中相同的参考数字和名称表示相同的元件。
具体实施方式
14.本公开的方法和装置使用各种硬件设备和硬件平台与软件算法一起来识别、定位和/或跟踪目标资产。在一些实施例中，数字信号处理和图像处理用于执行所期望的任务。在一些实施例中，目标资产包括诸如但不限于交通工具、电子设备、汽车钥匙、人等对象。所公开的方法和装置的一些实施例提供基于位置的服务而不需要与目标资产相关联的复杂、昂贵或笨重的设备。这样的实施例消除了对由目标资产携带、附于或以其他方式存在于目标资产上或在目标资产的位置处的跟踪设备、发射器或接收器的需要。
15.所公开的方法和装置还可以帮助各种相关应用，例如识别特别感兴趣的情况和机会。在一些实施例中，这些机会和情况包括识别空停车位的位置、在系统不知道建筑物地址的情况下根据建筑物的图像或建筑物上或附近的图像查找特定建筑物、在封闭环境中识别和查找丢失或错放的物品等。在一些实施例中，建筑物的独特结构或识别特征(例如带有公司名称或占用建筑物的其他实体名称的标志)，用于查找建筑物。在一些实施例中，基于图像处理的技术用于准确识别和/或定位目标资产。所公开的方法和装置的一些这样的实施例使用人工智能(artificial intelligence，ai)来帮助定位或识别目标资产。在其他实施例中，使用不依赖于ai的技术。
16.图1是所公开的方法和装置的一个实施例的图示。根据所公开的方法和装置，系统100使用一个或更多个相机103。在一些实施例中，相机103a安装在在地理区110上空飞行的一个或更多个无人机102、104上。在一些这样的实施例中，领头无人机102具有允许领头无人机102控制和协调次级无人机104的操作的处理器。在所示出的示例中，领头无人机102被明确示出为具有相机103a。然而，为了简单起见，次级无人机104也可以具有未在图中示出的相机。
17.通过本公开应该注意的是，附图中使用的参考标记可以包括数字字符后跟字母字符，例如103a，其中数字字符“103”后跟字母字符“a”。具有相同数字字符的参考标记指的是在结构上或功能上或两者上相似的图的特征。例如，相机103a、103b执行相似的功能，然而每个相机103可以与安装相关联。此外，可以仅使用参考标记的数字字符来共同引用相似的特征。例如，在本公开中，“相机103”是指无人机安装的相机103a和任何其他相机，例如图2中所示的壁挂式相机103b。
18.在一些实施例中，地理区110在蜂窝传输塔112的蜂窝覆盖区域111内。蜂窝传输塔112促进了蜂窝电话核心网络106和系统100的组件(例如领头无人机102中的通信模块105a、智能电话113等)内的各种通信模块105之间的通信。在一些实施例中，核心网络106为通信模块105提供对基于云的服务、云连接的设备(例如云服务器116)和其他通信网络的访问。
19.在所公开的方法和装置的一些实施例中，无人机相机103用于确定目标资产的位置的相对粗略估计。一旦通过处理来自无人机的相机的图片检测到目标资产，根据无人机的高度和视野，就可以确定目标的地面位置的粗略估计。一旦识别了相机的视野的大致位置，就可以从地图服务(例如，谷歌地图)的api中提取覆盖所描绘区的区域地图的图像。在某些情况下，这种提取可以自动执行。或者，可以从区数据库中提取相关区域地图的图像。一旦获得了相关地图的图像，上述图像旋转算法、缩放和图像拟合过程可以将地图的图像拟合到图片中，然后对目标资产进行精细定位。在一些实施例中，此类服务由云服务器116内的处理器提供。
20.通过拍摄视野的图片、旋转(并且在一些实施例中缩放图片中提供的信息)以拟合地图的图像(例如，从谷歌地图获得的信息)和通过图像识别推断对象位置来定位被追踪的目标资产。
21.在其他实施例中，无人机配备有准确的位置跟踪系统，以便可以(例如，使用卫星位置定位系统、地面三角测量、无人机三角测量、其他位置定位技术，或这些技术中的一种或更多种的组合)准确地确定无人机的位置。
22.所公开的方法和装置能够提供关于目标资产的非常准确的实时位置信息。此外，所公开的方法和装置可用于通过将从相机拍摄的图片导出的信息与数据库进行匹配并使用对象或模式识别算法来定位目标资产来查找特定对象或人。在定位目标资产之后，系统100可以跟随目标资产。在使用无人机来支撑相机的一些实施例中，无人机可以相应地移动以保持与目标资产的视觉接触。
23.相机可以捕获到的地面区域可能包括所有无人机正下方的整个区域。或者，由相机拍摄的图像可以捕获仅具有相机的无人机下方的地理区或无人机102、104的子设备下的区域。
24.在其他实施例中，至少在无人机正在提供信息供系统100使用的时间的某部分，并且可能在整个时间，次级无人机104处于由领头无人机102中的相机拍摄的图像所捕获的区域之外。尽管如此，在一些实施例中，次级无人机104中的每一个都可以与领头无人机102通信。在一些这样的情况下，每个次级无人机104还可以与其他次级无人机104通信。在一些实施例中，这种通信是通过蜂窝电话网络或通过局域网进行的。在其他实施例中，可以使用其他通信系统来代替蜂窝电话网络，或者除了蜂窝电话网络之外，还可以使用其他通信系统。如下文将更详细地解释的，在感兴趣区顶部存在多个无人机改进并且在某些情况下简化了将地图的图像拟合到所拍摄的图片的能力。在无人机拍摄无人机下方区域的图片的一些实施例中，图片需要通过2d旋转机制进行旋转。当相机位于感兴趣区域(或跟踪区域)上方时，地图的图像可以被拟合到由相机对感兴趣区域的视图产生的图片。然后根据地图的图像中相应特征的坐标为图片中的每个像素指定一个坐标。
25.例如，使用在感兴趣区域上方100米处飞行的无人机上的4k相机，可以给出约小于1m/像素位置跟踪精度(取决于视野)。这比从gps单元获得的更好(取决于硬件和坐标系等)。
26.当从无人机下方的最接近的区域以外的区域拍摄图片时，可能需要进行3d旋转。3d旋转通常更复杂，可能需要人工智能来帮助图像映射匹配过程。
27.在一些实施例中，领头无人机102还可以与互联网网关114通信。互联网网关114提
供了一种手段，通过该手段可以将领头无人机102内的相机103拍摄的场景115的图片(以及由次级无人机104内的或安装在室内或室外的固定支架上的相机103拍摄的可能的图像)通过互联网117传输到基于云的服务器116或云内的其他资源。然后可以将该图像与另一个图像118(例如由卫星119拍摄的图像)进行比较。使用图像识别算法，云中的处理器116然后可以识别目标资产，例如跑马拉松的人，并基于由无人机102、104内的相机捕获的图像与处理器116通过独立方式已知的图像和其他特征数据的比较来跟踪目标资产。
28.图2是安装在建筑物206内部的墙壁204上的室内相机103b的图示。在一些实施例中，系统100使用室内相机103b和室外相机103a的组合来捕获信息。
29.在一些实施例中，相机103位于已知位置并且能够通过相关联的通信模块105与系统100的其他组件通信。在一些实施例中，通信模块105中的至少一个被集成到一个或更多个相关联的相机103中，其中通信模块105电耦接到相机103。在这样的实施例中，其他通信模块105可以在相机103之外，但是集成在系统100的组件(例如相机103也位于其中的无人机104)中，并且与相关联的相机103电耦接。在一些实施例中，一个通信模块105可以电耦接到几个相关联的相机103，并为几个相关联的相机103提供无线访问。系统100可以使用位于固定平台(例如图2中的壁挂式相机103b)或移动平台(例如安装在图1中的无人机102上的相机103a)上的相机103。
30.在一些实施例中，系统100的组件彼此之间例如通过蜂窝网络，或通过使用wifi或其他无线通信系统的局域网(lan)进行无线通信。相机103的位置可以是固定的，例如当相机103是墙壁、灯柱和天花板安装的一部分时，或者相机103的位置可以随时间变化，例如将相机103安装在车辆、机器人或无人机上的情况。这种相机103拍摄特定视野内的场景115、人208或感兴趣的对象的图片。
31.在室内相机202是系统100的一部分的一些实施例中，室内相机还连接到蜂窝电话收发器。
32.图3是系统100的图示。诸如相机103b的相机安装在墙壁208上(如图2所示)，或者诸如相机103a的相机安装在具有蜂窝电话收发器302的无人机102内，其中相机103b耦接到蜂窝电话收发器302。无人机102、104中的一个或更多个具有能够拍摄地面和无人机102、104下方的地面特征的相对高分辨率照片的相机103。
33.在一些实施例中，使用称为“图像拟合”的技术，可以将区域地图的图像拟合在图片内。然后可以识别图片内的对象并将该对象与区域地图的图像内的对象相关。因此，目标资产可以在区域地图内被准确地定位和/或关于与在地图的图像中具有已知位置的特征和/或对象相关的图片内识别的其他特征和/或对象的已知位置被准确地定位。一些实施例使用复杂的图像处理算法，该复杂的图像处理算法尝试进行模式匹配、图像旋转以及在一些实施例中的缩放，以找到最佳拟合。在某些情况下，图片被数字旋转和/或缩放以使区域地图的图像与图片拟合。在其他实施例中，区域地图的图像可以被数字旋转和/或缩放以匹配图片的方向和相对尺寸。因此，在找到“最佳拟合”时，系统100可以提供目标资产关于在地图的图像内具有已知位置的特征和对象的位置。
34.根据方法和装置的具体应用(例如，是否定位丢失的对象，例如丢失的汽车、识别空车位、查找所期望的人等)，在一些实施例中使用其他技术，例如面部特征识别、对象检测等。
35.在所公开的方法和装置的一些这样的实施例中，机器学习(ml)算法用于在确定目标资产的位置和位置跟踪之前的对象识别。在其他实施例中，深度神经网络(dnn)用于对象检测。在其他实施例中，用于执行面部识别的一种或更多种ai算法用于检测人体图像。对于移动的目标资产，基于图像旋转和在一些实施例中基于缩放的位置跟踪算法可用于在每个图像帧的基础上更新目标资产的位置。
36.图4示出了当感兴趣区域在相机视野正下方时基于2d旋转的位置跟踪步骤的示例。该图示出了在跟踪或定位区域顶部由相机拍摄的示例性图像410。位置跟踪或定位的感兴趣对象是停在停车场建筑物旁边的货车。假设感兴趣的货车已被对象检测机制识别，例如基于滑动窗口[1]、r_cnn(区域cnn)、方向梯度直方图(hog)[2]、yola[3]的对象检测神经网络架构。该机制绘制感兴趣的检测对象周围的框412。在一个实施例中，一旦对象在图片上被空间识别，下一步就是执行边缘检测414机制。边缘检测414，基本上是查找跨越特定对象(例如道路、建筑物422等)的边界。在不同的实施例中，边缘检测到的对象的数量和种类可能不同。这些边缘可以通过各种ai技术(例如卷积神经网络(cnn)架构中的特定过滤器)获得。包含感兴趣对象416的框也被转移到简图420，而其他图像细节可以被移除。这种简化可以极大地帮助步骤444上的图像旋转的处理负载。步骤424执行用边缘子集简化的图像420的2d旋转。在本发明的一个实施例中，2d旋转424机制以小步开始，并且将简图420旋转到其旋转版本430。然后边缘匹配块434将图像430电子地覆盖在地图440的顶部，并试图找出两个图像之间的差异。在一些实施例中，边缘匹配过程创建边缘检测过程以识别地图上的等效建筑物432、道路433和对象的边缘。在此过程的输出处，创建地图440的简化版本以与图像430进行比较。这在图4中显示为图像450。然后，图4中的机制尝试通过找到两幅图像的像素之间的差异来将旋转图像430与简化图450进行比较，并调整旋转角度和图像缩放以最小化差异。这种差异可以被定义为可以通过各种算法(例如梯度下降(gd)算法)最小化的误差函数。这种误差最小化可以被认为是最小化两幅图像之间的梯度的迭代过程。在另一个实施例中，误差函数可以是使用统计机器学习算法(例如k-最近邻)定义的。一旦误差函数被最小化，对象的位置就可以通过图像450上的框426(即框446)的位置来识别。该任务由位置估计块454执行。
[0037]
图5示出了当感兴趣区域不低于相机视场并且具有任意倾斜角度时基于3d旋转的位置跟踪步骤的示例。在一个实施例中，由相机302拍摄的初始图片被3d旋转以创建顶部视角510的图像估计。在许多情况下，这是一个复杂的过程，该复杂的过程涉及2d图片的3d图像的创建，然后将其朝顶部视图或90
°
视图旋转。在一些实施例中，可以使用前沿的深度神经网络(dnn)，例如自动编码器或生成对抗网络(gan)来执行3d旋转任务。
[0038]
在一个实施例中，在图像的3d旋转之后，处理过程类似于图4。在这种情况下，边缘检测由模块514执行，然后是2d旋转524和与地图540的边缘匹配534或其简化550。在反馈机制和误差最小化之后，然后通过地图550上的定位框526识别感兴趣对象的位置。
[0039]
尽管以上根据实施例和实施方式的各种示例描述了所公开的方法和装置，但是应当理解，在一个或更多个单独实施例中描述的特定特征、方面和功能不限于它们对用来描述它们的特定实施例的适用性。因此，要求保护的发明的广度和范围不应受在描述上述公开的实施例中提供的任何示例的限制。
[0040]
本文档中使用的术语和短语及其变体，除非另有明确说明，否则应被视为开放式
而非限制性的。作为上述示例：术语“包括”应理解为“包括但不限于”等；术语“示例”用于提供所讨论项目的实例示例，而不是其详尽或限制性的列表；术语“一个”或“一”应理解为“至少一个”、“一个或更多个”等；诸如“常规的”、“传统的”、“正常的”、“标准的”、“已知的”等形容词以及具有类似含义的术语不应被解释为将所描述的项目限制在给定的时间段内或在给定的时间内可用的项目，而是应该理解为包括现在或将来任何时间可用或已知的常规的、传统的、正常的或标准的技术。同样，当本文件涉及本领域普通技术人员显而易见或已知的技术时，此类技术包括本领域技术人员现在或将来任何时间显而易见或已知的技术。
[0041]
与连词“和”相关联的一组项目不应被理解为要求这些项目中的每个和每一个都存在于该组中，而应被理解为“和/或”，除非另有明确说明。同样，与连词“或”相关联的一组项目不应被理解为要求该组之间相互排斥，而应被理解为“和/或”，除非另有明确说明。此外，尽管所公开的方法和装置的项目、元件或组件可以以单数形式描述或要求保护，但复数也被预期在其范围内，除非明确声明限制为单数。
[0042]
在某些实例中，诸如“一个或更多个”、“至少”、“但不限于”或其他类似短语之类的扩展词和短语的存在不应被理解为意味着在可能不存在此类扩展短语的情况下打算或需要的较窄的情况。术语“模块”的使用并不意味着作为模块的一部分描述，或要求保护的组件或功能都被配置在一个公共包中。实际上，模块的各种组件中的任何或所有组件，无论是控制逻辑还是其他组件，都可以被组合在单个包中或单独维护，并且可以进一步被分布在多个组或包中，或跨多个位置分布。
[0043]
此外，本文阐述的各种实施例是在框图、流程图和其他图示的帮助下进行描述的。本领域的普通技术人员在阅读该文件后将变得显而易见的是，可以在不限于所示示例的情况下实施所示出的实施例及其各种替代方案。例如，框图及其随附的描述不应被解释为强制特定的架构或配置。