用于在体育事件中监测运动员表现的系统和方法与流程

用于在体育事件中监测运动员表现的系统和方法
1.本分案申请是申请日为2017年2月21日、申请号为201780024691.0、发明名称为“用于监测体育事件中的对象的系统和方法”的发明专利申请的分案申请。
2.相关申请的交叉引用
3.本技术要求2016年2月19日提交的题为“systems and methods for monitoring objects at sporting events”的美国临时申请第62/297,528号的优先权，该申请通过引用并入本文。
技术领域
4.本技术涉及用于在体育事件或其他类型的事件中监测对象的系统和方法。


背景技术：

5.一般而言，可能需要监测体育事件中的运动员或其它对象以便提供对运动员表现的评估或指示体育事件的其它信息。作为示例，已经开发了一些系统，其通过测量指示运动员表现的参数并提供指示所测量的参数的反馈来帮助训练运动员更好地或更一致地表现，从而可以在体育事件期间告知运动员他或她在体育事件期间的表现如何。另外，一些系统用于监测体育事件，以便提供关于体育事件的统计数据或其他数据以用于娱乐或训练目的。作为示例，系统可以监测和报告足球中的射门得分的长度，投手投掷的棒球的速度，短跑时的运动员的速度，或者指示例如足球、棒球、篮球、高尔夫球、冰球、足球或排球的对象的轨迹的信息。
6.用于监测体育事件中的运动员或其他对象的系统和方法可能是复杂且昂贵的，需要各种类型的传感器。另外，传感器通常安装或安置在预定位置，限制了传感器可以捕获的数据量和/或类型。通常需要用于监测体育事件和其他类型的事件中的对象的高效且廉价的技术。


技术实现要素：

7.根据一些实施例，本发明公开了一种用于在体育事件中监测运动员表现的系统，包括：无人机，配置为识别和跟踪体育事件中的运动员，所述无人机配置成飞行到预定位置以观察由运动员在体育事件中进行的体育活动，其中，运动员在进行体育活动时发射对象或带运对象，并且其中所述无人机具有至少一个传感器用于在运动员发射对象或带运对象时感测对象或运动员的运动，并且其中，所述至少一个传感器被配置为提供指示运动的传感器数据；以及至少一个处理器，被配置为基于所述传感器数据确定指示运动员在发发射对象或带运对象时的表现的第一参数；以及输出设备，被配置为基于所述第一参数提供指示运动员在发射对象或带运对象时的表现的反馈。
8.根据一些实施例，其中，所述无人机是由运动员佩戴的可佩戴无人机。
9.根据一些实施例，其中，所述至少一个处理器驻留在所述无人机上。
10.根据一些实施例，其中，所述对象是包括橄榄球、足球、棒球、排球、冰球和篮球的
组中的一个。
11.根据一些实施例，其中，所述预定位置是相对于所述运动员的。
12.根据一些实施例，其中，所述无人机被配置成基于所述传感器数据在体育活动期间与所述运动员一起移动，使得当所述运动员移动时所述无人机基本上保持在相对于所述运动员的所述预定位置。
13.根据一些实施例，其中，所述无人机被配置为基于所述传感器数据在体育活动期间与所述运动员一起移动。
14.根据一些实施例，其中，所述预定位置在所述运动员后面。
15.根据一些实施例，其中，所述至少一个传感器被配置为捕获所述运动员的图像，并且其中，所述无人机被配置为基于所捕获的图像来识别所述运动员。
16.根据一些实施例，其中，所述无人机被配置为基于所述运动员所穿的运动衫来识别所述运动员。
17.根据一些实施例，其中，所述无人机被配置为在第一操作模式下操作以用于确定至少所述第一参数，其中，所述无人机被配置为在第二操作模式下操作以用于确定指示运动员在体育事件中进行体育活动的表现的至少第二参数，并且其中，无人机被配置为观察体育事件的比赛情况并且基于比赛情况从所述第一操作模式转换到所述第二操作模式。
18.根据一些实施例，其中，所述第一参数是攻击性参数，并且其中，所述第二参数是防御性参数。
19.根据一些实施例，其中，所述至少一个处理器被配置为基于所述传感器数据确定所述对象的轨迹，并且其中，所述第一参数基于所述对象的轨迹。
20.根据一些实施例，其中，所述至少一个传感器被配置为捕获图像，其中，所述至少一个处理器被配置为将所述图像从相对于所述至少一个传感器的位置的视点转换为相对于头戴式显示器的位置的视点，并且其中，所述至少一个处理器被配置为将转换的图像发送到所述头戴式显示器。
21.根据一些实施例，其中，所述至少一个传感器被配置为捕获第一图像，其中，所述至少一个处理器被配置为接收所述第一图像和由第二无人机的至少一个传感器捕获的第二图像，并且其中，所述至少一个处理器被配置为拼接所述第一图像和所述第二图像以形成合成图像。
22.根据一些实施例，其中，所述无人机被配置为感测指示用所述无人机监测所述体育活动将停止的事件，并且其中，所述无人机被配置为响应于所感测的事件飞行到预定位置。
23.根据一些实施例，还包括位于所述运动员上的多镜头相机，所述多镜头相机具有多个镜头，其中，所述至少一个处理器被配置为接收由所述多镜头相机捕获的图像并且拼接所述图像，从而提供合成图像。
24.根据一些实施例，其中，所述合成图像限定围绕所述运动员的360度视图。
25.根据一些实施例，本发明公开了一种方法，包括：将无人机飞行到预定位置以观察运动员在体育事件中进行的体育活动；用无人机跟踪所述运动员；当运动员在体育活动期间发射对象或带运对象时，用所述无人机的至少一个传感器感测对象或运动员的运动；从所述至少一个传感器接收指示运动的传感器数据；基于所述传感器数据来确定指示运动员
在发射对象或带运对象时的表现的第一参数；以及基于第一参数输出指示运动员在发射对象或带运对象时的表现的反馈。
26.根据一些实施例，还包括由运动员佩戴所述无人机。
27.根据一些实施例，其中，所述预定位置是相对于所述运动员的。
28.根据一些实施例，还包括基于所述传感器数据在所述体育活动期间使所述无人机与所述运动员一起移动。
29.根据一些实施例，还包括：在第一操作模式下操作所述无人机以确定至少所述第一参数；在第二操作模式下操作所述无人机以确定至少第二参数，该第二参数指示运动员在体育事件中进行体育活动时的表现；用无人机观察体育事件的比赛情况；以及基于所述比赛情况将无人机从所述第一操作模式转换到所述第二操作模式。
30.根据一些实施例，其中，所述第一参数是攻击性参数，并且其中，所述第二参数是防御性参数。
31.根据一些实施例，还包括：用至少一个传感器捕获图像；将所述图像从相对于至少一个传感器的位置的视点转换到相对于头戴式显示器的位置的视点；以及使用所述头戴式显示器显示转换后的图像。
32.根据一些实施例，还包括：用所述至少一个传感器捕获第一图像；用第二无人机的至少一个传感器捕获第二图像；以及拼接所述第一图像和所述第二图像以形成合成图像。
33.根据一些实施例，还包括：感测指示用无人机监测体育活动将要停止的事件；以及响应于所感测的事件而将所述无人机飞行到预定位置。
34.根据一些实施例，还包括：使用位于运动员上的多镜头相机拍摄多个图像；以及拼接多个图像，从而限定合成图像。
附图说明
35.参照以下附图可以更好地理解本公开。附图的要素不一定相对于彼此按比例绘制，而是将重点放在清楚地示出本公开的原理上。此外，在若干个视图中，相同的附图标记表示相应的部分。
36.图1是示出用于监测体育事件中的运动员或其他对象的示例性系统的框图。
37.图2是示出如图1所示的示例性无人机的框图。
38.图3是可佩戴无人机的三维透视图，该可佩戴无人机可被编程用于图1所示的监测系统。
39.图4是佩戴在用户的手腕上的图3描绘的无人机的三维透视图。
40.图5是无人机位于足球运动员后面的情况下足球运动员的透视图。
41.图6是无人机位于篮球运动员后面的情况下篮球运动员的三维透视图。
42.图7a是在高尔夫球场的果岭上尝试推杆的高尔夫球手的三维透视图。
43.图7b描绘了显示给用户的图7a的果岭的图像，用于描绘在果岭上推杆的最佳轨迹。
44.图7c描绘了显示给用户的图7a的果岭的图像，用于描绘在果岭上推杆的多个轨迹。
45.图8是图5的足球运动员的三维透视图，足球运动员正佩戴至少一个多镜头相机。
46.图9是图6的篮球运动员的三维透视图，篮球运动员正佩戴至少一个多镜头相机。
47.图10是示出例如图1所示的示例性处理系统的框图。
48.图11是示出用于监测运动游戏空间中的对象的示例性系统的框图。
49.图12是示出例如图11所示的示例性处理系统的框图。
50.图13示出了安装在篮球球篮(basketball goal)上方的杆上的示例性感测系统，例如图11所描绘的感测系统；
51.图14描绘了由例如图11所描绘的深度传感器捕获的示例性深度图图像；
52.图15描绘了在去除了与运动表面平面相对应的深度像素之后由例如图11所描绘的深度传感器捕获的示例性深度图图像；
53.图16描绘了在篮筐模板叠加在篮筐的图像上之后由图15描绘的示例性深度图图像；
54.图17描绘了用于校准基于重力的坐标系的示例性过程；
55.图18描绘了联接到诸如无人机或其他航空器的飞行器的诸如由图11描绘的感测系统。
具体实施方式
56.本公开一般涉及用于在体育事件或其他类型的事件中监测对象的系统和方法。根据本公开的一个实施例的系统使用可佩戴无人机，其具有至少一个摄像机或其他传感器，用于捕获或以其他方式感测数据。当无人机用于监测时，例如监测体育事件中的对象时，可佩戴无人机可以与其用户分离，并且它可以悬停或以其他方式在要监测的对象的特定位置内飞行。在飞行时，无人机的传感器可用于在体育事件期间捕获对象的信息，例如表现数据或图像。
57.图1描绘了用于监测体育事件或其他类型的赛事中的对象的示例性系统10。如图1所示，系统10包括可移动的无人机15，其能够飞行到期望的位置以便监测对象。在一个实施例中，无人机15由用户佩戴，用户例如打算参加体育事件(例如运动比赛或训练课程)的运动员。
58.在图1所示的实施例中，无人机15可拆卸地联接到用户。作为示例，无人机15可以安装在保持装置17上或以其他方式联接到保持装置17，保持装置17保持无人机15并且能附接到用户。在这方面，保持装置17可以包括能佩戴在用户手腕周围的腕带，并且无人机17可以可拆卸地联接到腕带，使得无人机17可以在用于监测时从腕带上拆下。在替代实施例中，无人机15可以形成腕带，该腕带可拆卸地联接到(例如，缠绕)用户的手腕上，并且无人机15可以通过解锁腕带而与用户分离。在其他实施例中，用于将无人机15临时固定到其他身体部位的其他类型的带(例如，臂带、踝带、头带等)是可能的。另外，保持装置17可包括夹子或其他类型的联接设备，用于将装置17联接到用户的衣物或身体部位。在其他实施例中，用于将无人机15临时固定到用户的各种其他设备和技术是可能的。
59.图2描绘了无人机15的示例性实施例。如图2所示，无人机15包括控制逻辑22，用于一般地控制无人机15的操作，这将在下文中更详细地描述。控制逻辑22可以用软件、硬件(例如，逻辑门)、固件或其任何组合来实现。在图2所示的示例性无人机15中，控制逻辑22以软件实现并存储在存储器25中。
60.注意，当以软件实现时，控制逻辑22可以在任何计算机可读介质上存储和传输，以供可以获取和执行指令的指令执行装置使用或与之结合使用。在本文件的上下文中，“计算机可读介质”可以是能够包含或存储供指令执行装置使用或与指令执行装置结合使用的计算机程序的任何装置。
61.图2描绘的示例性无人机15包括至少一个常规的处理器28，例如数字信号处理器(dsp)或中央处理单元(cpu)，它通过本地接口31与无人机15内的其他元件通信并驱动这些元件，本地接口31包括至少一个总线。作为示例，为了实现这里针对无人机15描述的任何数据处理功能，当这种控制逻辑22以软件实现时，处理器28可以用控制逻辑22的指令被编程，用于根据本领域已知的技术执行指令。
62.如图2所示，无人机15具有可用于接收输入的输入接口35。作为示例，输入接口35可以包括键板、键盘、鼠标、按钮、开关或用于接收手动输入的其他类型的设备或用于接收音频输入的麦克风。无人机15还具有可用于提供输出的输出接口36。作为示例，输出接口36可以包括用于显示文本、图像或其他信息的显示器(例如，液晶显示器)或用于提供音频输出的扬声器。在一些情况下，可以使用设备(诸如触敏显示器)以通过接收输入和提供输出来实现输入接口35和输出接口36。
63.无人机15还包括一个或多个传感器44，用于捕获监测活动期间的感兴趣的信息。作为示例，传感器44可以实现为用于捕获场景的图像的光学传感器(例如，相机)。在一个实施例中，传感器44包括用于捕获二维图像的二维相机，并且无人机15还具有用于感测深度(例如，从深度传感器47到一个或多个对象的距离)的深度传感器47。作为示例，深度传感器47可以捕获用于监测对象的深度图像，例如下面更详细描述的以及于2015年10月5日提交的题为“systems and methods for monitoring objects in athletic playing spaces”的美国专利申请第14/874,555号中所描述的，该申请通过引用并入本文。使用来自这种深度传感器47的数据，可以定位地平面，例如体育运动表面，以便确定重力方向。这种深度传感器47可以使用红外辐射进行操作，如微软公司出售的相机所做的那样，尽管其他波长也是可能的。许多常规的深度传感器，例如相机，通常通过在场景上投射红外辐射(ir)的图案(例如，点或线)并测量ir被反射回传感器所花费的时间来工作。反射表面的轮廓的变化影响能量被反射所需的时间和/或反射的光量(有效地“扭曲”图案)，从而使相机能够基于返回来估计轮廓。在易受大量环境光影响的条件下(例如室外)使用这种深度传感器可能是有问题的，因为作为传感器测量的噪声的环境光可以基本上“冲洗掉”ir返回，使得它们不可检测。然而，已经开发了一些技术来配置深度传感器以选择性地接受来自被投影仪扫描的区域的返回，以便限制由环境光引入的噪声量，从而使得深度传感器能够在涉及大量的环境光的条件下使用。
64.在一些实施例中，传感器44可以实现为接近传感器，用于感测对象是否在无人机15的特定接近度或距离内。在其他实施例中可以使用各种其他类型的传感器。指示由传感器44感测的信息的传感器数据49存储在存储器25中。这种传感器数据49可以是由传感器44捕获的原始数据，或者可以是由控制逻辑22处理这种原始数据而产生的经处理数据。另外，当传感器44被实现为相机时，传感器数据49可以限定由传感器44捕获的图像。注意，传感器44和深度传感器47不必在无人机15上。在下文中将更详细地描述，传感器44或深度传感器47可以由用户佩戴，例如在衣服或头戴式显示器上，或者驻留在其他位置并且与处理系统
46无线通信。
65.无人机15还具有无线通信接口45，用于允许其与其他设备无线通信。作为示例，无线通信接口45可以包括能够发送和接收无线rf信号的射频(rf)无线电。如图1所示，无人机15使用无线通信接口45与处理系统46进行无线通信，以便将传感器数据49提供给处理系统46。如果需要，处理系统46可以配置成发送用于控制无人机15操作的命令。处理系统46还可以配置成根据需要处理和分析传感器数据49。注意，处理系统46可以用硬件或硬件、软件和/或固件的任何组合来实现。作为示例，处理系统46可以包括编程有指令以执行本文描述的用于处理系统46的数据处理功能的一个或多个处理器。在这方面，处理系统46可以实现为一个或多个计算机，例如台式机、笔记本电脑、手持设备(例如智能电话)或大型计算机。在一些实施例中，处理系统46可以与无人机15集成或以其他方式驻留在无人机15上，使得传感器数据49的无线通信是不必要的，或者处理系统46可以系在无人机15上，允许传感器数据49经由物理连接(例如，一条或多条线路)传输到处理系统46。另外，无人机15可以在监测期间存储传感器数据49，并且可以在监测之后将传感器数据49下载或以其他方式提供给处理系统46。下面将更详细地描述处理系统46的操作。
66.在这方面，图10描绘了处理系统46的示例性实施例。如图10所示，处理系统46包括控制逻辑122，用于一般地控制系统46的操作，这将在下文中更详细地描述。控制逻辑122可以用软件、硬件(例如，逻辑门)、固件或其任何组合来实现。在图10所示的示例性处理系统46中，控制逻辑122以软件实现并存储在存储器125中。注意，当在软件中实现时，控制逻辑122可以在任何计算机可读介质上存储和传输，以供可以获取和执行指令的指令执行装置使用或与指令执行装置结合使用。
67.图10描绘的示例性处理系统46包括至少一个常规处理器128，例如数字信号处理器(dsp)或中央处理单元(cpu)，其经由本地接口131与系统46内的其他元件通信并且驱动系统46中的其他元件，本地接口131至少包括一个总线。作为示例，为了实现本文描述的用于处理系统46的功能，当用软件实现这样的控制逻辑122时，处理器128可以用控制逻辑122的指令被编程，用于根据本领域已知的技术执行指令。
68.如图10所示，处理系统46具有可用于接收输入的输入接口135。作为示例，输入接口135可以包括键板、键盘、鼠标、按钮、开关或用于接收手动输入的其他类型的设备或用于接收音频输入的麦克风。处理系统46还具有可用于提供输出的输出接口136。作为示例，输出接口136可以包括用于显示文本、图像或其他信息的显示器(例如，液晶显示器)或用于提供音频输出的扬声器。在一些情况下，可以使用设备(诸如触敏显示器)通过接收输入和提供输出来实现输入接口135和输出接口136。输出接口136可以与处理系统46的部件集成。作为示例，输出接口136可以是智能电话的显示屏，其具有一个或多个处理器，用于执行本文所述的处理系统46的数据处理功能。
69.处理系统46还具有无线通信接口145，用于允许其与其他设备无线通信。作为示例，无线通信接口145可以包括能够发送和接收无线rf信号的射频(rf)无线电。如图1所示，处理系统46使用无线通信接口145与无人机15进行无线通信，以便接收传感器数据49。如果需要，处理系统46可以被配置为使用无线通信接口145来发送用于控制无人机15操作的命令。处理系统46还可以具有网络接口147，例如调制解调器，用于使处理系统46能够与网络(例如，局域网(lan)、广域网(wan)或其他类型的网络进行通信。作为示例，处理系统46可以
经由因特网或其他类型的网络与其他设备进行通信，以便提供对传感器数据49的访问或由处理系统46处理的其他信息。此外，如上所述，处理系统46的部件可能驻留在各种位置，包括无人机15。作为示例，可以使用相同的处理器来执行图2所示的控制逻辑22和图10中示出的控制逻辑122的指令。
70.注意，传感器44可以包括位置传感器，例如全球定位系统(gps)传感器，用于感测无人机15的位置(例如，地理坐标)。这种位置传感器可以用于根据需要帮助导航或定位无人机15。作为示例，可以将无人机15的位置与另一个对象(例如运动员)的位置进行比较，以将无人机15移动到相对于另一个对象的期望位置。作为示例，感兴趣的运动员可以佩戴将位置坐标发送到处理系统46的位置传感器，并且处理系统46可以被配置为将这样的位置坐标与从无人机15接收的位置坐标进行比较，以便确定无人机15的所需位置(例如，距运动员的预定位置)。然后，处理系统46将命令发送到无人机15，以将其移动到所需位置，使得无人机15是距感兴趣的运动员的期望位置。对于其他实施例，可以以其他方式使用位置传感器。
71.处理系统46可以通信地联接到输出接口50，例如显示设备或打印机，用于向用户提供输出。在一些实施例中，输出接口50与处理系统46的部件分离。在这样的示例中，输出接口50可以无线地或经由一个或多个物理连接与处理系统46进行通信。作为示例，处理系统46可以实现为膝上型计算机或与智能电话或具有输出接口50的其他类型的计算机无线通信的其他类型的计算机。注意，网络可以用于系统10的部件之间的通信。作为示例，诸如局域网(lan)或广域网(wan)的网络可以用于无人机15和处理系统46之间或处理系统46和输出接口50之间的通信。在一个实施例中，处理系统46被配置为使用因特网和/或蜂窝网络与一个或多个输出接口50进行通信，但是在其他实施例中其他类型的配置也是可能的。
72.如图2所示，无人机15具有飞行控制系统52，用于使无人机15能够在空中飞行。作为示例，飞行控制系统52可以具有控制器和一个或多个螺旋桨或其他推进设备，用于在飞行控制器的控制下推进无人机15，如所期望的那样。这种飞行控制器可以用硬件或硬件、软件和/或固件的任何组合来实现。例如，飞行控制器可以包括用软件编程的一个或多个处理器，以便实现这里描述的飞行控制器的数据处理功能。
73.飞行控制系统52可包括用于提供升力的任何数量和类型的翼型(例如，机翼或旋翼)。作为示例，图3示出了常规的无人机65，其可以被编程或以其他方式控制或修改以实现用于监测运动员的无人机15，如本文所述。图3的无人机65具有主体66，四个柔性臂69从主体66延伸。在每个臂69的末端是螺旋桨73，其在容纳在主体66内的飞行控制器(未示出)的方向和控制下旋转，以便产生升力并推动无人机65在空中飞行。无人机65还具有相机77(例如，摄像机或其他类型的相机)，用于在无人机65飞行时捕获图像。注意，臂69能够弯曲和彼此可拆卸地联接，使得无人机65可以佩戴在用户的手腕上，类似于手表，如图4所示。当需要监测时，可以将臂69彼此分离，从而可以从用户的手腕上取下无人机65，然后可以如图3所示定位臂69，允许无人机65在其飞行控制器的控制下飞行。即使臂69具有足够柔性以允许它们围绕用户的手腕弯曲，臂69也具有足够的刚度以允许它们在无人机65在螺旋桨73产生的空气动力作用下飞行时保持其形状。在一些实施例中，可以使用其他类型的无人机。例如，无人机可以具有轮子、轨道或其他设备，以使其能够沿着地面或其他表面移动。
74.在操作期间，无人机15可以监测各种类型的参数。例如，佩戴无人机15的用户可以在进行体育活动之前将其释放用于飞行，体育活动例如体育事件的训练或体育事件的比
赛，例如篮球、橄榄球、棒球、高尔夫、曲棍球、足球、排球、滑板和x游戏。在被释放用于飞行之后，无人机15可被设计成在某个区域内悬停或以其他方式飞行，例如距离用户或其他对象一定距离和/或在特定高度，并捕获指示用户在体育活动中的表现的传感器数据49。作为示例，当用户通过向篮球球篮发射球来进行篮球投篮时，至少一个传感器44被配置为提供指示投篮的传感器数据49，并且处理系统46被配置为分析传感器数据49，确定指示篮球投篮质量的一个或多个度量，例如释放高度、释放速度、投篮高度、进入角度、进入速度、投篮轨迹、命中/未命中(即，在投篮期间篮球是否通过篮筐)，或投篮轨迹上任何一点的球速或速度。基于传感器数据49，例如用户进行篮球投篮的图像，处理系统49可以确定投篮类型，例如投篮是跳投、上篮还是三分球。注意，处理系统46可以使用在投篮时投手相对于篮球球篮的位置来确定投篮类型。例如，当投手水平移动时在边缘一侧靠近球门处具有特定接近度的投篮可以被确定为上篮，而大于距离球门一定距离的另一投篮可以被确定为三分球。在以下文献中描述了可由处理系统46确定、分析或以其他方式处理的示例性度量：2010年12月14日发布的题为“trajectory detection and feedback system”的美国专利第7,850,552号，该专利通过引用结合于此，以及2008年5月27日提交的名称为“stereoscopic image capture with performance outcome prediction in sporting environments”的美国专利申请第12/127,744号，其通过引用并入本文。
75.在一些实施例中，传感器44包括能够捕获全景图像(例如，360
°
视图)的相机。这样的相机可以被配置为在移动相机时捕获多个图像，然后将图像拼接或以其他方式组合在一起以形成全景图像。在另一实施例中，相机具有多个镜头，其从多个方向接收光，从而使相机能够同时捕获来自不同方向的图像。全景相机被配置为将这些图像拼接在一起以形成全景图像。作为示例，相机可能具有三个相对于彼此以120
°
定向的镜头，以捕获相机周围的360
°
视图。
76.在一些实施例中，控制逻辑22被配置为向飞行控制系统52提供输入，以便将无人机15自动定位在相对于特定用户或其他对象的预定位置。作为示例，控制逻辑22可以将无人机15定位在距参与体育事件的运动员的特定距离和/或高度。当运动员移动时，控制逻辑22可以通过使用一个或多个传感器44来感测他的运动，然后向飞行控制系统52提供输入，使得无人机15被移动以跟踪运动员的运动。作为示例，控制逻辑22可以在他移动时尝试将无人机保持在距运动员的恒定位置(例如，距离和/或高度)。当运动员正在移动或以其他方式参与事件时，由传感器44捕获指示其表现和运动的信息并将其作为传感器数据49存储在存储器25中。
77.控制逻辑22可以被配置为将该事件中的感兴趣的运动员与其他运动员区分开，以便帮助控制逻辑22跟踪运动员的运动。作为示例，传感器44中的至少一个可以被配置为捕获运动员的面部的图像，并且控制逻辑22可以被配置为采用已知的面部识别算法来将感兴趣的运动员与其他运动员区分开。如果感兴趣的运动员穿着具有印在运动衫上的号码的运动衫，则控制逻辑22可以分析用户运动衫的图像以将他与其他运动员区分开。作为示例，控制逻辑22可以分析运动员的捕获图像以确定用于识别运动员的运动衫颜色和运动衫号码。在这方面，在许多体育事件中，每种可能的运动衫颜色和数量组合是独特的，使得可以通过分析他的球衣来识别任何球员。在其他实施例中，用于识别运动员或其他感兴趣的用户的其他技术是可能的。
78.在一个示例中，无人机15用于在足球比赛或练习期间监测四分卫。无人机15可以定位在相对于四分卫的某个位置，以允许适当的监测，并且在运动练习中无人机15被运动员或对象击打的风险非常小。作为示例，无人机15可以定位在空中大约20英尺处并且位于四分卫后面大约20英尺处(即，在与争球线相对的四分卫的一侧)。因此，无人机15应保持足够高的高度，使得运动员在运动过程中无法到达。此外，当四分卫投掷一个传球时，他通常向前投掷(朝向和超过)争球线，使得四分卫后面的无人机15的位置减少了无人机20在传球过程中被球击中的可能性，即使无人机15可以处于球可以通过的高度。
79.在比赛期间，无人机15可以被配置为捕获四分卫和/或其他对象的图像。作为示例，无人机15可以捕获视频馈送并且无线地发送视频馈送，使得其可以被显示以用于娱乐或其他目的。作为示例，视频馈送可以包括在电视或比赛的其他类型的视频广播中。视频馈送也可用于其他目的。作为示例，视频馈送可以被存储并且稍后显示给四分卫或教练以辅助四分卫的训练。
80.在一个实施例中，处理系统46被配置为分析由无人机15捕获的图像并识别图像内的四分卫。处理系统46还基于足球的颜色和形状识别图像内的足球。基于图像，处理系统46被配置为确定四分卫何时投掷橄榄球。有各种技术可用于确定何时投掷橄榄球。
81.在这方面，橄榄球当他的手握住橄榄球时在他的前臂和手在他的肩膀上方的情况下他投掷橄榄球时，通常期望四分卫具有一定的轮廓，在下文中称为“投掷轮廓”。当他的前臂和手处于这样的轮廓时，橄榄球将被四分卫释放，使得橄榄球与四分卫的手分开。处理系统46可以被配置成在(1)四分卫的前臂和手处于预期的投掷轮廓中并且(2)足球与四分卫的手分离时检测投掷。注意，当他的前臂和手不在投掷轮廓中时橄榄球与四分卫的分离可以指示另一事件的发生，例如递传、抛球或掉球。
82.当检测到传球时，处理系统46被配置为跟踪传球的轨迹并计算指示传球质量的各种轨迹参数。作为示例，处理系统46可以计算释放高度、释放角度、速度、旋转速率、最大传球高度、传球距离或可能感兴趣的其他参数。注意，可以通过使用深度传感器47来确定各种参数，例如释放高度、传球高度和传球距离，深度传感器47能够测量球的深度(相对于传感器)并且将这样的深度与测量地平面(例如，体育运动表面)或深度图像内的其他对象的深度进行比较。此外，可以通过估计橄榄球在轨迹点之间行进的距离和测量橄榄球在轨迹点之间行进所需的时间来计算速度或速度。距离除以时间产生球的速度。
83.在一个实施例中，确定橄榄球在各种轨迹点处的位置(例如，自由空间中的坐标)，并且这些点用于估计表示在传球期间球的轨迹的轨迹曲线。在这方面，一旦球被释放，重力通常是在飞行期间作用于球的主要力，并且如果已知重力方向，则可以使用估计的轨迹曲线计算各种参数，例如沿着轨迹的任何点处的速度。在一个实施例中，处理系统46使用类似于下面和美国专利申请第14/874,555号中描述的技术来确定重力方向，并且将深度传感器47提供的坐标转换为基于重力的坐标系，以便相对于球的轨迹的重力方向是已知的。美国专利第7,850,552号和美国专利申请第12/127,744号描述了各种轨迹参数和用于确定轨迹参数的技术。
84.应当注意，各种参数可以指示传球的结果，并且可以取决于另一运动员的动作或位置，例如试图抓住传球的接球者。在这方面，由无人机15捕获的图像可以包括接球者，以及试图防守传球的一个或多个防守者。处理系统46可以使用各种技术识别试图捕获传球的
接球者，在下文中称为“目标接球者”。例如，通过跟踪橄榄球，处理系统46可以确定橄榄球沿其轨迹的路径或速度被实质上中断的轨迹位置(以下称为“轨迹终点”)，指示橄榄球击中了对象，比如地面或橄榄球比赛或练习的运动员。佩戴最接近轨迹终点的特定颜色运动衫的运动员可以被识别为目标接球者。
85.通过分析在足球到达终点之后捕获的图像，处理系统46可以确定目标接球者是否抓住了橄榄球(即，传球完成)。作为示例，如果橄榄球看起来基于由无人机或其他相机捕获的视频图像保持在目标接球者的手中至少阈值时间量，则处理系统46可以确定橄榄球被接住。另一方面，如果视频图像显示足球保持在穿着不同颜色球衣的防守者手中至少达到阈值时间量，则处理系统46可以确定传球被截获。如果在完成传球或拦截之前确定橄榄球击中地面，则处理系统46可以确定传球未完成。在其他实施例中，可以使用其他技术来确定传球的结果状态(例如，完成、拦截或未完成)。注意，除了无人机15上的传感器之外或代替无人机15上的传感器的传感器(例如，相机)可以用于向处理系统46提供信息。
86.随着时间的推移，处理系统46可以收集和存储关于四分卫表现的各种统计数据，例如总尝试次数、总完成次数、总拦截次数、完成百分比、拦截百分比、平均释放高度、平均释放角度、平均速度、平均旋转速率、平均最大传球高度、平均传球距离或其他可能感兴趣的统计数据。此外，在收集关于多个运动员的统计数据时，处理系统46优选地被配置为识别运动员，使得适当的数据可以与所识别的运动员相关联。作为示例，如上所述，可以基于球衣上的号码来识别运动员，或者通过其他类型的技术，例如面部识别或用于识别个人的其他已知技术来识别运动员。
87.注意，处理系统46收集的表现数据可以根据需要以任何方式分类。作为示例，对于四分卫，可以基于传球距离来计算统计数据。例如，可以针对在某个距离范围(例如0到10码)内投掷的传球计算总尝试次数、总完成次数、总拦截次数、完成百分比、拦截百分比等，同时可以单独跟踪对于另一距离范围(例如10到20码)的相同或类似的统计数据。另外，处理系统46可以实现用于计算关于传球的各种定性信息的算法。
88.作为示例，基于目标接球者在某一点的位置和速度，例如橄榄球的四分卫释放或在橄榄球飞行时的某个点，处理系统46可以识别运动空间中的区域，在下文中称为“目标区域”，在该区域中理想地投掷橄榄球以完成到目标接球者的传球。目标区域还可以基于各种其他因素，例如在四分卫释放橄榄球时或者在橄榄球飞行时的一个点处一个或多个防守者的位置和速度。处理系统46还可以将传球的轨迹与目标区域进行比较，以确定传球是否被引导到目标区域(例如，轨迹是否与目标区域相交)或者轨迹距目标区域的距离。将传球指向目标区域或距目标区域一小段距离通常可以指示较好质量的传球，而不管传球是否实际完成。处理系统46被配置为基于相对于目标区域的传球轨迹来计算各种参数。作为示例，处理系统46可以确定对于多次传球轨迹与目标区域的平均距离，注意目标区域可以对于不同传球处于不同位置。此外，目标区域的大小可以基于传球距离或其他因素。例如，较短的传球可能具有较小的目标区域，较长的传球可能具有较大的目标区域。还可以基于传球距离或其他参数对目标区域数据进行分类。作为示例，可以确定对于在一个距离范围内(例如，0到20码)传球的距离目标区域的平均距离，并且可以单独确定对于在另一距离范围内(例如，20到40码)传球的距离目标的平均距离。
89.注意，无人机15可以被配置为监测来自传感器44的数据49并且基于这样的数据49
向飞行控制系统52提供输入。作为示例，控制逻辑22可以被配置为识别正在监测的运动员(例如，本例中的四分卫)并且基于这样的运动员的移动来改变无人机15的位置。作为示例，控制逻辑22可以控制无人机15，使得当他移动时它保持在四分卫的特定位置或附近。因此，如果四分卫向左滚动，则无人机15可以自动向左移动，使得它直接保持在四分卫后面。如果四分卫顺着场地向前移动，则无人机15也可以顺着场地移动以在四分卫后面保持一定距离。在其他实施例中，无人机15不必在运动区域内。作为示例，无人机15可以在空中定位在边线上(离开运动区域)并且基于运动场地中的对象的移动沿着边线来回移动。例如，当感兴趣的运动员顺序场地前进时，无人机15可以沿着边线以相应的方式移动。无人机15也可以位于场地的末端，例如球门柱或末端区域的后面。无人机15可以沿着其他场地或球场的边界移动以用于其他体育运动，例如足球、曲棍球、排球、篮球、网球等。
90.控制逻辑22还可以实现碰撞避免算法，以便保护无人机15免受损坏并防止无人机15中断比赛的进行。作为示例，基于至少一个传感器44，诸如由相机捕获的图像或由接近传感器得到的测量值，控制逻辑22可以确定与对象(例如，橄榄球、球门柱、人或其他无人机15)的碰撞迫在眉睫，然后向飞行控制系统52提供输入，试图以避免碰撞的方式移动无人机15。控制逻辑22还可以被配置为采取某些动作，例如改变无人机15的状态，以便保护无人机15免于即将发生的碰撞。作为示例，如果无人机15的部件(例如，相机或其他传感器44)被延伸，则控制逻辑22可以缩回这样的部件，以便降低部件由于碰撞而损坏的可能性。可以采取各种其他动作来保护无人机15免受损坏。
91.还要注意，足球比赛或练习中的任何运动员或其他个体(例如，裁判员、教练员、训练员、啦啦队员、吉祥物等)可以由无人机15根据上述用于四分卫的类似技术进行监测，以及其他运动的运动员或个人也可以被类似地监测。作为示例，无人机15可以被配置为监测足球比赛或练习中的射门员的表现。在这样的示例中，无人机15可以定位在射门员后面，边线上，球门柱后面，或者如上所述的其他位置。射门员的视频图像可以在他踢橄榄球时被捕获。基于图像，处理系统46可以确定指示射门表现或质量的各种参数。作为示例，处理系统46可以在射门期间测量脚部速度或者确定踢球者脚踢足球的足球上的位置。另外，如上面针对传球所描述的，无人机15可以在足球从踢球飞行时捕获橄榄球的图像，并且处理系统46可以分析捕获的图像以确定橄榄球的轨迹。基于轨迹，处理系统46可以确定各种参数，例如橄榄球的速度、旋转速率、行进距离、足球在踢球后上升时轨迹开始时的提升角度(即，相对于水平或运动表面的角度)或其他可能感兴趣的参数。基于足球相对于球门柱的图像的轨迹和/或比较，处理系统46还可以确定射门得分是否成功或者橄榄球通过或经过球门柱的位置。作为示例，处理系统46可以确定轨迹与某个点的水平距离，例如得分区的中心(即，球门柱之间的中间点)。如果射门得分不成功，则处理系统46可以确定轨迹距离最近的球门柱的水平距离(指示射门得分被错过多远)。
92.注意，可以基于比赛情况的态势感测来控制无人机15的位置。作为示例，控制逻辑22可以控制无人机15以一种模式操作，这里称为“四分卫模式”，其中无人机15被操作以监测四分卫的动作，如上所述。当进攻尝试射门时，控制逻辑22可以将无人机的操作转换到另一种模式，这里称为“射门模式”，其中无人机15被操作以监测踢球者的表现。作为示例，在四分卫模式中，无人机15可以位于四分卫后面，如上所述，并且对于射门模式，无人机15可以定位在另一个位置，例如在边线上以更好地捕获某些参数，如提升角度。此外，当球改变
侧面时，例如在翻转之后，无人机15的操作可以从监测一个队的四分卫的模式改变为用于监测另一个队的四分卫(或其他队员)的模式。
93.存在可以用于确定何时转换无人机15的操作模式的各种技术。作为示例，当发生将要进行模式转换的事件时，观察比赛或练习的用户可以提供指示模式改变的输入。这样的输入可以由处理系统46的输入接口或其他设备(诸如智能电话)计算机(例如，膝上型计算机)或能够接收输入的其他设备)接收，并且这种输入可以无线地发送到无人机15。作为响应，控制逻辑22可以改变无人机15的操作模式，如输入所示。在另一个实施例中，无人机15可以被配置为直接从用户接收输入。作为示例，运动员中的一个，例如被监测的球员或其他用户可以通过特定的身体运动(例如以预定方式挥动他的手)或通过向无人机提供语音命令来发信号通知输入。对于身体运动，处理系统46可以被配置为分析由无人机15捕获的图像以确定运动员或其他用户何时发信号通知输入。
94.在其他实施例中，关于何时改变模式的决定可以基于来自传感器44的数据。作为示例，处理系统46可以分析由无人机15或其他设备的相机捕获的图像以确定哪个队在进攻中并且无线地将控制信息发送到无人机15，以使控制逻辑22根据四分卫模式定位无人机15以监测进攻的四分卫。有多种技术可用于确定哪支球队在进攻中。作为示例，无人机15或其他设备可以捕获记分板的图像，其可以被操作以指示哪个队正在进攻(例如通过在进攻的球队的名称或得分旁边显示橄榄球的图像)。基于这样的图像或记分板的其他指示的位置，处理系统46可以确定哪个队正在进攻。
95.处理系统46可以基于在运动场地中发生的活动来做出某些情境决定(诸如哪支球队在进攻中)。作为一个例子，在比赛之前，球队经常会聚集在橄榄球的相应侧。防守经常比进攻更接近橄榄球。因此，基于由无人机15捕获的图像中队相对于橄榄球的聚集的位置，处理系统46可以确定该队是否处于进攻中。在另一个示例中，某些裁判通常位于球的特定侧面，这取决于哪支球队在进攻中。作为示例，主裁判员通常位于球的进攻侧。处理系统46可以被配置为基于裁判员相对于橄榄球的位置来识别裁判(使用上述用户识别技术，例如面部识别或衣服识别)以确定哪个队处于进攻中。另外，如上所述，处理系统46可以被配置为识别某些球员，并且通常情况是特定球员(例如四分卫)仅在进攻或防守时进行活动。处理系统46可以被配置为基于哪个或哪些球员在场上来确定哪个队处于进攻中。作为示例，如果处理系统46确定特定队的四分卫在运动场地上，则处理系统46可以被配置为确定这样的队正在进攻。在这种情况下，处理系统46可以向无人机15发送命令，以使无人机15以某种模式操作，例如用于监测四分卫的四分卫模式。当一个队的四分卫离开运动场地时，处理系统46可以在系统46检测到在运动场地上存在另一个队的四分卫时确定另一个队正在进攻。如果球队的四分卫离开运动场地并且如果同一球队的场地踢球者进入运动场地，则处理系统46可以确定正在进行射门得分尝试。在这种情况下，处理系统46可以向无人机15发送用于使无人机15以射门模式操作的命令。在篮球中，处理系统46可识别正在带运的运动员以确定哪支球队正在进攻。在其他示例中，可以感测场地或运动场地上的其他类型的运动员的存在，以便检测其他类型的比赛情况并且以其他类型的模式操作无人机15。
96.在篮球比赛或练习中，无人机15可以定位在球场上方的任何点处或沿着球场的边界定位，如上面针对足球场所描述的。在一个示例中，无人机15在空中定位在篮球球篮的篮筐上方一定距离(例如，大约20英尺)处。使用诸如摄像机和/或深度传感器47的传感器44，
无人机15可以捕获在球场上的篮球和球员的图像。当运动员尝试投篮命中时，无人机15可以在射向篮筐时捕获投手和篮球的图像。处理系统46可以被配置为确定球的轨迹和指示投手在篮球投篮中的表现的各种参数。在美国专利第7,850,552号和美国专利申请第12/127,744号中描述了用于确定这些参数的示例性技术。
97.无人机15可以被配置为监测由传感器44捕获的图像并且基于这样的图像来控制无人机的移动。作为示例，控制逻辑22可以定位在距投手一定距离(例如，特定距离和方向)的位置，例如投手后面大约10英尺，空中大约10英尺。如上所述，对于四分卫模式，无人机15可以随着投手运动而一起移动，以便保持其与投手的相对位置。
98.注意，无人机15内的控制逻辑22不必监测捕获的图像以便如本文所述定位无人机15。作为示例，对于本文描述的任何实施例，处理系统46可以被配置为监测捕获的图像并基于这样的图像远程控制无人机15的移动。
99.当无人机15位于投手或其他感兴趣的运动员后面时，如上所述，由无人机15捕获的图像具有来自投手视点的视角。也就是说，图像非常类似于在比赛过程中被监测的投手或其他运动员所看到的。这样的特征可能有益于训练或娱乐目的。在这方面，可以记录图像并随后将其呈现给投手或其他感兴趣的运动员，以便他可以从他在比赛过程中看到的基本相同的视点检查比赛情况和他的动作。图像还可以广播或以其他方式呈现给可以从投手或其他感兴趣的运动员的角度看比赛情况的粉丝。也可以为其他运动提供这种类型的视点。例如，将无人机15定位在上述四分卫模式中的四分卫后面允许用户从四分卫的近似视点看到比赛情况。在一些实施例中，四分卫可以佩戴位置传感器以向处理系统46提供指示四分卫位置的数据，并且处理系统46可以被配置为将图像数据的坐标转换为相对于与四分卫相关联的坐标系的坐标，使得图像的视点与四分卫的视点匹配，如下面关于高尔夫推杆的更详细描述。
100.无人机15可用于监测高尔夫球手。在这方面，可以使用本文所述的任何识别技术在由无人机15捕获的图像中或通过其他类型的传感器数据49识别特定高尔夫球手，并且无人机15可以定位在距识别的高尔夫球手一定距离处，如上文关于其他运动并如图7a所示所描述。作为示例，无人机15可以定位在相对于高尔夫球手的特定位置，以允许传感器44捕获高尔夫球手的挥杆动作以及球飞行。如上面针对其他运动所描述的，处理系统46可以被配置为基于由无人机15捕获的图像或其他类型的传感器数据来确定球的轨迹。基于高尔夫球手在他的挥杆期间的身体或球杆运动和/或高尔夫球的轨迹，处理系统46可以被配置为确定指示高尔夫球手的表现的各种参数。
101.当高尔夫球手正在推杆时，处理系统46可以被配置为分析由无人机15捕获的图像，以便确定推杆表面(例如，果岭)的地形，包括斜率。使用类似于下面和美国专利申请第14/874,555号中描述的技术，处理系统46可以配置成确定图像内的重力方向，以便确定果岭表面相对于重力的倾斜度。作为示例，处理系统46可以被配置为将由深度传感器47或其他类型的光学传感器提供的坐标从传感器的坐标系转换为基于重力的坐标系。如在美国专利申请第14/874,555号中进一步描述的，可以通过首先从深度传感器47识别无人机的观察区域内的大平面来限定重力方向。处理系统46可以假设重力方向处于相对于所识别的平面的预定角度(例如，90度)。在其他实施例中，无人机15可以具有多个加速度计，并且可以根据已知技术使用来自加速度计的读数来确定重力方向。处理系统46还可识别对象并确定重
力方向相对于对象处于预定角度。作为示例，在高尔夫中，处理系统46可以被配置为分析由传感器44捕获的图像以识别球将被推入的绿洞。处理系统36可以识别由孔的边缘形成的环，并确定重力方向垂直于由这种环限定的平面。在其他实施例中，用于确定重力方向的其他技术也是可能的。
102.在其他实施例中，可以使用不同的技术来确定推杆表面的拓扑。作为示例，指示果岭的拓扑(包括球洞布置)的数据可以被预限定并存储在数据库或处理系统46可访问的其他形式的存储器中。
103.除了确定果岭的拓扑和重力方向之外，处理系统46还可以被配置为识别如上所述的果岭球洞和图像内的高尔夫球手的球。基于推杆表面的形貌，球洞相对于高尔夫球手的球的位置以及重力方向，处理系统46可以被配置为计算或以其他方式确定球的最佳路径，以便高尔夫球手做推杆(即球被推入洞中)。然后，处理系统46可以向高尔夫球手提供指示这种路径的反馈信息。作为示例，处理系统46可以使用输出接口50或136来显示果岭的图像，包括洞的位置和高尔夫球手的球。在这样的图像内，处理系统46可以显示沿着与处理系统46确定的最佳路径对应的路径从球延伸到洞的虚拟曲线。因此，通过观看图像并且特别是虚拟曲线，高尔夫球手是能够看到推杆球的最佳路径。
104.注意，存在可以向高尔夫球手提供反馈的各种方式。作为示例，上述果岭的图像可以显示在高尔夫球手的智能电话或由高尔夫球手携带的其他手持或移动设备上。作为示例，图7b示出了可以在诸如智能电话的移动设备的输出接口50上向用户显示的示例性图像200。图像200示出了具有洞207的果岭205，其中标记211位于洞207中以标记洞207的布置。图像200还示出了搁置在果岭205上的高尔夫球215和表示由处理系统46为用户的推杆确定的最佳路径的虚拟曲线218。注意，图像200可以由无人机15的传感器44或其他方式捕获，例如通过可以安装在果岭205附近的固定位置的相机捕获。
105.在一个实施例中，虚拟曲线218显示在增强现实环境中。作为示例，如图7a所示，高尔夫球手可以佩戴增强现实头戴式显示器(hmd)216，例如增强现实眼镜216，其允许光穿过增强现实hmd 216的透镜，使得高尔夫球手可以看到果岭205和诸如洞207和标记211的其它对象的物理表面。然后，增强现实hmd 216可以生成对应于最佳路径的虚拟曲线218的图像，使得由界面50生成的虚拟曲线218似乎叠加在高尔夫球手看到的果岭205的物理表面上。在其他实施例中，用于向高尔夫球手提供关于最佳路径的反馈的其他技术是可能的。
106.此外，处理系统46可以显示可由用户选择的多个路径。在这方面，成功推杆的路径不仅取决于果岭拓扑，还取决于推杆期间高尔夫球的速度。在这方面，具有更大力的推杆的高尔夫球往往具有更大的动量，这可以改变球在穿过倾斜表面时到达洞所必经的路径。因此，对于任何给定的推杆，通常存在多个路径，这些路径将根据速度导致成功的结果。处理系统46可以显示表示这些路径的多条虚拟曲线和/或提供指示特定路径的期望速度的反馈。作为示例，一个虚拟曲线222可以用颜色编码用于固定推杆的一种颜色，而另一个虚拟曲线218可以用不同颜色用于软推杆的颜色编码，如图7c所示的图像220所示。
107.如上所述，由无人机15的传感器44或驻留在其他位置的传感器44捕获的图像可以通过增强现实hmd 216显示给用户。在这种情况下，可能需要改变图像的视点使得它相对于hmd 216的位置而不是传感器44的位置。为了执行这种转换，处理系统46优选地知道传感器44的大致位置和hmd 216的大致位置。使用这些位置，处理系统46可以被配置为调整由传感
器44捕获的图像，使得它们看起来好像已经被hmd 216捕获。在调整图像时，处理系统46可以被配置为改变图像的取向以考虑传感器44的视角相对于用户通过hmd 216的视角的差异。作为示例，图像的坐标可以转换成相对于hmd 216使用的坐标系的坐标，使得所显示的图像具有适合佩戴hmd 216的用户观看的视角。在一些实施例中，传感器44可以驻留在hmd 216上或者否则定位使得不需要这种转换。
108.注意，存在可以用于处理系统46以确定传感器44和hmd 216的位置的各种技术。作为示例，传感器44可以是固定位置，例如安装在果岭附近，并且传感器44的位置可以存储在处理系统46的存储器中。如果传感器44在无人机15上，如上所述，无人机15可以具有位置传感器，例如全球定位系统(gps)传感器，用于确定无人机15的位置，并且指示该位置的数据可以被发送到处理系统46。此外，hmd 216可以类似地配备有位置传感器，并且指示hmd 216的位置的数据可被发送到处理系统46。注意，处理系统46可以驻留在hmd 216上或者位于用户上，使得hmd的位置信息的无线通信是不必要的。在其他实施例中，可以在已知位置(例如，高尔夫球场上的固定位置)使用射频(rf)设备与传感器44、无人机15和/或hmd 216通信以使用三角测量或者用于确定对象位置的一些其他算法确定它们各自的位置。
109.在足球中，无人机15可以定位在相对于特定运动员的特定位置，例如拥有足球的球员、守门员、进行点球或角球的球员或其他感兴趣的球员，如上文关于其他运动所述的。作为示例，无人机15可以在场地表面上方的某个高度(例如，大约10英尺)处定位在球员后面一定距离(例如，大约10英尺)。可替代地，无人机15可以位于足球场的一侧(例如，无人机15可以在边线上下移动)。如上面针对其他体育运动所描述的，可以基于捕获的图像移动无人机15以将无人机15保持在相对于感兴趣的运动员的特定位置。在一个实施例中，基于足球的位置来控制无人机15的位置。作为示例，可以控制无人机15在一定高度(例如，大约10英尺)处悬停在球上并且与球一起移动，使得无人机15继续悬停在球上或在相对于球的另一个预定位置处。如上面针对其他体育运动所描述的，处理系统46可以被配置为基于捕获的图像收集球和球员数据，以确定各种踢球的球轨迹，并确定指示球员表现的各种参数。
110.在网球中，无人机15可以定位在相对于特定感兴趣的运动员的特定位置，如上面针对其他体育运动所描述的。作为示例，无人机15可以在场地表面上方的某个高度(例如，大约10英尺)处定位在运动员后面一定距离(例如，大约10英尺)。可替代地，无人机15可以位于网球场的一侧(例如，无人机15可以在边线上下移动)。如上面针对其他体育运动所描述的，可以基于捕获的图像移动无人机15以将无人机15保持在相对于感兴趣的运动员的特定位置，并且处理系统46可以被配置为基于捕获的图像收集球和运动员数据，以确定球的轨迹，并确定指示运动员表现的各种参数。
111.如果需要，可以使用多个无人机15来监测比赛情况。作为示例，根据上述技术，可以使用多个无人机15同时跟踪不同的运动员。此外，额外的无人机15和/或传感器可以定位在各个位置以提供额外的视点。处理系统46可以被配置为将来自多个无人机15或不同位置的传感器的多个图像拼接在一起，以便提供比赛情况的更大的合成图像。
112.当使用多个无人机15时，无人机15可以实现冲突避免算法，如上所述，以努力避开彼此。在这方面，一架无人机可以具有用于检测另一架无人机15的传感器44(例如接近传感器)，并且以避开另一架无人机15的方式基于这种传感器控制其飞行路径。在一个实施例中，无人机15被配置为无线地彼此通信以帮助避免冲突。作为示例，无人机15可以将位置信
息彼此通信。例如，第一无人机15可以将其位置坐标发送到第二无人机15，第二无人机15使用这样的坐标来确定第一无人机15的位置，使得它可以控制其飞行路径以避开第一无人机15。在另一个示例中，当确定两个无人机15之间的碰撞即将来临时，无人机15中的一个可以将其预期飞行路径的信息发送到另一个无人机15，另一个无人机15使用这样的信息来选择避免碰撞的飞行路径。因此，当第一无人机15确定采取规避操纵以避开第二无人机15时，第二无人机15可能知道将由于规避机动而产生的第一无人机15的飞行路径，从而帮助两个无人机相互避开。
113.如上所述，存在可用于控制无人机15的各种技术，并且这种控制可以是自主的、半自主的或手动的。另外，关于哪个传感器44能够在任何时间进行启用或使用的决定可以是自主的、半自主的或手动的。传感器校准和定位也可以是自主的、半自主的或手动的。处理系统46可以包括一个或多个用户接口，用于接收转换成无线发送到无人机15的命令的用户输入。单个用户可以提供这样的输入或控制分散在多个用户之间。作为示例，控制可以从一个操作员切换到另一个操作员，并且操作员可以在相同的场地处或彼此远离。来自操作员的输入可用于控制无人机15的飞行和/或其他操作方面，例如传感器属性(例如，相机的焦距)。
114.当完成对事件的监测时，可以将无人机15返回或移动到预定位置以用于存放或其他目的。操作员可以将无人机15引导到这样的位置，或者无人机15可以配置成自动飞行或以其他方式将无人机15移动到该位置。作为示例，预定位置的坐标可以被预编程到控制逻辑22中，控制逻辑22被配置为向飞行控制系统52提供输入，使得无人机15自动飞行到预定位置。
115.作为示例，无人机15可以存放在基座处。在基座处，无人机15可以连接到电源，例如电池或电源插座，以便为无人机15上的一个或多个电源(例如，电池)重新充电。如上所述，当进行感兴趣的体育活动时，体育活动可以由无人机15的传感器44或其他方式感测，并且作为响应无人机15可以自动离开其基座并飞行到用于监测体育活动的位置。一旦完成体育活动或者不再需要监测，无人机15可以自动飞回其基座或其他位置以进行存放。
116.作为示例，假设无人机15将用于在练习时监测篮球运动员。当运动员到达篮球场并开始在篮球场上带运(dribble)或投篮时，无人机15的传感器44或其他传感器(例如，安装在靠近球场的固定位置的传感器)可以检测到体育活动(例如，带运或投篮)，可以检测到在球场处或球场附近球员的存在，或者可以从球员或其他用户接收指示监测将开始的输入。响应于这些事件中的任何一个，无人机15可以自动飞行到期望的位置以监测体育活动并且如上所述开始监测。
117.在这方面，无人机15可以找到某些参考以帮助监测体育活动。作为示例，无人机15可以识别运动员，然后飞行到相对于正在监测的运动员的预定位置。在另一个例子中，无人机15可以找到篮球场的一部分，例如篮球球篮上的篮筐或球场标记，并且飞到相对于篮筐、篮球球篮的其他部分或球场标记的预定位置。用于将无人机15定向和定位在场地空间中或附近的其他技术是可能的。
118.一旦运动员已经停止体育活动至少预限定的时间量，已经离开某个接近度(例如，离开球场)，或者已经指示监测将停止(例如，提供用户输入)，无人机15可以随后自动返回到基座或其他位置以便存放，直到发生下一个监测事件。类似的技术可用于监测篮球或其
他运动的其他类型的活动。
119.由无人机15收集的信息(包括由无人机44捕获的图像或其他传感器数据)可以作为订阅服务的一部分提供给用户。作为示例，信息可以从无人机15无线地发送到处理系统46，处理系统46将信息存储在存储器中，例如存储在多个订户可访问的数据库中。对信息的访问可以由与诸如因特网之类的网络通信的服务器控制。作为服务的一部分，订户可以通过网络访问服务器并从服务器下载信息。作为示例，由无人机15捕获的图像的视频流可以从服务器流式传输到一个或多个用户。这样的视频流可以在体育事件发生时实时传送，或者视频数据可以存储在服务器上以供订户稍后(例如按需)访问。由无人机15收集的其他类型的信息可以类似地实时传送或存储以供订户稍后访问。如果需要，可以策划所收集的信息以供社交媒体使用。
120.另外，由无人机15收集的信息可以用作视频游戏的输入，包括虚拟现实视频游戏和增强现实视频游戏。例如，运动员和其他对象(例如橄榄球运动员和橄榄球比赛中的橄榄球)的运动可以由无人机15捕获和记录。然后可以使用这样的信息来重建这种运动的动画作为视频游戏或用户观看的其他内容的一部分的。使用头戴式显示器(例如，虚拟现实或增强现实眼镜)或其他类型的显示器，可以向用户显示运动员和体育事件中的其他对象的图像以生成用户可参与的虚拟现实或增强现实环境。作为示例，对于橄榄球比赛，用户可以去足球场并使用头戴式显示器，其允许用户在将所记录的运动员的图像投影到用户的眼睛中时看到实际的橄榄球场，以便用户看到运动员的图像好像在他所在的橄榄球场上发生了体育事件。或者，可以投射虚拟橄榄球场的图像，使得用户看到运动员的图像就像他们正在虚拟橄榄球场上比赛一样。该系统可以是交互式的，使得当用户在视频游戏中采取行动时，比赛情况受到影响。例如，如果用户在靠近球载体的虚拟或增强现实环境内移动，则可以更新球载体的图像以反映他被拦截。类似的技术可用于为其他类型的体育运动提供视频游戏。
121.如上所述，传感器44可以包括用于捕获场景图像的摄像机，例如可以流式传输给一个或多个用户的视频图像帧。在一些实施例中，无人机15可以具有至少一个多镜头相机，用于捕获宽视角(例如大于180
°
)的全景图像。如本文所使用的，“多镜头”相机指的是具有多个镜头的相机，所述镜头用于接收多个图像并且将来自多个镜头的图像拼接在一起或以其他方式组合来自多个镜头的图像以形成具有大于任何其中一个镜头接收的图像的视角的合成图像。通过将相机通信地连接到处理系统来实现这种使用多个相机的多镜头相机，该处理系统拼接来自相机的图像以形成合成图像。在至少一个实施例中，无人机15具有能够捕获360
°
全景视图的多镜头相机，有时被称为“360
°
相机”，但是其他类型的相机和图像也是可能的。作为示例，已经开发了360
°
相机，其提供360
°
全景视图而没有拼接，并且如果需要，无人机15可以使用这样的相机。具有宽水平视角(例如约180
°
或更大)的相机在本文中将被称为“广角”相机，而不管是否使用了拼接。当用户佩戴时，这种广角相机可用于捕获用户相对侧上的对象(例如用户前方和后方的对象)的图像。
122.在一些实施例中，无人机15还具有至少一个深度传感器47，其被配置为捕获相对于上述广角相机的相同或相似视图的全景深度图像。该全景深度图像可以具有宽视角，例如大于180
°
。在一个实施例中，二维(2d)摄像机提供具有高达360
°
的视角的全景图像，而深度传感器47提供具有相同或相似视角并且可用于从2d广角相机确定在图像中出现的对象的深度的对应深度图像。如上面针对全景视频图像所描述的，来自深度传感器47的多个镜
头的图像可以拼接在一起以形成合成深度图像，但是对于一些深度传感器47，可能不需要拼接来实现广角视图。
123.在一些实施例中，由无人机15监测的体育事件的运动员佩戴至少一个广角相机，其从佩戴这种相机的用户的视点提供全景视频图像。来自相机的图像数据可以无线传输到无人机15和/或处理系统46。与来自无人机15上的相机的图像数据一样，来自用户的广角相机的图像数据可以通过处理系统46存储和显示以供订户或其他用户查看。在其他实施例中，可以根据需要由用户佩戴其他类型的相机。注意，运动员可以佩戴这样的相机，以在不使用无人机15的情况下从运动员的角度提供视频图像。
124.可以使用各种技术将广角相机附接到用户，例如体育事件中的运动员。在一个实施例中，广角相机具有多个相机，称为“分量相机”，每个相机具有比由广角相机提供的全景图像更小的视角。每个分量相机捕获该相机视图内的扇区的图像，并将该图像发送到处理系统，该处理系统将这些图像拼接在一起以形成广角全景图像，例如具有360
°
视角的全景图像。作为示例，可以存在三个分量相机，其中每个分量相机捕获具有大约120
°
的视角的图像，以便形成具有360
°
视角的组合图像。在其他实施例中，具有不同视角的其他数量的分量相机是可能的。
125.在一个实施例中，每个分量相机安装在可以附接到用户的基座上。作为示例，基部可以是围绕用户的身体部分的带(例如，圈)，以将基座固定到用户，并因此将部件固定到用户。这种带可以是刚性的或弹性的。作为示例，带可以佩戴在用户的躯干(例如，胸部、腰部或臀部)、手臂、腿部或头部周围。对于橄榄球或棒球，带可以围绕橄榄球或棒球运动员的头盔装配。如果需要，分量相机和/或带可以与头盔或其他帽盔集成(例如，嵌入其中)。无论用于将分量相机固定到用户的技术如何，分量相机可以形成能够从用户的相对侧捕获图像的相机圈，例如来自用户的正面和背面的图像。对于水球，可以在用户的泳帽上放置一圈相机。在其他运动中，一圈相机可以安装在其他类型的帽盔上，例如无帽檐帽(例如棒球)、有帽檐帽子、头盔、头带(例如，足球或篮球)等。在其他实施例中，一组分量相机如上所述可以围绕其他身体部位定位。
126.如果需要，可以使用多圈分量相机。作为示例，一圈分量相机可以定位在用户的头部周围，而另一圈分量相机可以定位在用户的躯干周围。来自一圈的全景图像可以与来自另一圈的全景图像组合(例如，拼接)以形成合成全景图像。可替代地，一圈相机可以捕获2d图像，并且一圈深度传感器可以捕获捕获图像的深度信息。
127.作为示例，图8示出了具有嵌入在橄榄球运动员的头盔301中的多镜头相机(例如，多个分量相机)的足球运动员。分量相机可以定位在头盔301的内部，使得它们在图8中不可见。每个分量相机可以具有镜头306，其穿过头盔301，定位在头盔301的外表面上，定位成通过头盔301中的孔接收光，或者以其他方式定位在头盔上301用于接收来自包括体育事件中的其他运动员的场景的光。在图8的实施例中，镜头306围绕头盔301布置成圈。无线通信接口也可以联接到头盔301或以其他方式定位在运动员上以接收通过镜头306捕获的图像并且将图像无线传输到处理系统46，处理系统46可以将图像拼接或以其他方式组合在一起形成合成图像，例如运动员周围的场景的360度视图。
128.在图8中，运动员腰部周围还有一条带309。分量相机可以嵌入带309中或以其他方式联接到带309上。每个这样的分量相机具有镜头306，镜头306穿过带309，定位在带309的
外表面上，定位成通过带309中的孔接收光，或以其他方式定位在带309上以接收来自包括在体育事件中的其他运动员的场景的光。与联接到头盔301的分量相机一样，联接到带309的分量相机可以将捕获的图像提供给将图像发送到处理系统46的无线通信接口，处理系统46可以将图像拼接在一起形成合成图像，例如球员周围的场景的360度视图。另外，处理系统46可以将从联接到头盔301的分量相机导出的合成图像与从联接到带309的分量相机导出的合成图像拼接或以其他方式组合，以形成更大的合成图像，例如球员周围的场景的360度视图。注意，可以使用使运动员能够佩戴多镜头相机的其他技术。作为示例，分量相机或镜头可以嵌入或以其他方式结合到运动员的运动衫中并且定位在运动员周围以提供360度视图而不是使用带309，或者带309本身可以嵌入或以其他方式结合到运动员的运动衫中。在其他实施例中，其他技术也是可能的。
129.图9示出了一个实施例，其中篮球运动员在她的头部周围佩戴带321，类似于图8的带309。在这方面，分量相机可以嵌入在带321中或者以其他方式联接到带321。每个这样的分量相机具有镜头306，镜头306被暴露以接收来自包括在体育事件中的其他运动员的场景的光。与联接到头盔301的分量相机一样，联接到带321的分量相机可以将捕获的图像提供给无线通信接口，无线通信接口将图像发送到处理系统46，处理系统46可以将图像拼接或以其他方式组合在一起形成合成图像，例如运动员周围场景的360度视图。
130.注意，分量相机不必彼此刚性地联接，或者一圈分量相机不必刚性地联接到另一圈分量相机。也就是说，可以在监测期间相对于另一个分量相机的取向和/或位置改变一个分量相机的取向和/或位置。在一个实施例中，用于捕获2d视频图像的取分量相机与取深度传感器47结合使用，用于从体育活动的运动员的角度捕获多个深度图像。深度图像可以被拼接或以其他方式组合在一起以形成合成深度图像，该合成深度图像可以用于确定对象在任何方向上距运动员的距离。使用来自一个或多个深度传感器45的深度图像，可以识别场地表面平面以帮助确定重力方向，如美国专利申请第14/874,555号中所述。
131.除了从体育活动中的运动员的角度捕获图像之外，无人机15还可以用于捕获佩戴广角相机的运动员的图像。这可能有助于了解运动员的思想和心态。作为示例，无人机15上的相机或另一位置处的相机可以用于捕获运动员的脸部的图像，并且可以分析这样的图像以确定运动员的心态的线索。例如，可以确定并记录运动员正在寻找的方向。此外，可以分析运动员的面部表情以便估计运动员恐慌或集中的程度。作为示例，微笑可以指示运动员是放松的，并且没有微笑的快速眼睛运动可以指示运动员紧张或恐慌。
132.由广角相机捕获的视频图像可用于向用户提供虚拟现实或增强现实环境。从这样的视频图像，用户可以从佩戴广角相机的运动员的角度观看体育事件。作为示例，当在橄榄球比赛中由四分卫佩戴广角相机时，观看视频馈送的用户可能能够从四分卫的角度看到冲击四分卫和接球者运行路线的防守线卫。使用多个分量相机圈可以帮助增加捕获图像的垂直视角。此外，使用广角相机，可以看到线卫从多个方向接近四分卫，例如四分卫的前后(四分卫的盲侧)。在其他实施例中，多圈可以用于其他目的。例如，如上所述，一圈上的至少一个相机可以提供二维视频图像，而另一圈上的至少一个深度传感器47可以用于提供由相机捕获的像素的深度信息。
133.注意，在诸如无人机15的移动对象上，可以使用来自相机的图像来确定深度而不使用深度传感器47。在这方面，如果以在相机移动时从两个不同的视点拍摄的两个图像中
找到静止对象(例如，场地或球场上的线，篮球圈或橄榄球球门柱)，则假设相机的速度已知可以使用三角测量或其他类似技术来确定两个图像中对象的深度。在一个实施例中，处理系统46被配置成基于飞行传感器(例如，空速和航向传感器)或其他方式(例如，来自位置传感器的坐标的变化)来确定其速度，以识别多个图像中的静止对象，以及使用这样的信息来计算由无人机15捕获的图像的像素的深度。
134.如上所述，使用体育事件中的多个运动员上的相机可以提供额外的数据以便于理解复杂情况或提供更多内容用于娱乐、训练或其他目的。作为示例，在橄榄球比赛中，相机可以附接到四分卫和正在运行路线的接球者。接球者上的摄像机可用于捕获试图保护或“覆盖”接球者的防守者的图像。基于由接球者的相机和/或四分卫的相机捕获的图像确定的防守者相对于每个接球者的位置，处理系统46可以选择一个或多个最佳接球者用于接收来自四分卫的传球。
135.注意，接球者选择可以基于其他因素，例如关于在比赛过程中由处理系统46收集的或者由处理系统46确定的关于防守者的属性。作为示例，处理系统46可以保持关于每个防守者都表示有关防守者的各种表现属性的数据，例如他的最高速度、跳跃高度、范围或指示防守者能力的其他参数，例如主观或客观评级，以下称为防守者评级，“指示防守者覆盖接球者的有效性。这样的数据可以是预限定的(例如，在比赛之前存储在处理系统46中，或者可以由处理系统46通过在比赛期间监测防守者来确定)。使用这样的数据，处理系统46可以分析防守者的能力和他对接球者的相对位置，以确定指示投掷到接球者的传球将被完成的概率的值。
136.例如，基于接球者和防守者之间的间隔距离以及防守者的最大垂直范围和/或跳跃高度，处理系统46可以确定防守者是否能够阻挡沿着轨迹投掷在他顺着场地跑动时到达接球者的传球，考虑到接球者和防守者在传球过程中可能会继续跑直到球到达接球者和/或防守者的事实。基于橄榄球的可能轨迹与防守者在橄榄球可能到达防守者的点处的垂直范围之间的差异，处理系统46可以计算值，在下文中称为“完成指示符”，指示传球将完成的概率。在这方面，轨迹与防守者的垂直范围之间的较大距离通常使得四分卫在尝试完成传球时具有更大的误差范围，从而增加了传球将成功的概率。
137.完成指示符还可以基于其他因素。作为示例，对于被评定为高于其他防守者的防守者，可以降低完成指示符，如其各自的防守者等级所示。还可以基于防守者先前在类似情况下执行的方式来控制完成指示符。作为示例，在比赛期间，处理系统46可以针对他所防护的每个传球来跟踪和存储防守者的属性数据。这样的数据可以包括在投掷传球时防守者和接球者之间的间隔距离和/或其他数据，例如传球是否完成，防守者是否守卫接球者的内肩或外肩，以及防守者和接球者之间的最大速度区别。处理系统46分析属性数据以找到与当前比赛属性组相似的情况，并分析防守者在类似情况下如何表现(例如所识别情况的完成百分比)。基于这种分析，处理系统46可以相应地调整完成指示符。完成指示符可以基于其他实施例中的许多其他因素。
138.注意，完成指示符还可以基于与接球者相关联的属性，诸如接球者的速度、跳跃高度、垂直范围等。与防守者一样，处理系统46可以维护关于接球者的属性数据并且搜索这样的属性数据用于确定接球者在过去的类似情况下如何表现并相应地调整完成指示符。在分析属性数据时，涉及相同防守者和接球者的类似情况的结果可能比其他情况的结果更高。
139.完成指示符基本上是由处理系统46基于防守者和接球者的相对位置和/或其他因素(例如能力)来评估完成指向接球者的传球的可能性的程度，例如在类似的情况下，防守者和接球者的能力以及防守者和接球者的表现记录。处理系统46可以使用这种完成指示符来选择用于捕获传球的最佳接球者。作为示例，可以选择与最高完成度指示符相关联的接球者作为用于捕获传球的最佳接球者。在其他实施例中，用于选择用于从四分卫接收传球的最佳接球者或接球者组的其他技术是可能的。
140.在选择一个或多个最佳接球者之后，处理系统46可以在四分卫上向移动设备发送指示所选择的接球者的数据，以帮助四分卫选择用于在比赛期间接收传球的接球者。作为示例，头盔(与他的头盔或由四分卫佩戴的眼镜集成的显示设备)可以在增强现实环境中显示用于识别由处理系统46选择的一个或多个接球者的图形。在这方面，显示设备可以将图像投影到四分卫的眼睛或四分卫所佩戴的眼镜上，使得图形元素看起来叠加在所选择的一个或多个接球者上，从而指示哪些接球者已经被确定为接收传球的最佳接球者。通过。在另一个示例中，可以投影图像，使得所选接球者或对应于(例如，位于或接近)所选接球者的足球场的一部分可以看起来以不同于足球场其他部分的某种方式突出显示或着色。在其他实施例中，用于识别所选接球者的其他技术是可能的。使用来自处理系统46的信息，四分卫可以选择一个接球者用于当前比赛并将足球投掷到所选择的接球者。
141.除了帮助四分卫选择接球者之外，处理系统46可以帮助四分卫选择合适的轨迹。在这方面，处理系统46可以检测防守者的位置，并且基于这些位置，识别用于成功完成传球同时避开防守者的至少一个轨迹。类似于上述示例，所识别的一个或多个轨迹可以在增强现实环境中显示给四分卫，其中虚拟曲线示出所识别的轨迹。四分卫可以选择所显示的轨迹之一并尝试投掷橄榄球使得其遵循所选择的轨迹。如上所述，可以显示多于一个的轨迹，并且可以基于传球的强度和/或释放角度对轨迹进行颜色编码或以其他方式标记，这两者都影响传球的轨迹。
142.在一个实施例中，显示给四分卫的一个或多个轨迹是基于系统在投掷先前传球时评估的他表现来选择的。在这方面，通过监测四分卫随时间的表现，处理系统46可以学习与四分卫相关联的传球限制，例如四分卫的手臂力量(例如，四分卫能够投掷橄榄球的速度有多快或多远)。基于这样的限制，处理系统46可以消除被认为对四分卫的能力不可行的至少一些轨迹。作为示例，可以从显示给四分卫的轨迹中省略可能需要杆面倾角(轨迹高度)和超过四分卫能力的距离的轨迹。因此，处理系统46仅基于先前的投掷表现向四分卫轨迹显示四分卫被认为能够进行。因此，四分卫更可能选择将导致成功结果(例如，传球完成)的轨迹。另外，基于若干因素，例如为传球计算的可能轨迹和四分卫的过去表现，处理系统46可以选择被认为是最优的轨迹(例如，导致成功结果的最高概率)。这样的最佳轨迹可以被颜色编码为与其他显示的轨迹不同的颜色或者由处理系统46以其他方式突出显示，使得四分卫可以容易地辨别哪个轨迹被认为是最佳的。
143.注意，类似的技术可以用于其他类型的运动员。作为示例，可以将射门得分尝试的可能轨迹显示给踢球者。除了基于踢球者的先前射门表现选择或以其他方式限定可能的轨迹之外，如系统所监测的，处理系统46还可以接收指示诸如风速的气象条件的输入，并且补偿风速的轨迹。作为示例，安装在球门柱上或以其他方式定位在球门柱附近的传感器可以测量风速并且无线地向处理系统46传输指示测量的风速的数据，其可以由处理系统46使用
以计算至少一脚踢球轨迹。因此，踢球者可以看到至少一个轨迹，如针对风调整的，以便成功地踢足球穿过球门柱。这些信息可用于帮助踢球者调整他的踢球以补偿风况。此外，可以基于到球门柱的距离、当前的风力条件和踢球者的过去踢球表现来通知踢球者他的最长可能轨迹可能无法到达球门柱。这些信息对于影响某些比赛时间决定可能是有用的，例如是否在比赛过程中尝试射门。
144.在其他实施例中，用于辅助运动员在比赛期间做出决定的其他技术是可能的。作为一个例子，在篮球中，可以使用类似的技术来分析防守者相对于队友位置的位置，以及防守者和/或队友的能力或类似情况下防守者和/或队友的表现，选择并确定哪个队友最适合接收传球。注意，队友相对于篮球球篮的位置可以用作选择队友的因素。例如，如果确定多个队友准备好传球，则可以选择最接近篮球球篮的队友来接收传球。可替代地，如果在三分线上有一个无人防守的队友，即使有一个无人防守的队友靠近篮球球篮，也可以选择这样的队友接收传球。接受传球的队友的选择可以基于其他因素，例如队友的过去表现。作为示例，通过随时间跟踪运动员，处理系统46可以确定来自球场上不同区域的每个运动员的射击百分比。选择接收传球的队友可以基于这样的数据。作为示例，处理系统46可以选择(1)能够成功接收传球的队友(根据他相对于防守者位置的位置确定)和(2)根据当前位置相对于也能够成功获得传球的其他队友的投篮命中率选择与最高投篮百分比相关联的队友。
145.应当注意，本文描述的监测技术可以应用于电子竞技的参与者，其通常是指与体育有关的视频游戏竞赛。在电子竞技活动中，参与者通常在具有特定运动的视频游戏中相互对抗，例如棒球、橄榄球、篮球、摔跤、街头对战等，而观众则观看参与者和比赛情况。与常规体育一样，大量观众经常参加或观看电子竞技活动。可以定位至少一个相机以捕获电子竞技事件的参与者的面部图像。如上所述，这种相机可以定位在无人机15上，但是在其他实施例中，相机的其他位置也是可能的。可以分析这样的面部图像以估计参与者的精神状态。在一个实施例中，由相机捕获的面部图像可以显示在电子竞技事件的视频馈送内。作为示例，面部图像可以显示给在事件处被或者位于距事件的远程位置处的观众。
146.另外，视频图像可以由处理系统46分析以确定屏幕分析、眼睛运动和面部表情，以努力确定好的电子竞技运动员的特征，包括肌肉记忆、集中和反应时间。注意，可以根据需要将视频图像显示给运动员。作为示例，可以将一个运动员(“竞争者”)的面部显示给另一个运动员，使得另一个运动员可以在比赛情况期间感测其竞争者的精神状态。例如，竞赛者的视频图像可以叠加或以其他方式与呈现给运动员的视频游戏图像组合。具体地，竞赛者的视频图像可以显示在用于向运动员显示视频游戏的同一显示屏幕上的窗口内。或者，可以单独显示竞赛者的视频图像，以便运动员在游戏过程中可以看到它。作为示例，竞争者可以显示在单独的显示屏幕上或在增强现实环境中，其中视频游戏由物理显示单元(例如台式监测器或电视)显示，同时由运动员佩戴的头盔(例如，眼镜)显示竞争者的视频图像。在其他实施例中，用于显示竞争者的视频图像的其他技术也是可能的。此外，除了显示竞赛者的视频图像之外或代替显示竞赛者的视频图像，可以根据相同或类似的技术向运动员显示关于竞赛者所收集的数据。
147.图11描绘了用于监测体育运动场地中的对象的示例性系统300，体育运动场地例如橄榄场、足球场、篮球场等。为了说明的目的，系统300将在运动员或篮球正在篮球场的周界内移动时来监测篮球运动员或篮球的上下文中详细描述。然而，系统300可以用于其他运
动，诸如橄榄球、棒球、曲棍球、足球、排球、网球、高尔夫球或任何其中希望跟踪移动对象的运动或事件。
148.如图11所示，系统300包括通信地联接到处理系统46的感测系统312。感测系统312被配置为感测在运动场地内移动的诸如篮球运动员或篮球的对象，并且提供指示对象在移动时的位置的传感器数据349。如果需要，感测系统312可以驻留在无人机15上，如上所述，但是在其他实施例中，感测系统312可以位于其他位置。作为示例，感测系统312可以在运动空间附近的固定位置处实现，或者传感器感测系统312可以是可佩戴的，使得其可以由参与体育事件的运动员佩戴。在其他实施例中，传感系统312的其他位置和配置也是可能的。
149.如上所述，处理系统46被配置为接收传感器数据349并分析数据349以确定指示运动员表现的表现参数。作为示例，感测系统312可以感测运动员或运动员身体的一部分的位置，并且处理系统46可以分析传感器数据以确定运动员或者运动员身体的一部分(例如篮球投篮期间的手或肘)的速度、加速度或位移。用于监测运动场地中的对象的各种表现参数和技术由以下专利描述：2014年1月7日授权的题为“trajectory detection and feedback system”的美国专利号8,622,832，其通过引用结合于此；题为“training devices for trajectory
‑
based sports”并于2013年12月31日授权的美国专利号8,617,008，其通过引用并入本文；2008年5月27日提交的题为“stereoscopic image capture with performance outcome prediction in sporting environments”的美国专利申请第12/127,744号，其通过引用并入本文；以及于2015年2月3日授权的题为“true space tracking of axisymmetric object flight using diameter measurement”的美国专利第8,948,457号，其以引用的方式并入本文中。
150.在一个示例中，处理系统46识别自由飞行中的对象，诸如在篮球投篮期间朝向篮球球篮的篮筐行进的篮球，并且为一系列图像帧确定对象在3d空间中的位置。每个这样确定的位置在这里将被称为“测量的轨迹点”。基于测量的轨迹点，处理系统46确定代表对象移动路径的轨迹曲线，以计算一个或多个表现参数。作为示例，基于所确定的轨迹曲线，处理系统46可以通过确定在接近篮筐的位置处(例如，在篮筐的平面内)曲线相对于由篮筐所限定的水平面的角度来估计对象进入篮球球篮的篮筐中的角度。注意，处理系统46具有有限数量的测量轨迹点，取决于各种因素，诸如相机351的帧速率和对象在相机351的视野中的时间量，并且处理系统46可以在轨迹分析中执行曲线拟合算法或其他类型的算法以平滑轨迹曲线。如果重力方向已知，则可以大大简化用于估计对象的轨迹的算法。的确，如果知道重力方向，则可以减少用于估计轨迹曲线的处理负担，并且可以用较少的测量轨迹点来确定更准确的轨迹曲线。
151.如图11所示，处理系统46可通信地联接到输出设备317(例如显示设备或音频设备(例如扬声器))，输出设备317由处理系统46控制，以向运动员提供指示运动员在篮球投篮或其他活动期间的表现的反馈。作为示例，处理系统46可以确定与篮球投篮相关联的表现参数，诸如出球高度、出球角度、速度、加速度、最大投篮高度，投篮者的位置(例如，当进行投篮时投手与篮筐之间的水平距离)、命中/未命中状态或篮球进入篮球球篮的篮筐中的进入角度或速度。这种表现参数可以通过输出设备317传送给运动员。如果需要，处理系统46可以通过网络(图11中未示出)(例如因特网或lan)与输出设备317通信。
152.在一个示例性实施例中，处理系统46使用命中/未命中状态或其他信息以便确定
可用于表征投手在多次投篮中的技术水平的各种统计数据。作为示例，处理系统46可以对特定投手所投的总投篮数进行计数，并且还对所命中的总投篮数进行计数。处理系统46然后可以基于两个计数来计算表现参数。作为示例，处理系统46可以通过将所命中的总投篮数除以所投的总投篮数计算所命中的投篮百分比。
153.请注意，用户有时会在球没有直接进入篮筐的情况下实现投篮命中。举一个例子，一个球可能击中篮筐并向上弹起，然后最终落入篮筐而实现投篮命中。这种从篮筐向上弹出但最终穿过篮筐的投篮在本文中被称为“非保证命中”。对于非保证命中，篮球有可能从篮筐中弹出几次最终穿过篮筐。对于其他投篮，有时也称为“空心”投篮，篮球会穿过篮筐而不接触篮筐。对于其他投篮，当篮球向下穿过篮筐时，篮球可能会接触篮筐，而不会沿向上方向从篮筐弹出。篮球通过篮筐而没有沿向上方向从篮筐弹出的投篮在本文中被称为“有保证命中”。注意，有保证命中包括篮球不与篮筐接触的空心投篮，以及篮球在向下穿过篮筐的方向上接触篮筐，而不沿向上方向(即远离场地的地板)弹出篮筐的投篮。
154.据信，有保证命中的数量可能是比总命中投篮数更好的技能水平指标。在这方面，有保证命中比例较高的球员往往是一个更稳定和更好的投手。此外，在任何给定的抽样期间，由于过度数量的非保证命中，较低技能的运动员可能看起来比他或她的实际技术水平更好，这相对于有保证命中具有不太可预测的结果。此外，有保证命中总数或基于有保证命中总数的参数可以构成由处理系统46计算的一个或多个表现参数。作为示例，处理系统46可以通过将采样期间内计入的有保证命中总数除以同一运动员在所述采样期间内尝试的总投篮数来计算有保证命中的百分比。在其他实施例中，基于由处理系统46计数的有保证命中数的其他参数是可能的。
155.注意，基于有保证命中的数量或百分比的表现参数可以作为反馈被报告给用户。在一个实施例中，基于由处理系统46计数的有保证命中的表现参数被用于确定运动员的技能水平。在这方面，作为反馈的一部分，处理系统46可以为特定运动员提供技能水平评估。这种技能水平评估本质上可以是定性或定量的。作为示例，评估可以具有各种质量水平，例如“差”，“好”，“很好”和“专家级”，并且处理系统46可以使用采样期间的有保证命中的总数作为选择哪个级别适合运动员的至少一个因素。就这一点而言，根据用于选择技能水平的预限定算法，较高的有保证命中百分比通常导致选择较高技能水平。技能水平评估本质上也可以是定量的，例如从0到100(或某个其他范围)的分数。通常，当运动员获得有保证命中的比例较高时，运动员被赋予较高的分数，注意，所述分数也可以基于其他因素。无论如何，处理系统46在有保证命中和非有保证命中之间进行区分，并且最终至少基于在采样时段期间为运动员计数的有保证命中的数量为运动员分配技能等级评估。
156.如果需要，处理系统46可以将表示表现参数的数据存储在存储器125中，或者将该数据发送到另一个设备以进行存储或分析。如本文所述，可以在稍后分析这些数据以提供反馈，或者用于其他目的，例如提供关于比赛打法的信息。作为示例，可以将球的位置与与运动场地相关联的对象(例如架子或边界)的位置进行比较，以确定球是否越过或到达对象。在其他实施例中，处理系统46处理的数据的各种其他用途是可能的。
157.在系统300在篮球中使用的一个示例中，处理系统46被配置为识别捕获的图像中的三分线。如本领域中已知的，三分线通常是从篮球场的底线延伸到罚球区的顶部并返回到底线的弧。处理系统46还识别在三分线附近投掷篮球的投手。例如，通过追踪运动员相对
于篮球的位置，处理系统46可以确定运动员中的一个何时朝向篮筐投掷篮球。处理系统46被配置为识别这样的投手的脚并且确定他的两只脚是否在投篮得三分的三分区域中的三分线的一侧上(即，篮球场的在三分线和底线之间的区域之外的区域)。基于投手的脚和三分线的相对位置，处理系统46确定表示该投篮是否是三分球的表现参数。如果他的脚的任何部分在三分线上或在三分线内，则处理系统46确定投手没有投出三分球。否则，处理系统46确定投手正在投三分球。在这样的实施例中，裁判或其他用户可利用指示表现参数的反馈来确定是否对于该篮球投篮裁定为三分。
158.在橄榄球的情况下，足球的位置可以与诸如球门线的边界线相比较，以便确定足球的任何部分是否到达或穿过球门线。即，基于由感测系统312捕获的图像，处理系统46可以自动确定触地是否得分。在这样的实施例中，裁判或其他用户可以利用来自系统300的反馈来确定是否对到达或穿过球门线的足球奖励积分。在其他实施例中，可以基于对象与运动表面382上的标记的比较来作出其他决定。
159.注意，处理系统46可以经由物理连接(例如，导线)或无线地联接到感测系统312和/或输出设备317。在一个示例性实施例中，感测系统312安装在篮球球篮上，如将在下文中参照图3更详细描述的，并以无线方式将传感器数据发送至处理系统46，并且处理系统46可包括可与输出设备317集成在一起的计算机系统，例如台式计算机、膝上型计算机或手持式计算机。作为示例，智能电话或膝上型计算机上的软件应用可以实现在此描述的处理系统46的功能，处理系统46可以以硬件或者硬件、软件和固件的任何组合来实现。智能电话可具有用于实现输出设备317的触敏显示器或扬声器，以向运动员或其他用户提供视觉输出。在其他实施例中，处理系统46不必与输出设备317集成在一起。作为示例，输出设备317可以经由智能电话的显示屏幕或音频设备来实现，并且处理系统46可以将反馈信息无线发送到智能电话，该智能电话通过输出设备317向用户呈现反馈信息。在另一个实施例中，输出设备317可以是连接到处理系统46的外围设备。在其他实施例中，其他配置也是可能的。
160.图12描绘了用于实施例的处理系统46，其中处理系统46处理用于跟踪体育运动空间中的一个或多个运动员的表现并确定体育运动空间内的重力方向的信息，如下面将更详细地描述的。在图12所示的示例性实施例中，传感器数据349包括来自相机(图12中未示出)的图像数据349和来自深度传感器(图12中未示出)的深度图350，但是其他类型的传感器数据349可以用于其他实施例。
161.如果需要，感测系统312(图11)可以包括用于辅助处理系统46的操作和算法的任何传感器。作为示例，可以使用加速度计或其他类型的运动传感器来提供关于感测系统312或感测系统312的部件(诸如相机351)的移动的输入。另外，可使用诸如倾斜传感器或陀螺仪的一个或多个定向传感器来提供关于感测系统312或感测系统312的部件(诸如相机351)的取向的信息。控制逻辑122可以使用已知的算法，以基于加速度计读数或来自运动传感器、方位传感器或其他类型的传感器的其他类型的读数来确定重力方向。如下面将更详细描述的那样，控制逻辑33可以基于一个或多个加速度计或其他类型的传感器来确定重力的方向并且使用该信息来辅助其操作。
162.各种类型的感测系统312可被用于感测被监测的对象。在一个示例性实施例中，如图11所示，感测系统312包括相机351和深度传感器47。相机351被配置成捕获包括被监测对象的图像的运动场地的视频图像并提供限定所捕获图像的帧的图像数据49。在一个实施例
中，图像是二维的，并且深度传感器47用于感测深度或者换句话说从传感器47到图像中的对象的距离。就此而言，对于图像数据49的每帧，深度传感器47提供指示图像帧的每个像素的相应深度的深度图。注意，深度传感器47可被定向为使得由深度传感器47测量的距离处于基本垂直于相机351所使用的2d坐标系的平面的方向上，尽管在其他实施例中深度传感器47的其他取向是可能的。
163.可使用各种类型的相机351和深度传感器47来实现感测系统312。在一个示例性实施例中，感测系统312使用微软公司出售的相机系统来实现。在这样的系统中，相机351和深度传感器47被集成到相同的外壳355(图3)中。相机351被配置为捕获包括视频数据帧的视频流，其中每个帧由多个像素限定。每个像素都与两个坐标相关联，即x坐标和y坐标，表示二维空间中的位置。对于每个帧，向每个像素被分配指示由相机从对应于像素坐标的二维空间中的位置接收的光的颜色的颜色值(其可以包括红色分量(r)值、蓝色分量(b)值和绿色分量(g)值)。此外，对于每个像素，深度传感器47测量从传感器47到在2d空间中的像素的对应位置处的现实世界对象的距离。这种距离(如上所述，其可以处于基本垂直于相机351所使用的2d坐标系的平面的方向上)可以被称为相应像素的“深度”。使用来自相机351的图像数据和来自深度传感器47的深度数据，可以在3d空间中确定由相机351捕获的对象的位置。也就是说，对于对象上的一个点，来自相机351提供的图像数据的x坐标和y坐标指示其沿着两个轴(例如，x轴和y轴)的位置，并且来自深度传感器的该点的深度值可被称为“z坐标”，指示其沿着第三轴(例如，z轴)的位置。值得注意的是，三个轴限定的坐标系与重力无关。也就是说，取决于系统312的取向，重力可以相对于坐标系的轴线处于任何方向。因此，除非执行校准过程，否则重力相对于坐标系的方向是未知的。
164.在相机系统中，深度传感器47包括波发射器363(例如，红外激光投影仪或其他类型的发射器)以及用于感测由发射器363发射的能量的反射的传感器364。发射器363将各种波长的红外辐射发射到自由空间中，尽管在其他实施例中可以发射在红外光谱之外的其它波长(例如，可见光)的辐射，并且传感器364感测反射的能量以捕获包括视频数据帧的视频流。来自传感器47的深度数据的每个帧对应于来自相机351的图像数据的相应帧。另外，一帧深度数据中的像素对应于(例如，具有相同的x坐标和y坐标)来自相机351的图像数据中的至少一个对应像素，并且指示来自相机351的图像数据中的所述至少一个对应像素的深度。
165.在这点上，对于由深度传感器47捕获的视频数据帧，深度传感器47通过向每个像素分配代表像素的深度的新颜色值(在此称为“深度值”)将该帧转换为深度图350。因此，当显示深度图350时，在图像内显示为相同颜色的对象应该与深度传感器47相距大致相同的距离，注意在操作过程中实际显示深度图350通常是不必要的。
166.如上所述，来自相机351的图像数据349的给定像素与指示2d空间中的像素位置的x坐标和y坐标相关联，并且该像素与来自由深度传感器47提供的指示像素的z坐标的深度图350中的对应像素的深度值相关联。x坐标、y坐标和z坐标的组合限定了像素在3d空间中相对于相机351的坐标系的位置。也就是说，x坐标、y坐标和z坐标限定了这样一个点的位置，在该位置处，对该像素测量的光从所述对象朝向相机351反射。
167.在相机351的坐标系中重力方向未知的事实在感测系统312的许多应用中不是缺点。然而，当感测系统312被用于估计对象在自由飞行中的轨迹，如本文所述，为了便于估计
对象轨迹的过程，重力方向相对于对象位置的知识是需要的。
168.在一个示例性实施例中，控制逻辑122被配置为自动确定相对于由传感器数据49指示的位置的重力方向，以便将数据的坐标系转换成基于重力的坐标系。如在此使用的，“基于重力的”坐标系是这样的坐标系：对于该坐标系在重力方向和坐标系的轴之间存在已知的关系，使得相对于由坐标系指示的任何点，重力方向可以被确定。作为示例，可以限定基于重力的坐标系，使得重力的方向平行于坐标系的轴(例如，z轴)，尽管重力方向和坐标系的轴之间可能存在其他关系。
169.下面将更详细地描述用于将传感器数据49(例如图像数据349和深度图350)从相对于相机351的坐标系的格式转换成相对于基于重力的坐标系的格式的示例性技术。在一个实施例中，感测系统312被定位成使得相机351和深度传感器47具有包括进行体育活动的运动表面(例如场地或球场的表面)的运动场地的宽阔视野。例如，在篮球中，感测系统312可以被安装成使得相机351和深度传感器47定位在篮球球篮的篮筐的上方能够观看到篮筐和篮球场的地板。图13描绘了其中感测系统312安装在篮球球篮377的篮筐371和篮板373上方的示例性实施例。作为示例，包括篮板373和篮筐371的篮球球篮377可以安装在一个或多个杆379，所述杆从建筑物的天花板或墙壁或其他结构延伸，并且感测系统312(包括相机351和深度传感器47)可以安装在篮板373上方的至少一个这种杆379上。如图13所示，篮筐由支架383联接到篮板373，并且网状物384可联接到篮筐371并从篮筐371悬挂。
170.此外，感测系统312可被定向为使得相机351和深度传感器47具有向下视图，该向下视图包括篮筐371和运动表面382的至少一部分(在当前例子中其是篮球场的地面)。当感测系统312如此定向时，相机351和深度传感器47捕获运动场地内的运动表面382和诸如篮球球篮377之类的其它对象的图像，如图17的框502所示。
171.图14示出了在这样的实施例中可由深度传感器47捕获的示例性深度图图像。在图14所示的深度图图像中，如由深度传感器47所确定的，基于深度对像素着色。在这方面，像素的颜色在深度图350中越深，像素的深度值越小。因此，与距离深度传感器47较近的对象相对应的像素相对于与远离深度传感器47的对象相对应的像素呈现较暗的颜色。作为示例，因为篮筐371和篮板373相对于运动表面382更靠近深度传感器47中，限定篮筐371和篮板373的图像的像素比限定运动表面382的图像的像素着色得更深。
172.在一个示例性实施例中，控制逻辑122分析深度图350以便识别深度图350的图像内的运动表面(ps)平面，如图17的框505所示。ps平面通常是指平行于其上进行体育活动的运动表面382(例如球场或场地的表面)的平面。在这方面，体育活动通常在具有相对平坦表面的宽敞开放空间中进行，如场地或球场。因此，深度图中的大量像素应该对应于运动表面382，并因此处于同一平面内。例如，当感测系统312被安装在运动表面上方高处时，图像的大部分可以对应于运动表面，并且与运动表面对应的像素可以具有在相对窄的颜色范围内的颜色值。而且，控制逻辑122被配置为分析深度图350以识别平面。也就是说，控制逻辑122被配置为识别处于同一平面内的至少一组深度像素。当感测系统312安装在运动场地上方高处时，可以通过找出具有相似颜色值的深度接近的像素组来识别平面。然而，在其他实施例中可以使用其他技术。作为示例，可以基于深度像素来分析相机351的视图内的对象的表面几何形状，以便识别处于相同平面内的深度像素。因此，同一平面中的像素不必具有相似的深度以便处于相同的平面中。
173.作为示例，在排球比赛中，一个或多个感测系统312可安装在排球场的一侧或多侧上，使得感测系统312位于排球场的网的下方。在这样的实施例中，排球场的地板的视图可以比垂直透视更接近水平透视，使得对应于排球场的地板的深度像素可以在地板远离感测系统312延伸时具有显著不同的深度值。
174.一些对象，诸如球门377的一些部分，可以具有从深度传感器352的角度来看是平坦的表面，但是在深度传感器352的视角内球门377的平坦表面的尺寸很可能是远小于运动表面382的尺寸。对于限定平面的每组深度像素，控制逻辑122可以确定所述平面内的深度像素的总数并将该数量与阈值进行比较。如果该数目低于该阈值，则控制逻辑122可以确定该像素组不与运动表面382相对应。也就是说，由像素组表示的平面的尺寸太小而不能代表运动表面。在同一平面内具有高于阈值的最大数目的深度像素的像素组可由控制逻辑122识别为对应于运动表面382的像素组，在下文中称为“地板(fp)像素组”。
175.注意，可以使用各种传感器来帮助识别限定ps平面的fp像素组。作为示例，如上所述，可以使用一个或多个加速度计或其他类型的传感器来确定重力的近似方向，并且可以使用这样的信息来过滤由控制逻辑122识别的各个平面，以消除不在前述传感器所确定的重力方向的预定范围内的平面。作为示例，如由一个或多个加速度计或其他传感器所确定的那样，仅限定基本上垂直于重力方向的平面的像素组有资格被选择为fp像素组。一旦fp像素组被识别，根据本文描述的技术，其可用于对重力方向进行更精确的测量。
176.由于深度传感器47估计像素深度时的误差或其他因素(例如运动表面的曲面，如果有的话)，fp像素组在一些情况下可能不限定完美平面。控制逻辑122被配置为对fp像素组执行数学平滑操作，以便移除远离fp像素组的异常值，如图17的框508所示。在一个示例性实施例中，使用随机采样一致性来实现数学平滑操作，但是在其他实施例中可以使用其他类型的平滑操作。
177.除了平滑操作之外，控制逻辑122还执行本文称为“底板差异(floor differencing)”的算法，以试图去除ps平面之外但比通过平滑操作去除的异常值更靠近ps平面的深度像素，如图17的框511所示。在这点上，在执行平滑操作之后，控制逻辑122分析fp像素组以便估计ps平面的初始位置和取向，这被称为“初始ps平面”。控制逻辑122然后将fp像素组的每个深度像素与由控制逻辑122识别的初始ps平面进行比较。作为示例，控制逻辑122可以确定(1)由深度像素指示的深度与(2)初始ps平面上与所述深度像素所指示的深度最接近的点的深度。如果差值大于预限定的阈值(th)，则控制逻辑122从fp像素组中去除所述深度像素。因此，通过执行底板差异，从fp像素组中移除与距初始ps平面的距离大于阈值距离的位置相关联的深度像素。
178.在执行底板差异之后，控制逻辑122再次分析fp像素组以便估计由修改的fp像素组指示的ps平面的位置和取向，由此识别将用于将传感器数据49转换成相对于基于重力的坐标系的格式转换的ps平面。就此而言，控制逻辑122可以确定重力方向垂直于该识别的ps平面，如图17的框514所示。
179.在传感器数据49被转换之前，控制逻辑122被配置为选择基于重力的坐标系的原点并且限定三个轴：x轴，y轴和z轴。这些轴相互垂直，并且每个轴都被限定为穿过原点。在一个实施例中，x轴和y轴被限定为平行于所识别的ps平面，并且z轴被限定为垂直于ps平面并且因此平行于重力方向。在其他实施例中，轴线相对于重力方向和ps平面的其他取向是
可能的。
180.为了促进表现参数的计算，控制逻辑122被配置为限定基于重力的坐标系和体育运动环境之间的关系。作为例子，为了确定篮球进入篮筐371的角度，控制逻辑122应当知道当篮球沿着轨迹行进时篮球相对于篮筐371的位置。这可以通过确定基于重力的坐标系中的至少一个参考点(例如原点)与体育运动环境中的至少一个参考点之间的关系来实现。通过这样做，可以自动确定感测系统312感测的诸如运动员或篮球之类的任何对象相对于比赛环境中的其他对象(诸如篮筐371)的位置。
181.注意，比赛环境中的任何点都可以用作基于重力的坐标系的参考。作为例子，在图像数据349内，可以识别篮球场的地板上的边界线或其他球场标记，并且使用所识别的标记来使基于重力的坐标系把比赛环境作为基准。但是，标记的类型或样式可能因球场而异。另一方面，篮球篮筐371通常具有一致的尺寸和形状，从而便于识别由感测系统312提供的图像内的篮筐371。
182.控制逻辑122被配置成识别由感测系统312提供的图像中的参考对象(例如，篮球篮筐371)并基于所识别的对象参考基于重力的坐标系，如图17的框515所示的。在一个示例性实施例中，控制逻辑33被配置成将篮球篮筐71定位在图像中并且限定基于重力的坐标系，使得其原点位于该篮筐371的中心处。值得注意的是，篮筐371的平面应该与由控制逻辑122识别的ps平面平行。由于x轴和y轴被限定为平行于ps平面，所以当原点定位在篮筐371的中心时x轴和y轴应当在篮球篮筐371的平面内。此外，当原点如此限定时，z轴在平行于重力的方向上穿过篮筐371的中心。
183.为了便于感测系统312的安装，感测系统312可安装在运动表面382和篮筐371上方的任何高度处。在不知道篮筐371距深度传感器47的距离的情况下，控制器逻辑122被配置为分析来自深度传感器47的深度图350以估计该距离。在估计该距离之前，控制逻辑122首先将篮球篮筐371定位在该图像内。下面将更详细地描述用于识别篮筐371的示例性技术。
184.在一个示例性实施例中，控制逻辑122被配置为识别像素组，其在下文中被称为“篮球球篮(bg)像素组”，其不包括对应于运动表面382的像素，从而从bg像素组去除大量像素。作为示例，控制逻辑122可以在深度图350的所有深度像素上执行类似于上述底板差异算法的算法。然而，控制逻辑122改为除去距ps平面小于阈值距离的深度像素并且保持距ps平面大于阈值距离的深度像素，而不是除去距ps平面大于阈值(th)距离的深度像素。
185.图15示出了为了去除对应于ps平面的深度像素而已经执行了底板差异之后的示例性深度图图像。如图15所示，深度图图像包括篮筐71的图像401、联接到篮筐371的网384的图像402、安装篮筐371的篮板373的图像403以及用于将篮筐371联接到篮板373的支架383的图像404。从架377上方的视图可以看出，支架383可以看起来基本上是矩形的，如图15所示，尽管其他形状也是可能的。
186.控制逻辑122在深度图图像中搜索篮筐的图像以便识别篮筐图像401。当找到篮筐图像401时，控制逻辑122确定篮筐图像401的大小(例如直径)。可以使用各种技术来确定篮筐图像401的大小。在一个示例性实施例中，控制逻辑122在篮筐图像401上叠加可缩放篮筐模板411，如图16所示(注意模板411在图16中显示为红色)。调整篮筐图像411的直径以便使篮筐图像401中由篮筐模板411覆盖的像素的数量最大化。由于篮筐371的实际直径是已知的(对于标准尺寸篮筐大约为18英寸)，可以基于模板411的直径计算深度传感器47距篮筐
371的距离。
187.控制逻辑122可以使用篮筐图像401中的篮筐直径来校准轨迹计算以说明感测系统312的位置。在这方面，对于准确的轨迹计算，控制逻辑33应该意识到缩放因子用于将图像中的距离与现实世界中的物理距离相关联。作为一个例子，捕获图像中半英寸的距离可以代表现实世界中几英尺的距离(或某个其他距离)。现实世界维度和捕获图像内的维度之间的缩放因子通常基于若干因素，包括感测系统312相对于出现在图像中的对象的位置以及用于捕获图像的相机的变焦或放大率。在一个示例性实施例中，控制逻辑122基于篮筐图像401确定捕获到的图像中的距离如何与现实世界距离相关或缩放。就此而言，如上所述，现实世界篮筐的直径通常在各架上是相同的(即大约18英寸)。因此，基于图像401中的篮筐的直径，控制逻辑122可以确定用于将捕获图像中的距离转换成现实世界距离的适当的缩放因子。在其他实施例中，可以使用具有已知尺寸的其他类型的对象来代替篮筐。举例来说，某些球场标记(例如罚球线的长度)可能是已知的，并且这种球场标记的图像可以用来确定适当的缩放因子。而且，从篮筐371到运动表面382的距离通常是已知的，并且可以用作确定比例因子的参考。在其他实施例中，还可以使用其他类型的对象和尺度来确定适当的缩放因子。
188.另外，控制逻辑122还被配置为基于传感器数据49的图像来定向基于重力的坐标系，如图17的框517所示。为了在一个实施例中实现这一点，控制逻辑122被配置为识别bg像素组中的支架383的图像。如图15所示，除了支架图像404所在的区域之外，篮筐图像401周围的区域应当基本上没有深度像素，这是由于上述的底板差异造成的。因此，即使对于不同形状和配置的支架383，寻找支架图像404的过程应该相对简单且可靠。在识别了支架图像404之后，控制逻辑122被配置为基于支架图像404相对于篮筐图像401的位置来定向基于重力的坐标系的轴线。作为示例，控制逻辑122可以限定其中一个轴线(例如，x轴线)使得其穿过篮筐371的中心和支架383的中心。
189.在定向基于重力的坐标系之后，控制逻辑122被配置为将图像数据349和深度图350从相对于相机351的坐标系的格式转换为相对于基于重力的坐标系的格式，如图17的框522所示。因此，图像数据的像素坐标被转换为相对于基于重力的坐标系的原点而不是相机坐标系的原点。应该注意的是，在阅读本公开后，对图17的各种改变和修改对于普通技术人员来说是显而易见的。此外，图17的步骤中的任何一个都可以省略和/或可以根据需要重新排列任何步骤的顺序。
190.由于感测系统312与基于重力的系统的原点之间的距离是已知的，所以可以计算图像数据349中的任何对象相对于篮筐371或比赛环境中的其它对象的位置。作为一个示例，篮球的轨迹可以与篮筐371的位置相比较，以便确定篮球进入篮筐的角度。在另一个示例中，通过得知篮筐371相对于感测系统312的位置，可以确定图像内的特定球场标记的位置，例如罚球线，因为标准篮球场的标记应该与篮筐371相距预定距离和方向。因此，可以确定对象相对于罚球线位置的位置。例如，控制逻辑122可以在球员向篮筐371发射篮球时，根据从图像数据确定的球员相对于罚球线的位置，确定球员正在进行罚球。
191.应该注意的是，上述用于校准基于重力的坐标系和将传感器数据49转换成相对于基于重力的坐标系的格式的示例性过程可以自动且高效地执行，而无需任何人为干预并且相对于可能存在的用于校准坐标系的其他技术没有显著的处理负担。因此，该过程可以在
操作期间尽可能多地重复。例如，如果感测系统312被篮球撞击致使相机351和传感器47移动，则可以根据本文所述的技术自动且快速地重新校准基于重力的坐标系。
192.另外，在上述几个示例中，假设重力方向垂直于由控制逻辑122识别的ps平面。然而，相对于所识别的ps平面的其他重力方向是可能的。举例来说，某些运动表面可能由于各种原因而倾斜，例如便于从表面排水。例如，一个足球场通常在场地中间有一个“冠”，当靠近边线时，场地离开冠顶向下倾斜。因此，场地的靠近边线的部分可以倾斜，使得重力的方向相对于场地的倾斜区域中的表面倾斜。在某些情况下，表面的斜度可能在更接近边线时增加。
193.在一个示例性实施例中，控制逻辑122被配置为在确定重力方向时考虑倾斜表面。请注意，有各种技术可用于说明表面的斜度。作为示例，处理系统46可以存储数据，这里称为“表面数据252”(图12)，表示在一个或多个点处的运动表面的斜度。例如，对于运动表面上的多个位置中的每一个，表面数据252可以具有指示表面倾斜的程度的值，诸如指示在这样的位置重力方向相对于运动表面的角度。这样的数据可以在处理系统46的正常操作之前被预限定并且被存储在存储器125中。作为示例，在校准过程期间，可以用相机351和深度传感器47来捕获运动表面的至少一个图像，并且该图像可以由控制逻辑122分析或以其他方式确定在各个位置处的运动表面的斜度。就此而言，如上所述，来自深度传感器47的深度图350的深度像素可以与来自相机351的图像数据349的像素相关，并且由深度像素指示的深度可以用于计算在由相机351捕获的图像中的不同位置处的运动表面的斜度。也就是说，控制逻辑122在校准过程中有效地映射运动表面，以便由数据252指示不同位置处的运动表面的斜度(相对于重力)。在该校准过程中，可以基于手动输入(例如，用户可以提供指示图像内的重力方向的输入)或通过在图像内找到已知方位的对象来确定重力方向，如上面针对篮球篮筐所描述的。在其他实施例中，如上所述，感测系统312可具有可用于感测重力方向的传感器，诸如加速计或其他类型的传感器。
194.在一个示例性实施例中，感测系统312联接到飞行器255，如图18所示，以便执行上面描述的校准过程，其中运动表面被映射以确定其表面拓扑。如上所述，飞行器255可以包括无人飞行器15或其他类型的航空器，其在运动表面上方飞行，允许相机351和深度传感器47在飞行器255飞行时捕获运动表面的图像。如果需要，飞行器255可联接到将飞行器255保持在空气中和/或在飞行器255移动时引导飞行器255的绳索。在其他实施例中，飞行器255可以不受限制，使得其可以在飞行员或遥控器的指导下自由飞行。在这样的实施例中，相机351从运动表面382上方的位置捕获运动表面382的图像，并且深度传感器47测量距运动表面的深度或距离。由相机351捕获的图像的每个像素与表示从像素表示的表面点到感测系统312的距离的深度值相关联。基于这样的深度值，表面在各个位置处的斜度可以被计算并存储在表面数据252中以便稍后用于确定重力方向，如上所述。
195.在上述校准过程之后的操作期间，控制逻辑122可以被配置为在作出关于重力方向的决定之前确定图像内的运动表面的位置。作为示例，对于给定的深度图350，控制逻辑122可以分析对应的一组图像数据349以确定由该组图像数据349限定的图像内的运动表面的相对位置。作为示例，基于在图像内的边界标记(例如足球场边线)上，控制逻辑122可以确定图像内的运动表面的位置靠近运动表面显著倾斜的边线。基于表面数据252，控制逻辑122确定在这样的位置处的表面坡度的程度，并基于该坡度计算或以其他方式确定重力的
方向。具体而言，控制逻辑122通过基于表面数据252分配在所识别的位置处相对于运动表面成倾斜角度的重力方向来考虑该斜度。因此，即使由控制逻辑122使用的图像是运动表面的倾斜区域，由逻辑122确定的重力方向也应该是精确的。
196.注意，联接到飞行器255的感测系统312可以以上述方式使用，以便根据上述技术监测运动表面上的运动员。上述用于基于由相机351和深度传感器47捕获的图像确定重力方向的算法对于这样的实施例可能是特别有用的。就此而言，当飞行器255正在飞行时，感测系统312相对于重力的取向可能频繁且突然地改变。用于基于相机351和深度传感器47确定重力方向的算法会重复且频繁地执行(诸如每秒多次)，同时消耗相对低的处理资源量，但仍然提供非常精确的重力方向估计。这些特性在各种其他应用中可能是有益的。
197.在计算移动对象的轨迹时，通常可以假设由重力施加在这种对象上的力是恒定的。但是，这种力的量值一般随海拔高度而变化。例如，对于发生在山区的事件相对于接近海平面发生的事件，重力的量值略有不同。在一个示例性实施例中，处理系统46被配置为在执行轨迹计算时考虑海拔高度的变化。
198.就此而言，处理系统46被配置为存储指示各种海拔高度的重力量值的重力数据352(图12)。另外，在操作期间，控制逻辑122被配置为确定处理系统46正在监测的事件的大致海拔高度。作为示例，用户可以简单地通过处理系统46的输入设备(未示出)输入事件的海拔高度，输入设备诸如键盘、小键盘或鼠标，或者处理系统46可以经由无线通信接口145无线地接收这种信息。可替代地，感测系统312可以具有传感器(未示出)，例如作为海拔高度计或位置传感器(例如，gps传感器)，其可以用于自动确定系统300的至少一个部件的近似海拔高度，并且因此确定系统300所处的事件的近似海拔高度。在其他实施例中，用于确定海拔高度的其他技术是可能的。
199.在确定海拔高度之后，控制逻辑122被配置为查阅重力数据352以确定要用于轨迹计算的重力的量值。作为示例，数据352可以被实现为海拔高度值和重力值的表格，并且控制逻辑122可以使用从感测系统312接收到的或者由控制逻辑122以其他方式获得的海拔高度值作为用于查找用于轨迹计算的适当的重力值的关键词。在其他实施例中，控制逻辑122可以被配置成基于所确定的海拔高度在算法上计算适当的重力值。在其他实施例中，用于确定用于轨迹计算的合适的重力值的其他技术也是可能的。通过基于被监测事件的实际海拔高度确定重力值，可以实现更准确的轨迹计算，从而改善系统300的性能。
200.以上在篮球背景下描述了监控系统的各种实施例。应该强调的是，其他运动中可以使用类似的技术来限定基于重力的坐标系并将传感器数据转换为相对于基于重力的坐标系的格式。作为示例，对于足球，感测系统312可被定位成使得足球场的门柱和表面在视野内。使用类似于上述用于篮球的技术的技术，可以识别对应于足球场表面的表面平面并将其用于确定重力方向。此外，门柱的形状可用于相对于足球场的边界和标记定向基于重力的坐标系。曲棍球的门可以类似地用于定向基于重力的坐标系。在其他运动中可以使用类似的技术来限定和定向基于重力的坐标系。