机位保障数据获取方法、装置、设备和存储介质与流程

1.本技术涉及目标检测技术领域，具体涉及一种机位保障数据获取方法、装置、设备和存储介质。


背景技术：

2.近年来，随着物流速运业务的蓬勃发展，为了便于统筹调度物流运输，区域中心协同调度系统通常需要集成来自区域枢纽空管、机场、物流航空、转运中心、海关、安检以及营运规划与速运指挥调度中心等各个主体的共享信息。
3.其中，来自机场的机位保障进度数据是协同调度系统进行统筹调度的一个重要数据，目前，机场对于机位保障进度数据的采集，采用的是各阶段相关工作人员人工进行汇报采集或者通过摄像头实时拍摄机位视频，再通过人工对视频内容进行识别来上报机位保障进度数据的方法。
4.但是，现有技术中，通过各阶段相关工作人员人工进行汇报采集或者通过摄像头实时拍摄机位视频，再通过人工对视频内容进行识别来上报机位保障进度数据的方法，会使得人工成本增加，并且一旦人工采集出错，容易导致航班进程无法监管，出现问题难以追溯。


技术实现要素：

5.本技术提供一种机位保障数据获取方法、装置、设备和存储介质，旨在解决现有技术中通过人工采集上报机位保障进度数据，一旦人工采集出错，容易导致航班进程无法监管的问题。
6.第一方面，本技术提供一种机位保障数据获取方法，包括：
7.获取目标机位的实况视频流，其中，实况视频流包括按时间顺序排列的多个图像帧，多个图像帧中包括第一目标图像帧和n个连续图像帧，n为大于1的正整数，n个连续图像帧位于第一目标图像帧之后，且与第一目标图像帧在时间上连续；
8.对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框，其中，机身边界框用于标识目标飞机的机身位置；
9.根据机身边界框对第一目标图像帧进行去噪，得到第二目标图像帧；
10.对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物，并在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点。
11.在本技术一种可能的实现方式中，根据机身边界框对第一目标图像帧进行去噪，得到第二目标图像帧，包括：
12.根据机身边界框按照预设范围，对第一目标图像帧进行裁剪，得到第二目标图像帧，其中，预设范围用于标识目标机位上与机身位置适配的装机或卸机区域。
13.在本技术一种可能的实现方式中，目标物为目标飞机的行驶轮，在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点，包括：
14.分别针对n个连续图像帧中的第i帧和第i 1帧，对行驶轮进行跟踪匹配，得到第i帧和第i 1帧的行驶轮边界框，其中，i为小于或者等于n-1的正整数，行驶轮边界框用于标识行驶轮的大小范围；
15.分别获取第i帧的行驶轮边界框在第i帧中的第一位置、第i 1帧的行驶轮边界框在第i 1帧的第二位置；
16.根据第一位置和第二位置，确定保障进度节点，其中，保障进度节点包括目标飞机进场、目标飞机离场或目标飞机未移动。
17.在本技术一种可能的实现方式中，目标物为目标飞机的舱门，在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点，包括：
18.针对n个连续图像帧中的每一帧，对舱门进行跟踪匹配，若连续m帧检测到舱门，则保障进度节点为舱门打开，其中，m为用户预设的正整数，且m小于或者等于n；
19.若连续m帧未检测到舱门，则保障进度节点为舱门关闭。
20.在本技术一种可能的实现方式中，目标物为货物，在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点，包括：
21.分别针对n个连续图像帧中的第n帧和第n 1帧，对货物进行跟踪匹配，得到第n帧和第n 1帧的货物边界框，其中，n为小于或者等于n-1的正整数，货物边界框用于标识货物的大小范围；
22.分别获取第n帧的货物边界框在第n帧中的第三位置、第n 1帧的货物边界框在第n 1帧的第四位置；
23.比较第三位置与机身位置的距离和第四位置与机身位置的距离，确定目标机位的保障进度节点，其中，保障进度节点包括货物装机或货物卸机。
24.在本技术一种可能的实现方式中，对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框，包括：
25.调用训练后的检测模型中的第一子网络，对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框；
26.对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物，包括：
27.调用检测模型中的第二子网络，对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物。
28.在本技术一种可能的实现方式中，检测模型由预设初始模型训练得到，方法还包括：根据预设的多尺度结合多锚点的训练方法，对预设初始模型进行训练，得到检测模型。
29.第二方面，本技术还提供一种机位保障数据获取装置，包括：
30.获取模块，用于获取目标机位的实况视频流，其中，实况视频流包括按时间顺序排列的多个图像帧，多个图像帧中包括第一目标图像帧和n个连续图像帧，n为大于1的正整数，n个连续图像帧位于第一目标图像帧之后，且与第一目标图像帧在时间上连续；
31.检测输出模块，用于对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框，其中，机身边界框用于标识目标飞机的机身位置；
32.根据机身边界框对第一目标图像帧进行去噪，得到第二目标图像帧；
33.对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标
物，并在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点。
34.在本技术一种可能的实现方式中，检测输出模块具体用于：
35.根据机身边界框按照预设范围，对第一目标图像帧进行裁剪，得到第二目标图像帧，其中，预设范围用于标识目标机位上与机身位置适配的装机或卸机区域。
36.在本技术一种可能的实现方式中，目标物为目标飞机的行驶轮，检测输出模块具体还用于：
37.分别针对n个连续图像帧中的第i帧和第i 1帧，对行驶轮进行跟踪匹配，得到第i帧和第i 1帧的行驶轮边界框，其中，i为小于或者等于n-1的正整数，行驶轮边界框用于标识行驶轮的大小范围；
38.分别获取第i帧的行驶轮边界框在第i帧中的第一位置、第i 1帧的行驶轮边界框在第i 1帧的第二位置；
39.根据第一位置和第二位置，确定保障进度节点，其中，保障进度节点包括目标飞机进场、目标飞机离场或目标飞机未移动。
40.在本技术一种可能的实现方式中，目标物为目标飞机的舱门，检测输出模块具体还用于：
41.针对n个连续图像帧中的每一帧，对舱门进行跟踪匹配，若连续m帧检测到舱门，则保障进度节点为舱门打开，其中，m为用户预设的正整数，且m小于或者等于n；
42.若连续m帧未检测到舱门，则保障进度节点为舱门关闭。
43.在本技术一种可能的实现方式中，目标物为货物，检测输出模块具体还用于：
44.分别针对n个连续图像帧中的第n帧和第n 1帧，对货物进行跟踪匹配，得到第n帧和第n 1帧的货物边界框，其中，n为小于或者等于n-1的正整数，货物边界框用于标识货物的大小范围；
45.分别获取第n帧的货物边界框在第n帧中的第三位置、第n 1帧的货物边界框在第n 1帧的第四位置；
46.比较第三位置与机身位置的距离和第四位置与机身位置的距离，确定目标机位保障进度节点，其中，保障进度节点包括货物装机或货物卸机。
47.在本技术一种可能的实现方式中，检测输出模块具体还用于：
48.调用训练后的检测模型中的第一子网络，对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框；
49.对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物，包括：
50.调用检测模型中的第二子网络，对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物。
51.在本技术一种可能的实现方式中，装置还包括训练模块，用于根据预设的多尺度结合多锚点的训练方法，对预设初始模型进行训练，得到检测模型。
52.第三方面，本技术还提供一种机位保障数据获取设备，包括：
53.一个或多个处理器；
54.存储器；以及
55.一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由
处理器执行以实现第一方面的机位保障数据获取方法。
56.第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行第一方面的机位保障数据获取方法中的步骤。
57.本技术中，首先通过第一级检测得到目标飞机的机身边界框，然后根据机身边界框对第一目标图像帧进行去噪后，通过第二级检测对第二目标图像帧进行目标物的检测，最后在n个连续图像帧中对目标物再进行跟踪匹配，进而得到目标机位的保障进度节点，通过两级检测能够确保对目标物的精准判定，从而确保根据目标物判断得到的目标机位的保障进度节点准确无误，实现了根据目标机位的实况视频流自动采集保障数据的方法，省时省力，提高了目标机位的保障数据的准确性。
附图说明
58.为了更清楚地说明本技术中的技术方案，下面将对本技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
59.图1是本技术实施例中提供的机位保障数据获取系统的一个场景示意图；
60.图2是本技术实施例中提供的机位保障数据获取方法的一个流程示意图；
61.图3是本技术实施例中获得保障进度节点的一个流程示意图；
62.图4是本技术实施例中获得保障进度节点的又一个流程示意图；
63.图5是本技术实施例中获得保障进度节点的又一个流程示意图；
64.图6是本技术实施例中提供的机位保障数据获取装置的一个结构示意图；
65.图7是本技术实施例中提供的机位保障数据获取设备的一个结构示意图。
具体实施方式
66.下面将结合本技术中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
67.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
68.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况
下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
69.本技术提供一种机位保障数据获取方法、装置、设备和存储介质，以下分别进行详细说明。
70.请参阅图1，图1为本技术实施例中提供的机位保障数据获取系统的一个场景示意图，该机位保障数据获取系统可以包括服务器100及多个拍摄终端200，服务器100中集成有机位保障数据获取装置，在机场停机坪的每一个机位，例如一号机位、二号机位等均可以配备一个能唯一标识该机位的拍摄终端200，服务器100可以与每一个机位上的拍摄终端200通信，对每一个拍摄终端200上传的视频数据进行处理，进而得到相应机位的机位保障数据，比如飞机进场或出场、飞机装货或卸货、舱门打开或关闭等，以使得协同调度系统获取机位上的飞机状态和装卸行为。
71.本技术实施例中，服务器100主要用于获取目标机位如一号机位的实况视频流，其中，实况视频流包括按时间顺序排列的多个图像帧，多个图像帧中包括第一目标图像帧和n个连续图像帧，n为大于1的正整数，n个连续图像帧位于第一目标图像帧之后，且与第一目标图像帧在时间上连续；对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框，其中，机身边界框用于标识目标飞机的机身位置；根据机身边界框对第一目标图像帧进行去噪，得到第二目标图像帧；对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物，并在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点。
72.本技术实施例中，该服务器100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本技术中所描述的服务器100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。
73.本技术实施例中，服务器100与拍摄终端200之间可以通过任何通信方式实现网络通信，包括但不限于，基于第三代合作伙伴计划(3rd generation partnership project，3gpp)、长期演进(long term evolution，lte)、全球互通微波访问(worldwide interoperability for microwave access，wimax)的移动通信，或基于tcp/ip协议族(tcp/ip protocol suite，tcp/ip)、用户数据报协议(user datagram protocol，udp)的计算机网络通信等。拍摄终端200可以通过上述通信方式向服务器100上传所拍摄得到的对应机位的实况视频流。
74.本技术实施例中，上述的刷卡终端200可以是一个通用的计算机设备或者是一个专用计算机设备。在具体实现中拍摄终端200可以是掌上电脑、个人数字助理(personal digital assistant，pda)、移动手机、平板电脑、高清摄像头、具有拍摄功能的无线终端设备等，本技术不限定上述拍摄终端200的类型。
75.本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本技术方案适配的一种应用场景，并不构成对本技术方案应用场景的限定，其他的应用场景还可以包括比图1中所示更多或更少的拍摄终端200，例如图1中仅示出4个拍摄终端200，可以理解的，该机位保障数据获取系统还可以为图1未示出的其他机位配备一个与该机位绑定的拍摄终端200，以
使得机场停机坪上的每一个机位都有拍摄终端200与其对应，具体此处不作限定。
76.另外，如图1所示，该机位保障数据获取系统还可以包括显示器300，该显示器300上可以接收并展示服务器100上传的机位保障数据，该显示器300上还可以集成协同调度系统，将机位保障数据分享到其他相关主体，比如物流航空、转运中心、海关、安检以及营运规划与速运指挥调度中心等。
77.需要说明的是，图1所示的机位保障系统的场景示意图仅仅是一个示例，本技术描述的机位保障数据获取系统以及场景是为了更加清楚的说明本技术的技术方案，并不构成对于本技术提供的技术方案的限定，本领域普通技术人员可知，随着机位保障数据获取系统的演变和新业务场景的出现，本技术提供的技术方案对于类似的技术问题，同样适用。
78.首先，本技术实施例提供一种机位保障数据获取方法，该机位保障数据获取方法的执行主体为机位保障数据获取装置，该机位保障数据获取装置应用于服务器100，服务器100位于机位保障数据获取系统，机位保障数据获取方法包括：获取目标机位的实况视频流，其中，实况视频流包括按时间顺序排列的多个图像帧，多个图像帧中包括第一目标图像帧和n个连续图像帧，n为大于1的正整数，n个连续图像帧位于第一目标图像帧之后，且与第一目标图像帧在时间上连续；对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框，其中，机身边界框用于标识目标飞机的机身位置；根据机身边界框对第一目标图像帧进行去噪，得到第二目标图像帧；对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物，并在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点。
79.如图2所示，为本技术实施例中机位保障数据获取方法的一个流程示意图，该机位保障数据获取方法包括：
80.s201、获取目标机位的实况视频流，其中，实况视频流包括按时间顺序排列的多个图像帧，多个图像帧中包括第一目标图像帧和n个连续图像帧，n为大于1的正整数，n个连续图像帧位于第一目标图像帧之后，且与第一目标图像帧在时间上连续。
81.本技术实施例中，机场停机坪的每一个机位上都可以设置有一个与该机位绑定的拍摄终端，而机位与拍摄终端的绑定关系可以保存在服务器中。拍摄终端在经过安装调试之后，一般情况下，拍摄角度不会改变，由于通常情况下，飞机停在机位的中心，因此，拍摄终端的拍摄角度可以是斜对机位中心，并且能够保证可以拍摄到飞机舱门、行驶轮等与保障进度相关的物体。
82.本技术实施例中，目标机位上的拍摄终端处于工作状态，对目标机位进行实时拍摄，并且在实时拍摄过程中，将实况视频流上传到服务器，因此，本技术的多个图像帧是按时间顺序排列的。假定目标机位上已经停了一架飞机为目标飞机，多个图像帧中的第一目标图像帧的内容是该目标飞机位于目标机位中心，且处于静止状态，则n个连续图像帧的内容可以是目标飞机装货、卸货，也可以是目标飞机离场等。
83.假如，目标机位为图1所示的一号机位，一号机位上的目标飞机刚降落滑行到一号机位的中心，此时目标机位上的拍摄终端拍摄得到第一目标图像帧，然后接下来目标飞机舱门打开、目标飞机卸货、目标飞机装货、目标飞机舱门关闭等内容可以由位于第一目标图像帧之后，与第一目标图像帧在时间上连续的2000个连续图像帧记录。
84.s202、对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机
身边界框，其中，机身边界框用于标识目标飞机的机身位置。
85.由于飞机机身是整个飞机的中心，飞机的其他零部件或部分都是围绕飞机机身进行布置的，并且，通常情况下，飞机机身相较于飞机的其他部分尺寸更大，结构更简单，因此，本技术实施例的第一级检测，是首先对第一目标图像帧中的目标飞机的机身进行检测，机身作为第一级检测的检测目标，简单清晰，能够确保检测结果准确无误。经过第一级检测后，得到可以标识目标飞机的机身位置的机身边界框，本技术实施例中，机身边界框可以是根据目标飞机的机身边界围成的一个闭合框，需要说明的是，本技术实施例中的机身边界框可以是方形框，也可以是椭圆形框或其他形状的框体，具体此处不做限定。
86.例如，本技术实施例采用深度神经网络的对象识别和定位框架yolo(you only look once)来对第一目标图像帧进行第一级检测，则检测结果输出的能够标识目标飞机的机身位置的机身边界框是一个方形框。
87.s203、根据机身边界框对第一目标图像帧进行去噪，得到第二目标图像帧。
88.由于拍摄终端需要保证可以拍摄到飞机舱门、行驶轮等与保障进度相关的物体，因此，拍摄终端的拍摄视野一般不会太窄，而这也容易导致拍摄终端的拍摄视野中出现其他机位上的飞机、货物、人物等对象，即第一目标图像帧中出现其他机位上的飞机、货物、人物等对象，而为了避免这些对象对后续的检测造成干扰，本技术实施例以s202中得到的机身边界框为依据，对第一目标图像帧进行去噪，即去掉第一目标图像帧中与目标飞机或目标机位不相关的其他机位上的飞机、货物、人物等，这样，能够确保得到的第二目标图像帧中仅存在与目标机位的保障进度相关的对象。
89.以目标机位为图1所示的一号机位为例，第一目标图像帧中的内容，除一号机位上的目标飞机等相关对象以外，还存在一号机位后面的二号机位上的飞机和板箱货物，并且二号机位上的飞机和板箱货物在第一目标图像帧中，是位于目标飞机上方的，因此，通过s202得到目标飞机的机身边界框后，以机身边界框的上边界为基准，去除机身边界框上边界上方的二号机位上的飞机和板箱货物，去除的方法可以是以机身边界框的上边界为基准线，对第一目标图像帧进行裁剪，也可以是将位于机身边界框的上边界位置上方的对象用空白背景进行替换，具体此处不做限定。
90.s204、对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物，并在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点。
91.目前，机位的保障进度节点一般可以包括飞机进场、舱门打开、货物卸机、货物装机、舱门关闭、飞机离场等，值得注意的是，本技术实施例是以物流运输货机为例来进行说明的，若针对于客运飞机，则相应的保障进度节点还可以包括飞机下客和飞机上客等。
92.因此，本技术实施例中，目标物可以包括飞机行驶轮、飞机舱门以及货物等，由于行驶轮、舱门、货物等目标较小不易识别，因此，本技术实施例针对s203中，去噪后得到的第二目标图像帧进行第二级检测，来对行驶轮、舱门、货物等小目标进行识别。又由于从一个单独的图像帧，只能够检测到该图像帧中是否存在目标物以及对该目标物进行标识，无法准确获得目标机位的保障进度，因此，本技术实施例在对第二目标图像帧进行第二级检测，得到第二目标图像帧中的目标物后，在位于第一目标图像帧之后，并且与第一目标图像帧在时间上连续的n个连续图像帧中对目标物进行跟踪匹配，从目标物在n个图像帧中的位置变化，来确定目标机位的保障进度节点。需要说明的是，由于第二目标图像帧是由第一目标
图像帧去噪得到的，因此，第二目标图像帧与第一目标图像帧不存在时间变化，即n个连续图像帧同样也是位于第二目标图像帧之后，并且与第二目标图像帧在时间上连续。
93.假如，对第二目标图像帧进行第二级检测，得到的一个目标物为飞机舱门，然后在接下来的n个连续图像帧中的每一帧，都对飞机舱门进行跟踪匹配。需要说明的是，由于飞机舱门在关闭状态下，几乎是与飞机机身成为一体的，因此，在舱门关闭的状态下，是无法准确检测到舱门的，又由于飞机舱门通常是向机身外侧滑动打开的，因此，在飞机舱门的打开状态下，飞机舱门与飞机机身分离，飞机舱门的轮廓线才能够明显显现出来。假设n取值2000，第2000帧记录的是目标机位当前状态，如果在第二目标图像帧之后的第1帧到第1500帧，都检测到了飞机舱门，而从第1501帧开始，到第2000帧，都没有检测到飞机舱门，则说明前1500帧的图像中，飞机舱门处于打开状态，而从第1501帧开始，飞机舱门状态改变，变成了舱门关闭，进而可以获得目标机位的当前保障进度节点为舱门关闭。
94.本技术实施例中，首先通过第一级检测得到目标飞机的机身边界框，然后根据机身边界框对第一目标图像帧进行去噪后，通过第二级检测对第二目标图像帧进行目标物的检测，最后在n个连续图像帧中对目标物再进行跟踪匹配，进而得到目标机位的保障进度节点，通过两级检测能够确保对目标物的精准判定，从而确保根据目标物判断得到的目标机位的保障进度节点准确无误，实现了根据目标机位的实况视频流自动采集保障数据的方法，省时省力，提高了目标机位的保障数据的准确性。
95.在本技术一些实施例中，根据机身边界框对第一目标图像帧进行去噪，得到第二目标图像帧，可以进一步包括：
96.根据机身边界框按照预设范围，对第一目标图像帧进行裁剪，得到第二目标图像帧，其中，预设范围用于标识目标机位上与机身位置适配的装机或卸机区域。
97.本技术实施例中，由于第一目标图像帧中可能会存在其他机位上的飞机、货物、人物等对象，为了避免这些对象对后续的第二级检测造成干扰，可以裁剪第一目标图像帧，使其上仅保留与目标机位相适应的图像区域，由于本技术实施例中需要获取的保障进度节点包括货物装机和货物卸机，因此，本技术实施例的第二目标图像帧中需要保留目标飞机对应的装机或卸机区域，通常情况下，装机或卸机区域与飞机舱门同侧，可以是目标机位内紧邻飞机舱门的一个区域，因此，本技术实施例中，预设范围可以是目标机位内与飞机舱门同侧，并且紧邻飞机舱门的一个区域，需要说明的是，本技术实施例的预设范围仅是一个示例，具体的预设范围可以根据停机坪内机位规划进行设置。
98.同样的，假如，采用yolo检测模型来对第一目标图像帧进行第一级检测，则检测结果输出的机身边界框为一个方形框，假设预设范围位于机身边界框的右侧，且预设范围的纵坐标最大值小于机身边界框的上边界纵坐标，则根据机身边界框的上边界将纵坐标大于上边界纵坐标的部分裁剪掉，得到第二目标图像帧。
99.如图3所示，为本技术实施例中获得保障进度节点的一个流程示意图，在本技术一些实施例中，目标物为目标飞机的行驶轮，在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点，可以进一步包括：
100.s301、分别针对n个连续图像帧中的第i帧和第i 1帧，对行驶轮进行跟踪匹配，得到第i帧和第i 1帧的行驶轮边界框，其中，i为小于或者等于n-1的正整数，行驶轮边界框用于标识行驶轮的大小范围。
101.本技术实施例中，针对n个连续图像帧中的任意连续的两帧，分别对行驶轮进行跟踪匹配，假如，本技术实施例中，n取值2000，i取值为1，对于经过第二级检测得到的目标物即行驶轮，在2000个连续图像帧的第1帧和第2帧中，分别对行驶轮进行识别，这里同样可以采用yolo检测模型来对第二目标图像帧进行第二级检测，检测结果输出的分别是第i帧中的的行驶轮边界框和第i 1帧中的行驶轮边界框。
102.本技术实施例中，可以采用交并比(intersection over union，iou)匹配跟踪算法来对行驶轮进行跟踪匹配，具体的，在第二目标图像帧中，根据检测框的置信度，以及经过非极大值抑制算法(non-maximum suppression，nms)处理后，去掉置信度低和重叠的检测框，得到了用于标识行驶轮的大小范围的行驶轮边界框。例如，首先去除置信度低于阈值如0.5的检测框，在剩下的检测框中，选取置信度最大的检测框，比较除置信度最大的检测框以外的所有检测框与置信度最大的检测框的交并比iou，如果交并比iou大于用户设置的阈值，则这些检测框不是局部极大值检测框，因此，抑制除置信度最大的检测框以外的所有检测框输出；然后再在这些检测框中选取置信度最大的检测框，重复交并比iou的比较步骤，直到没有检测框被舍去时，结束比较，最后输出的检测框即为行驶轮边界框。
103.然后针对于2000个连续图像帧的第1帧和第2帧，根据卡尔曼滤波预测算法来预测行驶轮边界框的跟踪结果，将跟踪结果与第二目标图像帧中的行驶轮边界框进行iou匹配，计算第二目标图像帧中的行驶轮边界框与跟踪结果之间的交并比，然后再利用匈牙利算法进行线性匹配，得到匹配结果，若匹配结果大于用户设置的匹配阈值，则说明匹配成功，在第1帧或第2帧中检测到行驶轮，否则，匹配失败，未检测到行驶轮。此外，为提高本技术实施例匹配结果的精准度，还可以通过马氏距离对比第二目标图像帧与连续图像帧中的行驶轮特征，以确保匹配结果的准确性。需要说明的是，本技术实施例接下来的步骤，是在匹配成功的前提下进行的。
104.另外，值得注意的是，本技术实施例中，还可以继续对第i 2帧、第i 3帧等连续图像帧中的行驶轮进行跟踪匹配，此处举例第i帧和第i 1帧为本实施例根据对行驶轮进行跟踪匹配得到保障进度节点的最小条件，本领域技术人员应该知晓，对越多的连续图像帧进行跟踪匹配，后续得到的保障进度节点也会越精准。
105.s302、分别获取第i帧的行驶轮边界框在第i帧中的第一位置、第i 1帧的行驶轮边界框在第i 1帧的第二位置。
106.具体的，本技术实施例中，可以采用卡尔曼滤波预测算法获取第i帧的行驶轮边界框在第i帧中的第一位置、第i 1帧的行驶轮边界框在第i 1帧的第二位置。卡尔曼滤波预测算法是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最有估计的算法，由于观测数据中包括系统中的噪声和干扰的影响，因此，最优估计也可以看作时滤波过程。卡尔曼滤波预测算法可以从2000个连续图像帧中，预测出目标物即行驶轮的坐标位置及速度，因此，可以通过卡尔曼滤波预测算法可以获得第一位置和第二位置。
107.s303、根据第一位置和第二位置，确定保障进度节点，其中，保障进度节点包括目标飞机进场、目标飞机离场或目标飞机未移动。
108.本技术实施例中，若第一位置与第二位置相同，则说明目标飞机没有移动；
109.若第一位置距离拍摄终端的视野最下端远于第二位置距离拍摄终端的视野最下端，即第一位置距离第i帧的下边界的距离，大于第二位置距离第i 1帧的下边界的距离，则
说明目标飞机在向目标机位移动，此时为目标飞机进场；
110.若第一位置距离拍摄终端的视野最下端近于第二位置距离拍摄终端的视野最下端，即第一位置距离第i帧的下边界的距离，小于第二位置距离第i 1帧的下边界的距离，则说明目标飞机在向目标机位外移动，此时为目标飞机离场。
111.如图4所示，为本技术实施例中获得保障进度节点的又一个流程示意图，在本技术一些实施例中，目标物为目标飞机的舱门，在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点，可以进一步包括：
112.s401、针对n个连续图像帧中的每一帧，对舱门进行跟踪匹配，若连续m帧检测到舱门，则保障进度节点为舱门打开，其中，m为用户预设的正整数，且m小于或者等于n。
113.s402、若连续m帧未检测到舱门，则保障进度节点为舱门关闭。
114.本技术实施例中，针对n个连续图像帧中的每一帧，都可以利用yolo检测模型对舱门进行跟踪匹配。由于飞机舱门在关闭状态下，几乎是与飞机机身成为一体的，因此，在舱门关闭的状态下，是无法准确检测到舱门的，又由于飞机舱门通常是向机身外侧滑动打开的，因此，在飞机舱门的打开状态下，飞机舱门与飞机机身分离，飞机舱门的轮廓线才能够明显显现出来。
115.假设，n取值2000，m取值200，第2000帧记录的是目标机位当前状态，如果在第二目标图像帧之后的第1帧到第200帧，都检测到了舱门，则说明舱门在第1帧到第200帧中，是处于打开状态的，而从第201帧开始，若一直到第2000帧，都没有检测到飞机舱门，则说明飞机舱门状态改变，变成了关闭状态，进而可以获得目标机位的当前保障进度节点为舱门关闭。
116.需要说明的是，由于飞机舱门的打开，通常情况是因为需要装货或卸货，而飞机货舱的储货量是根据飞机的本身性能确定的，因此，装货或卸货时间通常是在一个固定范围的，所以，本技术实施例中m的取值可以根据目标飞机的装货或卸货时间进行确定，在实际应用中，可以根据飞机型号进行选择，具体此处不做限定。
117.另外，若在第1帧到第200帧中，没有连续检测到舱门，比如，前100帧中检测到舱门，而从第101帧开始，没有检测到舱门，则说明舱门状态在第101帧发生了改变，由打开状态变为了关闭状态。
118.如图5所示，为本技术实施例中获得保障进度节点的又一个流程示意图，在本技术一些实施例中，目标物为货物，在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点，可以进一步包括：
119.s501、分别针对n个连续图像帧中的第n帧和第n 1帧，对货物进行跟踪匹配，得到第n帧和第n 1帧的货物边界框，其中，n为小于或者等于n-1的正整数，货物边界框用于标识货物的大小范围。
120.本技术实施例与s301中进行行驶轮的跟踪匹配类似，假如，本技术实施例中，n取值2000，n取值为1，对于经过第二级检测得到的目标物即货物，在2000个连续图像帧的第1帧和第2帧中，分别对货物进行识别，这里同样可以采用yolo检测模型来对第二目标图像帧进行第二级检测，检测结果输出的分别是第n帧中的的货物边界框和第n 1帧中的货物边界框。同样的，可以采用交并比匹配跟踪算法来对货物进行跟踪匹配，具体的，请参照s301中对行驶轮进行跟踪匹配的说明。
121.s502、分别获取第n帧的货物边界框在第n帧中的第三位置、第n 1帧的货物边界框
在第n 1帧的第四位置。
122.具体的，本技术实施例中，与s302类似，同样也可以采用卡尔曼滤波预测算法获取第n帧的货物边界框在第n帧中的第三位置、第n 1帧的货物边界框在第n 1帧的第四位置。卡尔曼滤波预测算法可以从2000个连续图像帧中，预测出目标物即货物的坐标位置及速度，因此，可以通过卡尔曼滤波预测算法可以获得第三位置和第四位置。
123.s503、比较第三位置与机身位置的距离和第四位置与机身位置的距离，确定目标机位保障进度节点，其中，保障进度节点包括货物装机或货物卸机。
124.针对于货物来说，其节点通常情况下有两个，一个是装机，一个是卸机，而不论是货物装机还是货物卸机，都与目标飞机相关，因此，本技术实施例选择的参照物为机身，通过比较前后两帧中货物与机身的距离，来确定保障进度节点，需要说明的是，其他能够判断保障进度节点的参照物比如特定的一个参照点或舱门、行驶轮等，同样适用于本技术。
125.具体的，如果货物在第n帧中的第三位置比货物在第n 1帧中的第四位置距离机身更近，则说明货物在朝远离机身的方向移动，则说明当前保障进度节点为货物卸机；反之，如果货物在第n帧中的第三位置比货物在第n 1帧中的第四位置距离机身更远，则说明货物在向靠近机身的方向移动，则说明当前保障进度节点为货物装机。需要说明的是，本技术实施例中，还可以继续对第n 2帧、第n 3帧等连续图像帧中的货物进行跟踪匹配，此处举例第n帧和第n 1帧为本实施例根据对货物进行跟踪匹配得到保障进度节点的最小条件，本领域技术人员应该知晓，对越多的连续图像帧进行跟踪匹配，后续得到的保障进度节点也会越精准。
126.另外，对于货物的装机或卸机，通常情况下，都会依赖于用于搬运货物的拖头车和用于移动货物的升降式平台车，并且在装机或卸机的过程中，拖头车或升降式平台车在目标机位上与舱门同侧的位置上，本技术实施例中的目标物，同样可以是拖头车或者升降式平台车，若在第二目标图像帧中没有检测到拖头车或升降式平台车，而在紧接着的n个连续图像帧中的第1帧及后面的多帧中持续检测到拖头车或升降式平台车，则说明在该第1帧中，拖头车或升降式平台车到达目标机位，准备进行货物的装机或卸机，而后再对货物进行检测，更能进一步确定当前保障进度节点为装机或卸机，然后如果在第1800帧时，检测不到拖头车或升降式平台车了，则说明货物的装机或卸机结束，拖头车或升降式平台车驶离了目标机位。
127.本技术实施例在对货物进行跟踪匹配的过程中，若前一帧中的货物边界框与后一帧中的货物边界框之间的高度差与升降式平台车的升降高度相等，还可以判断出该货物是从舱门到升降式平台车，或者是从升降式平台车到舱门，并且还可以依据货物从舱门到升降式平台车，或从升降式平台车到舱门，确定当前运输的货物的板数，例如，针对于货物卸机，在此次卸机中，已经检测到3次货物从舱门到升降式平台车，而当前是第4次检测到货物从舱门到升降式平台车，则可以确定当前运输的是第4板货物。
128.在本技术一些实施例中，对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框，可以进一步包括：
129.调用训练后的检测模型中的第一子网络，对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框。
130.本技术实施例中，检测模型可以是yolo检测模型，更具体的，可以是yolo_v3检测
map，本技术中，由于检测类别多，物体小，因此，为每层feature map设置5组参考锚点anchor，使得尽可能覆盖更多的需要检测的物体。在对预设初始模型训练时，以真实数据锚点(ground truth anchor，gt anchor)与每个网格生成的anchor计算分类和回归损失。在通过测试图片对预设初始模型测试时，直接在feature map的每个网格上预测5个锚点框anchor box，再将5个锚点框anchor box转换成预测框，通过nms去掉iou重合的预测框，得到得分最高的预测框映射回测试图片，便能够确保训练得到的检测模型能够很好地识别小目标。
140.本技术实施例中，对预设初始模型进行训练，可以通过机器学习库pytorch来实现，在pytorch对训练后的模型进行保存的时候，一般有两种保存方式，一种是以.pth格式的文件保存整个模型，另一种是以.pth格式的文件保存模型的参数。本技术实施例中，将训练生成的.pth格式的文件，转换成.onnx格式，而.onnx格式是可以用高性能深度学习支持引擎tensorrt进行解析，而tensorrt对.onnx格式的文件进行解析便能够进行gpu加速，加速了调用检测模型对第一目标图像帧进行检测的速度，提高了运算速度。
141.为了更好实施本技术中的机位保障数据获取方法，在机位保障数据获取方法基础之上，本技术还提供一种机位保障数据获取装置，如图6所示，为本技术实施例中提供的机位保障数据获取装置的一个结构示意图，机位保障数据获取装置600包括：
142.获取模块601，用于获取目标机位的实况视频流，其中，实况视频流包括按时间顺序排列的多个图像帧，多个图像帧中包括第一目标图像帧和n个连续图像帧，n为大于1的正整数，n个连续图像帧位于第一目标图像帧之后，且与第一目标图像帧在时间上连续；
143.检测输出模块602，用于对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框，其中，机身边界框用于标识目标飞机的机身位置；
144.根据机身边界框对第一目标图像帧进行去噪，得到第二目标图像帧；
145.对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物，并在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点。
146.本技术实施例中，检测输出模块通过第一级检测得到目标飞机的机身边界框，然后根据机身边界框对第一目标图像帧进行去噪后，通过第二级检测对第二目标图像帧进行目标物的检测，最后在n个连续图像帧中对目标物再进行跟踪匹配，进而得到目标机位的保障进度节点，通过两级检测能够确保对目标物的精准判定，从而确保根据目标物判断得到的目标机位的保障进度节点准确无误，实现了根据目标机位的实况视频流自动采集保障数据的方法，省时省力，提高了目标机位的保障数据的准确性。
147.在本技术一些实施例中，检测输出模块602具体可以用于：
148.根据机身边界框按照预设范围，对第一目标图像帧进行裁剪，得到第二目标图像帧，其中，预设范围用于标识目标机位上与机身位置适配的装机或卸机区域。
149.在本技术一些实施例中，目标物为目标飞机的行驶轮，检测输出模块602具体还可以用于：
150.分别针对n个连续图像帧中的第i帧和第i 1帧，对行驶轮进行跟踪匹配，得到第i帧和第i 1帧的行驶轮边界框，其中，i为小于或者等于n-1的正整数，行驶轮边界框用于标识行驶轮的大小范围；
151.分别获取第i帧的行驶轮边界框在第i帧中的第一位置、第i 1帧的行驶轮边界框
在第i 1帧的第二位置；
152.根据第一位置和第二位置，确定保障进度节点，其中，保障进度节点包括目标飞机进场、目标飞机离场或目标飞机未移动。
153.在本技术一些实施例中，目标物为目标飞机的舱门，检测输出模块602具体还可以用于：
154.针对n个连续图像帧中的每一帧，对舱门进行跟踪匹配，若连续m帧检测到舱门，则保障进度节点为舱门打开，其中，m为用户预设的正整数，且m小于或者等于n；
155.若连续m帧未检测到舱门，则保障进度节点为舱门关闭。
156.在本技术一些实施例中，目标物为货物，检测输出模块602具体还可以用于：
157.分别针对n个连续图像帧中的第n帧和第n 1帧，对货物进行跟踪匹配，得到第n帧和第n 1帧的货物边界框，其中，n为小于或者等于n-1的正整数，货物边界框用于标识货物的大小范围；
158.分别获取第n帧的货物边界框在第n帧中的第三位置、第n 1帧的货物边界框在第n 1帧的第四位置；
159.比较第三位置与机身位置的距离和第四位置与机身位置的距离，确定目标机位保障进度节点，其中，保障进度节点包括货物装机或货物卸机。
160.在本技术一些实施例中，检测输出模块602具体还可以用于：
161.调用训练后的检测模型中的第一子网络，对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框；
162.对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物，包括：
163.调用检测模型中的第二子网络，对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物。
164.在本技术一些实施例中，装置还包括训练模块603，训练模块603具体可以用于根据预设的多尺度结合多锚点的训练方法，对预设初始模型进行训练，得到检测模型。
165.需要说明的是，本技术中，获取模块601、检测输出模块602和训练模块603的相关内容与上述一一对应，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的机位保障数据获取装置及其相应模块的具体工作过程，可以参考如图2至图5对应任意实施例中机位保障数据获取方法的说明，具体在此不再赘述。
166.为了更好实施本技术的机位保障数据获取方法，在机位保障数据获取方法基础之上，本技术还提供一种机位保障数据获取设备，其集成了本技术所提供的任一种机位保障数据获取装置，该设备包括：
167.一个或多个处理器701；
168.存储器702；以及
169.一个或多个应用程序，其中一个或多个应用程序被存储于存储器702中，并配置为由处理器701执行上述机位保障数据获取方法中任一项实施例的机位保障数据获取方法中的步骤。
170.如图7所示，其示出了本技术所涉及的机位保障数据获取设备的一个结构示意图，具体来讲：
171.该设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解，图7中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
172.处理器701是该设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行设备的各种功能和处理数据，从而对设备进行整体监控。可选的，处理器701可包括一个或多个处理核心；处理器701可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。
173.存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。
174.该设备还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
175.该设备还可以包括输入单元704和输出单元705，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
176.尽管未示出，该设备还可以包括显示单元等，在此不再赘述。具体在本技术中，设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能，如下：
177.获取目标机位的实况视频流，其中，实况视频流包括按时间顺序排列的多个图像帧，多个图像帧中包括第一目标图像帧和n个连续图像帧，n为大于1的正整数，n个连续图像帧位于第一目标图像帧之后，且与第一目标图像帧在时间上连续；
178.对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框，其中，机身边界框用于标识目标飞机的机身位置；
179.根据机身边界框对第一目标图像帧进行去噪，得到第二目标图像帧；
180.对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物，并在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点。
181.本领域普通技术人员可以理解，上述的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
182.为此，本技术提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(read only memory，rom)、随机存取记忆体(random access memory，ram)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本技术所提供的任一种机位保障数据获取方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
183.获取目标机位的实况视频流，其中，实况视频流包括按时间顺序排列的多个图像帧，多个图像帧中包括第一目标图像帧和n个连续图像帧，n为大于1的正整数，n个连续图像帧位于第一目标图像帧之后，且与第一目标图像帧在时间上连续；
184.对第一目标图像帧进行第一级检测，得到位于目标机位上的目标飞机的机身边界框，其中，机身边界框用于标识目标飞机的机身位置；
185.根据机身边界框对第一目标图像帧进行去噪，得到第二目标图像帧；
186.对第二目标图像帧进行第二级检测，得到用于判断目标机位的保障进度的目标物，并在n个连续图像帧中对目标物进行跟踪匹配，得到目标机位的保障进度节点。
187.由于该计算机可读存储介质中所存储的指令，可以执行本技术如图2至图5对应任意实施例中机位保障数据获取方法中的步骤，因此，可以实现本技术如图2至图5对应任意实施例中机位保障数据获取方法所能实现的有益效果，详见前面的说明，在此不再赘述。
188.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
189.具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的实施例，在此不再赘述。
190.以上对本技术所提供的一种机位保障数据获取方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本技术的限制。