一种面向恶劣天况飞行区监控视频的拓扑候选引导多尺度查询向量表征方法
本发明涉及机场飞行区智能监控、视频时序增强、目标检测与跟踪、目标关系建模及作业事件识别,尤其涉及一种面向恶劣天况飞行区监控视频的拓扑候选引导多尺度查询向量表征方法。
背景技术:
1、机场飞行区是飞机停靠、地面保障、推出滑行和人员作业的重要运行区域。飞机、工作车辆及工作人员在飞机停靠区、机坪活动区和滑行推出通道区内持续发生位置变化、区域转移及短时协同。降雪、降雨、低照度或强光反射等恶劣天况会降低目标局部区域的可见性,并增加目标遮挡和状态判别的不确定性。
2、现有飞行区视频分析方法通常通过目标检测获取目标类别和空间位置,再结合目标轨迹、尺度归一化空间关系、区域拓扑一致性及持续关联信息判定目标状态。在目标数量相对稳定且监控画面较为清晰的场景中,该类方法能够提供基础的目标识别结果。对于目标密度变化明显的监控画面,固定数量的候选查询向量机制在目标稀疏场景中可能保留较多低相关候选,且难以兼顾目标密集场景中的有效候选保留需求。部分查询向量初始化方式以类别预测结果作为主要依据,对类别预测与位置预测之间的协调关系利用不足。与此同时,恶劣天况可能影响当前帧局部区域的可见性,进而影响后续目标查询向量表征和作业事件候选评分。
技术实现思路
1、发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种面向恶劣天况飞行区监控视频的拓扑候选引导多尺度查询向量表征方法,以缓解雨雪、低照度、强光反射、水渍附着及局部遮挡导致的目标表征不稳定、跨帧类别波动和作业关系候选筛选不准确问题,并提高目标-区域-时间映射及作业事件候选输出的可靠性。
2、所述方法包括以下步骤:
3、步骤s1,基于因果历史时序一致性对飞行区监控视频连续视频帧进行增强处理,得到增强视频帧序列,并生成与增强视频帧序列对应的视频退化置信信息;
4、步骤s2,基于监控画面弱标注信息构建飞行区作业拓扑图,将飞机停靠区、机坪活动区和滑行推出通道区表示为拓扑节点,并根据空间邻接关系、作业通达关系和视场可观测关系构建拓扑边;
5、步骤s3,利用目标检测与跟踪模型对增强视频帧序列进行目标检测和跟踪,得到飞机、工作车辆和工作人员的目标轨迹,并将所述目标轨迹映射至飞行区作业拓扑图,形成对应监控视角内的目标-区域-时间三元组序列;
6、步骤s4,根据所述目标-区域-时间三元组序列,结合目标信息、运动信息、区域信息和视频退化置信信息,动态生成目标级多尺度查询向量表征和目标间关系查询向量表征;
7、步骤s5,根据所述目标级多尺度查询向量表征和目标间关系查询向量表征计算飞行区作业事件候选评分,输出飞行区作业事件候选结果,所述飞行区作业事件候选结果包括飞机停靠候选、工作车辆作业候选、工作人员作业候选和飞机推出滑行候选中的至少一种。
8、步骤s1包括如下步骤:
9、步骤s1.1,将飞行区监控视频表示为连续视频帧序列i:
10、,
11、其中,表示所述连续视频帧序列中的第t帧原始飞行区监控图像,tz表示所述连续视频帧序列的视频帧总数,t表示视频帧索引,且;
12、步骤s1.2,对第帧原始飞行区监控图像及其前序历史帧进行特征提取,得到第帧对应的当前帧特征,并选取第t帧之前长度为的连续前序历史帧特征,构建第帧对应的截断历史特征集合,其中:
13、,
14、其中,表示由第t帧原始飞行区监控图像提取得到的当前帧特征,至分别表示第帧至第帧对应的历史帧特征,表示截断历史长度,即用于构建截断历史特征集合的连续前序历史帧数量;
15、步骤s1.3:根据当前帧特征和截断历史特征集合计算第t帧对应的局部相似度矩阵:
16、,
17、其中,表示由当前帧特征经查询特征映射函数得到的当前帧查询特征,表示由截断历史特征集合经键特征映射函数得到的历史键特征集合,d表示查询特征和历史键特征的特征维度,上标t表示矩阵转置;
18、步骤s1.4,选取相似度最高的k个历史参考区域,并利用历史参考区域掩码生成函数生成第t帧对应的历史参考区域掩码:
19、,
20、其中,k表示从局部相似度矩阵中选取的历史参考区域数量,表示根据局部相似度矩阵保留相似度最高的k个历史参考区域并屏蔽其余区域所得到的历史参考区域掩码;
21、步骤s1.5,基于当前帧查询特征、历史键特征和历史值特征执行局部跨时注意、历史参考区域选择、特征对齐和加权聚合,得到第t帧对应的融合增强特征:
22、,
23、其中,表示由当前帧特征和筛选后的历史帧特征经对齐及加权聚合得到的第t帧融合增强特征,表示由截断历史特征集合经值特征映射函数得到的历史值特征集合,表示对局部相似度矩阵与历史参考区域掩码的逐元素乘积进行归一化后得到的历史参考区域权重,表示注意力权重归一化函数,表示逐元素乘法;
24、步骤s1.6,将第t帧融合增强特征输入视频帧重建支路,生成第t帧增强视频帧,并根据第t帧原始飞行区监控图像与第t帧增强视频帧之间的逐元素绝对残差,经归一化生成第t帧视频退化置信信息。
25、步骤s1.6中,采用如下公式生成第t帧增强视频帧和第t帧视频退化置信信息:
26、,
27、,
28、其中,表示由第t帧融合增强特征重建得到的第t帧增强视频帧,表示视频帧增强重建函数,表示第t帧对应的视频退化置信信息,表示第t帧原始飞行区监控图像与第t帧增强视频帧之间的逐元素绝对残差,表示残差归一化函数。
29、步骤s2包括如下步骤:
30、步骤s2.1,根据飞行区航拍图、机位布局信息和监控画面弱标注信息,确定飞行区作业区域集合:
31、,
32、其中,表示飞机停靠区,表示机坪活动区,表示滑行推出通道区;
33、步骤s2.2,将飞行区作业区域集合转化为拓扑节点集合:
34、,
35、其中,表示飞行区作业拓扑图的拓扑节点集合,、和分别表示与作业区域、和一一对应的拓扑节点,表示与第m个作业区域一一对应的拓扑节点,m表示作业区域及其对应拓扑节点的统一索引;
36、步骤s2.3,根据作业区域之间的空间邻接关系、作业通达关系和视场可观测关系构建拓扑边集合:
37、,
38、其中,表示拓扑节点与拓扑节点之间的拓扑边,表示作业区域及对应拓扑节点的统一索引,且;
39、步骤s2.4,计算第m个拓扑节点与第n个拓扑节点之间的拓扑边权重:
40、,
41、其中,表示拓扑边对应的综合拓扑边权重,表示拓扑节点与拓扑节点之间的区域邻接权重,表示拓扑节点与拓扑节点之间的作业通达权重,表示拓扑节点与拓扑节点之间的视场可观测权重,表示区域邻接权重对应的加权系数,表示作业通达权重对应的加权系数,表示视场可观测权重对应的加权系数,且满足;
42、步骤s2.5,根据拓扑节点集合、拓扑边集合和拓扑边权重集合构建飞行区作业拓扑图:
43、,
44、,
45、其中,表示飞行区作业拓扑图中全部拓扑边权重构成的拓扑边权重集合;
46、步骤s2.6,根据拓扑边权重和预设拓扑关联阈值确定事件候选关联区域。
47、步骤s2.6中,采用事件候选关联指示量确定第m个作业区域与第n个作业区域是否构成事件候选关联区域:
48、,
49、其中,表示区域与区域是否构成事件候选关联区域,如果是,取值为1,否则取值为0,表示用于判定事件候选关联区域的拓扑关联阈值。
50、步骤s3包括如下步骤:
51、步骤s3.1,输入增强视频帧序列、目标类别集合和飞行区作业拓扑图,其中,目标类别集合c表示为:
52、,
53、其中,表示飞机,表示工作车辆,表示工作人员;
54、步骤s3.2,对第t帧增强视频帧进行目标检测,得到目标检测结果:
55、,
56、其中,在第t帧中,、、和分别表示第i个目标的边界框、预测类别、检测置信度和视觉特征,表示检测目标数量,表示目标索引;
57、步骤s3.3,根据相邻视频帧中目标边界框的边界框交并比iou、目标类别一致性和视觉特征相似度函数sim,计算第t帧中第i个目标与第t-1帧中第j个目标之间的跨帧关联分数:
58、,
59、其中,、和分别表示第t-1帧中第j个目标的边界框、预测类别和视觉特征,j表示第t-1帧中的目标索引,表示边界框交并比计算函数,表示类别一致性示性函数,当两个目标的预测类别相同时取值为1,否则取值为0,表示视觉特征相似度函数,、和分别表示边界框交并比、类别一致性和视觉特征相似度对应的权重系数,且和;
60、步骤s3.4,根据所述跨帧关联分数生成第i个目标轨迹:
61、,
62、其中,表示第i个目标轨迹,和分别表示第i个目标轨迹的起始帧索引和结束帧索引;
63、步骤s3.5,根据目标边界框与飞行区作业区域之间的空间包含关系、覆盖关系和邻近关系,将第个目标轨迹映射至飞行区作业拓扑图:
64、,
65、其中,表示第i个目标在第t帧所属的作业区域,表示区域归属判定函数,用于根据目标边界框与飞行区作业区域之间的空间关系确定目标所属区域;
66、步骤s3.6,根据目标轨迹、所属区域和视频帧索引构建目标-区域-时间三元组序列:
67、,
68、其中,表示第个目标轨迹的唯一标识,表示由目标轨迹标识、目标所属区域和视频帧索引构成的目标-区域-时间三元组序列。
69、步骤s4包括如下步骤:
70、步骤s4.1,对第t帧增强视频帧进行多尺度特征提取,得到对应的多尺度视觉特征集合:
71、,
72、其中,表示第帧对应的第个尺度的视觉特征,u表示尺度索引,表示视觉特征尺度数量;
73、步骤s4.2,对每个尺度内的视觉特征进行局部交互,再对不同尺度之间的视觉特征进行跨尺度融合,得到第t帧对应的多尺度融合特征:
74、,
75、,
76、其中,表示第u个尺度的视觉特征经尺度内局部交互得到的尺度内交互特征,表示尺度内交互函数,表示跨尺度融合函数;
77、步骤s4.3,根据多尺度融合特征生成候选目标的类别预测分布和位置预测分布,并计算第i个候选目标在第t帧中的综合不确定性分数:
78、,
79、其中,表示第i个候选目标的综合不确定性分数,表示根据第i个候选目标在第t帧中的位置预测结果得到的位置不确定性,表示根据第i个候选目标在第t帧中的类别预测结果得到的类别不确定性,和分别表示位置不确定性和类别不确定性的非负权重系数且满足;
80、步骤s4.4,根据第i个候选目标在第t帧中的综合不确定性分数,选择对应的初始查询向量:
81、,
82、其中,表示从多尺度融合特征中提取的第i个候选目标在第t帧中的候选特征,表示低不确定性候选选择函数,用于按照综合不确定性分数由低至高选择候选特征并生成初始查询向量;
83、步骤s4.5,统计第t帧固定数量解码查询向量对应的候选结果中,最大类别概率不低于预设候选概率阈值的候选数量,并根据所述候选数量确定目标数量等级:
84、,
85、其中表示第t帧满足预设候选概率阈值的候选数量,表示目标数量等级划分函数;
86、步骤s4.6,根据目标数量等级确定动态保留的查询向量数量:
87、,
88、其中,表示查询向量数量映射函数,并按照综合不确定性由低至高从固定解码查询向量中保留数量为的初始查询向量;
89、步骤s4.7,根据目标-区域-时间三元组序列和飞行区作业拓扑图,采用归一化指数函数softmax生成第个目标在第帧中的拓扑候选注意力权重向量:
90、,
91、其中,归一化指数函数softmax用于将与目标所属作业区域构成事件候选关联关系的拓扑边权重转换为归一化的拓扑候选注意力权重;
92、步骤s4.8,根据初始查询向量、类别尺度表征、空间区域表征、运动时序表征和置信退化表征,生成目标级多尺度查询向量,并根据两个目标的目标级多尺度查询向量和目标关系上下文表征生成目标间关系查询向量:
93、,
94、,
95、其中,和分别表示第i个目标在第t帧中的类别尺度表征、空间区域表征、运动时序表征和置信退化表征,表示第i个目标在第t帧中的拓扑候选注意力权重向量,表示第j个目标在第t帧中的目标级多尺度查询向量,表示目标级多尺度查询向量生成函数,表示第t帧第i个目标与第j个目标之间包含空间邻近、区域拓扑关联以及共存持续信息的目标关系上下文表征,表示目标间关系查询向量生成函数;
96、步骤s4.9,所述目标级多尺度查询向量表征至少包括类别尺度信息、空间区域信息、运动时序信息和置信退化信息,所述目标间关系查询向量表征至少包括目标邻近关系信息、区域拓扑关系信息和关系持续时间信息。
97、步骤s5包括如下步骤:
98、步骤s5.1,根据第i个目标在相邻视频帧中的边界框中心点位置变化和目标边界框尺度,计算第i个目标在第t帧中的尺度归一化位移:
99、,
100、其中,和分别表示第i个目标在第t帧和第t-1帧中的边界框中心点坐标,和分别表示第i个目标在第t帧中的边界框宽度和高度,表示欧氏范数,表示用于防止分母为零的正常数;
101、步骤s5.2,根据滑动窗口内的尺度归一化位移,计算第i个目标在第t帧中的静止状态分数和运动状态分数:
102、,
103、,
104、其中,l表示滑动窗口长度,表示滑动窗口内的视频帧索引,表示第i个目标在第帧中的尺度归一化位移,表示运动状态判别阈值;当时,示性函数取值为1,否则取值为0;
105、步骤s5.3,在满足目标类别匹配、区域拓扑关联和局部作业邻域约束的前提下,采用自然指数函数exp,根据目标间关系查询向量表征中的空间邻近信息计算第t帧中第i个目标与第j个目标之间的尺度归一化空间邻近分数:
106、,
107、其中,表示第i个目标与第j个目标在第t帧中的空间关系门控结果,当两个目标同时满足目标类别匹配、区域拓扑关联和局部作业邻域约束时取值为1,否则取值为0;表示根据两个目标的空间位置、目标尺度和局部作业邻域确定的尺度归一化空间间隔,表示根据监控视角、目标尺度和区域布局设置的距离衰减参数,自然指数函数exp用于将尺度归一化空间间隔转换为空间邻近分数;
108、步骤s5.4,根据目标所属作业区域和飞行区作业拓扑图,计算第帧中第个目标与第个目标之间的区域拓扑一致性分数:
109、,
110、其中,表示事件候选关联关系映射函数,当且且时,取拓扑边权重,当两个目标位于同一作业区域时,取预设同区域作业兼容性分数,当对应区域不构成事件候选关联区域时,取值为0;
111、步骤s5.5,根据目标空间邻近关系、区域拓扑关联关系、运动状态、关系持续时间和视频退化置信信息,计算第t帧中第i个目标与第个目标之间的作业事件候选评分:
112、,
113、,
114、,
115、其中,表示两个目标的运动状态与对应作业事件要求之间的运动状态一致性分数,表示两个目标连续满足目标类别匹配、空间邻近和区域拓扑关联条件的关系持续一致性分数,表示根据第i个目标与第个目标在第t帧中的检测置信度以及第帧对应的视频退化置信信息得到的视觉可靠性分数,和分别表示尺度归一化空间邻近分数、区域拓扑一致性分数、运动状态一致性分数、关系持续一致性分数和视觉可靠性分数对应的权重系数;
116、步骤s5.6,根据目标类别匹配规则和作业事件候选评分,输出第t帧对应的飞行区作业事件候选结果:
117、,
118、其中,和分别表示第j个目标在第t帧中的静止状态分数和运动状态分数,表示事件候选输出函数,用于根据目标类别、目标所属作业区域、目标运动状态和作业事件候选评分生成飞行区作业事件候选结果;
119、步骤s5.7,当目标类别为飞机且目标位于飞机停靠区并满足连续静止状态时,输出飞机停靠候选;当目标类别为工作车辆,且该工作车辆目标与飞机目标满足预设目标类别匹配关系、局部作业邻域约束、区域拓扑关联条件和关系持续时间条件时,输出工作车辆作业候选;当目标类别为工作人员,且该工作人员目标与飞机目标或工作车辆目标满足空间邻近关系和区域拓扑关联条件时,输出工作人员作业候选;当目标类别为飞机且目标位于滑行推出通道区并满足连续运动状态时,输出飞机推出滑行候选。
120、本发明还提供了一种电子设备,包括处理器和存储器,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。
121、本发明还提供了一种存储介质,存储有计算机程序或指令,当所述计算机程序或指令在计算机上运行时,执行所述的方法的步骤。
122、本发明以截断因果历史特征作为前置辅助信息,对当前视频帧的局部退化区域进行补偿,并生成视频退化置信信息。在此基础上,以飞机停靠区、机坪活动区和滑行推出通道区构建作业拓扑约束,通过尺度内特征交互、跨尺度特征融合及低不确定性候选选择获得候选查询向量,并依据目标数量等级动态调节查询向量保留数量;再融合目标类别、目标尺度、所属区域、运动时序、退化置信信息和拓扑候选注意力,生成目标级多尺度查询向量表征,并结合目标邻近、区域拓扑关联及关系持续时间构建目标间关系查询向量表征,计算作业事件候选评分,输出飞机停靠、工作车辆作业、工作人员作业及飞机推出滑行候选结果。
123、有益效果:1、本发明通过融合目标类别、目标尺度、所属区域、运动时序及退化置信信息,构建目标级多尺度查询向量表征;并根据目标邻近关系、区域拓扑关系及关系持续信息,构建目标间关系查询向量表征。由此可将目标视觉信息与飞行区作业语义共同纳入表征过程,使后续事件判断不再仅依赖单一目标类别或瞬时位置。
124、2、本发明以飞机停靠区、机坪活动区和滑行推出通道区构建飞行区作业拓扑图,并根据空间邻接关系、作业通达关系及视场可观测关系确定事件候选关联区域。通过将拓扑候选关系引入目标间关系查询向量表征和作业事件候选评分,可使工作车辆、工作人员与飞机之间的关联判断同时具备空间位置约束和区域作业语义约束。
125、3、本发明联合候选目标的类别预测分布和位置预测分布计算候选不确定性分数,并优先选取不确定性较低的候选特征作为初始查询向量。进一步地,根据当前视频帧内的目标数量等级动态确定查询向量数量,可减少目标稀疏场景中的低相关候选,并提高后续目标级和关系级表征对有效候选的利用程度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com