一种基于主动学习和神经网络的高空抛物检测方法

技术特征：
1.一种基于主动学习和神经网络的高空抛物检测方法，其特征在于,包括以下步骤：s1、采集高空抛物的下落物体数据：采集并获取真实楼宇间的视频流数据，将视频流进行抽帧并解码处理，对得到的运动物体图像帧数据进行标注；s2、构建主动目标检测模型：采用基网为resnet-50的retinanet的神经网络作为目标检测器，通过基于主动学习方法的查询策略选择样本进行标记，利用标注的信息改善预测模型；s3、进行运动物体的目标跟踪：采用动态目标跟踪算法进行预测，通过iou匹配和级联匹配关联运动帧信息，使用滤波器进行预测和更新，得到运动目标的跟踪序号、运动轨迹以及对应帧的编号信息；s4、构建图像分类神经网络模型：进行图像分类网络模型部署，通过imagenet和openimages获取数据集，对干扰物体进行分类；s5、利用图像分类网络过滤干扰物体：进行神经网络的训练和分类预测，对获取的运动目标图像进行分类网络的模型应用，根据cnn模型的分类结果，将干扰物体从输出图像中过滤；s6、排除非高空抛物的运动轨迹：对运动物体的轨迹特征设定过滤条件，根据目标的移动距离和自由落体规律来判断抛物轨迹，排除高空抛物中非正常的运动轨迹。2.根据权利要求1所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，所述步骤s1中，采集高空抛物的下落物体数据，具体包括以下步骤：s1-1、通过摄像头获取真实视频数据，得到包含rgb三层颜色通道的图像；s1-2、对视频抽帧解码处理，将视频数据解析为连续的图像帧数据；s1-3、对每一帧图像中的运动目标的类别进行标注，形成该帧图像的类别标签{yi,i＝1,...,n}。3.根据权利要求2所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，所述步骤s2中，构建主动目标检测模型，具体包括以下步骤：s2-1、对步骤s1-2中的运动物体的图像帧数据进行标注；s2-2、选择基网为resnet-50的retinanet的神经网络作为基础检测器；s2-3、将步骤s2-1中标注好的图像帧数据输入主动学习的网络框架中；s2-4、定义主动学习器active learner；s2-5、应用目标检测模型获取运动目标的bounding box。4.根据权利要求3所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，步骤s2-4中定义主动学习器active learner具体包括以下步骤：s2-4-1、定义模型参数和应用于请求标注的查询策略；s2-4-1-1、对于预测的bounding boxb
j
的紧密度定义如下；t(b
j
)＝iou(b
j
,r
j
)其中，r
j
为当网络预测未经调整前的候选区域region；s2-4-1-2、根据样本的紧密度t(b
j
)和置信度p
max
的不同，采用如下选择策略来更新bounding box；
s2-4-1-3、通过如下公式计算当前模型对噪声的稳定度s(b
j
)；s2-4-1-4、若该稳定度s(b
j
)达到了稳定值，无需对未标记图像进行标记；s2-4-1-5、对步骤s2-4-1-3中未达到稳定值的s(b
j
),采用如下公式进行更新；s2-4-2、使用基于不确定性的主动学习方法，返回策略选择出需要标注的数据；s2-4-3、判断模型精度是否达到要求，利用查询函数选取对提高模型精度最有用的数据进行人工标注；s2-4-4、将步骤s2-4-3中的数据按照查询标准加到训练集样本中循环查询。5.根据权利要求4所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，所述步骤s3中，进行运动物体的目标跟踪，包括以下步骤：s3-1、计算当前t时刻运动目标的检测框bounding box与上一时刻的检测框交并比iou；s3-2、判断计算结果是否小于预设的阈值，如果是，则认为匹配失败，进行卡尔曼滤波预测；s3-3、初始化一个新的卡尔曼滤波器，记录当前运动目标的跟踪序号以及对应帧的编号信息；s3-4、利用卡尔曼滤波器预测运动目标在当前帧的位置以及跟踪框track和检测框detection；s3-5、使用卡尔曼滤波器基于前一个状态对运动目标当前的状态进行预测，计算当前帧和下一帧之间的信息差；s3-6、使用匹配算法进行级联匹配，将当前帧中的跟踪框track与下一帧中的检测框detection进行关联；s3-7、使用卡尔曼滤波基于步骤s3-2中的detection来更新预测的位置；s3-8、获得运动物体的跟踪轨迹path-pred∈r
tx4xn
，同时获取非正常运动目标的运动图像数据path-abpred∈r
tx4xn
。6.根据权利要求5所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，所述步骤s4中，构建图像分类网络训练模型，具体包括以下步骤：s4-1、使用imagenet和谷歌openimages，获取干扰物体的数据集dataset_one；s4-2、进行数据预处理和数据增强；s4-3、定义图像分类的cnn模型，共7层神经网络，其中1、3、5层为卷积层conv2d，2、4层为池化层，后2层为全连接层dense。7.根据权利要求6所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，步骤s4-3的具体步骤如下：
s4-3-1、卷积层c1使用6个大小为5
×
5的卷积核，步长stride＝1，对输入层进行卷积运算，使用激活函数tanh，并为模型提供输入形状，产生6个大小为28
×
28的特征图map
one
；s4-3-2、池化层s2采用max_pool进行池化，步长stride＝2，通过上述池化减小数据维度，池化size＝2
×
2，经池化后得到6个14
×
14的特征图map
two
，作为下一层神经元的输入；s4-3-3、卷积层c3使用16个大小为5
×
5的卷积核，步长stride＝1，输出为16个10
×
10的特征图map
three
；s4-3-4、池化层s4采用max_pool池化，步长stride＝2，池化大小为2
×
2，输出16个5
×
5的特征图map
four
，神经元个数减少至16
×5×
5＝400；s4-3-5、卷积层c5继续使用5
×
5大小的卷积核对s4层的输出进行卷积，卷积核数量增加120，步长stride＝1，输出120个1
×
1的特征图map
five
；s4-3-6、全连接层f6与c5层全连接，输出84张特征图map
six
；s4-3-7、全连接层f7输出长度为5的张量，代表所抽取的特征所属干扰物体。8.根据权利要求7所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于：所述步骤s4-3-7中的干扰物体为飞鸟、飞虫、树叶、被子、衣服。9.按照权利要求8所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，所述步骤s5中，所述利用图像分类网络排序干扰物体，具体包括以下步骤：s5-1、定义训练参数和输入；s5-2、进行神经网络模型训练；s5-3、使用神经网络模型预测；s5-4、应用图像分类网络，对步骤s3-9中的运动目标进行图像分类；s5-5、若输出类别为飞鸟、飞虫、树叶等干扰物体，则将该图像从数据图像中过滤删除，保留高空抛物中的运动目标，避免误检误报事件。10.按照权利要求9所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，所述步骤s6中，所述排除非高空抛物的运动轨迹，具体包括以下步骤：s6-1、根据高空抛物的判断条件进行轨迹选择，设置运动物体的轨迹纵坐标阈值为m，跟踪帧数阈值t；s6-2、排除满足s6-1判断条件的运动轨迹，同时给出高空抛物中运动物体的位置和轨迹信息。

技术总结
本发明公开了一种基于主动学习和神经网络的高空抛物检测方法，涉及目标检测技术领域，本发明的辨识步骤为：采集高空抛物下落物体数据、构建主动目标检测模型、进行运动物体的目标跟踪、构建图像分类神经网络模型、利用图像分类网络过滤干扰物体、排除非高空抛物的运动轨迹。本发明采用主动学习方法通过查询策略选择少量样本进行标记，从而利用标注的信息来改善预测模型；利用分类网络通过模型的训练和分类结果，将干扰物体从检测结果中过滤，可以解决高空抛物场景中对飞鸟、飞虫、树叶的误检测问题，从而降低跟踪成本。从而降低跟踪成本。从而降低跟踪成本。


技术研发人员：刘建 周云龙 段刘祺 段萌 卢中源 吴子文 陈良宇 毛江华 车杰
受保护的技术使用者：合肥工业大学
技术研发日：2022.11.16
技术公布日：2023/2/3