基于无人机的非机动车道停车检测方法及装置与流程

本发明涉及图像数据分析，尤其涉及一种基于无人机的非机动车道停车检测方法及装置。

背景技术：

1、在交通管理场景中，无人机作为地面监控设施的有益补充，可用于交通流量监测、交通事故取证、交通违法行为检测和交通疏导指挥等，能够在一定程度上缓解固定监控设备覆盖范围有限、存在监控盲区的问题。

2、在机动车占用非机动车道的检测方面，现有方法主要包括固定道路监控设备和人工巡逻方式。固定监控设备虽然可以实现视频监控，但受限于设备布设位置和数量，容易产生监控死角，难以实现全路段覆盖；人工巡逻则存在人力成本高、工作效率低以及取证不及时等不足。上述方式在应对突发性占道、临时停车等违法行为时，往往存在响应不及时、证据采集不完整等问题，影响了道路交通的管理效果。

技术实现思路

1、针对现有技术中存在的问题，本发明的目的在于提供一种基于无人机的非机动车道停车检测方法及装置，可以利用无人机来采集道路的图像，并利用改进的目标检测模型，更合理的融合多尺度的特征图，以更准确的分析非机动车道上的车辆和停车位，从而进行车辆违章识别，以更好的对道路交通进行管理。

2、第一方面，本技术提供一种基于无人机的非机动车道停车检测方法，所述方法包括：获取无人机的图像数据，对图像数据进行识别，确定非机动车道；从图像数据中获取多尺度特征表示，形成层级由低到高的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；并依据第五特征图，确定第一特征信息；依据第二特征图、第三特征图、第四特征图和第一特征信息，确定第一中间特征、第二中间特征、第三中间特征和第四中间特征；依据第一中间特征和第二中间特征，确定第一融合特征；依据第三中间特征和第四中间特征，确定第二融合特征；依据第一中间特征、第一融合特征、第二融合特征、第四中间特征，确定聚合特征，以依据聚合特征进行分析，确定非机动车道上的车辆位置和停车位点；依据车辆位置和停车位点进行车辆违章分析，并在目标车辆违章时，通过无人机相机获取目标车辆的车辆信息。

3、可选的，对图像数据的处理过程通过目标检测模型完成，第一融合特征、第二融合特征依据目标检测模型中的融合模块确定；所述融合模块，用于：对输入的特征进行1×1卷积处理，形成拼接特征，输入的特征包括以下组合：第一中间特征和第二中间特征的组合、第三中间特征和第四中间特征的组合；采取第一分支模块对拼接特征进行空间信息融合处理，确定第一分支特征；采取第二分支模块依据空间注意力和通道注意力机制，对拼接特征进行处理，确定第二分支特征；依据第一分支特征和第二分支特征进行融合，确定融合后的特征，融合后的特征包括第一融合特征或第二融合特征。

4、可选的，所述采取第一分支模块对拼接特征进行空间信息融合处理，确定第一分支特征，包括：对拼接特征依次进行3×3卷积处理、归一化处理、激活处理、最大池化处理、3×3卷积处理、上采样处理，以捕获空间上下文信息，确定第一分支特征。

5、可选的，所述依据第一中间特征、第一融合特征、第二融合特征、第四中间特征，确定聚合特征，包括：依据第一融合特征和第二融合特征进行特征融合，确定第五中间特征；依据第一中间特征、第四中间特征和第五中间特征进行特征融合，确定聚合特征。

6、可选的，所述依据聚合特征进行分析，确定非机动车道上的车辆位置和停车位点，包括：依据聚合特征进行不确定性度量，筛选出各对象的候选区域；对候选区域进行目标对象查询，确定目标特征数据，目标对象包括非机动车道上的车辆和停车位；对目标特征数据进行解码处理，确定非机动车道上的车辆位置和停车位点。

7、可选的，所述依据车辆位置和停车位点进行车辆违章分析，包括：依据停车位点确定非机动车道上的停车区，依据停车区和车辆位置，确定处在停车区外的第一车辆；对非机动车道上的第一车辆进行目标跟踪，将停车状态和行驶时长小于预设时长阈值的目标车辆作为违章车辆。

8、可选的，确定目标车辆为停车状态或行驶状态的步骤，包括：获取目标车辆在连续多帧图像数据中对应的旋转框参数，并对旋转框参数进行指数平滑处理，确定平滑后的中心信息和尺度信息，所述尺度信息依据旋转框参数的宽或高确定；依据连续多帧图像数据，分析目标车辆外其他车辆覆盖的背景并生成替换信息，以形成目标车辆对应的背景数据；并依据图像数据的背景数据提取角点特征；依据光流法对角点特征进行分析，确定单应矩阵，所述单应矩阵用于确定相邻帧之间的背景数据的变换；依据连续多帧图像数据对应的单应矩阵、平滑后的中心信息和尺度信息，确定车辆在连续多帧图像数据内的状态为停车状态或行驶状态。

9、可选的，所述依据停车位点确定非机动车道上的停车区，包括：确定多个停车位点对应的主方向，并确定主方向对应的位点数组；将位点数组中停车位点投射到主方向上，并进行排序；遍历排序后的停车位点，计算差值以确定停车位点的平均距离；依据平均距离、停车位点以及主方向的起点和终点，补齐缺失位点，形成修正后的停车位点，并进行停车区映射，形成停车区；补齐缺失位点的步骤还包括：获取图像数据相邻帧的图像，并确定缺失位点对应的目标位点，以补齐图像数据对应的缺失位点。

10、可选的，所述对图像数据进行识别，确定非机动车道，包括：识别图像数据中的道路、花坛栏杆、车道线，形成提取结果；依据提取结果和逻辑判断规则进行分析，确定非机动车道。

11、第二方面，本技术提供一种基于无人机的非机动车道停车检测装置，所述装置包括：图像数据获取模块，用于获取无人机的图像数据，对图像数据进行识别，确定非机动车道；特征图获取模块，用于从图像数据中获取多尺度特征表示，形成层级由低到高的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；并依据第五特征图，确定第一特征信息；中间特征获取模块，用于依据第二特征图、第三特征图、第四特征图和第一特征信息，确定第一中间特征、第二中间特征、第三中间特征和第四中间特征；依据第一中间特征和第二中间特征，确定第一融合特征；依据第三中间特征和第四中间特征，确定第二融合特征；聚合特征获取模块，用于依据第一中间特征、第一融合特征、第二融合特征、第四中间特征，确定聚合特征，以依据聚合特征进行分析，确定非机动车道上的车辆位置和停车位点；车辆违章分析模块，用于依据车辆位置和停车位点进行车辆违章分析，并在目标车辆违章时，通过无人机相机获取目标车辆的车辆信息。

12、第三方面，本技术提供一种电子设备，包括：存储器和至少一个处理器；所述存储器用于存储计算机执行指令；所述至少一个处理器用于执行所述存储器中存储的计算机执行指令，使得所述至少一个处理器执行如第一方面所述的方法。

13、第四方面，本技术提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法。

14、本技术实施例可以应用在基于无人机的道路交通管理场景中，可以利用无人机来采集道路的图像，并利用改进的目标检测模型，更合理的融合多尺度的特征图，以更准确的分析非机动车道上的车辆和停车位，从而进行车辆违章识别。具体来说，本方案对目标检测模型进行改进，改进后的目标检测模型可以融合更多尺度的特征，并且可以将相邻层的特征进行特征融合，可以更好的融合不同层级之间的特征，更准确的对车辆位置和停车位点进行识别。另外，本方案还可以分析连续多帧图像数据中车辆和背景的变换信息，识别车辆为静止或行驶状态，从而可以将停车状态和行驶时长小于预设时长阈值的目标车辆作为违章车辆，并通过无人机的相机来保存车辆信息。