一种基于视觉识别的充电车位占用识别方法与流程

本发明属于充电车位管理，具体涉及一种基于视觉识别的充电车位占用识别方法。

背景技术：

1、随着新能源汽车产业的快速发展，电动汽车保有量持续增长，对充电设施的需求日益迫切。然而，充电车位被非充电车辆占用的问题长期存在，严重影响了充电设施的使用效率和车主的充电体验。燃油车占用充电车位、新能源车充电完成后不及时驶离等现象，不仅造成充电资源的浪费，也增加了充电场站的运营管理成本。

2、近年来，随着深度学习技术的发展，基于视觉的充电车位占用识别方案逐渐成为主流。然而，现有基于图像识别的技术方案通常采用单帧图像的静态重叠面积比值进行判定，未考虑车辆从驶入到停稳的完整时空过程，无法区分车辆正在驶入与车辆已停稳占位两种状态，存在瞬时误判的风险。此外，现有技术中已有方案采用车辆中心点坐标与车位标注区域进行对比的方式确定车位占用，该方法在车辆跨位停放时中心点可能位于某一车位内而漏判对另一车位的占用。此外，现有技术中，充电状态的获取或依赖于与充电桩管理系统的通信，或依赖于图像识别检测充电枪连接状态。这两种方式各自独立工作，当其中一路信号异常时（如通信故障、图像遮挡），系统无法感知异常，可能输出错误的充电状态判定。

技术实现思路

1、本发明提供一种基于视觉识别的充电车位占用识别方法，用以解决现有技术在进行充电车位判定过程中，容易出现误判的问题。

2、本发明提供一种基于视觉识别的充电车位占用识别方法，包括：

3、通过部署于充电车位区域的摄像头采集车位图像，并对所述车位图像进行预处理，得到预处理之后的车位图像；

4、将预处理之后的车位图像输入至预先训练的目标检测模型进行识别，输出目标检测结果；所述目标检测结果至少包括车辆检测框、车辆检测置信度、车牌检测框以及车牌检测置信度；

5、根据车辆检测框、车辆检测置信度、车牌检测框和车牌检测置信度，在所述预处理之后的车位图像中确定车牌检测框区域以及车辆检测框区域，并采用车牌颜色特征编码器提取所述车牌检测框区域对应的车牌颜色特征以及采用车辆特征编码器提取所述车辆检测框区域对应的车辆深度特征；

6、采用注意力机制获取所述车牌颜色特征与所述车辆深度特征之间的跨模态关联权重，并根据所述跨模态关联权重对所述车牌颜色特征与所述车辆深度特征进行融合，得到融合特征向量；

7、将所述融合特征向量输入至预先设置的车辆类型分类网络进行识别，输出充电车位上的车辆类型；

8、根据连续多帧车位图像对应的目标检测结果确定逐帧占用率，同时构建时空占用轨迹，并根据所述逐帧占用率以及所述时空占用轨迹获取充电车位的占用状态；

9、获取双路状态信息，并根据所述双路状态信息进行充电状态识别，确定车辆充电状态，并根据所述车辆充电状态、车辆类型以及充电车位的占用状态进行融合判定，确定充电车位占用识别结果。

10、在一种可能的实施方式中，通过部署于充电车位区域的摄像头采集车位图像，并对所述车位图像进行预处理，得到预处理之后的车位图像，包括：

11、通过部署于充电车位区域的摄像头采集车位图像；

12、对所述车位图像进行依次进行畸变校正和亮度增强处理，得到预处理之后的车位图像。

13、在一种可能的实施方式中，所述目标检测模型采用yolov8模型。

14、在一种可能的实施方式中，根据车辆检测框、车辆检测置信度、车牌检测框和车牌检测置信度，在所述预处理之后的车位图像中确定车牌检测框区域以及车辆检测框区域，并采用车牌颜色特征编码器提取所述车牌检测框区域对应的车牌颜色特征以及采用车辆特征编码器提取所述车辆检测框区域对应的车辆深度特征，包括：

15、在所述车辆检测置信度大于预设的第一置信度阈值时，则在预处理之后的车位图像中裁剪车辆检测框区域；

16、在所述车牌检测置信度大于预设的第一置信度阈值时，则在预处理之后的车位图像中裁剪车牌检测框区域；

17、采用车牌颜色特征编码器提取所述车牌检测框区域对应的车牌颜色特征以及采用车辆特征编码器提取所述车辆检测框区域对应的车辆深度特征。

18、在一种可能的实施方式中，采用注意力机制获取所述车牌颜色特征与所述车辆深度特征之间的跨模态关联权重，并根据所述跨模态关联权重对所述车牌颜色特征与所述车辆深度特征进行融合，得到融合特征向量，包括：

19、获取所述车牌颜色特征对所述车辆深度特征的注意力权重，得到第一跨模态权重；所述第一跨模态权重表示车牌颜色特征对车辆外观各区域特征的关注程度；

20、获取所述车辆深度特征对所述车牌颜色特征的注意力权重，得到第二跨模态权重；所述第二跨模态权重表示车辆外观特征对车牌颜色特征的关注程度；

21、根据所述第一跨模态权重以及所述第二跨模态权重，对所述车牌颜色特征与所述车辆深度特征进行拼接，得到融合特征向量。

22、在一种可能的实施方式中，所述车辆类型分类网络设置为全连接分类网络或者bp神经网络。

23、在一种可能的实施方式中，根据连续多帧车位图像对应的目标检测结果确定逐帧占用率，包括：

24、针对任意一帧车位图像，根据所述车位检测框与充电车位标线之间的空间位置关系，确定车位检测框对应的矩形区域与各个充电车位区域的交集面积与各个充电车位区域面积之比，得到各车位的占用率；

25、对连续多帧车位图像均计算占用率，得到逐帧占用率。

26、在一种可能的实施方式中，构建时空占用轨迹，并根据所述逐帧占用率以及所述时空占用轨迹获取充电车位的占用状态，包括：

27、针对每一帧预处理之后的车位图像中的车辆检测框，记录车辆检测框四个角点在车位坐标系中的坐标序列，提取从车辆检测框首次进入车位区域到停稳时刻的全部坐标序列，作为该车辆的完整时空占用轨迹；

28、以所述完整时空占用轨迹为基础，识别到车辆检测框在连续m帧中的位置变化量小于位置变化阈值时，判定车辆已停稳；所述m的取值范围为10至30帧，所述位置变化阈值的取值范围为车辆检测框对角线长度的1%至5%；

29、在判定车辆已停稳时，确定最后一帧预处理之后的车位图像对应的车辆检测框的坐标为终点位置；

30、当终点位置的占用率超过第一预设阈值时，则判定充电车位的占用状态为被占用；当终点位置的占用率在第二预设阈值与第一预设阈值之间时，则判定充电车位的占用状态为部分占用；当终点位置同时与两个以上充电车位的占用率均超过第三预设阈值时，则判定充电车位的占用状态为跨位停车状态；其余状态判定为车位空闲；

31、其中，所述第一预设阈值为60%，所述第二预设阈值为30%，所述第三预设阈值为15%。

32、在一种可能的实施方式中，获取双路状态信息，并根据所述双路状态信息进行充电状态识别，确定车辆充电状态，包括：

33、获取充电车位的充电桩实时电气参数；所述充电桩实时电气参数包括输出功率；

34、重新获取车位图像并进行预处理，得到目标车位图像，并对所述目标车位图像进行识别，确定充电枪与充电车位上车辆之间的物理连接状态；所述物理连接状态为已连接或未连接；

35、当输出功率大于零且物理连接状态为已连接时，判定车辆充电状态为正常充电中；

36、当输出功率等于零且物理连接状态为已连接时，判定车辆充电状态为充电已完成；

37、当输出功率等于零且物理连接状态为未连接时，判定车辆充电状态为未充电；

38、当输出功率大于零且物理连接状态为未连接时，判定车辆充电状态为设备异常状态，并生成设备异常报警信息。

39、在一种可能的实施方式中，根据所述车辆充电状态、车辆类型以及充电车位的占用状态进行融合判定，确定充电车位占用识别结果，包括：

40、当车位为空闲时，输出车位空闲；当车位被占用、充电状态为正常充电中且车辆类型为新能源车时，输出正常充电占用；当车位被占用、充电状态为充电已完成且车辆类型为新能源车时，输出充满未驶离，该结果属于违规占位；当车位被占用、充电状态为未充电且车辆类型为新能源车时，输出新能源车占位，该结果属于违规占位；当车位被占用、充电状态为未充电且车辆类型为燃油车时，输出燃油车违规占位；当车位被占用且充电状态为设备异常时，输出设备异常报警，得到充电车位占用识别结果。

41、本发明提供的一种基于视觉识别的充电车位占用识别方法，该方法通过摄像头采集车位图像并预处理，经目标检测模型识别后，提取车牌颜色特征与车辆深度特征，利用注意力机制融合特征以识别车辆类型；同时结合连续多帧图像确定逐帧占用率并构建时空占用轨迹，获取车位占用状态；再通过双路状态信息识别车辆充电状态，最终融合车辆类型、充电状态与车位占用状态，精准确定充电车位占用识别结果。本发明有效解决了现有技术易出现误判的问题，提升了充电车位管理的准确性与效率。