一种基于边缘计算的二轮车安全骑行视觉感知装置及方法与流程

本发明涉及计算机视觉技术与智能交通领域，具体而言，涉及一种应用于二轮电动车或自行车的、集成了人工智能算法、边缘计算和高清广角摄像头的智能安全监控装置及相应的实时感知与控制方法。

背景技术：

1、近年来，共享电单车作为城市短途出行的重要补充，得到了迅速普及。然而，随之而来的安全问题日益凸显，主要体现在两个方面：一是骑行者不按规定佩戴安全头盔，二是非法载人，尤其是搭载儿童现象普遍。这些不安全行为极大地增加了交通事故的风险和伤亡率。

2、为解决上述问题，现有技术主要采用以下几种方案：

3、一、机械或简单传感器方案。例如，在头盔锁中设置压力传感器或机械开关，判断头盔是否被取走。该方案的缺陷在于无法确认用户是否真正佩戴头盔，用户可以取下头盔但不佩戴，轻松绕过监管。

4、二、基于云端视觉分析的方案。通过摄像头采集视频流，上传至云端服务器进行分析。该方案虽然能识别骑行行为，但存在明显缺点：（1）高延迟——数据从终端上传至云端，再由云端处理并返回结果，整个过程通常大于1秒，耗时较长，无法满足实时断电或恢复助力等即时车辆控制需求；（2）高成本——持续的视频流上传会产生巨大的4g/5g网络流量费用；（3）网络依赖性强——在网络信号不佳的区域，如地下车库、隧道，该方案的可靠性会大打折扣。

5、三、传统的视觉检测方案。部分已有的车载摄像头方案在复杂环境下表现不佳，例如在夜间、逆光、侧光等光照条件下，识别准确率会显著下降。同时，其功能较为单一，通常只能进行简单的头盔有无检测，无法区分头盔类型，也难以准确识别复杂的载人情景。

6、综上所述，现有技术在实时性、成本、准确性和功能全面性上均存在不足，难以有效、经济地解决二轮车的安全骑行监管问题。

技术实现思路

1、本发明旨在克服现有技术中存在的延迟高、成本高、环境适应性差及功能单一等问题，提供一种能够实时、准确、可靠地监测二轮车骑行者不安全行为，如未佩戴头盔、违规载人的视觉感知装置及方法。具体要解决的技术问题包括：

2、1、解决云端方案的高延迟问题，通过边缘计算实现小于0.5秒的识别速度，满足对车辆动力系统进行实时控制的需求。

3、2、解决云端方案的高流量成本问题，通过在设备端进行本地化处理，仅上传必要的事件结果或少量样本数据，大幅降低运营成本。

4、3、提升在复杂光照环境，如夜间、逆光、侧光下的识别准确率，确保全天候的可靠运行。

5、4、实现多任务、精细化的识别功能，不仅能检测是否佩戴头盔，还能区分头盔类型，并能准确识别多人骑行及其位置、年龄构成等复杂场景。

6、5、提供一个高度集成、即插即用的端到端解决方案。

7、本发明解决其技术问题采用的技术方案如下：

8、第一方面，本发明提供一种基于边缘计算的二轮车安全骑行视觉感知装置，为安装于二轮车车头的端到端ai摄像头终端，包括：

9、图像采集模块，包括图像传感器和超广角镜头，用于实时采集覆盖骑行者至脚踏板区域的场景图像；

10、边缘计算处理模块，包括神经网络处理单元，用于在本地运行单模型多任务神经网络；所述单模型多任务神经网络共享主干特征提取网络，并并行输出人体目标及关键点检测分支、头盔检测分支和多人骑行分析分支；

11、决策与控制模块，用于根据推理结果在本地生成针对二轮车动力系统的控制指令；

12、通信模块，包括对车通信接口和对云通信接口，所述对车通信接口用于将所述控制指令发送至二轮车主控单元以执行助力允许或切断操作，所述对云通信接口用于与云端平台连接以上传事件日志，且不上传实时视频流。

13、进一步地，所述图像传感器为大靶面cmos图像传感器，并集成有宽动态hdr处理单元和红外补光单元；所述超广角镜头向下倾斜安装，其预设角度为镜头光轴与水平面的夹角，所述预设角度配置为使镜头视场完整覆盖身高140cm至190cm骑行者的头部与脚踏板区域，且避免雨水在镜片表面聚集。

14、进一步地，所述单模型多任务神经网络共享主干特征提取网络，并并行输出三个任务分支：人体目标及关键点检测分支、头盔检测分支和多人骑行分析分支。所述人体目标及关键点检测分支用于输出图像中人员的目标框以及包含头部、肩部、肘部、腰部、膝盖、臀部和脚部的人体关键点坐标；所述头盔检测分支用于在所述目标框的头部区域内进行多类别检测，类别至少包括合规头盔、非安全头部佩戴物及未佩戴头盔；所述合规头盔涵盖经国家安全标准认证的各类安全头盔，包括但不限于共享出行平台定制的标识专用头盔和市售标准化安全头盔；所述多人骑行分析分支用于检测所述二轮车的坐垫和踏板部件，并结合所述人体关键点坐标分析骑行人数、载人位置及年龄类别。

15、进一步地，所述边缘计算处理模块被配置为：对所述人体关键点坐标进行透视畸变校正，根据相机内参矩阵和镜头倾斜角度通过逆透视变换将图像坐标系中的关键点映射至世界坐标系，获得校正后的关键点坐标；基于校正后的人体关键点提取骨骼比例特征，所述骨骼比例特征定义为躯干长度与下肢长度之比，用于区分骑行人员为成人或儿童。

16、进一步地，区分成人或儿童的规则包括以下并列路径之一：当所述骨骼比例特征满足第一预设阈值范围时判定为儿童，满足第二预设阈值范围时判定为成人，所述阈值通过对大量成人及儿童样本的骨骼比例统计分布拟合确定；将所述骨骼比例特征输入预训练的轻量级全连接分类模型，由模型输出成人或儿童的分类结果，所述分类模型采用交叉熵损失函数训练得到。

17、进一步地，所述边缘计算处理模块还包括cpu和ddr内存，所述cpu用于系统调度、数据预处理及通信管理，所述ddr内存用于存储模型权重、中间特征图及运行时数据；所述神经网络处理单元、所述cpu和所述ddr内存协同配置为使从检测到违规行为到所述决策与控制模块输出切断指令的总延迟小于0.5秒。

18、第二方面，本发明提供一种基于边缘计算的二轮车安全骑行视觉感知方法，包括步骤：

19、s1，实时采集二轮车骑行场景图像，并进行宽动态hdr处理和红外补光增强处理；

20、s2，将增强后的图像输入单模型多任务神经网络进行本地单次前向推理，同步获取人体目标及关键点特征、头盔特征及车辆部件与人体空间关系特征；

21、s3，基于推理结果进行多任务逻辑融合判断，确定头盔佩戴合规性状态和基于预设人数阈值的多人骑行违规状态；

22、s4，根据所述状态生成控制指令并发送至主控单元。

23、其中，步骤s3中确定头盔佩戴合规性状态包括：未检测到骑行姿态人员则判定为未骑行；检测到骑行人员则提取头部特征进行多类别检测；分类为合规头盔则合规，分类为非安全头部佩戴物或未佩戴则不合规。

24、其中，步骤s3中确定多人骑行违规状态包括：人员数量大于1时触发多人骑行分析；将臀部、脚部关键点分别与坐垫、踏板进行空间位置匹配；匹配人员数量超过所述预设人数阈值则判定违规载人；若超载人员包含儿童，则提升违规等级并切断助力。

25、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上第二方面方法的步骤。

26、与现有技术相比，本发明通过创新的端到端边缘计算架构，带来了显著的有益效果：

27、其一，实现了极低延迟的实时响应。所有计算在设备本地完成，端到端识别延迟小于0.5秒，远优于云端方案通常大于1秒的水平。这使得基于视觉识别结果的实时车辆动力控制成为可行——当系统检测到骑行者未佩戴合规头盔或违规载人时，能够在骑行过程中即时切断助力，实现对不安全行为的主动、有效干预。极低的延迟与极低的运营成本是同一架构的两个侧面：由于视频数据无需上传云端，仅在本地处理完毕后上传脱敏的事件日志，单次骑行日均流量消耗不超过5mb，较云端视频分析方案降低两个数量级，从根本上解决了4g/5g流量费用高昂的运营负担。

28、其二，通过硬件与算法的协同优化实现了高精度与高环境鲁棒性。在硬件层面，大靶面cmos图像传感器搭配宽动态hdr处理和850nm红外补光，使装置在夜间、逆光、雨天等复杂光照条件下仍能采集高质量图像；在算法层面，针对上述复杂场景进行数据增强训练，使白天场景头盔检测准确率达97.1%，夜间红外补光场景达95.8%，雨天场景和逆光场景分别达94.6%和94.2%，各场景下性能波动均在可接受范围内，确保了全天候的可靠运行。

29、其三，单模型多任务架构带来了功能全面性与资源效率的双重收益。与常规的多模型串联方案相比，本发明的单模型多任务网络通过共享主干特征提取网络、并行输出三个任务分支，在npu占用率从98%降至62%、内存峰值从480mb降至210mb、总推理延迟从0.72s降至0.28s的同时，联合检测准确率反而从88.6%提升至93.8%。这一效果源于多任务分支间的特征互补——人体关键点检测、头盔识别和多人骑行分析三个任务共用同一组底层特征，不同任务对特征的优化方向相互促进而非彼此牵制，使得网络在边缘端算力约束下仍能同时完成多项精细化的识别任务，不仅判断头盔“有无”，还能区分合规头盔与非安全头部佩戴物，并能准确识别多人骑行及其位置、年龄构成。

30、其四，装置的高度集成化设计实现了即插即用的部署便利性，而本地化处理机制在保护用户隐私的同时满足了监管追溯需求——敏感的原始视频数据不离开设备，仅上传不含任何可识别个人身份信息的事件日志。