一种基于机器视觉的汽车安全带佩戴状态检测装置的制作方法

摘要: 本发明属于汽车主动安全与智能驾驶辅助,特别是涉及一种基于机器视觉的汽车安全带佩戴状态检测装置。背景技术:1、汽车安全带是车辆被动安全系统的核心组成部分。据统计,...
一种基于机器视觉的汽车安全带佩戴状态检测装置的制作方法

本发明属于汽车主动安全与智能驾驶辅助,特别是涉及一种基于机器视觉的汽车安全带佩戴状态检测装置。

背景技术:

1、汽车安全带是车辆被动安全系统的核心组成部分。据统计,正确佩戴安全带可使前排乘员在正面碰撞事故中的死亡率降低约45%-50%,重伤率降低约40%-45%。然而,在实际使用过程中,除了“未佩戴”这一极端情况外,“不规范佩戴”(如肩带从腋下穿过、腰带位置过高、佩戴过松等)现象同样普遍存在且危害严重。目前,安全带佩戴状态的监测主要依赖以下几类技术:

2、0、机械/电气传感检测技术,其检测维度极为单一,无法识别安全带从腋下穿过、腰带位置过高、肩带松弛等不规范佩戴行为。此外,当座椅上放置重物或乘员将安全带锁舌虚插时,传感器会产生误判,导致系统误报为“已佩戴”;

3、0、单视角图像识别技术,单视角成像存在根本性局限:乘员衣物、座椅头枕、方向盘等易遮挡安全带局部区域,导致特征提取不完整;车内复杂光照条件(逆光、夜间行车、隧道明暗变化、车外地物反射)使图像质量剧烈波动,传统算法鲁棒性差;二维图像无法获取安全带与人体表面的空间贴合关系,难以判断松紧度和三维佩戴路径的正确性;

4、0、基于特殊标记的检测技术,通过在安全带上印刷红外敏感涂层、反光标记或特定颜色条纹,利用特定波段成像或光谱分析实现定位。该方案虽能在一定程度上提高识别精度,但必须对安全带本体进行特殊加工,无法适配市面上已装车的普通安全带,通用性和经济性差;

5、0、交通监控场景的外部视觉检测:大量现有技术面向道路监控摄像头,对行驶车辆中的驾驶员进行外部远距离拍摄,以判断是否佩戴安全带。此类方案视角固定、分辨率受限,且仅能实现“佩戴/未佩戴”的二分类,完全不适用于车内实时、精细化、多座位的佩戴状态监测需求。

6、因此,亟需一种基于机器视觉的汽车安全带佩戴状态检测装置,以解决上述存在的问题。

7、中国专利文献cn117437618a公开了一种基于视觉技术的驾驶员安全带检测装置及方法,通过不同的角度采集驾驶员正常坐在车上且未佩戴安全带的画面,通过对图像进行过滤,使得图像更为平滑,然后对图像进行二值化分割,提取出人员相关的“黑白”画面,再对得到的画面进行边缘检测获得相应的图像特征,依据图像特征建立标准的“异常佩戴”模型库,该模型的明显特征为:驾驶员腰部没有长方形条状物遮挡,同时插栓处为方形留白,标准“异常佩戴”模型库建立完毕后可作为参照将用于后续的比对检测。

8、针对现有技术存在以下问题:

9、现有技术大多基于二维图像平面分析乘员安全带的佩戴状态,未建立安全带与人体三维空间结构的关联模型,无法识别“安全带从腋下穿过”等三维空间路径错误;单视角、单模态(仅可见光)成像在车内复杂光照、衣物遮挡、肤色/衣着颜色干扰下,误检率和漏检率显著上升。

技术实现思路

1、本发明的目的在于提供一种基于机器视觉的汽车安全带佩戴状态检测装置,以解决上述背景技术中提出的问题。

2、为解决上述技术问题,本发明是通过以下技术方案实现的:

3、第一方面,本发明提供一种基于机器视觉的汽车安全带佩戴状态检测装置,包括多视角图像采集模块、人体骨骼关键点检测单元、安全带三维轨迹重建单元、佩戴路径合规性分析单元、松紧度视觉估计单元、综合状态判定单元以及报警与记录模块。

4、作为本发明的一种优选技术方案,所述多视角图像采集模块包括至少两个成像单元,两个所述成像单元分别布置于a柱内侧与顶棚前缘,其中布置于a柱内侧的成像单元的光轴朝向乘员胸部区域,布置于顶棚前缘的成像单元的光轴朝向乘员腹部区域;

5、所述成像单元采用可见光与近红外双波段同步成像cmos传感器,所述近红外图像的波段范围为780nm-940nm,且成像单元前端设置有与近红外图像波段对应的窄带滤光片,以抑制车内环境杂散光干扰。

6、作为本发明的一种优选技术方案,该检测装置还包括:

7、立体视觉标定单元:对至少两个成像单元进行内外参数标定,建立统一的车载坐标系;

8、自学习优化单元:在车辆使用过程中,采集不同场景下的检测数据,对语义分割网络、预设回归模型及预设标准佩戴路径进行增量式在线优化。

9、作为本发明的一种优选技术方案,所述人体骨骼关键点至少包括颈部关键点、左肩关键点、右肩关键点、胸骨中心关键点、左髋关键点、右髋关键点及腹部中心关键点。

10、作为本发明的一种优选技术方案,所述佩戴路径合规性分析单元包括:

11、标准路径生成子单元:根据人体骨骼关键点的三维坐标,生成与乘员体型自适应的预设标准佩戴路径;

12、其中,所述预设标准佩戴路径包括:

13、肩带标准路径:从颈部关键点外侧经对应侧肩关键点延伸至胸骨中心关键点的三维曲线;

14、腰带标准路径:从一侧髋关键点经腹部中心关键点延伸至另一侧髋关键点的三维曲线;

15、路径偏差计算子单元:计算三维空间轨迹与预设标准佩戴路径之间的偏离程度;

16、路径错误识别子单元:当三维空间轨迹在肩部区域偏离肩带标准路径并进入腋下区域时,判定为肩带路径错误;当三维空间轨迹在腰部区域高于预设髋关键点连线时,判定为腰带位置异常。

17、作为本发明的一种优选技术方案,所述安全带三维轨迹重建单元包括:

18、近红外图像预处理子单元:对近红外图像进行自适应伽马校正与光照补偿;

19、安全带边缘提取子单元:利用语义分割网络从预处理后的近红外图像中分割出安全带像素区域,并提取安全带的中心线;

20、立体匹配子单元:对至少两个成像单元获取的安全带中心线进行极线约束匹配,计算视差并重建三维坐标;

21、轨迹拟合子单元:对离散的三维坐标点进行曲线拟合,得到连续的三维空间轨迹曲线。

22、作为本发明的一种优选技术方案,所述松紧度视觉估计单元包括:

23、贴合间隙计算子单元:基于立体视觉标定单元获取的深度信息立体视觉深度信息,计算安全带与人体表面在肩部和腹部区域的局部距离场;

24、褶皱分析子单元:在可见光图像的安全带区域内,利用gabor滤波器提取织物纹理方向特征,当纹理方向紊乱度cv超过预设阈值时,判定为存在明显松弛褶皱;

25、压痕估计子单元:在近红外图像中,分析安全带下方人体皮肤/衣物的灰度凹陷特征,结合近红外光的皮下散射特性,估计安全带对人体的局部压迫深度;

26、松紧度融合子单元:将局部距离场、纹理方向紊乱度cv及局部压迫深度输入至预设的松紧度回归模型,输出松紧度指数。

27、作为本发明的一种优选技术方案,所述综合状态判定单元包括时序一致性验证子单元:对连续多帧图像的佩戴状态进行滑动窗口投票,仅当非规范佩戴状态在连续n帧内持续出现时,才确认输出佩戴状态,其中n为≥3的整数。

28、作为本发明的一种优选技术方案,所述报警与记录模块的分级报警提示包括:

29、一级报警:未佩戴安全带,触发持续声光报警并限制车辆动力输出;

30、二级报警:佩戴路径错误,触发语音提示并显示纠正示意图;

31、三级报警:佩戴松弛,触发短促提示音并显示松紧度指示条。

32、第二方面,本发明还提供一种基于机器视觉的汽车安全带佩戴状态检测方法,根据上述一种基于机器视觉的汽车安全带佩戴状态检测装置实现汽车安全带佩戴状态检测,该方法包括以下步骤:

33、s1、双视角双模态同步采集:通过布置于车辆乘员舱内不同空间位置的至少两个成像单元,同步采集乘员及安全带的可见光图像与近红外图像;

34、s2、建立车载坐标系:对至少两个成像单元进行立体视觉标定,建立统一的车载坐标系;

35、s3、人体骨骼关键点检测与三维化:从可见光图像中识别乘员的人体骨骼关键点,至少包括颈部关键点、左/右肩关键点、胸骨中心关键点、左/右髋关键点及腹部中心关键点;

36、s4、安全带三维轨迹重建:基于近红外图像中安全带的灰度特征进行边缘提取,并通过至少两个成像单元的立体匹配,在车载坐标系中重建安全带的三维空间轨迹曲线;

37、s5、佩戴路径合规性分析:将三维空间轨迹曲线与人体骨骼关键点进行空间关联,确定安全带相对于人体的标准佩戴区域的偏离程度,并基于偏离程度识别佩戴路径错误,其中,预设标准佩戴路径由颈部关键点、肩关键点、胸骨中心关键点、髋关键点及腹部中心关键点依次连接形成的标准三维路径确定;

38、s6、松紧度视觉估计:基于可见光图像中安全带与人体表面之间的空间关系特征,估计安全带松紧度指数;

39、s7、综合状态判定:根据偏离程度和/或松紧度指数,输出乘员的安全带佩戴状态,其中,所述佩戴状态至少包括:规范佩戴、佩戴路径错误、佩戴松弛及未佩戴;

40、s8、分级报警与记录:当佩戴状态不属于规范佩戴时,向乘员发出分级报警提示,并将佩戴状态及对应的图像数据关联存储;

41、其中,所述步骤s4还包括:对近红外图像进行自适应伽马校正与光照补偿;利用语义分割网络从预处理后的近红外图像中分割出安全带像素区域,并提取安全带的中心线;对至少两个成像单元获取的安全带中心线进行极线约束匹配,计算视差并重建三维坐标;对离散的三维坐标点进行曲线拟合,得到连续的三维空间轨迹;

42、所述步骤s5中确定偏离程度的步骤包括:根据人体人体骨骼关键点的空间位置,生成与乘员体型自适应的标准佩戴路径;计算三维空间轨迹曲线与标准佩戴路径之间的空间偏离量;根据空间偏离量识别佩戴路径错误类型。

43、本发明具有以下有益效果:

44、1、本发明通过安全带三维轨迹重建单元重建安全带在车载坐标系中的三维空间轨迹,将三维空间轨迹与人体骨骼关键点进行空间关联,建立安全带与人体三维空间结构的关联模型,实现了对三维佩戴路径错误的精确识别,解决了二维图像无法判断空间路径正确性的问题。

45、2、本发明采用a柱与顶棚双视角成像单元成像,有效克服了单视角下的遮挡问题;成像单元采用可见光与近红外双波段同步成像传感器,引入780nm-940nm近红外成像,利用织物与人体在近红外波段的反射特性差异,显著提升了安全带分割的鲁棒性,降低了对可见光光照条件的依赖,大幅度降低了误检率和漏检率。

46、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。