一种基于多特征融合的乘员类型识别方法、系统、装置

1.本发明属于汽车安全控制领域，具体涉及一种基于多特征融合的乘员类型识别方法、系统、装置。


背景技术：

2.车辆的安全控制系统主要包含主动安全技术和被动安全技术两个部分，其中主动安全技术为预防汽车发生事故，避免人员受到伤害而采取的安全设计。具体包括如abs(antilock brake system，防抱死制动系统)，ebd(electronic brake force distribution，电子制动力分配)，tcs(traction control system，牵引力控制系统)，ldws(lane departure warning system，车道偏离预警系统)等都是主动安全设计。它们的特点是提高汽车的行驶稳定性，尽力防止车祸发生。其它像胎压监测、倒车影像、高位刹车灯，前后雾灯，后窗除雾等也是主动安全设计。而被动安全技术是指在交通事故发生后，汽车本身减轻人员伤害和货物损失的能力，具体包括汽车安全带、安全气囊、保险杠减振系统等。
3.在车辆的被动安全技术中，传统的安全气囊通过外部加速度传感器采集加速度信号，然后经过特定的算法计算，达到起爆的条件后就会引爆安全气囊。安全气囊摊开后，可以降低在车辆碰撞条件下乘员受到的冲击作用。安全气囊的设计和应用还应当根据不同乘员的状态进行差异化设计。这是因为不同乘员在车内的乘坐状态时不一样的；例如对于年龄小于12岁的婴幼儿，这些乘员一般坐在安全座椅上；而对于体型较大的乘员，这些乘员本身占据了座椅的大部分空间，乘员距离车辆前部的其它结构距离较近。如果安全气囊在无法在起爆瞬间针对不同乘员对安全气囊的起爆时间、充气压力，织带长度、气囊压力等参数进行动态调整，反而可能对乘员造成二次伤害。
4.但是在现有车辆的被动安全系统中，通常无法准确识别不同驾乘人员的类型，也就无法针对不同乘员进行差异化的被动安全控制。如果需要对驾乘人员进行准确识别，则需要在车辆内部新增部署大量用于分辨驾乘人员类型的软硬件设备，这些都会产生较大的经济成本和技术难度。此外，目前最具有实用前景的乘员识别方法主要是各类型基于机器学习的图像识别方法，但是该方法对不同乘员的类别区分仍然不够精细，且容易受到算法训练效果，人为因素和环境因素的影响，例如在光照条件较差或乘员动作较为频繁等条件下，识别准确率很低，对于年龄不满12岁的汽车安全座椅适用期婴幼儿童，图像识别的效果尤其糟糕。


技术实现要素：

5.为了解决现有车辆无法有效区分乘员类型，难以实施差异化的被动安全措施的问题。本发明提供一种基于多特征融合的乘员类型识别方法、系统、装置。
6.本发明采用以下技术方案实现：
7.一种基于多特征融合的乘员类型识别方法，该乘员类型识别方法用于根据提取出的多个特征信息判断车内乘员的类型；识别出的乘员类型分为：婴幼儿、儿童、成年女性、中
等体型成年男性和大体型成年男性五类；该乘员类型识别方法包括如下步骤：
8.s1：获取各个座椅靠背处的压力值，记为靠压p1，判断p1是否大于一个预设的第一压力临界值p1，是则确定乘员已就座。
9.s2：在确定当前乘员已就座后，获取当前座椅的安全带的带扣传感器的检测信号，当带扣传感器检测到安全带处于系扣状态时，以安全带完成系扣的时刻作为乘员的坐姿端正时刻t0。
10.s3：在乘员的坐姿端正时刻t0后，分别检测座椅的坐垫上平均压力值，记为坐压p2；以及压力信号的分布状态，记为φ；其中，φ＝1表征压力信号分布均匀完整，φ＝0表征压力信号分布不均匀且分散。判断是否满足：p2小于一个预设的第二临界压力值p2且φ＝1：
11.(1)是则判定当前乘员为“婴幼儿”。
12.(2)否则判定当前乘员处于“待定状态一”。
13.s4：在当前乘员处于“待定状态一”时，采集当前座椅上的乘员的原始图像，对原始图像进行预处理，并将预处理后的图像输入到采用支持向量机构建的分类模型中，由分类模型输出图像中包含的人物对象的年龄预测值y和性别分类结果。
14.然后根据分类模型的输出结果作出如下预测：
15.(1)当输出结果中的年龄预测值y＜12时，则判定当前乘员为“婴幼儿”。
16.(2)当输出结果中的年龄预测值12≤y＜18时，则判定当前乘员为“儿童”。
17.在人物对象的年龄属于未成年组别时，无需对其进行性别区分直接判定为“婴幼儿”或“儿童”，仅在人物对象的年龄大于等于18岁时，判定对象为成年，然后根据性别进行初步区分，区分出“成年女性”和“成年男性”组别。此外，对于“成年男性”组别还需要根据体型进行进一步的区分。
18.(3)当输出结果中的年龄预测值y≥18且性别为女性时，则判定当前乘员为“成年女性”。
19.(4)当输出结果中的年龄预测值y≥18且性别为男性时，则判定当前乘员处于“待定状态二”。
20.s5：在当前乘员处于“待定状态二”时，获取当前座椅顶部的超声波传感器检测到的最小回波距离x；根据最小回波距离采用下式计算出当前乘员的预测身高h：
21.h＝δ
·
(x
0-x)
22.上式中，x0为超声波传感器在坐姿端正时刻t0前检测到的平均回波距离；δ为一个半身长身高预测系数；δ是一个与年龄、性别和体重值具有关联关系的专家经验值。
23.s6：根据当前乘员的预测身高h、坐压p2计算出当前乘员的体型预测值ω；体型预测值ω的计算公式如下：
24.ω＝α
·
(h-h0) β
·
γ
·
(p
2-p0)
25.上式中，α为体型预测的体重权重；h0为体型预测的基准身高；β为体型预测的身高权重；γ为体型预测的性别权重；p0为体型预测的基准体重；
26.根据当前乘员的体型预测值ω与一个体型基准值ω0之间的关系作出如下判断：
27.(1)当ω≤ω0时，则判定当前乘员为“中等体型成年男性”。
28.(2)当ω＞ω0时，则判定当前乘员为“大体型成年男性”。
29.其中，体型基准值是一个根据专家经验确定的可以有效区分中等体型和大体型男
性的阀值。该值对于将不同成年男性的体型进行有效区分，进而在车辆发生碰撞时，采用不同的被动安全措施降低不同乘员受到损伤具有突出的参考意义。
30.作为本发明进一步地改进，步骤s1中，座椅靠背处的压力值在座椅处于未使用状态时均小于第一压力临界值p1；且座椅靠背处的压力值通过仅具有一个测量位点的第一压力传感器测量；靠压p1的值按照一个预设的采样频率等周期采集。
31.作为本发明进一步地改进，步骤s3中，座椅的坐垫上的平均压力值和压力信号的分布状态通过具有多个测量位点的第二压力传感器测量；第二压力传感器中各个测量位点均匀分布在座椅表面；且各个测量位点的平均值为坐压p2；坐压p2的值仅在p1＞p1且安全带完成系扣的状态下完成采集。
32.作为本发明进一步地改进，步骤s4中，目标图像的预处理方法包括如下过程：
33.(1)图像切割：
34.通过一个目标选择框对原始图像进行选择，然后对原始图像进行切割，保留目标选择框内的部分作为目标图像；目标选择框的尺寸根据座椅与获取原始图像的相机之间的相对位置确定，以保证目标选择框内包含了最大范围的目标人物信息且包含最小范围的人物背景信息。
35.(2)灰度化处理：
36.对目标图像进行灰度化处理，将原三通道的彩色图像转换为二通道的灰度图像。
37.(3)滤波降噪处理：
38.采用高斯滤波方法对上步骤的灰度图像进行处理，去除图像中的部分噪声信息。
39.(4)目标提取：
40.采用基于梯度的边缘检测方法，利用图像边缘灰度突变的特性区分边缘点和非边缘点，通过canny算法将上步骤降噪后的图片中的乘员和背景图像分离，并采用legendre矩描述乘员边缘特征，实现乘员特征空间提取；从而得到仅包含乘员信息的特征图像。特征图像作为分类模型的输入。
41.作为本发明进一步地改进，步骤s4中，分类模型是一种基于支持向量机的网络模型；网络模型包括年龄分类单元和性别分类单元。分类模型的输入为被预测的人物对象的特征图像；分类模型的输出为年龄分类结果和性别分类结果。分类模型的应用过程包括两个阶段，分别为学习阶段和识别阶段。在学习阶段，采集真实的车内状态下的乘员图像，并对采集的图像进行预处理后，将得到各个特征图像作为样本构成训练集，通过训练集对构建的分类模型进行训练；直到分类模型的训练指标达到预设的训练要求；保存完成训练后的分类模型的参数信息，得到完成训练的分类模型。在识别阶段，利用完成训练的分类模型对待预测的特征图像进行分类处理，得到特征图像中人物对象的年龄分类结果和性别分类结果。
42.作为本发明进一步地改进，步骤s4中，还可以结合所述分类模型的输出结果以及坐压值p2，对分类过程执行如下更加细致的综合判断，得到更准确的分类结果：
43.(1)当y＜12时，计算一个婴幼儿体重参考量ma：ma＝p2-pa，其中，pa为根据专家经验确定的婴幼儿期对象在座椅上产生的压力值；当ma属于一个预设的经验区间a时，则判定当前乘员为“婴幼儿”；否则判定当前乘员为“儿童”。
44.(2)当12＜y≤18时，计算一个体重参考量mb：mb＝p2-pb，其中，pb为根据专家经验
确定的儿童期对象在座椅上产生的压力值；当mb属于一个预设的经验区间b时，则判定当前乘员为“儿童”；否则判定当前乘员为“成年女性”或“中等体型成年男性”，并根据性别对二者进行进一步判定。
45.(3)当y≥18且性别为女性时，则判定当前乘员为“成年女性”。
46.(4)当y≥18且性别为男性时，则判定当前乘员处于“待定状态二”。
47.作为本发明进一步地改进，步骤s5中，考虑到计算出的预测身高仅用于区分目标对象为年龄大于18岁的“中等体型成年男性”和“大体型成年男性”，此时，半身长身高预测系数δ取值为1.923。
48.本发明还包括一种基于多特征融合的乘员类型识别系统，该系统采用前述的基于多特征融合的乘员类型识别方法，对车内的乘员的类别进行识别，将每个乘员分类为“婴幼儿、儿童、成年女性、中等体型成年男性和大体型成年男性”中的一个。
49.本发明提供的基于多特征融合的乘员类型识别系统包括：第一压力传感器、第二压力传感器组、安全带带扣传感器、超声波传感器、图像采集模块、图像识别模型，以及识别判定模块。
50.其中，第一压力传感器安装在车内各个座椅上对应靠背的位置。第一压力传感器用于获取用乘员对座椅靠背处产生的靠压p1的压力值。
51.第二压力传感器组包括多个压力传感器单元。每组第二压力传感器组中的各个压力传感器单元分别安装在车内各个座椅的坐垫中。第二压力传感器组用于检测乘员对座椅的坐垫处产生的坐压p2的压力值，以及乘员产生的压力信号在座椅上的分布状态φ。其中，φ＝1表征压力信号分布均匀完整，φ＝0表征压力信号分布不均匀且分散。
52.安全带带扣传感器安装各个座椅对应的安全带的卡槽处。安全带带扣传感器用于获取各个安全带的系扣状态。定义表征安全带系扣状态的状态信号为其中，表征安全带已完成系扣；表征安全带未系扣。
53.超声波传感器安装在各个座椅顶部的正中位置，用于获取超声波传感器自身与座椅底部的任意障碍物间距离值，超声波传感器在每轮检测过程中的测量值包括两个：分别为在安全带系扣前的最大距离x0和安全带系扣后的最小距离x。
54.图像采集模块采用三通道的车载摄像头。车载摄像头安装在各个座椅的正前方，用于采集各个座椅上乘员的上半身的图像。图像采集模块采集的图像作为一个图像识别模型的输入。
55.图像识别模型采用一个基于支持向量机构建并完成训练的分类模型。图像识别模型中包括年龄分类单元和性别分类单元。图像识别模型的输入为待分类的人物对象的特征图像。图像识别模型的输出为年龄预测结果y和性别分类结果s。其中，s＝1表征特征图像中的人物对象为男性，s＝0表征特征图像中的人物对象为女性。
56.识别判定模块用于：
57.(1)获取所述靠压p1、坐压p2、压力分布状态φ、安全带系扣状态的状态信号超声波传感器探测到距离值，图像识别模型输出的年龄预测结果y和性别分类结果s的相关数据。
58.(2)根据前述数据作如下判断和决策：
59.a.当p1＞p1时；确定当前乘员已就座。
60.其中，p1为一个根据专家经验预设的判断乘员是否就座第一压力临界值。
61.b.当时，确定当前乘员已端正坐姿。
62.记录产生的状态信号对应的时刻t0为坐姿端正时刻。
63.c.记录坐姿端正时刻t0前记录到的最大值为距离信号x0，坐姿端正时刻t0后记录到的最小值为距离信号x。
64.并采用公式：h＝δ
·
(x
0-x)计算出当前乘员的预测身高h。
65.其中，δ为一个根据专家经验确定的半身长身高预测系数，δ＝1.923。
66.d：在坐姿端正时刻t0后，当p2＞p2时，判定当前乘员为“婴幼儿”。
67.其中，p2为一个根据专家经验预设的判定乘员体重明显为婴幼儿的第二临界压力值。
68.e.采用公式：ω＝α
·
(h-h0) β
·
γ
·
(p
2-p0)，计算出当前乘员的体型预测值ω。
69.其中，α为体型预测的体重权重；h0为体型预测的基准身高；β为体型预测的身高权重；γ为体型预测的性别权重；p0为体型预测的基准体重。
70.f.根据y、s、ω的值依次作出如下判断：
71.当y＜12时，则判定当前乘员为“婴幼儿”。
72.当12≤y＜18时，则判定当前乘员为“儿童”。
73.当y≥18且s＝0时，则判定当前乘员为“成年女性”。
74.当y≥18且s＝1且ω≤ω0时，则判定当前乘员为“中等体型成年男性”。
75.当y≥18且s＝1且ω＞ω0时，则判定当前乘员为“大体型成年男性”。
76.其中，ω0为一个根据专家经验确定的用于区分中等体型成年男性和大体型成年男性的体型基准值。
77.作为本发明进一步地改进，乘员类型识别系统中还包括一个图像预处理模块。图像采集模块采集的原始图像先输入到所述图像预处理模块进行预处理，预处理后的特征图像输入到图像识别模块中。其中，按照数据处理的顺序，图像预处理模块包括：图像切割单元、灰度处理单元、滤波降噪单元，以及目标提取单元。
78.图像切割单元按照预设的目标选择框选定原始图像中包含最大范围的目标人物信息且包含最小范围的人物背景信息的部分。然后将目标选择框中的部分图像切割出来，作为目标图像。灰度处理单元对目标图像进行灰度化处理，将原三通道的彩色图像转换为二通道的灰度图像。滤波降噪单元采用高斯滤波方法对灰度处理单元输出的灰度图像进行滤波处理，去除图像中的部分噪声信息。目标提取单元通过canny算法将经滤波降噪单元降噪后的图像中的乘员和背景图像分离，然后采用legendre矩描述乘员边缘特征，实现乘员特征空间提取；从而得到仅包含乘员信息的特征图像。
79.本发明还包括一种基于多特征融合的乘员类型识别装置，该乘员类型识别装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现如前述的基于多特征融合的乘员类型识别方法的步骤。
80.本发明提供的技术方案，具有如下有益效果：
81.本实施例中提供的方法能够基于压力传感器、安全带带扣传感器、超声波传感器的数据，以及对乘员的图像采集和识别结果得到不同乘员分类结果。且处理过程中考虑到了年龄、身高、体重等不同的生理指标，通过不同特征的融合处理，使得本发明提供的分类
过程具有分类精度更高、分类速率更快的优点。
82.本发明提供的乘员类型分类方法采用不同的特征信息，进行逐步的梯度分类，将乘员判定为不同类型。在类型判定过程中，既参考了不同的生理性指标又融合机器学习的分类结果，同时还根据车辆环境对不同特征信息的采集过程中进行等效替代。通过上述技术方案，本发明能够在不对现有车辆软硬系统作出过多调整的基础上，更加经济使用且准确地判断出各个乘员的类型，为后续执行差异化的被动安全措施提供依据。
附图说明
83.图1为本发明实施例1中一种基于多特征融合的乘员类型识别方法的步骤流程图。
84.图2为本发明实施例1中一种基于多特征融合的乘员类型识别方法执行过程中的逻辑框图。
85.图3为本发明实施例2中一种基于多特征融合的乘员类型识别系统的结构拓扑图。
86.图4为本发明实施例2中提供的一种基于多特征融合的乘员类型识别系统最简化的硬件部署示意图。
具体实施方式
87.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步地详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
88.实施例1
89.在车辆的安全保障系统中，为了针对不同乘员的特点采取差异化的被动安全措施，本实施例拟参考不同方案中提出的分类方法，并结合车辆安全领域对乘员特征的分类标准对乘员类型进行分类。具体的分类规则和标准如下：
90.在本实施例，将车辆内的乘员具体区分为婴幼儿、儿童、成年女性、中等体型成年男性和大体型成年男性五类。
91.其中，“婴幼儿”在指年龄在0-12岁的未成年人群。这部分人群对本实施例具有意义的特征包括：在驾乘过程中，通常需要配合安全座椅使用；这些人群对自身行为的控制能力较差；可能会作出不利于提升驾乘安全性的行为，在驾乘过程中需要相关的监护人员的监督。在车内的活动状态较为活跃。且相对来说这部分乘员的身高较低，体重较轻。针对“婴幼儿”乘员的类型判断过程中无需进行性别特征的识别。
[0092]“儿童”指年龄在12-18岁的未成年人群。这部分人群对本实施例具有意义的特征包括：具有一定行为控制能力，人群的发育程度不完全，体重和身高的差异较大，且该群体可以独立乘坐车辆。无需进行额外的监督，不需要使用安全座椅等驾驶安全辅助装备。针对“儿童”乘员的类型判断过程中无需进行性别特征的识别。
[0093]“成年女性”至年龄超过18岁的女性乘员。这部分乘员具有完全的行为能力，可以对自身的行为作出有利于保障驾乘安全的自主决策。考虑到女性的身高体重的差异相对男性较小，且存在的体型差异的范围相对车辆被动安全措施调整策略的影响权重较小，因此在本实施例中不对女性的体型进行区分，仅采用“成年女性”这一整体类别进行区分。
[0094]
针对成年男性，本实施例进一步区分为“中等体型成年男性”和“大体型成年男
性”。成年男性的体型区分的原因在于：不同体型的乘员对驾乘空间的占用程度不同。在气囊弹出过程中，体型较大的乘员产生的惯性较大，且缓冲的距离较短，因此需要增大气囊的弹出速率，更快的起爆速率，并释放更大的气压以对车辆碰撞时产生的冲击作用进行卸载。具体地，不同体型对车辆被动安全策略的影响不属于本案的研究内容，本案不再进行赘述。本案对“中等体型成年男性”和“大体型成年男性”的区分标准参考人体工程学标准中的“50百分位男性”和“95百分位男性”的相关条目进行设定。
[0095]
本实施例提供的一种基于多特征融合的乘员类型识别方法，根据提取出的多个特征信息判断车内乘员的类型；识别出的乘员类型分为：婴幼儿、儿童、成年女性、中等体型成年男性和大体型成年男性五类。本实施例中采用的特征信息包括身高、体重、年龄等多种特征对不同乘员进行详细区分，考虑到上述特征在乘员的驾乘过程中，大都无法通过常规元器件直接获取。本实施例在后续方案设计中采用多种具有参考价值的物理量进数值运算和等效替代；进而在最小化硬件成本的基础上获得更佳的类型识别精度。并结合乘员在车内的不同状态对识别过程的参数获取和数据运行过程进行详细设计，以实现更高的识别效率。
[0096]
具体地，如图1所示，本实施例采用的基于多特征融合的乘员类型识别方法包括如下步骤：
[0097]
s1：获取各个座椅靠背处的压力值，记为靠压p1，判断p1是否大于一个预设的第一压力临界值p1，是则确定乘员已就座。
[0098]
通常来说，当一个乘员进入车辆后，会对座椅的后背产生明显的压力作用，本实施例通过检测座椅靠背处的压力值的变化来判断用户是否已经就座。本实施例中座椅靠背处的压力值通过仅通过一个测量位点的压力传感器就可以完成测量，并按照一个预设的采样频率等周期采样。座椅靠背处的压力值在座椅处于未使用状态时均小于第一压力临界值p1。当用户就座后，由于收到乘员的挤压，靠压p1显著增大，当p1＞p1时；确定当前乘员已就座。
[0099]
s2：在确定当前乘员已就座后，获取当前座椅的安全带的带扣传感器的检测信号，当带扣传感器检测到安全带处于系扣状态时，以安全带完成系扣的时刻作为乘员的坐姿端正时刻t0。
[0100]
s3：在乘员的坐姿端正时刻t0后，分别检测座椅的坐垫上平均压力值，记为坐压p2；以及压力信号的分布状态，记为φ；其中，φ＝1表征压力信号分布均匀完整，φ＝0表征压力信号分布不均匀且分散。判断是否满足：p2小于一个预设的第二临界压力值p2且φ＝1：
[0101]
(1)是则判定当前乘员为“婴幼儿”。
[0102]
(2)否则判定当前乘员处于“待定状态一”。
[0103]
本实施例中，当乘员处于端坐状态时，其对于座椅产生的坐姿状态的压力作用趋于稳定，此时通过座椅的坐垫上的平均压力值和压力信号的分布状态可以对乘员的类型进行初步判断。本实施例考虑到对于年龄较小的乘员通常需要配合使用儿童安全座椅；而安全座椅在使用过程中是整体安装在车辆原座椅上的。因此当婴幼儿被安置在儿童安全座椅上时，婴幼儿对座椅的坐垫造成的压力信号的分布是均匀的，且表现为一个完成的无缝规则图像；即对应儿童安全座椅底部安装结构的图像。而常规乘员在车辆座椅产生的压力信号的分布是不均匀，主要受到乘员臀部的影响表现为有缝的不规则分布状态，乘员臀部与
座椅接触部分的压力信号明显较大，而非接触部分的压力信号明显较小。
[0104]
根据不同类别乘员的体重差异，本实施例设定一个婴幼儿和儿童或成年的体重分类的临界值。坐压p2反映了一个压力变化值，当坐压p2增大的幅度较小，小于一个预设值p2，则大致任认为该乘员为婴幼儿的可能性大，反之则认为是非婴幼儿的可能性大。本实施例进一步结合压力信号的分布状态进行详细区分，当压力信号φ＝1，这说明车辆座椅上安装有儿童安全座椅，因此可以判定当前乘员的婴幼儿。
[0105]
在本实施例中，通过具有多个测量位点的第二压力传感器测量座椅上压力信号的分布状态。第二压力传感器中各个测量位点均匀分布在座椅表面；且各个测量位点的平均值为坐压p2。此外，考虑到乘员只有在系扣安全带之后，其在座椅上的运行幅度才区域稳定，保持为端坐姿态，因此，本实施例中的坐压p2的值仅在p1＞p1且安全带完成系扣的状态下完成采集。
[0106]
s4：在当前乘员处于“待定状态一”时，采集当前座椅上的乘员的原始图像，对原始图像进行预处理，并将预处理后的图像输入到采用支持向量机构建的分类模型中，由分类模型输出图像中包含的人物对象的年龄预测值y和性别分类结果。
[0107]
本实施例中使用的分类模型是一种基于支持向量机(svm，support vector machine)的网络模型；svm方法建立在统计学习理论的vc维理论和结构风险最小原理的基础上，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势。本实施例中基于支持向量机建立的网络模型还包括年龄分类单元和性别分类单元两个不同的功能单元，分别用于得到年龄预测和性别区分的结果。本实施例中的分类模型的输入为被预测的人物对象的特征图像；分类模型的输出为年龄分类结果和性别分类结果。
[0108]
该分类模型的应用过程包括两个阶段，分别为学习阶段和识别阶段。在学习阶段，采集真实的车内状态下的乘员图像，并对采集的图像进行预处理后，将得到各个特征图像作为样本构成训练集，通过训练集对构建的分类模型进行训练；直到分类模型的训练指标达到预设的训练要求；保存完成训练后的分类模型的参数信息，得到完成训练的分类模型。在识别阶段，利用完成训练的分类模型对待预测的特征图像进行分类处理，得到特征图像中人物对象的年龄分类结果和性别分类结果。
[0109]
为了提高分类模型的预测精度，本实施例还对输入到分类模型中的原始图像进行预处理，预处理过程可以降低原始图像的噪声信息和无关信息。具体地，目标图像的预处理方法包括如下过程：
[0110]
(1)图像切割：
[0111]
当采集图像的设备安装完毕后，其采集的目标的区域即相对固定。此时，为了将识别范围缩小至乘员所在的较小范围内，提高信息的有效性；可以对原始图像进行裁剪。通过一个目标选择框对原始图像进行选择，然后对原始图像进行切割，保留目标选择框内的部分作为目标图像。其中，本实施例中的目标选择框的范围应当在方法应用之初就根据摄像头与乘员距离完成自适应调整。目标选择框的尺寸和范围根据座椅与获取原始图像的相机之间的相对位置确定，以保证目标选择框内包含了最大范围的目标人物信息且包含最小范围的人物背景信息。即主题对象(人物)最多，背景元素(座椅、车厢等)最少。
[0112]
(2)灰度化处理：
[0113]
常规的采集乘员的图像的设备获取到的原始图像为三通道图像，即包含红绿蓝三
个通道的彩色图像。为了提高分类器的是被效率，满足方法中对分类模型的实时性要求，本实施例中忽略了图像中对分类结果影响较小的颜色特征，对目标图像进行灰度化处理，将三通道(红绿蓝)图像改为双通道(黑白)的灰度图像。
[0114]
(3)滤波降噪处理：
[0115]
本实施例中的乘员的图像大多是在车辆内部获取，且容易受到车辆运动状态的影响，图像质量较差，容易出现失真。因此，本实施例采用高斯滤波方法对上步骤的灰度图像进行处理，去除图像中的部分噪声信息；以期提高最终分类结果的精度。
[0116]
高斯滤波是本实施例中的采用的图像降噪处理的方式，在本实施例或其它实施例中，根据具体的图像失真的原因和特点，还可以采用其它方式对图像质量进行提升或修正，只要该处理步骤对于最终提升分类模型的分类精度具有提升效果。
[0117]
(4)目标提取：
[0118]
本实施例中进行目标提取主要是为了将图像中包含的目标人物提取出来，消除图像中的包含的无关元素对最终分类结果的精度造成干扰。具体地，在本实施例中，先采用基于梯度的边缘检测方法，利用图像边缘灰度突变的特性区分边缘点和非边缘点，通过canny算法将上步骤降噪后的图片中的乘员和背景图像分离。然后采用legendre矩描述乘员边缘特征，实现乘员特征空间提取。从而得到仅包含乘员信息的特征图像。提取出来的该特征图像即作为分类模型的输入。
[0119]
然后根据分类模型的输出结果作出如下预测：
[0120]
(1)当输出结果中的年龄预测值y＜12时，则判定当前乘员为“婴幼儿”。
[0121]
(2)当输出结果中的年龄预测值12≤y＜18时，则判定当前乘员为“儿童”。
[0122]
在人物对象的年龄属于未成年组别时，无需对其进行性别区分直接判定为“婴幼儿”或“儿童”，仅在人物对象的年龄大于等于18岁时，判定对象为成年，然后根据性别进行初步区分，区分出“成年女性”和“成年男性”组别。此外，对于“成年男性”组别还需要根据体型进行进一步的区分。
[0123]
(3)当输出结果中的年龄预测值y≥18且性别为女性时，则判定当前乘员为“成年女性”。
[0124]
(4)当输出结果中的年龄预测值y≥18且性别为男性时，则判定当前乘员处于“待定状态二”。
[0125]
分析上述过程可以看出，“婴幼儿”“儿童”和“成年女性”的区分主要基于分类模型输出的年龄预测结果和性能分类结果。这里“婴幼儿”的分类是对前一步分类的补充。在步骤s3中已经对于是否属于婴幼儿进行第一轮的判定，并且准确地将使用儿童安全座椅的低龄婴幼儿区分出来。而本实施例中对婴幼儿进行进一步的补充判定；进而确保将属于婴幼儿期，但是年龄较大可以不使用儿童安全座椅的部分“婴幼儿”也准确识别出来。
[0126]
对需要进行体型判定的成年男性，当前数据还无法实现精准分类。这需要结合后续获取的特征信息进行融合考虑；给出更具有参考价值判读依据和更精准的判定结果。因此在未做区分的状态下将成年男性整体编入“待定状态二”。
[0127]
s5：在当前乘员处于“待定状态二”时，获取当前座椅顶部的超声波传感器检测到的最小回波距离x；根据最小回波距离采用下式计算出当前乘员的预测身高h：
[0128]
h＝δ
·
(x
0-x)
[0129]
上式中，x0为超声波传感器在坐姿端正时刻t0前检测到的平均回波距离；δ为一个半身长身高预测系数；δ是一个与年龄、性别和体重值具有关联关系的专家经验值。
[0130]
本实施例中，采用一个简单的超声波传感器就能够获得处于坐姿状态下的乘员身高的一个可靠的预测值。该身高预测过程的的原理如下：在超声波传感器安装在各个座椅的上方的状态下，当乘员未端坐在座椅上时，超声波传感器测量到的回波信号的最大值即为自身与座椅上表面的间距，该值记为x0，当乘员端坐在座椅上时，超声波传感器测量到的回波信号的最小值即为自身与乘员的头顶的间距，该值记为x；因此x
0-x表征乘员头顶至座椅上表面的间距，即为乘员的上半身长度。通常来说，人的上半身长度与身高之间具有非常强的相关性，因此在对大量样本进行统计之后，可以得到二者之间的关联关系。同时经过大量的样本分析可以发现，反映上半身长度和身高之间的关联关系的系数值受到年龄、性别和体重等值的影响较大。在本实施例中，考虑到需要进行身高预测的目标对象主要是成年男性，且属于需要对于体型进行区分的“中等体型男性”和“大体型男性”，因此可以对该系数值的范围进行进一步的缩小。具体地，在不影响最终的分类结果准确性的约束条件下，本实施例根据专家经验将半身长身高预测系数δ的值定为1.923。
[0131]
s6：根据当前乘员的预测身高h、坐压p2计算出当前乘员的体型预测值ω；体型预测值ω的计算公式如下：
[0132]
ω＝α
·
(h-h0) β
·
γ
·
(p
2-p0)
[0133]
上式中，α为体型预测的体重权重；h0为体型预测的基准身高；β为体型预测的身高权重；γ为体型预测的性别权重；p0为体型预测的基准体重。
[0134]
本实施例中新定义了一个体型预测函数，该函数可以表征不同身高和体重与最终判定的体型结论之间的影响关系。应用该函数可以对体重和身高对体型的影响进行量化，进而生成一个体型预测值。
[0135]
具体地，为了对中等体型和大体型成年男性进行区分，本实施例还根据专家经验设定了一个体型基准值ω0。该值可以对不同成年男性的体型进行有效区分。需要特别说明的时，本实施例中的体型区分，并不属于任何常规意义上的生理性的体型分类。而是为了在车辆发生碰撞时，为采用不同的被动安全措施提供参考依据的分类结果。该值仅对于采用差异化被动安全措施进而降低不同乘员受到损伤的程度具有突出的参考意义。
[0136]
在本实施例中，根据当前乘员的体型预测值ω与一个体型基准值ω0之间的关系作出如下判断：
[0137]
(1)当ω≤ω0时，则判定当前乘员为“中等体型成年男性”。
[0138]
(2)当ω＞ω0时，则判定当前乘员为“大体型成年男性”。
[0139]
至此针对任何一个乘员，本发明提供的类型识别方法已经可以明确地将其区分为“婴幼儿、儿童、成年女性、中等体型成年男性和大体型成年男性”中的其中一个。
[0140]
在本实施例的步骤s4中，对于“婴幼儿”和“儿童”的区分仅依赖分类模型的年龄分类结果。为了克服该单一判定依据带来的误差；同时考虑到本实施例中年龄并不是决定乘员分类的唯一指标。例如在特殊状态下，某些乘员的面相或实际年龄明显属于低龄化婴幼儿，但是其发育程度较快，体型明显已经属于更高层级的群体。针对这些情况，本实施例还可以对前述判定过程进行进一步地优化，将体重因素引入到“婴幼儿”和“儿童”的分类依据中。
[0141]
改进后的步骤s4中，结合分类模型的输出结果以及坐压值p2，对分类过程执行如下更加细致的综合判断，得到更准确的分类结果：
[0142]
(1)当y＜12时，计算一个婴幼儿体重参考量ma：ma＝p2-pa，其中，pa为根据专家经验确定的婴幼儿期对象在座椅上产生的压力值；当ma属于一个预设的经验区间a时，则判定当前乘员为“婴幼儿”；否则判定当前乘员为“儿童”。
[0143]
即：对于对于判定为“婴幼儿”的乘员，如果其体重参考量明显不属于根据专家经验设置的区间a，则说明该“婴幼儿”体型过大，此时应当判定该乘员为“儿童”。
[0144]
(2)当12＜y≤18时，计算一个体重参考量mb：mb＝p2-pb，其中，pb为根据专家经验确定的儿童期对象在座椅上产生的压力值；当mb属于一个预设的经验区间b时，则判定当前乘员为“儿童”；否则判定当前乘员为“成年女性”或“中等体型成年男性”，并根据性别对二者进行进一步判定。
[0145]
即：对于对于判定为“儿童”的乘员，如果其体重参考量明显不属于根据专家经验设置的区间b，则说明该“儿童”体型过大，此时应当判定该乘员为“成人”。
[0146]
(3)当y≥18且性别为女性时，则判定当前乘员为“成年女性”。
[0147]
(4)当y≥18且性别为男性时，则判定当前乘员处于“待定状态二”。
[0148]
结合图2并分析上述过程可以发现：本实施例提供的乘员类型分类方法采用不同的特征信息，进行逐步的梯度分类，将乘员判定为不同类型。在类型判定过程中，既参考了不同的生理性指标又融合机器学习的分类结果，同时还根据车辆环境对不同特征信息的采集过程中进行等效替代。通过上述技术方案，本发明能够在不对现有车辆软硬系统作出过多调整的基础上，更加经济使用且准确地判断出各个乘员的类型，为后续执行差异化的被动安全措施提供依据。
[0149]
实施例2
[0150]
本实施例提供一种基于多特征融合的乘员类型识别系统，该系统采用实施例1中的基于多特征融合的乘员类型识别方法，对车内的乘员的类别进行识别，进而将每个乘员分类为“婴幼儿、儿童、成年女性、中等体型成年男性和大体型成年男性”中的一个。
[0151]
如图3所示，本实施例提供的基于多特征融合的乘员类型识别系统包括：第一压力传感器(图3中的c)、第二压力传感器组(图3中的d)、安全带带扣传感器(图3中的e)、超声波传感器(图3中的b)、图像采集模块(图3中的a)、图像识别模型，以及识别判定模块。
[0152]
其中，第一压力传感器安装在车内各个座椅上对应靠背的位置。第一压力传感器用于获取用乘员对座椅靠背处产生的靠压p1的压力值。
[0153]
第二压力传感器组包括多个压力传感器单元。每组第二压力传感器组中的各个压力传感器单元分别安装在车内各个座椅的坐垫中。第二压力传感器组用于检测乘员对座椅的坐垫处产生的坐压p2的压力值，以及乘员产生的压力信号在座椅上的分布状态φ。其中，φ＝1表征压力信号分布均匀完整，φ＝0表征压力信号分布不均匀且分散。
[0154]
安全带带扣传感器安装各个座椅对应的安全带的卡槽处。安全带带扣传感器用于获取各个安全带的系扣状态。定义表征安全带系扣状态的状态信号为其中，表征安全带已完成系扣；表征安全带未系扣。
[0155]
超声波传感器安装在各个座椅顶部的正中位置，用于获取超声波传感器自身与座椅底部的任意障碍物间距离值，超声波传感器在每轮检测过程中的测量值包括两个：分别
为在安全带系扣前的最大距离x0和安全带系扣后的最小距离x。
[0156]
图像采集模块采用三通道的车载摄像头。车载摄像头安装在各个座椅的正前方，用于采集各个座椅上乘员的上半身的图像。图像采集模块采集的图像作为一个图像识别模型的输入。
[0157]
图像识别模型采用一个基于支持向量机构建并完成训练的分类模型。图像识别模型中包括年龄分类单元和性别分类单元。图像识别模型的输入为待分类的人物对象的特征图像。图像识别模型的输出为年龄预测结果y和性别分类结果s。其中，s＝1表征特征图像中的人物对象为男性，s＝0表征特征图像中的人物对象为女性。
[0158]
识别判定模块用于：
[0159]
(1)获取所述靠压p1、坐压p2、压力分布状态φ、安全带系扣状态的状态信号超声波传感器探测到距离值，图像识别模型输出的年龄预测结果y和性别分类结果s的相关数据。
[0160]
(2)根据前述数据作如下判断和决策：
[0161]
a.当p1＞p1时；确定当前乘员已就座。
[0162]
其中，p1为一个根据专家经验预设的判断乘员是否就座第一压力临界值。
[0163]
b.当时，确定当前乘员已端正坐姿。
[0164]
记录产生的状态信号对应的时刻t0为坐姿端正时刻。
[0165]
c.记录坐姿端正时刻t0前记录到的最大值为距离信号x0，坐姿端正时刻t0后记录到的最小值为距离信号x。
[0166]
并采用公式：h＝δ
·
(x
0-x)计算出当前乘员的预测身高h。
[0167]
其中，δ为一个根据专家经验确定的半身长身高预测系数，δ＝1.923。
[0168]
d：在坐姿端正时刻t0后，当p2＞p2时，判定当前乘员为“婴幼儿”。
[0169]
其中，p2为一个根据专家经验预设的判定乘员体重明显为婴幼儿的第二临界压力值。
[0170]
e.采用公式：ω＝α
·
(h-h0) β
·
γ
·
(p
2-p0)，计算出当前乘员的体型预测值ω。
[0171]
其中，α为体型预测的体重权重；h0为体型预测的基准身高；β为体型预测的身高权重；γ为体型预测的性别权重；p0为体型预测的基准体重。
[0172]
f.根据y、s、ω的值依次作出如下判断：
[0173]
当y＜12时，则判定当前乘员为“婴幼儿”。
[0174]
当12≤y＜18时，则判定当前乘员为“儿童”。
[0175]
当y≥18且s＝0时，则判定当前乘员为“成年女性”。
[0176]
当y≥18且s＝1且ω≤ω0时，则判定当前乘员为“中等体型成年男性”。
[0177]
当y≥18且s＝1且ω＞ω0时，则判定当前乘员为“大体型成年男性”。
[0178]
其中，ω0为一个根据专家经验确定的用于区分中等体型成年男性和大体型成年男性的体型基准值。
[0179]
以上给出的系统是本实施例中基于多特征融合的乘员类型识别系统的为了实现功能而采用的最简化的部署方案。具体的硬件部署可参考图4。需要特别说明的是，图4给出的是仅用于判定副驾驶乘员类别的系统方案。在本实施例或其中实施例还可以部署全车乘员类别识别系统，并对系统的部分设备或组件进行重复利用。
[0180]
其中的各个硬件模块可以是新增的设备或元器件；也可以是车辆自身已有的设备或元器件，该系统只需要调用相关设备或元器件的数据或功能即可。例如在大部分车辆中，安全带带扣传感器就是一个现有的传感器。所有安全带带扣传感器无需进行额外安装。
[0181]
为了提高该系统的准确性和运行速率，本实施例的乘员类型识别系统中还包括一个图像预处理模块。图像采集模块采集的原始图像先输入到所述图像预处理模块进行预处理，预处理后的特征图像输入到图像识别模块中。其中，按照数据处理的顺序，图像预处理模块包括：图像切割单元、灰度处理单元、滤波降噪单元，以及目标提取单元。
[0182]
具体地，图像预处理模块中的图像切割单元按照预设的目标选择框选定原始图像中包含最大范围的目标人物信息且包含最小范围的人物背景信息的部分。然后将目标选择框中的部分图像切割出来，作为目标图像。
[0183]
灰度处理单元对目标图像进行灰度化处理，将原三通道的彩色图像转换为二通道的灰度图像。
[0184]
滤波降噪单元采用高斯滤波方法对灰度处理单元输出的灰度图像进行滤波处理，去除图像中的部分噪声信息。
[0185]
目标提取单元通过canny算法将经滤波降噪单元降噪后的图像中的乘员和背景图像分离，然后采用legendre矩描述乘员边缘特征，实现乘员特征空间提取；从而得到仅包含乘员信息的特征图像。
[0186]
此外，本实施例提供的基于多特征融合的乘员类型识别系统也可以根据实施例1中对步骤s4的改进，对自身的识别判定模块的运行逻辑进行调整。结合分类模型的输出结果以及坐压值p2，对分类过程执行如下更加细致的综合判断，得到更准确的分类结果。具体指向如下操判定过程：
[0187]
(1)当y＜12且ma属于一个预设的经验区间a时，则判定当前乘员为“婴幼儿”；否则判定当前乘员为“儿童”。
[0188]
(2)当12＜y≤18且mb属于一个预设的经验区间b时，则判定当前乘员为“儿童”；否则判定当前乘员为“成年女性”或“中等体型成年男性”，并根据性别对二者进行进一步判定。
[0189]
实施例3
[0190]
本实施例提供一种基于多特征融合的乘员类型识别装置，该乘员类型识别装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现如实施例1中基于多特征融合的乘员类型识别方法的步骤。
[0191]
该计算机设备可以是可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。
[0192]
本实施例中，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该
计算机设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0193]
处理器在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，以实现如实施例1中的基于多特征融合的乘员类型识别方法的处理过程，从而判定出车辆各个乘员的准确类型。
[0194]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。