一种基于多模态感知的智能驾驶人为主动退出检测方法及系统与流程

本发明涉及智能车辆控制，尤其涉及一种基于多模态感知的智能驾驶人为主动退出检测方法及系统。

背景技术：

1、智能驾驶模式退出或驾驶权移交控制是智能驾驶控制的重要环节。其中，驾驶员主动请求退出智能驾驶模式的场景，需要同时识别驾驶员的真实主动意图，并保障控制权移交过程的安全性。方向盘是驾驶员与车辆之间最直接的人机交互界面，也是现有相关检测方案的主要信号来源。

2、现有与智能驾驶退出或接管相关的方向盘状态检测方案，常采用方向盘扭矩、电容、压力或视觉离手检测等信号作为驾驶员是否握持、是否介入或是否需要提醒的依据，例如：

3、公开号：cn114852092a，公开了一种方向盘脱手检测方法、装置、可读存储介质及车辆。该方案周期性获取方向盘电容值和扭矩值，将方向盘扭矩值变化量作为脱手检测的重要判断因素之一，结合电容传感器工作状态确定脱手检测结果，属于基于方向盘物理扰动或握持状态进行判断的检测逻辑。该方案的不足在于：在驾驶员主动请求退出智能驾驶模式的场景下，方向盘扭矩变化既可能来自驾驶员主动操作，也可能来自路面颠簸、车辆震动或手部姿势调整，仅依靠扭矩值变化量和电容值进行判断时，存在将上述非主动退出因素误识别为退出相关信号的风险。

4、公开号：cn113247078b，公开了一种方向盘离手检测的方法以及系统。该方案基于方向盘电容传感器、方向盘加热状态、加热时长和初始温度计算手握标准阈值，并判断方向盘是否处于离手状态。该方案中温度相关信息主要用于修正或计算电容离手检测阈值。该方案的不足在于：温度信号仅作为电容检测的辅助修正参数，未将温度作为独立的感知维度用于判断驾驶员手部与方向盘之间是否为真实、持续的人体接触，也未涉及温度信号与其他感知信号在退出判定中的协同关系。

5、在驾驶员身份识别方面，方向盘区域的身份识别已有相关公开，例如：

6、公开号：cn108263338b，公开了一种汽车、方向盘以及驾驶员身份识别方法。该方案在方向盘等与驾驶员手部接触的位置设置感应装置，获取驾驶员手部特征并识别驾驶员身份，身份识别功能主要用于驾驶员身份验证或车辆相关权限/配置管理。该方案的不足在于：身份识别功能主要用于驾驶员身份验证或车辆相关权限/配置管理，未涉及在智能驾驶运行过程中对发起退出请求的操作者进行持续身份核验，也未将身份验证结果与手部接触状态、握持状态和主动操作指令进行时序关联。

7、公开号：cn109703487a，公开了一种基于汽车方向盘的指纹识别系统及其方法。该方案在方向盘中设置指纹识别检测模块，用于识别驾驶员身份并调用驾驶员对应的个性化配置。该方案的不足在于：指纹识别的应用场景为舒适性配置调用，未涉及智能驾驶模式下的驾驶权移交权限确认，也未公开在退出判定中将指纹识别结果作为必要条件之一的技术方案。

8、在方向盘温度和握力检测方面，已有将两者组合用于驾驶状态监测的方案，例如：

9、公开号：cn107198526b，公开了一种辅助驾驶的方法及系统。该方案实时采集驾驶员指尖温度和把持方向盘的握力，通过计量模型获取与手掌温度和握力相关的驾驶安全适应度值，用于实时反映驾驶状态。该方案关注驾驶员安全适应度或危险驾驶状态监测，其温度和握力信号的作用对象是驾驶状态评估。该方案的不足在于：温度和握力信号用于驾驶状态的连续监测和趋势分析，未涉及在主动退出操作事件发生前后，将温度和握力作为判断驾驶员手部是否保持真实、连续、稳定接触的证据，也未将其与身份验证信号和主动操作信号进行时序关联判定。

10、在握力用于驾驶意图识别方面，已有相关技术公开，例如：

11、公开号：cn113460059a，公开了一种基于智能方向盘的驾驶人驾驶积极性辨识装置及方法。该方案在方向盘左右手抓握部位设置压力传感器，采集握力数据，并通过辨识模型进行驾驶人驾驶积极性辨识。该方案的不足在于：握力信号用于驾驶积极性的分类识别，未涉及将握力信号作为主动退出意图评估中的握持稳定度参数，也未将其与身份认证信号、人体接触信号和主动操作信号在同一时间窗内进行联合判定。

12、在智能驾驶功能激活和停用方面，已有通过用户接口部件触发驾驶功能切换的方案，例如：

13、公开号：cn112041192b，公开了一种具有纵向和横向控制的自动驾驶驾驶功能的激活和停用。该方案涉及用户接口和输入部件，用于激活或停用驾驶功能。该方案的不足在于：虽然涉及用户接口输入部件与驾驶功能激活或停用控制，但未公开将输入触发信号与驾驶员身份认证、手部接触状态和握持状态等持续性证据在同一主动退出判定时间窗内进行时序关联验证，难以区分授权驾驶员的主动有意操作与乘员误触或非授权操作。

14、在驾驶权移交和车辆状态安全控制方面，已有相关方案公开，例如：

15、公开号：cn106873596b，公开了一种车辆控制方法及装置。该方案获取车辆的人为操控信息，根据人为操控信息确定驾驶员介入意图，在车辆处于自动驾驶模式且介入意图为缓慢介入时，控制车辆达到预定的安全状态，再将控制权转交给驾驶员。该方案关注驾驶员介入意图后的安全状态控制和控制权转交，其介入意图主要来自人为操控信息。该方案的不足在于：其重点在于检测驾驶员介入意图后的安全状态控制和控制权转交，未公开在主动退出请求形成阶段，通过身份认证、人体接触、方向盘握持和主动操作数据的时序关联形成硬门控证据链，也未公开将主动退出意图评估值与退出安全度参数共同作为直接切换、受控移交或维持智能驾驶的决策输入。

16、综上，上述现有技术存在以下不足：

17、第一，现有方向盘扭矩、电容、压力或离手检测方案主要用于判断驾驶员是否握持方向盘或是否存在介入迹象，在驾驶员主动请求退出智能驾驶模式的场景下，方向盘晃动、位移或扭矩变化容易受到路面颠簸、车辆震动和手部姿势调整影响，难以单独稳定表征驾驶员明确的主动退出意图。

18、第二，现有身份识别、温度检测、握力检测和按键触发技术通常分别用于身份验证、健康监测、握持状态判断或驾驶功能切换，未以主动操作数据触发时刻为基准，将身份认证、人体接触、方向盘握持等持续性证据与主动操作这一瞬时事件在前后时间窗内进行时序关联，也未形成面向主动退出场景的硬门控证据链。

19、第三，现有驾驶权移交或安全状态控制方案虽然能够在检测到驾驶员介入意图后执行安全移交，但通常未在主动退出请求形成阶段引入由身份认证、人体接触、方向盘握持和主动操作构成的多模态硬门控证据链，也未将由该证据链生成的主动退出意图评估值与车辆运行状态形成的退出安全度参数联合用于确定直接切换、受控移交或维持智能驾驶的差异化控制策略。

技术实现思路

1、鉴于现有技术问题存在方向盘扭矩、位移、晃动、电容或离手检测信号容易受到路面颠簸、车辆震动及驾驶员手部姿势调整影响，难以单独稳定表征驾驶员主动退出智能驾驶模式的真实意图；同时，现有身份识别、人体接触检测、握持检测和按键触发等信号多分别用于车辆身份验证、驾驶状态监测、握持状态判断或驾驶功能切换，缺少面向智能驾驶人为主动退出场景的时序关联、硬门控证据链和安全退出联合决策机制，从而导致主动退出识别可靠性和驾驶权移交安全性不足的问题，从而提出了一种基于多模态感知的智能驾驶人为主动退出检测方法及系统。

2、其目的在于：针对智能驾驶运行过程中驾驶员主动请求退出智能驾驶模式的场景，通过车载智能驾驶控制器对身份认证数据、人体接触数据、方向盘握持数据和主动操作数据进行时序关联，形成持续性证据与瞬时主动操作事件之间的硬门控证据链，并结合车辆运行状态生成退出安全度参数，使系统能够在确认驾驶员真实主动退出意图的同时，根据车辆当前运行安全状态确定直接切换、受控移交或维持智能驾驶的退出控制策略，从而提高智能驾驶主动退出检测的可靠性和驾驶权移交过程的安全性。

3、本技术中，智能驾驶人为主动退出是指在车辆处于智能驾驶模式运行过程中，驾驶员通过预设主动操作方式请求结束智能驾驶模式，并由车载智能驾驶控制器根据采集的多模态感知数据和车辆运行状态参数确定退出控制策略的技术过程；退出控制策略包括直接切换至人工驾驶模式、进入受控移交流程和维持智能驾驶模式三类策略。

4、本技术中的主动退出意图评估是指车载智能驾驶控制器对身份认证数据、人体接触数据、方向盘握持数据和主动操作数据进行参数化处理、时序关联、硬门控判断和加权融合计算，以生成主动退出意图评估结果的技术过程；主动退出意图评估基于传感器采集数据和车辆控制参数生成评估结果，并非对驾驶员主观心理状态的直接判断，也非由人工执行的规则判断过程。

5、本技术中的退出安全度评估是指车载智能驾驶控制器根据车速、道路类型、自动驾驶等级、横向控制状态、纵向控制状态、周边车辆距离和碰撞风险等级形成车辆运行状态参数，并基于车辆运行状态参数生成退出安全度参数的技术过程；退出安全度参数用于表征当前车辆运行状态满足安全退出条件的程度，并作为确定退出控制策略的输入参数。

6、本发明的技术方案为一种基于多模态感知的智能驾驶人为主动退出检测方法，由车载智能驾驶控制器执行，其特征在于，包括：

7、s1、获取驾驶员多模态感知数据，多模态感知数据包括身份认证数据、人体接触数据、方向盘握持数据以及主动操作数据。

8、s2、在预设主动退出判定时间窗内，对身份认证数据、人体接触数据、方向盘握持数据和主动操作数据进行时序关联，分别生成身份可信度参数、接触有效度参数、握持稳定度参数和操作主动度参数。

9、其中，时序关联以主动操作数据的触发时刻为基准，在主动操作数据触发时刻的前后预设时间窗内，将身份认证数据、人体接触数据和方向盘握持数据作为持续性证据与主动操作数据进行关联。

10、s3、基于身份可信度参数、接触有效度参数、握持稳定度参数和操作主动度参数生成主动退出意图评估结果，主动退出意图评估结果的生成包括：

11、根据身份可信度参数、接触有效度参数、握持稳定度参数和操作主动度参数是否分别满足各自基础门限条件，生成硬门控参数。

12、其中，硬门控参数为用于控制主动退出意图评估值是否进入加权计算的二值判定参数。

13、当身份可信度参数、接触有效度参数、握持稳定度参数和操作主动度参数均满足各自基础门限条件时，硬门控参数取1，并基于身份可信度参数、接触有效度参数、握持稳定度参数和操作主动度参数的加权融合结果计算主动退出意图评估值。

14、当身份可信度参数、接触有效度参数、握持稳定度参数和操作主动度参数未全部满足各自基础门限条件时，硬门控参数取0，并将主动退出意图评估值置为零。

15、s4、获取车辆运行状态参数，并基于车辆运行状态参数生成退出安全度参数；

16、s5、根据主动退出意图评估结果和退出安全度参数确定退出控制策略，包括：

17、当主动退出意图评估值≥预设意图阈值且退出安全度参数≥预设安全阈值时，控制车辆由智能驾驶模式切换至人工驾驶模式。

18、当主动退出意图评估值≥预设意图阈值且退出安全度参数＜预设安全阈值时，控制车辆进入受控移交流程，受控移交流程包括：

19、输出二次确认提示，执行逐级减速控制，并在退出安全度参数满足预设安全阈值后控制车辆由智能驾驶模式切换至人工驾驶模式。

20、当退出安全度参数在预设观察时长内持续低于预设安全阈值时，维持智能驾驶模式。

21、当主动退出意图评估值＜预设意图阈值时，车载智能驾驶控制器维持智能驾驶模式。

22、在生成主动退出意图评估结果的过程中，方向盘晃动信息、方向盘位移信息和方向盘扭矩变化信息不参与主动退出意图评估值的计算，且不单独构成触发主动退出的充分判定条件。

23、进一步地，身份认证数据为指纹识别数据，指纹模板存储于车载本地安全存储单元，身份比对在车载智能驾驶控制器本地完成，车载智能驾驶控制器根据指纹比对匹配结果生成身份可信度参数。

24、进一步地，人体接触数据为温度检测数据，接触有效度参数根据温度检测数据是否处于预设人体接触温度区间、温度持续时间、温升变化率以及环境温度补偿结果生成。

25、进一步地，方向盘握持数据为握力检测数据，握持稳定度参数根据握力检测数据是否处于预设握力区间、握力持续时间、握力波动幅度以及方向盘双侧握持一致性生成。

26、进一步地，主动操作数据为物理按键触发数据，物理按键的触发模式包括长按模式和双击模式，长按模式根据预设长按时长阈值判定，双击模式根据预设双击间隔阈值判定，预设长按时长阈值和预设双击间隔阈值按照驾驶员身份对应的参数配置进行设置。

27、进一步地，s2中，对身份认证数据、人体接触数据、方向盘握持数据和主动操作数据进行时序关联，包括：在主动操作数据触发时刻的前后预设时间窗内，判断身份可信度参数、接触有效度参数和握持稳定度参数是否均满足各自的基础门限条件；仅当身份可信度参数、接触有效度参数和握持稳定度参数在时间窗内持续满足基础门限条件，且主动操作数据符合预设主动触发模式时，车载智能驾驶控制器将主动操作数据认定为有效主动退出事件。

28、进一步地，s3中，主动退出意图评估值采用硬门控判断与线性加权融合相结合的方式生成。

29、当身份可信度参数、接触有效度参数、握持稳定度参数和操作主动度参数分别满足各自的基础门限条件时，硬门控参数取1，主动退出意图评估值按下式计算：

30、

31、当身份可信度参数、接触有效度参数、握持稳定度参数和操作主动度参数中未全部满足基础门限条件时，硬门控参数取0，主动退出意图评估值取0；

32、其中，为身份可信度参数，为接触有效度参数，为握持稳定度参数，为操作主动度参数，、、、均为归一化参数，预先设置有身份可信度基础门限阈值，接触有效度基础门限阈值，握持稳定度基础门限阈值和操作主动度基础门限阈值，当、、、时，硬门控参数取1，当、、、中任一参数不满足其对应的基础门限阈值时，硬门控参数取0，、、、为预设权重系数，，且。

33、预设主动退出条件包括硬门控参数=1且主动退出意图评估值≥预设意图阈值，。

34、进一步地，s4中，车辆运行状态参数包括车速、道路类型、自动驾驶等级、横向控制状态、纵向控制状态、周边车辆距离和碰撞风险等级；退出安全度参数按下式计算：

35、

36、其中，为车速安全参数，为道路类型安全参数，为横向控制稳定参数，为纵向控制稳定参数，为周边车辆距离安全参数，为碰撞风险安全参数，、、、、、均为归一化参数，、、、、、为预设权重系数，，且，预设安全退出条件包括≥预设安全阈值。

37、进一步地，本发明还提供一种基于多模态感知的智能驾驶人为主动退出系统，用于实现上述基于多模态感知的智能驾驶人为主动退出检测方法，所述系统包括：

38、多模态感知模块，包括设置于方向盘握持区域的指纹识别单元、温度传感单元和握力检测单元，以及设置于方向盘多功能操作区域的物理按键操控单元，所述多模态感知模块用于采集身份认证数据、人体接触数据、方向盘握持数据以及主动操作数据。

39、车辆运行状态获取模块，用于获取车辆运行状态参数。

40、车载智能驾驶控制器，与多模态感知模块和车辆运行状态获取模块电性连接，所述车载智能驾驶控制器包括主动退出意图评估单元、退出安全度评估单元和退出控制单元。

41、主动退出意图评估单元配置为基于身份认证数据、人体接触数据、方向盘握持数据和主动操作数据生成主动退出意图评估结果。

42、退出安全度评估单元配置为基于车辆运行状态参数生成退出安全度参数。

43、退出控制单元配置为根据主动退出意图评估结果和退出安全度参数确定退出控制策略。

44、当身份认证数据缺失或异常、人体接触数据缺失或异常、方向盘握持数据缺失或异常、主动操作数据缺失或异常的异常情形发生时，车载智能驾驶控制器限制直接退出策略的执行，并输出风险提示和二次确认提示；在二次确认后，若预设降级判定条件满足，则车载智能驾驶控制器根据退出安全度参数确定是否输出受控移交流程指令；若预设降级判定条件未满足，则维持智能驾驶模式。

45、进一步地，本发明还提供一种车辆，包括方向盘，以及上述基于多模态感知的智能驾驶人为主动退出系统。

46、与现有技术相比，本发明具有以下有益效果：

47、1.本发明通过构建预设主动退出判定时间窗内的时序关联机制，在主动操作事件触发时刻的前后时间窗内，将身份认证、人体接触、方向盘握持等持续性证据与主动操作数据进行关联，形成由身份认证数据、人体接触数据、方向盘握持数据和主动操作数据构成的硬门控证据链。当上述四类数据对应的评估参数均满足各自基础门限条件时，硬门控证据链闭合，主动退出意图评估值进入加权计算过程；当上述评估参数未全部满足各自基础门限条件时，主动退出意图评估结果受到限制。通过该硬门控证据链机制，有助于区分驾驶员主动退出行为与路面颠簸、手部短暂位移、非授权触碰或误触操作等干扰情形，提高主动退出意图识别的可靠性，并有助于降低误触发概率。

48、2.本发明引入退出安全度参数，将车速、道路类型、自动驾驶等级、横向控制稳定性、纵向控制稳定性、周边车辆距离和碰撞风险等级等车辆运行状态量化为安全度指标，并与主动退出意图评估值联合确定退出控制策略。当主动退出意图评估值和退出安全度参数均满足阈值条件时，可控制车辆直接切换至人工驾驶模式；当主动退出意图评估值满足阈值条件但退出安全度参数未满足阈值条件时，可进入受控移交流程，输出二次确认提示、执行逐级减速控制，并在安全条件满足后再执行驾驶模式切换。通过根据车辆运行状态选择不同的退出方式，有助于兼顾驾驶员主动退出请求与控制权移交的安全性。

49、3.本发明采用指纹识别数据作为身份认证数据，并将身份可信度参数作为硬门控证据链的必要条件之一，当非授权人员触碰方向盘并触发物理按键时，若身份可信度参数不满足基础门限条件，硬门控证据链无法闭合，系统可维持智能驾驶模式并输出提示，从而有助于降低非授权操作导致智能驾驶模式异常退出的风险，提高退出权限控制的可靠性。

50、4.本发明将温度检测数据用于生成接触有效度参数，将握力检测数据用于生成握持稳定度参数，使温度信号和握力信号在主动退出场景下承担真实人手持续接触和稳定握持方向盘的证据作用，而非仅用于疲劳驾驶监测或驾驶状态评估。通过在硬门控证据链中将接触有效度参数和握持稳定度参数作为必要条件之一，有助于确认主动退出请求是在驾驶员手部持续接触并稳定握持方向盘的状态下发起，提高退出判定的可靠性。

51、5.本发明在生成主动退出意图评估值的过程中，不将方向盘晃动信息、方向盘位移信息和方向盘扭矩变化信息作为主动退出意图评估值的计算因子，且上述信息不单独构成触发主动退出的充分判定条件。由路面颠簸、车辆振动或驾驶员手部微调所产生的方向盘物理扰动难以单独形成有效主动退出事件，从而有助于降低路面扰动对主动退出判定的影响，提高智能驾驶模式在非退出场景下的运行连续性。

52、6.本发明在身份认证数据、人体接触数据、方向盘握持数据或主动操作数据缺失或异常时，可限制直接退出策略的执行，并输出风险提示和二次确认提示；在满足预设降级判定条件时，可根据退出安全度参数确定是否进入受控移交流程，通过设置异常情况下的降级处理机制，有助于降低异常数据对退出决策造成的不利影响，提高系统的鲁棒性和功能安全性。