一种基于多模态数据的主动辅助驾驶方法、装置及设备

本发明涉及辅助驾驶，尤其涉及的是一种基于多模态数据的主动辅助驾驶方法、装置及设备。

背景技术：

1、目前的车载辅助驾驶系统均为被动触发形式的辅助系统，需要驾驶员先给出语音、文字或触摸指令，辅助系统才会提供帮助。然而在实际驾驶情况下，很多情况下驾驶员并不能及时给出相关指令，比如在突然有车辆切入、跟车过近、变道冲突、驾驶员疲劳或注意力分散、错过出口导致路线偏离以及驾驶过程中临时需要寻找服务区等情景下，驾驶员往往无法快速切准确地给出相应指令，导致辅助系统无法及时提供相应辅助驾驶功能，影响了车载辅助驾驶系统的应用。

2、因此，现有技术存在缺陷，有待改进与发展。

技术实现思路

1、鉴于上述现有技术的不足，本发明的目的在于提供一种基于多模态数据的主动辅助驾驶方法、装置及终端设备，旨在解决现有技术中辅助驾驶系统无法主动为驾驶员提供辅助驾驶功能的问题。

2、本发明解决技术问题所采用的技术方案如下：

3、本发明第一方面公开了一种基于多模态数据的主动辅助驾驶方法，所述方法包括：

4、获取多模态数据；

5、基于所述多模态数据，构建当前驾驶场景；

6、识别所述当前驾驶场景中的事件标记，并基于所述事件标记，确定所述当前驾驶场景中的候选辅助事件，计算所述候选辅助事件的决策分数；

7、基于所述候选辅助事件的所述决策分数进行加权计算，确定所述候选辅助事件对应各事件类别的辅助效用值，并基于所述辅助效用值和所述决策分数，确定所述候选辅助事件是否为待辅助事件，并确定所述待辅助事件对应的事件类别；

8、当所述候选辅助事件为所述待辅助事件时，生成并输出对应所述事件类别的辅助驾驶信息。

9、在一种实施方式中，所述多模态数据包括车辆动态数据、驾驶员状态数据、道路环境数据和交通导航数据，其中，所述获取多模态数据，包括：

10、通过车载传感器获取所述车辆动态数据，所述车辆动态数据包括车辆的速度、加速度、转向角度、油量和电量；

11、通过车内摄像头获取所述驾驶员状态数据，所述驾驶员状态数据包括驾驶员表情、驾驶员姿势、驾驶员视线方向、驾驶时间和驾驶记录；

12、通过车外摄像头获取所述道路环境数据，所述道路环境数据包括车道数据、周围车辆相对位置、周围车辆距离和周围车辆速度；

13、通过导航软件获取所述交通导航数据，所述交通导航数据包括目的地位置、导航路线、沿途交通情况、沿途服务设施位置和环境数据。

14、在一种实施方式中，所述基于所述多模态数据，构建当前驾驶场景，包括：

15、基于时间戳和采样间隔，同步所述多模态数据；

16、对同步后的所述多模态数据进行筛选、降噪、归一化和特征提取处理，得到处理后的多模态数据；

17、融合所述处理后的多模态数据，生成所述当前驾驶场景；

18、基于实时获取的多模态数据，更新所述当前驾驶场景。

19、在一种实施方式中，所述事件标记包括安全相关事件标记、驾驶员状态事件标记、路线相关事件标记和服务相关事件标记；

20、所述决策分数包括：

21、风险分数，所述风险分数对应与驾驶安全相关的严重程度和概率；

22、紧急程度分数，所述紧急程度分数对应事件的时间敏感性、距离敏感性和剩余机会窗口；

23、驾驶员状态分数，所述驾驶员状态分数对应驾驶员的驾驶时间、疲劳程度、专注程度和注意力方向；

24、路线分数，所述路线分数对应当前位置与目的地的距离、当前位置与计划路线的偏移程度以及当前位置与推荐车道的关系；

25、服务分数，所述服务分数对应附近服务设施与驾驶状态的关联程度以及周围环境与驾驶状态的关联程度；

26、置信度分数，所述置信度分数对应所述多模态数据的一致性、新鲜度和可靠性；

27、干扰分数，所述干扰分数对应输出所述辅助驾驶信息预期造成的干扰。

28、在一种实施方式中，所述基于所述候选辅助事件的所述决策分数进行加权计算，确定所述候选辅助事件对应各事件类别的辅助效用值，并基于所述辅助效用值和所述决策分数，确定所述候选辅助事件是否为待辅助事件，并确定所述待辅助事件对应的事件类别，包括：

29、基于与各所述事件类别对应的至少部分决策分数进行加权计算，确定所述候选辅助事件对应各所述事件类别的所述辅助效用值；

30、基于所述辅助效用值、所述置信度分数和所述干扰分数，确定所述候选辅助事件是否为待辅助事件，其中，当所述候选辅助事件存在达到预设阈值的辅助效用值，且所述置信度分数高于置信阈值和所述干扰分数低于抑制阈值时，所述候选辅助事件为所述待辅助事件；

31、基于达到所述预设阈值的辅助效用值，确定所述待辅助事件对应的所述事件类别。

32、在一种实施方式中，所述事件类别包括：

33、安全事件，所述安全事件的辅助效用值为所述风险分数、所述紧急程度分数、所述驾驶员状态分数和所述置信度分数的加权和；

34、休息事件，所述休息事件的辅助效用值为所述驾驶员状态分数、所述服务分数和所述置信度分数的加权和；

35、导航事件，所述导航事件的辅助效用值为所述紧急程度分数、所述路线分数、和所述置信度分数的加权和；

36、服务事件，所述服务事件的辅助效用值为所述服务分数、所述路线分数和所述置信度分数的加权和。

37、在一种实施方式中，所述生成并输出对应所述事件类别的辅助驾驶信息，包括：

38、基于达到所述预设阈值的辅助效用值，确定所述待辅助事件对应的所有事件类别；

39、基于所述待辅助事件对应的所有事件类别，分别生成对应的辅助驾驶信息；

40、按照优先级排序，依次输出所述辅助驾驶信息。

41、在一种实施方式中，在输出所述辅助驾驶信息之前，还包括：

42、检测在预设时间间隔内相同辅助驾驶信息的出现次数，基于所述优先级排序以及所述出现次数，调整所述辅助驾驶信息的内容、改变所述辅助驾驶信息的输出顺序或停止输出所述辅助驾驶信息。

43、本发明的第二方面还公开了一种基于多模态数据的主动辅助驾驶装置，用于实现如上任一项所述的基于多模态数据的主动辅助驾驶方法的步骤，所述装置包括：

44、数据获取模块，所述数据获取模块用于获取多模态数据；

45、场景构建模块，所述场景构建模块用于基于所述多模态数据，构建当前驾驶场景；

46、打分模块，所述打分模块用于确定所述当前驾驶场景中的候选辅助事件，并获取所述候选辅助事件的决策分数；

47、事件确定模块，所述事件确定模块用于基于所述决策分数，判断所述候选辅助事件是否为待辅助事件，并确定所述待辅助事件对应的事件类别；

48、信息生成模块，所述信息生成模块用于当所述候选辅助事件为所述待辅助事件时，生成并输出对应所述事件类别的辅助驾驶信息。

49、本发明的第三方面还公开了一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于多模态数据的主动辅助驾驶程序，所述处理器执行所述基于多模态数据的主动辅助驾驶程序时，实现如上任一项所述的基于多模态数据的主动辅助驾驶方法的步骤。

50、本发明提供一种基于多模态数据的主动辅助驾驶方法、装置及设备，其中所述方法包括：获取多模态数据；基于所述多模态数据，构建当前驾驶场景；识别所述当前驾驶场景中的事件标记，并基于所述事件标记，确定所述当前驾驶场景中的候选辅助事件，计算所述候选辅助事件的决策分数；基于所述候选辅助事件的所述决策分数进行加权计算，确定所述候选辅助事件对应各事件类别的辅助效用值，并基于所述辅助效用值和所述决策分数，确定所述候选辅助事件是否为待辅助事件，并确定所述待辅助事件对应的事件类别；以及当所述候选辅助事件为所述待辅助事件时，生成并输出对应所述事件类别的辅助驾驶信息。本发明无需驾驶员给出指令即可主动提供驾驶辅助，提升人车交互的整体水平，更有利于车载辅助系统的应用。