车辆的车载功能控制方法、车辆和可读存储介质与流程

本申请实施例涉及车辆控制领域，具体而言，涉及一种车辆的车载功能控制方法、车辆和可读存储介质。

背景技术：

1、目前，车辆的车载功能控制主要依赖物理按键、中控触控屏及语音指令。但是，物理按键布局固化，扩展性差且易分散驾驶注意力；中控触控屏需要视线转移和肢体操作，在颠簸或紧急场景下存在安全隐患及操作延迟。

2、此外，由于缺乏多模态协同与实时纠错机制，导致在复杂驾驶环境下语音指令的识别准确率低，无法提供连续、流畅且安全的沉浸式交互体验。因此，仍存在车辆的车载功能控制的准确性低的技术问题。

3、针对上述问题，目前还没有很好的解决方案。

技术实现思路

1、本申请实施例提供一种车辆的车载功能控制方法、车辆和可读存储介质，以至少解决车辆的车载功能控制的准确性低的技术问题。

2、根据本申请实施例的一个方面，提供了一种车辆的车载功能控制方法，该方法可以包括：对车辆中至少一个驾乘对象的多模态感知数据进行融合处理，得到融合特征，其中，融合特征用于表征驾乘对象针对车辆的车载功能所执行的操作；对融合特征进行识别，得到操作所属的操作类别，以及操作类别的置信度；响应于置信度低于置信度阈值，对操作类别进行修正；基于修正后的操作类别，生成车辆的控制指令；响应于控制指令，控制车辆执行车载功能。

3、进一步地，响应于置信度低于置信度阈值，对操作类别进行修正，包括：响应于置信度低于置信度阈值，获取车辆的状态信息，其中，状态信息用于表示车辆的运行状态和/或车载功能所处的工作状态；对操作类别和状态信息进行匹配，得到匹配结果；基于匹配结果，对操作类别进行修正。

4、进一步地，基于匹配结果，对操作类别进行修正，包括：响应于匹配结果表示操作类别和状态信息匹配失败，获取驾乘对象的在历史时间段针对车载功能执行的操作信息，其中，操作信息中包含多个历史操作类别和执行频率；基于操作信息，对操作类别进行修正。

5、进一步地，基于操作信息，对操作类别进行修正，包括：对操作信息进行筛选，得到执行频率高于频率阈值的历史操作类别；响应于历史操作类别的种类为多个，提取多模态感知数据中音频数据中的声源定位信息和语义特征；基于声源定位信息和语义特征，对操作类别进行修正。

6、进一步地，基于操作信息，对操作类别进行修正，包括：响应于检测到多模态感知数据中音频数据中的声源定位信息来自驾乘对象，对多模态感知数据中音频数据中的语义特征进行解析，得到语义特征对应的初始操作类别；响应于初始操作类别与操作类别不一致，对操作类别进行修正。

7、进一步地，对车辆中至少一个驾乘对象的多模态感知数据进行融合处理，得到融合特征，包括：利用车辆中部署的多源传感器，获取多模态感知数据；从多模态感知数据中，确定驾乘对象的目标部位对应的目标多模态感知数据；调用融合模型，对目标多模态感知数据进行融合处理，得到融合特征，其中，融合模型为利用驾乘对象样本的多模态感知数据样本，对神经网络训练得到。

8、进一步地，多模态感知数据包括以下至少之一：目标部位的位置特征、姿态特征、三维结构特征、微动变化特征，以及运动学特征，运动学特征包括加速度特征和角速度特征，利用车辆中部署的多源传感器，获取多模态感知数据，包括：利用车辆中部署的视觉传感器，从车辆的图像数据中，提取位置特征和姿态特征；利用车辆中部署的感知传感器，从车辆的点云数据中，提取三维结构特征和微动变化特征；利用车辆中部署的惯性传感器，从车辆的运动数据中，提取运动学特征。

9、进一步地，对融合特征进行识别，得到操作所属的操作类别，以及操作类别的置信度，包括：基于驾乘对象的目标部位在车辆中的位置信息，确定目标部位所属的操作功能区域，其中，操作功能区域用于表示目标部位在车辆中的方位，方位与车载功能的功能模块对应；基于操作功能区域，确定驾乘对象的候选操作类别集；调用识别模型，对融合特征和候选操作类别集进行识别，得到操作类别和置信度，其中，识别模型为利用驾乘对象样本的多模态感知数据样本、车辆样本的状态信息样本，对卷积神经网络训练得到。

10、进一步地，基于修正后的操作类别，生成车辆的控制指令，包括：基于修正后的操作类别，确定修正后的操作类别对应的标识信息；按照标识信息，确定车载功能和车载功能的控制模式；基于车载功能的当前状态和控制模式，生成控制指令。

11、进一步地，响应于控制指令，控制车辆执行车载功能，包括：响应于控制模式为调节模式，根据控制指令中的目标参数，对当前状态对应的车载功能参数进行调节；响应于控制模式为切换模式，根据控制指令中的目标状态，将车载功能从当前状态切换至目标状态；响应于控制模式为确认模式，执行车载功能在当前状态下对应的操作。

12、根据本申请实施例的另一方面，还提供了一种车辆的车载功能控制装置，包括：融合单元，用于对车辆中至少一个驾乘对象的多模态感知数据进行融合处理，得到融合特征，其中，融合特征用于表征驾乘对象针对车辆的车载功能所执行的操作；识别单元，用于对融合特征进行识别，得到操作所属的操作类别，以及操作类别的置信度；修正单元，用于响应于置信度低于置信度阈值，对操作类别进行修正；生成单元，用于基于修正后的操作类别，生成车辆的控制指令；控制单元，用于响应于控制指令，控制车辆执行车载功能。

13、根据本申请实施例的另一方面，还提供了一种车辆，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行本申请各个实施例中的方法。

14、根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行本申请各个实施例中的方法。

15、根据本申请实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本申请各个实施例中的方法。

16、根据本申请实施例的另一方面，还提供了一种计算机程序产品，包括非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行时实现本申请各个实施例中的方法。

17、根据本申请实施例的另一方面，还提供了一种计算机程序，计算机程序被处理器执行时实现本申请各个实施例中的方法。

18、在本申请实施例中，通过对车辆中至少一个驾乘对象的多模态感知数据进行融合处理，得到融合特征，克服了单一传感器获得数据不全面的局限。之后，对融合特征进行识别，得到操作所属的操作类别，以及操作类别的置信度，当置信度低于置信度阈值，对操作类别进行修正，避免了误操作引发的安全隐患，从而基于修正后的高置信度的操作类别生成控制指令，驱动车载功能执行，解决了车辆的车载功能控制的准确性低的技术问题，实现了提高车辆的车载功能控制的准确性的技术效果。

1.一种车辆的车载功能控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，响应于所述置信度低于置信度阈值，对所述操作类别进行修正，包括：

3.根据权利要求2所述的方法，其特征在于，基于所述匹配结果，对所述操作类别进行修正，包括：

4.根据权利要求3所述的方法，其特征在于，基于所述操作信息，对所述操作类别进行修正，包括：

5.根据权利要求3所述的方法，其特征在于，基于所述操作信息，对所述操作类别进行修正，包括：

6.根据权利要求1所述的方法，其特征在于，对所述车辆中至少一个驾乘对象的多模态感知数据进行融合处理，得到融合特征，包括：

7.根据权利要求6所述的方法，其特征在于，所述多模态感知数据包括以下至少之一：所述目标部位的位置特征、姿态特征、三维结构特征、微动变化特征，以及运动学特征，所述运动学特征包括加速度特征和角速度特征，利用所述车辆中部署的多源传感器，获取所述多模态感知数据，包括：

8.根据权利要求1所述的方法，其特征在于，对所述融合特征进行识别，得到所述操作所属的操作类别，以及所述操作类别的置信度，包括：

9.根据权利要求1至8中任意一项所述的方法，其特征在于，基于修正后的所述操作类别，生成所述车辆的控制指令，包括：

10.根据权利要求9所述的方法，其特征在于，响应于所述控制指令，控制所述车辆执行所述车载功能，包括：

11.一种车辆，其特征在于，包括：

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述存储介质所在设备执行权利要求1至10中任意一项所述的方法。