车载语音交互数据处理方法及系统与流程

本技术涉及车联网，尤其是涉及一种车载语音交互数据处理方法及系统。

背景技术：

1、随着智能网联汽车技术的发展，车载语音交互已广泛应用于空调调节、导航控制、影音播放等车辆功能的控制场景。车辆行驶过程中存在发动机噪声、风噪和乘员交谈等干扰，使采集到的语音指令质量发生变化，对语音指令与车辆功能之间的匹配准确性提出了较高要求。

2、现有技术通常对采集到的语音指令进行特征编码，利用语音查询向量在向量数据库中检索对应的车辆功能，或者先将语音指令转写为指令文本，再根据文本查询向量进行语义检索。然而，采用语音查询向量进行检索时，固定的相似度阈值难以适应语音清晰度和噪声干扰程度的变化，容易产生漏匹配或误匹配。采用文本查询向量进行检索时，语音转写产生的文本偏差会传递至后续检索过程，影响车辆功能的匹配结果。此外，现有技术缺乏根据语音质量对语音向量检索和文本向量检索进行协同控制的机制，难以充分利用两类向量之间的语义互补关系。

3、综上，现有车载语音交互数据处理方法难以根据语音质量变化协同利用语音信息和文本信息，导致复杂车内声学环境下语音指令与车辆功能的匹配准确性较低。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种车载语音交互数据处理方法及系统，通过根据语音质量动态调整相似度阈值，并协同进行语音向量和文本向量匹配，可以适应车内声学环境变化，从而减少误匹配和漏匹配，进而提高车辆控制指令的准确性。

2、第一方面，本发明提供一种车载语音交互数据处理方法，应用于配置有车载多模态向量数据库的车载终端，车载多模态向量数据库中存储有多组参考数据，每组参考数据包括具有语义关联的参考语音向量和参考文本向量，以及与参考语音向量和参考文本向量共同关联的车载功能操作信息；方法包括：

3、获取车载语音交互模块采集的语音指令以及语音指令对应的指令文本。

4、分别对语音指令和指令文本进行特征编码，得到语音查询向量和文本查询向量。

5、根据语音指令的语音质量参数确定动态相似度阈值。

6、计算语音查询向量与各参考语音向量的第一相似度，将第一相似度大于或等于动态相似度阈值的参考语音向量组成第一候选向量集合，并计算文本查询向量与各参考文本向量的第二相似度。

7、若第一候选向量集合非空，将其中第一相似度最大的参考语音向量确定为目标匹配向量；否则，将第二相似度最大的参考文本向量确定为目标匹配向量。

8、根据与目标匹配向量关联的车载功能操作信息生成车辆控制指令。

9、在可选的实施方式中，分别对语音指令和指令文本进行特征编码，得到语音查询向量和文本查询向量，包括：

10、提取语音指令的声学特征和语义特征，得到初始语音向量。

11、提取指令文本的文本语义特征，得到初始文本向量。

12、通过预设语义对齐算法分别将初始语音向量和初始文本向量映射至参考语音向量和参考文本向量所在的公共语义空间，得到语音查询向量和文本查询向量。

13、在可选的实施方式中，语音质量参数包括语音清晰度和噪声干扰程度。

14、根据语音指令的语音质量参数确定动态相似度阈值，包括：

15、对语音指令进行质量评估，得到语音指令的语音清晰度和噪声干扰程度。

16、将语音清晰度和噪声干扰程度分别与对应的预设参数区间进行匹配，得到语音清晰度等级和噪声干扰等级。

17、将语音清晰度等级和噪声干扰等级组合为目标等级组合。

18、根据预设的等级组合与相似度阈值之间的对应关系，确定目标等级组合对应的动态相似度阈值；其中，语音清晰度等级越高，表征语音清晰度越高；噪声干扰等级越高，表征噪声干扰程度越大；在噪声干扰等级相同的情况下，动态相似度阈值随语音清晰度等级的提高而增大；在语音清晰度等级相同的情况下，动态相似度阈值随噪声干扰等级的提高而减小。

19、在可选的实施方式中，车载多模态向量数据库通过以下方法构建：

20、创建用于存储多组参考数据的向量存储结构。

21、获取多个参考语音样本、各参考语音样本分别对应的参考指令文本和车载功能操作信息；其中，多个参考语音样本包括与同一车载功能操作信息对应的不同口音语音样本，参考指令文本包括与同一车载功能操作信息对应的完整指令文本和简化指令文本；简化指令文本为省略唤醒词和/或省略部分修饰词的指令文本。

22、分别对每个参考语音样本及其对应的参考指令文本进行特征编码，得到每个参考语音样本对应的参考语音向量和每个参考指令文本对应的参考文本向量。

23、根据参考语音向量和参考文本向量之间的语义近似程度，建立对应的参考语音向量与参考文本向量之间的语义关联关系。

24、将每组具有语义关联关系的参考语音向量和参考文本向量共同关联至对应的车载功能操作信息，形成一组参考数据。

25、将形成的各组参考数据写入向量存储结构，得到车载多模态向量数据库。

26、在可选的实施方式中，将每组具有语义关联关系的参考语音向量和参考文本向量共同关联至对应的车载功能操作信息，形成一组参考数据之前，方法还包括：

27、根据参考语音向量和参考文本向量的向量分布构建用于优化向量分布的目标函数。

28、设置正则化系数、迭代步长和收敛阈值，根据目标函数对参考语音向量和参考文本向量进行迭代更新，并计算相邻两次迭代对应的目标函数值之间的变化量。

29、在变化量大于收敛阈值时，调整正则化系数和迭代步长并继续迭代；在变化量小于或等于收敛阈值时，停止迭代。

30、对迭代更新后的参考语音向量和参考文本向量进行向量量化，并将量化后的参考语音向量和参考文本向量用于形成对应的参考数据。

31、在可选的实施方式中，将形成的各组参考数据写入向量存储结构，得到车载多模态向量数据库之后，方法还包括：

32、针对参考语音向量和参考文本向量构建树形索引。

33、获取各参考语音向量和各参考文本向量的检索频率，针对检索频率达到预设频率条件的参考语音向量和参考文本向量构建哈希索引。

34、根据参考语音向量与参考文本向量之间的语义关联关系以及二者与车载功能操作信息之间的关联关系，构建参考语音向量、参考文本向量和车载功能操作信息之间的语义关联索引。

35、在参考语音向量、参考文本向量或车载功能操作信息发生插入、删除或更新时，对树形索引、哈希索引和语义关联索引中受影响的索引进行增量更新。

36、在可选的实施方式中，向量存储结构包括本地缓存、车载固态存储和云端存储。

37、将形成的各组参考数据写入向量存储结构，包括：

38、将每组参考数据分别确定为一组存储数据。

39、确定各组存储数据的数据敏感等级，根据数据敏感等级将各组存储数据写入车载固态存储中的对应存储分区，其中，将数据敏感等级达到预设敏感等级的存储数据加密后写入对应的加密存储分区。

40、获取各组存储数据的检索频率，将检索频率达到预设频率条件的存储数据加载至本地缓存。

41、将满足预设备份条件的存储数据确定为待同步数据，并将待同步数据同步至云端存储。

42、方法还包括：

43、响应于针对存储数据的数据访问请求，对发起数据访问请求的请求模块进行访问权限校验，并在校验通过时向请求模块提供所请求的存储数据，在校验未通过时拒绝数据访问请求，并记录本次被拒绝的访问事件。

44、在可选的实施方式中，将待同步数据同步至云端存储，包括：

45、检测车载网络的接入点名称通道状态、网络连接状态、网络带宽和空中下载升级状态。

46、在网络连接状态为已连接状态时，根据待同步数据的数据类型、数据敏感等级和接入点名称通道状态，从处于可用状态的接入点名称通道中确定目标接入点名称通道，并按照数据敏感等级确定传输加密方式。

47、根据网络带宽确定待同步数据的同步频率。

48、在空中下载升级状态表明正在执行空中下载升级任务时，将待同步数据划分为基础语音交互所需数据和其他待同步数据，降低其他待同步数据的传输优先级，并为基础语音交互所需数据保留网络带宽资源。

49、通过车载内网域名解析服务解析云端存储的网络地址，并通过目标接入点名称通道，按照同步频率、传输加密方式和对应的传输优先级传输待同步数据。

50、在网络连接状态为中断状态时，将尚未传输的待同步数据保留在车载固态存储中并记录传输断点；在车载网络恢复后，重新确定目标接入点名称通道和同步频率，并根据传输断点继续传输待同步数据。

51、在可选的实施方式中，车载多模态向量数据库中还存储有与当前用户对应的多个用户语音习惯向量，每个用户语音习惯向量分别与对应的车载功能操作信息关联。

52、用户语音习惯向量通过以下步骤生成或更新。

53、获取当前用户在预设历史时段内的历史语音指令及各历史语音指令对应的历史车载功能操作信息。

54、按照对语音指令进行特征编码的方式，分别对每个历史语音指令进行特征编码，得到历史语音向量。

55、按照历史车载功能操作信息对历史语音向量进行分组，并对每组历史语音向量进行聚合，得到分别与每个历史车载功能操作信息关联的更新后用户语音习惯向量。

56、对于每个更新后用户语音习惯向量，在车载多模态向量数据库中存在与相同车载功能操作信息关联的用户语音习惯向量时，利用更新后用户语音习惯向量替换该用户语音习惯向量；在不存在与相同车载功能操作信息关联的用户语音习惯向量时，将更新后用户语音习惯向量添加至车载多模态向量数据库，并与对应的车载功能操作信息关联。

57、计算语音查询向量与各参考语音向量的第一相似度，包括：

58、计算语音查询向量与各参考语音向量的基础语音相似度。

59、对于每个参考语音向量，查询是否存在与该参考语音向量关联于同一车载功能操作信息的用户语音习惯向量。

60、若存在，则计算语音查询向量与所查询到的用户语音习惯向量的习惯相似度，并按照预设权重对基础语音相似度和习惯相似度进行加权计算，得到该参考语音向量对应的第一相似度。

61、若不存在，则将基础语音相似度作为该参考语音向量对应的第一相似度。

62、第二方面，本发明提供一种车载语音交互数据处理系统，应用于配置有车载多模态向量数据库的车载终端，车载多模态向量数据库中存储有多组参考数据，每组参考数据包括具有语义关联的参考语音向量和参考文本向量，以及与参考语音向量和参考文本向量共同关联的车载功能操作信息；系统包括：

63、数据获取模块，用于获取车载语音交互模块采集的语音指令以及语音指令对应的指令文本。

64、特征编码模块，用于分别对语音指令和指令文本进行特征编码，得到语音查询向量和文本查询向量。

65、阈值确定模块，用于根据语音指令的语音质量参数确定动态相似度阈值。

66、向量匹配模块，用于计算语音查询向量与各参考语音向量的第一相似度，将第一相似度大于或等于动态相似度阈值的参考语音向量组成第一候选向量集合，并计算文本查询向量与各参考文本向量的第二相似度。

67、向量匹配模块，还用于若第一候选向量集合非空，将其中第一相似度最大的参考语音向量确定为目标匹配向量；否则，将第二相似度最大的参考文本向量确定为目标匹配向量。

68、指令生成模块，用于根据与目标匹配向量关联的车载功能操作信息生成车辆控制指令。

69、本技术实施例提供了一种车载语音交互数据处理方法及系统，通过在车载多模态向量数据库中关联存储参考语音向量、参考文本向量及车载功能操作信息，能够为语音信息与文本信息提供统一的匹配基础；通过分别生成语音查询向量和文本查询向量，能够充分利用两种模态信息的互补性；通过根据语音质量参数确定动态相似度阈值，能够提高匹配过程对车内语音质量变化的适应能力；通过在语音向量匹配成功时优先采用语音匹配结果，并在语音向量未匹配成功时采用文本匹配结果，能够提高语音指令的匹配成功率和匹配准确性，从而增强复杂车内声学环境下车载语音交互的鲁棒性，进而提高车辆控制指令生成的准确性和可靠性。

70、本技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

71、为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。