一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于云计算的车载智能语音交互方法及系统与流程

2022-12-07 19:43:02 来源:中国专利 TAG:


1.本发明涉及语音交互技术领域,更具体的,涉及一种基于云计算的车载智能语音交互方法及系统。


背景技术:

2.随着车联网和智能汽车的逐步兴起,“智能交通”与“车联网”正在成为人们关注的热点话题,越来越多的功能被搭载在车机上。目前,语音交互技术已成功运用于智能音箱、输入法等场景,有助于降低驾驶者对车内设备的操作依赖,提高驾驶安全系数。在智能技术飞速发展的背景下,语音交互的关键技术语音交互的关键技术包括语音识别、语义理解、语音合成。语音识别技术是将人类的声音信号,即自然语言,转化为相应的文本或指令。语义理解技术将接收到的文本或指令进行处理,将自然语言转化为机器可以理解的语言,从而理解用户的意图。
3.车载语音交互中的语音识别除了要识别文本内容之外,还要识别说话人的身份,并根据应用场景为车内驾乘人员提供差别化服务,因此,相比目前已在汽车中广泛应用的语音交互,声纹识别是一个技术门槛相对更高的领域,因此如何利用声纹识别实现更精准的用户信息习惯采集,构建针对车载特殊场景的智能语音交互模型,更好的满足汽车用户语音交互的行为特性,提升车内交互体验,并强化车辆安全防护,从而在保障驾驶者安全性的同时,提高其行驶途中的交互体验。


技术实现要素:

4.为了解决上述技术问题,本发明提出了一种基于云计算的车载智能语音交互方法及系统。
5.本发明第一方面提供了一种基于云计算的车载智能语音交互方法,包括:获取车载环境中驾驶用户在驾驶过程中的注意力信息,根据注意力信息结合车载环境信息分析驾驶用户的状态信息,并生成当前车辆行驶过程中的驾驶情景;获取车载环境中的交互语音信息,通过交互语音信息获取目标用户的位置及身份信息,判断所述目标用户是否为驾驶用户,通过判断结果匹配目标用户对应的交互指令集,并初始化指令分级图;云端基于机器学习对交互语音信息进行语义识别,在指令分级图中进行查找生成交互指令,根据所述驾驶情景生成综合约束,通过所述综合约束对所述交互指令进行修正;获取目标用户对交互指令的反馈信息,通过目标用户的声纹信息与反馈信息匹配分析目标用户的指令习惯信息,基于指令习惯信息对交互指令的修正进行补偿。
6.本方案中,根据注意力信息结合车载环境信息分析驾驶用户的状态信息,并生成当前车辆行驶过程中的驾驶情景,具体为:通过车内摄像头获取驾驶用户的面部帧图像数据,将所述帧图像数据进行预处理,并提取面部帧图像数据的关键帧;
根据面部帧图像数据的关键帧提取驾驶用户的人脸特征点,根据所述人脸特征点获取人脸朝向信息、人眼闭合程度及视线方向;通过获取的人脸朝向信息、人眼闭合程度及视线方向与预设阈值进行对比分析,读取驾驶用户的注意力信息,根据当前行驶路段的路况信息设置权值信息,利用权值信息调整注意力阈值;根据当前时刻的注意力阈值对驾驶用户的注意力信息进行评价,获取车载环境信息与注意力评价结果进行匹配分析驾驶用户的状态信息;当驾驶用户的状态信息为疲劳状态时,则生成语音信息对驾驶用户进行提醒,并根据车载环境信息进行决策生成改变车载环境建议,获取驾驶用户的语音反馈进行相应指令执行;另外,通过驾驶用户的状态信息、车载环境信息及车辆行驶信息生成当前车辆行驶过程中的驾驶情景。
7.本方案中,获取车载环境中的交互语音信息,通过交互语音信息获取目标用户的位置及身份信息,具体为:根据车载环境中的语音接收模块获取车载环境中的交互语音信息,进行交互语音信息的滤波去噪,将车载环境划分为预设数量的子区域;获取各个子区域中接受到的交互语音信息的声音能量信息及到达时间差,根据声音能量信息及到达时间差判断交互语音信息的来源子区域;确定交互语音信息的位置后进行声纹识别,根据声纹识别结果在云端通过大数据检索身份信息,计算交互语音信息对应的声纹与云端存储数据进行相似度计算;获取所述相似度符合预设相似度标准的数据,提取对应的身份信息作为目标用户的身份信息,通过所述身份信息读取匹配存储的语音习惯特征,若云端存储数据均不符合预设相似度标准,则创建声纹序列存入云端;根据目标用户的位置信息匹配功能信息对应的交互指令集,并通过交互指令集基于身份信息初始化指令分级图。
8.本方案中,云端基于机器学习对交互语音信息进行语义识别,在指令分级图中进行查找生成交互指令,根据所述驾驶情景生成综合约束,通过所述综合约束对所述交互指令进行修正,具体为:对交互语音信息进行预处理,通过word2vec模型将预处理后的交互语音信息进行提取词向量,根据所述词向量进行加权平均构建句向量表达,根据所述词向量及句向量表达作为语义特征;基于双向长短期记忆神经网络模型建立关键信息提取模型,将语义特征输入到关键信息提取模型,并结合注意力机制结合上下文配置差异化权重,获取交互语音信息中的关键信息;利用关键信息进行分类,标注类别标签,在初始化的指令分级图进行检索获取关键信息的对应指令,对目标用户的意图进行管理;当指令分级图中的检索路径对应指令不唯一时,则根据检索内容设置反问语音信息,根据目标用户的反馈对意图进行更新,通过更新后意图匹配对应交互指令;基于当前驾驶情景设置综合约束,判断匹配的交互指令是否符合综合约束的范
围,若不符合,则对交互指令进行修正后,通过语音询问目标用户的反馈信息。
9.本方案中,还包括:在语音交互时监测驾驶用户的注意力信息,具体为:当接收到交互指令后,获取驾驶用户当前时间戳的状态信息,基于当前时间戳的状态信息创建临时注意力监测任务;获取当前时间戳的驾驶情景内驾驶用户的视线落点频率获取注视热点区域,通过驾驶用户的视线方向获取注意力监测任务中各时间戳的视线落点,并标注视线落点的注视时长;判断注意力监测任务中各时间戳的视线落点是否落在所述注视热点区域,若视线落点不落在注视热点区域的注视时长大于预设阈值,则根据交互指令类型判断是否暂停语音交互,并生成语音提醒;在暂停语音交互后,当检测到驾驶用户视线落点返回注视热点区域后,恢复语音交互场景,根据历史交互指令实现指令对应操作。
10.本方案中,获取目标用户对交互指令的反馈信息,通过目标用户的声纹信息与反馈信息匹配分析目标用户的指令习惯信息,基于指令习惯信息对交互指令的修正进行补偿,具体为:在交互指令执行后,获取目标用户对交互指令的反馈信息,通过反馈信息设置各交互指令的补充数据集,并将补充数据集设置目标用户的声纹信息标签;基于各交互指令的补充数据集对指令分级图进行补充修正,根据修正后的指令分级图提取图结构,根据提取的图结构对图卷积神经网络进行训练获取目标用户的指令习惯信息;通过指令习惯信息结合对应车载环境构建目标用户的个性化数据库,根据就个性化数据进行学习,对交互指令的修正精度进行补偿,使得交互指令一次性达到目标用户的预期效果;预设云端存储时间阈值,当目标对象声纹信息对应的个性化数据库的未调用时间超过预设存储时间阈值,则将目标对象的个性化数据库进行删除。
11.本发明第二方面还提供了一种基于云计算的车载智能语音交互系统,该系统包括:存储器、处理器,所述存储器中包括一种基于云计算的车载智能语音交互方法程序,所述一种基于云计算的车载智能语音交互方法程序被所述处理器执行时实现如下步骤:获取车载环境中驾驶用户在驾驶过程中的注意力信息,根据注意力信息结合车载环境信息分析驾驶用户的状态信息,并生成当前车辆行驶过程中的驾驶情景;获取车载环境中的交互语音信息,通过交互语音信息获取目标用户的位置及身份信息,判断所述目标用户是否为驾驶用户,通过判断结果匹配目标用户对应的交互指令集,并初始化指令分级图;云端基于机器学习对交互语音信息进行语义识别,在指令分级图中进行查找生成交互指令,根据所述驾驶情景生成综合约束,通过所述综合约束对所述交互指令进行修正;获取目标用户对交互指令的反馈信息,通过目标用户的声纹信息与反馈信息匹配分析目标用户的指令习惯信息,基于指令习惯信息对交互指令的修正进行补偿。
12.本发明公开了一种基于云计算的车载智能语音交互方法及系统,包括:获取车载环境中驾驶用户在驾驶过程中的注意力信息,结合车载环境信息分析驾驶用户的状态信息
生成当前车辆行驶过程中的驾驶情景;通过语音信息获取目标用户的位置及身份信息,初始化指令分级图;基于机器学习对语音信息进行语义识别,在指令分级图中进行查找生成交互指令,根据所述驾驶情景生成综合约束,通过所述综合约束对所述交互指令进行修正;获取目标用户对交互指令的反馈信息分析目标用户的交互指令习惯信息,对交互指令的修正进行补偿。本发明基于驾驶情景智能化分析交互指令,在保证识别效率的前提下更好的满足汽车用户语音交互的行为特性,提升车内交互体验。
附图说明
13.图1示出了本发明一种基于云计算的车载智能语音交互方法的流程图;图2示出了本发明通过交互语音信息获取目标用户的位置及身份信息的方法流程图;图3示出了本发明基于机器学习对交互语音信息进行语义识别的方法流程图;图4示出了本发明一种基于云计算的车载智能语音交互系统的框图。
具体实施方式
14.为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本技术的实施例及实施例中的特征可以相互组合。
15.在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
16.图1示出了本发明一种基于云计算的车载智能语音交互方法的流程图。
17.如图1所示,本发明第一方面提供了一种基于云计算的车载智能语音交互方法,包括:s102,获取车载环境中驾驶用户在驾驶过程中的注意力信息,根据注意力信息结合车载环境信息分析驾驶用户的状态信息,并生成当前车辆行驶过程中的驾驶情景;s104,获取车载环境中的交互语音信息,通过交互语音信息获取目标用户的位置及身份信息,判断所述目标用户是否为驾驶用户,通过判断结果匹配目标用户对应的交互指令集,并初始化指令分级图;s106,云端基于机器学习对交互语音信息进行语义识别,在指令分级图中进行查找生成交互指令,根据所述驾驶情景生成综合约束,通过所述综合约束对所述交互指令进行修正;s108,获取目标用户对交互指令的反馈信息,通过目标用户的声纹信息与反馈信息匹配分析目标用户的指令习惯信息,基于指令习惯信息对交互指令的修正进行补偿。
18.需要说明的是,通过车内摄像头获取驾驶用户的面部帧图像数据,将所述帧图像数据进行预处理,并提取面部帧图像数据的关键帧;根据面部帧图像数据的关键帧提取驾驶用户的人脸特征点,获取人脸朝向信息、人眼闭合程度及视线方向;为提取的数据设置对应的阈值区间,并对各个阈值区间匹配注意力级别,通过获取的人脸朝向信息、人眼闭合程度及视线方向与预设阈值进行对比分析,读取驾驶用户的注意力信息,判断驾驶用户当前
的注意力级别。根据当前行驶路段的路况信息设置权值信息,利用权值信息调整注意力阈值,例如,当前行驶路段出现拥堵路况时,则将对应的注意力阈值减小,使驾驶用户更加专注于驾驶过程;根据当前时刻的注意力阈值对驾驶用户的注意力信息进行评价,获取车载环境信息与注意力评价结果进行匹配分析驾驶用户的状态信息,所述车载环境信息包括车内人员数量、车载环境声音、车载环境温度、车载环境空气质量等信息;当驾驶用户的状态信息为疲劳状态时,则生成语音信息对驾驶用户进行提醒,并根据车载环境信息进行决策生成改变车载环境建议,获取驾驶用户的语音反馈进行相应指令执行,例如,当驾驶用户出现轻微疲劳状态时,则通过语音交互进行询问是否需要打开车窗、播放音乐或者降低空调温度等操作。另外,通过驾驶用户的状态信息、车载环境信息及车辆行驶信息生成当前车辆行驶过程中的驾驶情景。
19.图2示出了本发明通过交互语音信息获取目标用户的位置及身份信息的方法流程图。
20.根据本发明实施例,获取车载环境中的交互语音信息,通过交互语音信息获取目标用户的位置及身份信息,具体为:s202,根据车载环境中的语音接收模块获取车载环境中的交互语音信息,进行交互语音信息的滤波去噪,将车载环境划分为预设数量的子区域;s204,获取各个子区域中接受到的交互语音信息的声音能量信息及到达时间差,根据声音能量信息及到达时间差判断交互语音信息的来源子区域;s206,确定交互语音信息的位置后进行声纹识别,根据声纹识别结果在云端通过大数据检索身份信息,计算交互语音信息对应的声纹与云端存储数据进行相似度计算;s208,获取所述相似度符合预设相似度标准的数据,提取对应的身份信息作为目标用户的身份信息,通过所述身份信息读取匹配存储的语音习惯特征,若云端存储数据均不符合预设相似度标准,则创建声纹序列存入云端;s210,根据目标用户的位置信息匹配功能信息对应的交互指令集,并通过交互指令集基于身份信息初始化指令分级图。
21.需要说明的是,根据目标用户的位置信息匹配功能信息对应的交互指令集,并通过交互指令集基于身份信息初始化指令分级图,具体为:基于车载环境的位置信息讲究交互指令进行分类,通过大数据检索获取各交互指令对应的关键词信息,将交互指令、关键词信息及分类结果构建交互指令知识图谱;根据目标用户交互语音信息的来源子区域从所述交互指令知识图谱中提取对应的交互指令集;根据当前驾驶情景在历史驾驶情景中获取相似历史驾驶情景,提取相似历史驾驶情景中各交互指令的使用频次,根据所述使用频次对交互指令集中的交互指令进行优先级分级;若云端存储有目标用户的身份信息,则根据目标用户的身份信息对应的历史交互指令构建用户画像,通过用户画像对优先级进行调整,将交互指令集根据调整后的优先级生成指令分级图。
22.图3示出了本发明基于机器学习对交互语音信息进行语义识别的方法流程图。
23.根据本发明实施例,云端基于机器学习对交互语音信息进行语义识别,在指令分级图中进行查找生成交互指令,根据所述驾驶情景生成综合约束,通过所述综合约束对所述交互指令进行修正,具体为:s302,对交互语音信息进行预处理,通过word2vec模型将预处理后的交互语音信
息进行提取词向量,根据所述词向量进行加权平均构建句向量表达,根据所述词向量及句向量表达作为语义特征;s304,基于双向长短期记忆神经网络模型建立关键信息提取模型,将语义特征输入到关键信息提取模型,并结合注意力机制结合上下文配置差异化权重,获取交互语音信息中的关键信息;s306,利用关键信息进行分类,标注类别标签,在初始化的指令分级图进行检索获取关键信息的对应指令,对目标用户的意图进行管理;s308,当指令分级图中的检索路径对应指令不唯一时,则根据检索内容设置反问语音信息,根据目标用户的反馈对意图进行更新,通过更新后意图匹配对应交互指令;s310,基于当前驾驶情景设置综合约束,判断匹配的交互指令是否符合综合约束的范围,若不符合,则对交互指令进行修正后,通过语音询问目标用户的反馈信息。
24.需要说明的是,当接收到交互指令后,获取驾驶用户当前时间戳的状态信息,基于当前时间戳的状态信息创建临时注意力监测任务;获取当前时间戳的驾驶情景内驾驶用户的视线落点频率获取注视热点区域,通过驾驶用户的视线方向获取注意力监测任务中各时间戳的视线落点,并标注视线落点的注视时长;判断注意力监测任务中各时间戳的视线落点是否落在所述注视热点区域,若视线落点不落在注视热点区域的注视时长大于预设阈值,则根据交互指令类型判断是否暂停语音交互,并生成语音提醒;在暂停语音交互后,当检测到驾驶用户视线落点返回注视热点区域后,恢复语音交互场景,根据历史交互指令实现指令对应操作,其中,目标用户的视线落点检测能够通过眼动硬件检测设备或瞳孔的投影空间方法获取。
25.基于双向长短期记忆神经网络模型整合交互语音信息的上下文特征,保证交互语音信息的语义完整性,通过大数据分析交互指令关键词构建数据集,将所述数据集分为训练集与验证集,将训练数据集进行词向量表示,输入结合注意力机制的双向长短期记忆神经网络中进行训练,通过训练后的模型进行交互语音信息中关键信息的提取。
26.另外,基于当前驾驶情景设置综合约束,分析当前驾驶情景中危险因素,根据危险因素对部分交互指令设置约束信息,当目标用户的交互语音信息对应的交互指令不符合约束预设范围时,则生成语音提醒,根据目标用户反馈执行相应指令,例如,根据车载环境信息检测到车内含有儿童时,则约束儿童所在位置的车窗下降高度。
27.需要说明的是,在交互指令执行后,获取目标用户对交互指令的反馈信息,通过反馈信息设置各交互指令的补充数据集,并将补充数据集设置目标用户的声纹信息标签;基于各交互指令的补充数据集对指令分级图进行补充修正,根据修正后的指令分级图提取图结构,表征目标用户对交互指令的习惯特征,根据提取的图结构对图卷积神经网络进行训练获取目标用户的指令习惯信息,对图结构中相互连接的目标用户和交互指令之间执行消息传播,消息传播过程包括特征变换、邻域聚合和非线性激活,使得自身属性特征的目标用户节点带有局部邻域信息,并以向量的形式表示,具体为:
其中,表示目标用户节点在第次卷积的特征向量表示,表示交互指令节点的邻居节点集合,反应历史交互指令节点及目标用户节点的度,表示交互指令节点在第次卷积的特征向量表示;通过指令习惯信息结合对应车载环境构建目标用户的个性化数据库,根据就个性化数据进行学习,对交互指令的修正精度进行补偿,使得交互指令一次性达到目标用户的预期效果;预设云端存储时间阈值,当目标对象声纹信息对应的个性化数据库的未调用时间超过预设存储时间阈值,则将目标对象的个性化数据库进行删除。
28.图4示出了本发明一种基于云计算的车载智能语音交互系统的框图。
29.本发明第二方面还提供了一种基于云计算的车载智能语音交互系统4,该系统包括:存储器41、处理器42,所述存储器中包括一种基于云计算的车载智能语音交互方法程序,所述一种基于云计算的车载智能语音交互方法程序被所述处理器执行时实现如下步骤:获取车载环境中驾驶用户在驾驶过程中的注意力信息,根据注意力信息结合车载环境信息分析驾驶用户的状态信息,并生成当前车辆行驶过程中的驾驶情景;获取车载环境中的交互语音信息,通过交互语音信息获取目标用户的位置及身份信息,判断所述目标用户是否为驾驶用户,通过判断结果匹配目标用户对应的交互指令集,并初始化指令分级图;云端基于机器学习对交互语音信息进行语义识别,在指令分级图中进行查找生成交互指令,根据所述驾驶情景生成综合约束,通过所述综合约束对所述交互指令进行修正;获取目标用户对交互指令的反馈信息,通过目标用户的声纹信息与反馈信息匹配分析目标用户的指令习惯信息,基于指令习惯信息对交互指令的修正进行补偿。
30.需要说明的是,通过车内摄像头获取驾驶用户的面部帧图像数据,将所述帧图像数据进行预处理,并提取面部帧图像数据的关键帧;根据面部帧图像数据的关键帧提取驾驶用户的人脸特征点,获取人脸朝向信息、人眼闭合程度及视线方向;为提取的数据设置对应的阈值区间,并对各个阈值区间匹配注意力级别,通过获取的人脸朝向信息、人眼闭合程度及视线方向与预设阈值进行对比分析,读取驾驶用户的注意力信息,判断驾驶用户当前的注意力级别。根据当前行驶路段的路况信息设置权值信息,利用权值信息调整注意力阈值,例如,当前行驶路段出现拥堵路况时,则将对应的注意力阈值减小,使驾驶用户更加专注于驾驶过程;根据当前时刻的注意力阈值对驾驶用户的注意力信息进行评价,获取车载环境信息与注意力评价结果进行匹配分析驾驶用户的状态信息,所述车载环境信息包括车内人员数量、车载环境声音、车载环境温度、车载环境空气质量等信息;当驾驶用户的状态信息为疲劳状态时,则生成语音信息对驾驶用户进行提醒,并根据车载环境信息进行决策生成改变车载环境建议,获取驾驶用户的语音反馈进行相应指令执行,例如,当驾驶用户出现轻微疲劳状态时,则通过语音交互进行询问是否需要打开车窗、播放音乐或者降低空调温度等操作。另外,通过驾驶用户的状态信息、车载环境信息及车辆行驶信息生成当前车辆行驶过程中的驾驶情景。
31.根据本发明实施例,获取车载环境中的交互语音信息,通过交互语音信息获取目
标用户的位置及身份信息,具体为:根据车载环境中的语音接收模块获取车载环境中的交互语音信息,进行交互语音信息的滤波去噪,将车载环境划分为预设数量的子区域;获取各个子区域中接受到的交互语音信息的声音能量信息及到达时间差,根据声音能量信息及到达时间差判断交互语音信息的来源子区域;确定交互语音信息的位置后进行声纹识别,根据声纹识别结果在云端通过大数据检索身份信息,计算交互语音信息对应的声纹与云端存储数据进行相似度计算;获取所述相似度符合预设相似度标准的数据,提取对应的身份信息作为目标用户的身份信息,通过所述身份信息读取匹配存储的语音习惯特征,若云端存储数据均不符合预设相似度标准,则创建声纹序列存入云端;根据目标用户的位置信息匹配功能信息对应的交互指令集,并通过交互指令集基于身份信息初始化指令分级图。
32.需要说明的是,根据目标用户的位置信息匹配功能信息对应的交互指令集,并通过交互指令集基于身份信息初始化指令分级图,具体为:基于车载环境的位置信息讲究交互指令进行分类,通过大数据检索获取各交互指令对应的关键词信息,将交互指令、关键词信息及分类结果构建交互指令知识图谱;根据目标用户交互语音信息的来源子区域从所述交互指令知识图谱中提取对应的交互指令集;根据当前驾驶情景在历史驾驶情景中获取相似历史驾驶情景,提取相似历史驾驶情景中各交互指令的使用频次,根据所述使用频次对交互指令集中的交互指令进行优先级分级;若云端存储有目标用户的身份信息,则根据目标用户的身份信息对应的历史交互指令构建用户画像,通过用户画像对优先级进行调整,将交互指令集根据调整后的优先级生成指令分级图。
33.根据本发明实施例,云端基于机器学习对交互语音信息进行语义识别,在指令分级图中进行查找生成交互指令,根据所述驾驶情景生成综合约束,通过所述综合约束对所述交互指令进行修正,具体为:对交互语音信息进行预处理,通过word2vec模型将预处理后的交互语音信息进行提取词向量,根据所述词向量进行加权平均构建句向量表达,根据所述词向量及句向量表达作为语义特征;基于双向长短期记忆神经网络模型建立关键信息提取模型,将语义特征输入到关键信息提取模型,并结合注意力机制结合上下文配置差异化权重,获取交互语音信息中的关键信息;利用关键信息进行分类,标注类别标签,在初始化的指令分级图进行检索获取关键信息的对应指令,对目标用户的意图进行管理;当指令分级图中的检索路径对应指令不唯一时,则根据检索内容设置反问语音信息,根据目标用户的反馈对意图进行更新,通过更新后意图匹配对应交互指令;基于当前驾驶情景设置综合约束,判断匹配的交互指令是否符合综合约束的范围,若不符合,则对交互指令进行修正后,通过语音询问目标用户的反馈信息。
34.需要说明的是,当接收到交互指令后,获取驾驶用户当前时间戳的状态信息,基于当前时间戳的状态信息创建临时注意力监测任务;获取当前时间戳的驾驶情景内驾驶用户的视线落点频率获取注视热点区域,通过驾驶用户的视线方向获取注意力监测任务中各时
间戳的视线落点,并标注视线落点的注视时长;判断注意力监测任务中各时间戳的视线落点是否落在所述注视热点区域,若视线落点不落在注视热点区域的注视时长大于预设阈值,则根据交互指令类型判断是否暂停语音交互,并生成语音提醒;在暂停语音交互后,当检测到驾驶用户视线落点返回注视热点区域后,恢复语音交互场景,根据历史交互指令实现指令对应操作,其中,目标用户的视线落点检测能够通过眼动硬件检测设备或投影空间方法获取。
35.基于双向长短期记忆神经网络模型整合交互语音信息的上下文特征,保证交互语音信息的语义完整性,通过大数据分析交互指令关键词构建数据集,将所述数据集分为训练集与验证集,将训练数据集进行词向量表示,输入结合注意力机制的双向长短期记忆神经网络中进行训练,通过训练后的模型进行交互语音信息中关键信息的提取。
36.另外,基于当前驾驶情景设置综合约束,分析当前驾驶情景中危险因素,根据危险因素对部分交互指令设置约束信息,当目标用户的交互语音信息对应的交互指令不符合约束预设范围时,则生成语音提醒,根据目标用户反馈执行相应指令,例如,根据车载环境信息检测到车内含有儿童时,则约束儿童所在位置的车窗下降高度。
37.需要说明的是,在交互指令执行后,获取目标用户对交互指令的反馈信息,通过反馈信息设置各交互指令的补充数据集,并将补充数据集设置目标用户的声纹信息标签;基于各交互指令的补充数据集对指令分级图进行补充修正,根据修正后的指令分级图提取图结构,表征目标用户对交互指令的习惯特征,根据提取的图结构对图卷积神经网络进行训练获取目标用户的指令习惯信息,对图结构中相互连接的目标用户和交互指令之间执行消息传播,消息传播过程包括特征变换、邻域聚合和非线性激活,使得自身属性特征的目标用户节点带有局部邻域信息,并以向量的形式表示,具体为:其中,表示目标用户节点在第次卷积的特征向量表示,表示交互指令节点的邻居节点集合,反应历史交互指令节点及目标用户节点的度,表示交互指令节点在第次卷积的特征向量表示;通过指令习惯信息结合对应车载环境构建目标用户的个性化数据库,根据就个性化数据进行学习,对交互指令的修正精度进行补偿,使得交互指令一次性达到目标用户的预期效果;预设云端存储时间阈值,当目标对象声纹信息对应的个性化数据库的未调用时间超过预设存储时间阈值,则将目标对象的个性化数据库进行删除。
38.本发明第三方面还提供一种计算机可读存储介质,所述计算机可读存储介质中包括一种基于云计算的车载智能语音交互方法程序,所述一种基于云计算的车载智能语音交互方法程序被处理器执行时,实现如上述任一项所述的一种基于云计算的车载智能语音交互方法的步骤。
39.在本技术所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为
一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
40.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
41.另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
42.本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
43.或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
44.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献