基于跨模态深度协同的智能穿戴设备交互控制方法及系统与流程
本发明涉及智能穿戴设备,具体涉及一种基于跨模态深度协同的智能穿戴设备交互控制方法及系统。
背景技术:
1、随着智能穿戴设备(如智能手表、手环、智能眼镜等)的普及,其交互控制的便捷性与可靠性成为用户体验的核心诉求。目前,智能穿戴设备的交互控制方式主要依赖单一模态或简单多模态融合,虽能满足基础操作需求,但在复杂使用场景下(如运动、户外嘈杂环境、暗光环境等),仍存在显著技术缺陷,难以兼顾交互的准确性与用户体验。
2、具体而言,现有技术的不足主要体现在以下三方面:
3、首先,单一模态交互易受环境干扰,可靠性低。现有方案常采用单一手势、语音或触摸交互:例如,手势交互依赖图像或惯性传感器,强光、遮挡或暗光环境下易因特征提取不完整导致识别失败;语音交互易受风噪、人声等环境噪音影响,声纹失真致误识别率高;触摸交互受限于穿戴设备小屏,操作精度低且易误触,单手或运动场景下体验更差。
4、其次,简单多模态融合缺乏深度协同,决策准确性不足。部分方案虽结合手势+语音等双模态,但仅为特征拼接式浅层融合:未对不同模态意图做一致性校验(如手势“调小音量”与语音“调大音量”矛盾时,设备无法决策),也未结合环境评估模态可靠性,且权重分配固定(如固定50%:50%),导致高可靠性模态作用难凸显、低可靠性模态干扰难规避,最终降低决策准确性。
5、最后,低置信度场景缺乏有效意图确认机制,用户体验差。当模态特征可信度低(如模糊手势、模糊语音)时,现有方案或直接拒执指令致操作中断,或盲目执行引发误操作(如误拨电话、误调参数),既无法满足控制需求,也降低设备使用安全性。
6、综上,现有方案因缺乏“环境感知-跨模态深度协同-动态决策-意图确认”的完整逻辑链,难以在复杂场景下兼顾可靠性与用户体验。因此,亟需一种基于跨模态深度协同的交互控制方法,通过环境感知评估特征可靠性、模态一致性校验、动态权重分配及低置信度确认,提升智能穿戴设备交互控制的准确性与便捷性。
技术实现思路
1、为了克服现有技术的不足,本发明提供一种基于跨模态深度协同的智能穿戴设备交互控制方法及系统,以解决现有技术中的问题。
2、本发明其中一个实施例提供了一种基于跨模态深度协同的智能穿戴设备交互控制方法,包括如下步骤:
3、用户通过预设交互方式向智能穿戴设备发起控制需求;
4、调用预训练的跨模态特征提取模型,对所述预设交互方式进行特征提取,输出交互特征向量;
5、获取环境感知数据,并基于环境感知数据对所述交互特征向量进行可靠性评估,输出可靠性评分;
6、将所述交互特征向量输入跨模态融合决策模块,通过模态一致性校验构建联合特征空间,并基于可靠性评分为交互特征向量动态分配权重,得到联合特征向量;
7、计算所述联合特征向量的置信度,若其置信度大于等于预设阈值,输出并执行目标控制指令。
8、通过采用上述方案,能够通过跨模态特征提取与深度协同决策,结合环境感知数据动态评估特征可靠性并分配权重,既解决了单一模态易受环境干扰的问题,又通过模态一致性校验避免多模态意图矛盾,同时借助低置信度场景的语音确认机制,有效提升智能穿戴设备交互控制的准确性、抗干扰性与用户体验,确保复杂场景下控制指令的可靠执行。
9、在其中一个实施例中,所述预设交互方式至少包括手势动作和语音指令;所述预训练的跨模态特征提取模型的构建及训练包括如下步骤:
10、采集多组样本数据,每组样本数据包括预设交互方式对应的原始交互数据及标注的意图标签,其中,原始交互数据至少包括手势动作数据和/或语音指令数据;
11、构建跨模态特征提取模型,所述跨模态特征提取模型包括至少两个模态分支网络及特征融合层,其中,不同模态分支网络分别用于提取手势动作数据的时空特征、语音指令数据的声纹特征,特征融合层用于将各模态分支网络提取的特征整合为统一维度的交互特征向量;
12、将预处理后的样本数据输入所述跨模态特征提取模型,以最小化交互特征向量与意图标签的映射误差为优化目标,通过反向传播迭代更新模型参数,完成跨模态特征提取模型训练;
13、采用验证集对训练后的模型进行性能评估,若满足预设精度要求,则得到已训练的跨模态特征提取模型。
14、通过采用上述方案,能够通过多类型样本训练及分支网络针对性提取特征,使跨模态特征提取模型精准捕捉手势时空特征与语音声纹特征,并输出统一维度的交互特征向量,既解决了单一模态特征提取适配性不足的问题,又通过特征融合层确保多模态特征的有效整合,同时借助验证环节保障模型精度,有效提升交互特征向量的准确性与泛化能力,为后续跨模态融合决策提供高质量特征输入,确保智能穿戴设备交互控制的可靠性。
15、在其中一个实施例中,所述模态分支网络包括手势特征分支网络和语音特征分支网络:
16、所述手势特征分支网络采用时空卷积网络或循环神经网络,用于对输入的手势动作数据进行时序特征与空间特征的联合提取,输出手势时空特征向量;
17、所述语音特征分支网络采用梅尔频率倒谱系数提取模块与卷积神经网络的组合结构,用于对输入的语音指令数据进行声学特征与语义特征的分层提取,输出语音声纹特征向量;
18、所述特征融合层采用注意力机制或特征拼接网络,用于根据不同模态特征所映射的语义相关性动态调整权重,将手势时空特征向量与语音声纹特征向量整合为统一维度的交互特征向量。
19、通过采用上述方案,能够借助针对性设计的手势特征分支网络与语音特征分支网络,分别精准提取手势动作的时空特征与语音指令的声学-语义分层特征,同时通过基于语义相关性动态调整权重的特征融合层,实现多模态特征的高效整合,既解决了不同模态特征提取适配性不足、信息捕捉不全面的问题,又避免了无差别融合导致的特征冗余或矛盾,进一步提升交互特征向量的精准度与代表性,为后续跨模态深度协同决策提供更高质量的特征支撑,保障智能穿戴设备交互控制的准确性与抗干扰性。
20、在其中一个实施例中,所述将预处理后的样本数据输入所述跨模态特征提取模型,以最小化交互特征向量与意图标签的映射误差为优化目标,通过反向传播迭代更新模型参数,完成跨模态特征提取模型训练的步骤中,具体包括:
21、对所述手势动作数据进行时空对齐与噪声过滤,对所述语音指令数据进行端点检测与梅尔频谱转换;
22、构建混合损失函数,所述混合损失函数至少包括交互特征向量与意图标签的分类损失,以及不同模态分支网络输出特征的模态一致性损失;
23、采用分阶段训练策略,第一阶段固定特征融合层参数,单独训练手势特征分支网络与语音特征分支网络至收敛;第二阶段则解冻特征融合层参数,基于混合损失函数联合训练整个跨模态特征提取模型,通过反向传播迭代更新所有参数,直至模型收敛,完成跨模态特征提取模型训练。
24、通过采用上述方案,能够对多模态样本数据进行针对性预处理以提升输入质量,借助混合损失函数兼顾特征-意图映射准确性与跨模态特征语义一致性,同时通过分阶段训练策略避免模态间干扰、保障分支网络与融合层的协同优化,既解决了通用预处理适配性差、单一损失函数易致跨模态语义偏移、端到端训练易受模态干扰的问题,又进一步强化跨模态特征提取模型的训练效果,提升交互特征向量的精准度与稳定性,为后续跨模态深度协同决策提供更可靠的特征输入,保障智能穿戴设备交互控制的一致性与抗干扰性。
25、在其中一个实施例中,所述获取环境感知数据,并基于环境感知数据对所述交互特征向量进行可靠性评估,输出可靠性评分的步骤中具体包括:
26、获取至少两类环境感知数据,所述环境感知数据包括光照强度数据、环境噪音分贝数据及运动状态数据中的至少两种;
27、构建模态-环境关联模型,所述模态-环境关联模型中预设有不同环境感知数据与各模态特征向量可靠性的映射关系;其中,光照强度数据关联手势时空特征向量的空间辨识度,环境噪音分贝数据关联语音声纹特征向量的声学清晰度,运动状态数据关联手势时空特征向量与语音声纹特征向量的稳定性;
28、将所述环境感知数据输入模态-环境关联模型,模态-环境关联模型输出各交互特征向量的可靠性评估值,所述可靠性评估值包括空间辨识度评分、声学清晰度评分及稳定性评分中的至少一种;
29、基于预设权重对所述可靠性评估值进行加权计算,得到并输出综合可靠性评分。
30、通过采用上述方案,能够获取针对性的多类型环境感知数据,结合模态-环境关联模型建立环境与各模态特征向量可靠性的精准映射,既解决了通用环境评估适配性不足、无法关联具体模态特征可靠性的问题,又通过分层输出可靠性评估值与加权计算综合评分,避免单一维度评估导致的可靠性判断偏差;同时为后续跨模态融合决策中动态权重分配提供精准的环境适配性依据,进一步提升交互特征向量可靠性评估的科学性与准确性,保障智能穿戴设备在复杂环境下交互控制的稳定性与抗干扰性。
31、在其中一个实施例中,所述将所述交互特征向量输入跨模态融合决策模块,通过模态一致性校验构建联合特征空间,并基于可靠性评分为交互特征向量动态分配权重,得到联合特征向量的步骤中,具体包括:
32、对输入的交互特征向量进行模态一致性校验,计算手势时空特征向量与语音声纹特征向量的语义相似度,若相似度大于等于预设阈值,则判定为模态一致;若相似度小于预设阈值,则判定为模态冲突;
33、基于校验结果构建联合特征空间,对于模态一致的交互特征向量,采用特征拼接与映射矩阵转换来构建联合特征空间;对于模态冲突的交互特征向量,采用对比学习机制强化手势时空特征向量与语音声纹特征向量中综合可靠性评分更高者的语义表征,再构建联合特征空间;
34、基于所述综合可靠性评分与模态一致性校验结果,在联合特征空间内动态分配权重:
35、当模态一致时,按手势时空特征向量与语音声纹特征向量各自的综合可靠性评分比例分配权重,对空间内的两种特征向量进行加权求和,得到并输出联合特征向量;
36、当模态冲突时,提高手势时空特征向量与语音声纹特征向量中综合可靠性评分更高者的权重占比至预设占比阈值以上,对空间内的两种特征向量进行加权求和,得到并输出联合特征向量。
37、通过采用上述方案,能够基于模态一致性校验结果动态构建适配的联合特征空间,结合综合可靠性评分实现跨模态特征向量的差异化权重分配,既解决了固定融合规则难以适配模态一致/冲突场景、异构特征无法有效整合的问题,又避免了权重分配与特征可靠性脱节导致的融合偏差;同时通过联合特征空间内的加权求和,强化了跨模态特征的语义协同性与互补性,进一步提升联合特征向量对用户意图的表征能力,为智能穿戴设备的精准交互控制提供更可靠的决策依据,保障复杂交互场景下控制指令生成的准确性与鲁棒性。
38、在其中一个实施例中,所述计算所述联合特征向量的置信度,若其置信度大于等于预设阈值,输出并执行目标控制指令的步骤中,具体包括:
39、计算联合特征向量的置信度,所述置信度至少包括联合特征向量与预设意图标签的匹配度,以及联合特征向量对应的综合可靠性评分的加权结果;
40、基于所述环境感知数据动态调整置信度阈值,当环境感知数据满足预设复杂条件时,降低置信度阈值,当环境感知数据不满足预设复杂条件时,则采用默认置信度阈值;
41、若联合特征向量的置信度大于等于调整后的置信度阈值,则输出并执行与预设意图标签匹配的目标控制指令。
42、通过采用上述方案,能够结合联合特征向量与预设意图标签的匹配度及综合可靠性评分计算多维度置信度,解决了单一维度评估置信度导致的判断片面性问题;同时基于环境感知数据动态调整置信度阈值,避免了静态阈值无法适配复杂环境变化的局限;既强化了置信度评估与特征可靠性、环境适应性的关联,又通过动态阈值优化了目标控制指令的执行判断逻辑,进一步提升智能穿戴设备在不同环境下输出控制指令的准确性与适应性,保障交互控制的高效性与鲁棒性。
43、本技术还涉及一种基于跨模态深度协同的智能穿戴设备交互控制系统,包括:
44、交互发起模块,用于用户通过预设交互方式向智能穿戴设备发起控制需求;
45、特征提取模块,用于调用预训练的跨模态特征提取模型,对所述预设交互方式进行特征提取,输出交互特征向量;
46、可靠性评估模块,用于获取环境感知数据,并基于环境感知数据对所述交互特征向量进行可靠性评估,输出可靠性评分;
47、检验模块,用于将所述交互特征向量输入跨模态融合决策模块,通过模态一致性校验构建联合特征空间,并基于可靠性评分为交互特征向量动态分配权重,得到联合特征向量;
48、执行模块,用于计算所述联合特征向量的置信度,若其置信度大于等于预设阈值,输出并执行目标控制指令。
49、本技术还涉及一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种基于跨模态深度协同的智能穿戴设备交互控制方法的步骤。
50、本技术还涉及一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述一种基于跨模态深度协同的智能穿戴设备交互控制方法的步骤。
51、以上实施例所提供的一种基于跨模态深度协同的智能穿戴设备交互控制方法及系统具有以下有益效果:
52、能够通过跨模态特征提取与深度协同决策,结合环境感知数据动态评估特征可靠性并分配权重,既解决了单一模态易受环境干扰的问题,又通过模态一致性校验避免多模态意图矛盾,同时借助低置信度场景的语音确认机制,有效提升智能穿戴设备交互控制的准确性、抗干扰性与用户体验,确保复杂场景下控制指令的可靠执行。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com