一种基于多模态数据融合的Transformer舒适度识别方法
本发明涉及舒适度识别和深度学习,尤其是一种基于多模态数据融合的transformer舒适度识别方法。
背景技术:
1、现有的舒适度识别方法包括物理模型和基于单一模态数据的深度学习模型。物理模型通过人体力学和生理学分析预测舒适度,而单模态深度学习模型则依赖肌电信号或视频数据进行特征提取和识别。
2、现有的舒适度识别方案存在以下几方面不足:(1)单模态数据的局限性:传统方法往往依赖于单一模态数据,如仅使用肌电信号或视频数据进行识别,导致模型无法充分利用各模态之间的互补信息;(2)模型泛化能力不足:现有方法在不同环境或个体之间的适应性较差,舒适度识别精度和实时性存在一定差距;(3)处理能力有限:物理模型对动态舒适度变化的预测能力较弱,且深度学习模型往往缺乏针对多模态数据的有效融合技术,无法充分挖掘数据之间的潜在关联。
技术实现思路
1、为了克服上述现有技术中的缺陷,本发明提供一种基于多模态数据融合的transformer舒适度识别方法,提升了舒适度识别精度和识别效率,适用于动态环境中的人机交互。
2、为实现上述目的,本发明采用以下技术方案,包括:
3、一种基于多模态数据融合的transformer舒适度识别方法,具体包括如下步骤:
4、s1,通过机器人按摩作业平台获取多模态数据,包括受试者的视频数据、肌电信号、压力数据和触觉评价;基于触觉评价确定舒适度等级;
5、s2,对采集的多模态数据进行预处理;
6、s3,将步骤s2预处理后的多模态数据按照时间顺序均匀划分为n个时间窗口;
7、s4,构建hybrid-modified transformer模型;以步骤s3划分后的数据作为原始数据集,将所述原始数据集输入至模型进行训练,训练好的模型即为舒适度识别模型,用于预测舒适度等级;
8、s5,用舒适度识别模型对人体舒适度进行识别,输入受试者的视频数据、肌电信号和压力数据,输出舒适度等级。
9、优选的,步骤s2中,预处理包括:对视频数据进行关键帧的提取、去噪、面部识别及裁剪;肌电信号经过butterworth带通滤波器进行去噪,再通过hilbert变换提取信号的包络后进行归一化处理;对压力数据进行滤波和归一化处理。
10、优选的,步骤s3中,对视频数据、肌电信号和压力数据按照时间顺序均匀划分为n个时间窗口,使每个时间窗口内分别包含固定数量的视频帧、肌电信号采样点和压力传感器数据。
11、优选的,步骤s4中,所述hybrid-modified transformer模型包括特征提取层和基于注意力机制的transformer编码层;特征提取层用于分别提取视频数据、肌电信号及压力数据的特征;transformer编码层利用自注意力机制对提取的多模态特征进行特征融合和时间序列建模。
12、优选的,所述特征提取层包括resnet网络、lstm网络和压力数据统计方法;
13、所述resnet网络包括若干残差模块和一个具有128个节点的全连接层,用于提取视频数据的空间特征;输入的视频帧经过残差模块提取深层特征,输出的特征图经过全局平均池化处理后,通过全连接层降维至128维;
14、所述lstm网络用于处理压力数据和肌电信号,分别由两层堆叠的lstm组成,每层包含64个隐藏单元。输入的时间序列数据经过lstm网络提取时序特征后,通过一个包含128个节点的全连接层进行特征映射。
15、所述压力数据统计方法包括计算接触压力的均值、方差和最大值,然后通过一个包含128个节点的全连接层进行特征映射。
16、优选的,拼接每个时间窗口的视频、肌电和压力特征,作为transformer编码层的输入。
17、本发明还提供了一种基于多模态数据融合的transformer舒适度识别系统,适用于所述的一种基于多模态数据融合的transformer舒适度识别方法,系统包括:
18、数据获取模块,用于获取多模态数据,包括视频数据、肌电信号和压力数据;
19、数据预处理模块,用于对多模态数据进行预处理,包括对视频数据进行关键帧提取,对肌电信号进行去噪处理,以及对压力数据进行归一化处理;
20、数据划分模块,用于对预处理后的多模态数据按照时间顺序进行划分。
21、hybrid-modified transformer模型,用于以预处理后及划分后的多模态数据作为输入进行模型训练,预测舒适度等级;
22、舒适度识别模块,用于利用训练好的hybrid-modified transformer模型即舒适度识别模型输出舒适度等级。
23、本发明还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现所述的一种基于多模态数据融合的transformer舒适度识别方法。
24、本发明还提供了一种电子设备,其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的一种基于多模态数据融合的transformer舒适度识别方法。
25、本发明还提供了一种计算机程序产品,其包括计算机程序/指令,该计算机程序/指令被处理器执行时实现所述的一种基于多模态数据融合的transformer舒适度识别方法。
26、本发明的优点在于:
27、(1)本发明通过多模态数据的融合,能够综合考虑视频数据、肌电信号和压力数据,从多个维度全面捕捉人体的舒适度变化。相比于传统的单模态方法,采用多模态数据可以更精确地反映人体在不同条件下的舒适感知。视频数据提供了人体姿态和表情等动态信息,肌电信号反映了人体的肌肉活动情况,而压力数据则直接反映了外部作用力对人体的影响。通过这三类数据的综合分析,能够在更加复杂的情境下准确识别舒适度等级,避免了单一模态数据所带来的局限性,提升了舒适度识别精度。
28、(2)本发明结合了resnet、lstm和transformer的优势,采用了hybrid-modifiedtransformer模型来进行舒适度识别。具体来说,resnet负责从视频数据中提取空间特征,通过残差模块克服了深层网络中的梯度消失问题,使得网络能够在处理高维数据时更加稳定高效。lstm网络则擅长处理时间序列数据,能够从肌电信号和压力数据中提取时序特征,捕捉数据随时间变化的动态模式。最后,transformer模型通过自注意力机制,能够全局地考虑不同模态数据之间的关系和上下文信息,从而在特征融合阶段更好地捕捉关键特征。这种深度学习模型的优化不仅提升了对复杂数据的处理能力,也显著提高了舒适度识别的准确性。
29、(3)本发明采用的hybrid-modified transformer模型具有强大的计算能力,能够高效处理来自不同模态的大规模数据。通过优化的训练过程和高效的模型架构,模型能够在较短的时间内完成对人体舒适度的实时预测。此外,得益于transformer模型的并行计算能力和自注意力机制,本发明能够更好地应对实时场景中多变的输入数据,迅速对舒适度进行识别和反馈。因此,本发明不仅提升了舒适度识别的准确性,也显著提高了模型的处理效率,尤其适用于按摩等要求实时进行舒适度调整的应用场景。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com