一种基于多模态特征及多源生理信号的信号处理方法、多源生理信号融合的处理方法、智能可穿戴设备与流程

本发明涉及通信，尤其涉及一种基于多模态特征及多源生理信号的宠物胸背信号处理方法、多源生理信号融合的处理方法、智能可穿戴设备。

背景技术：

1、对宠物健康监测前需要对宠物的生理数据进行采集和处理，由于直接从宠物腹部采集的数据易受到宠物运动状态的干扰，导致采集的数据有噪音不够精准。

2、现有的数据去噪方法有通过光电容积脉搏波描记法（ppg）与普通神经网络结合。光电容积脉搏波描记法（ppg）易受运动伪影干扰，导致心率、心率变异性等指标精度下降。现有方法多采用自适应滤波、独立成分分析或小型神经网络直接处理ppg，未能充分利用多源信号间的互补关系。导致现有的方法形成的宠物ppg数据依然不够精准。

3、因此，为解决上述技术问题，需要提出一种新的技术方案来解决这个问题。尤其是提供一种基于多模态特征及多源生理信号的宠物胸背信号处理方法。

技术实现思路

1、本发明为解决现有ppg方法直接采集到的数据不够精准的技术问题，提供了一种基于多模态特征及多源生理信号的宠物胸背信号处理方法。

2、为实现上述目的提供了如下技术方案：一种基于多模态特征及多源生理信号的宠物胸背信号处理方法，包括以下步骤：s1.信号采集，通过光电容积脉搏波描记法、六轴传感器和呼吸信号收集器分别采集宠物的ppg信号、imu信号与呼吸信号。s2.轻量化多模态特征编码，分别对ppg信号、imu信号与呼吸信号进行ppg特征编码、imu特征编码和呼吸特征编码。s3.通过多模态神经网络对ppg信号、imu信号与呼吸信号进行处理得到去噪后精准的ppg波形、心率和呼吸率。

3、所述多模态神经网络的构建包括：s31.多模态神经网络的构建，s311.基于旋转位置编码进行统一时间对齐，分别对ppg特征编码中的时域峰间距、幅度变化、偏度；imu特征编码中的计算加速度计与陀螺仪各轴的均值、方差、峰峰值；呼吸特征编码中的呼吸间隔与相位，进行统一时间对齐，最终每个模态生成一个时序特征序列。s312.构建轻量级交叉注意力融合网络，以ppg模态为基准，利用imu模态和呼吸模态的序列通过交叉注意力的方法构建交叉注意力融合网络。s313.构建动态路由与任务执行层，通过提出来的多个时序特征序列，定义专家网络，其中包括运动伪影消除专家、心率专家、呼吸率专家，构建路由网络。所述路由网络输出干净的ppg波形、心率和呼吸率。s32.多模态神经网络的训练，通过路由网络输出干净的ppg波形、心率和呼吸率采用特定的损失计算函数对多模态神经网络进行训练。s33.多模态神经网络的数据比对，通过宠物耳部的ppg信号进行y值收集，对多模态神经网络模拟的数据进行比对。

4、优选地，所述步骤s2中ppg特征编码包括时域峰间距、幅度变化、偏度；所述步骤s2中imu特征编码包括计算加速度计与陀螺仪各轴的均值、方差、峰峰值；所述步骤s2中呼吸特征编码包括呼吸间隔与相位。

5、优选地，所述步骤s32中多模态神经网络训练的损失函数为：

6、。

7、优选地，所述y值收集方式为：采用耳部磁吸式ppg夹子收集器、或ecg胸带式心率监测器进行y值收集。

8、本发明还提供了一种多源生理信号融合的处理方法，包括以下步骤：s1.对ppg、imu和呼吸信号提取时域、频域及质量特征，构成多模态特征向量；s2. 利用时间-模态旋转位置编码，将不同采样率的特征映射至统一的时间对齐表征空间，其中编码频率根据模态动态特性缩放；s3.将ppg特征序列作为查询，与imu和呼吸特征序列进行交叉注意力计算，生成融合特征；s4.通过门控路由网络对融合特征进行动态专家分配，输出消除运动伪影的生理参数。

9、优选地，时间-模态旋转位置编码由下式定义：

10、。

11、优选地，所述交叉注意力计算采用缩放点积注意力，键值对由imu和呼吸序列拼接提供，查询来自ppg序列。

12、本发明还提供了一种智能可穿戴设备，包括处理器和存储器，所述智能可穿戴设备用于执行前述任一项的方法。

13、有益效果

14、本发明通过ppg信号、imu信号与呼吸信号形成多源生理信号作为判断的基础。同时通过新构建的多模态神经网络对ppg信号、imu信号与呼吸信号进行去噪处理得到干净的ppg波形、心率和呼吸率，从而为后续数据的判断提供干净、无干扰的判断数据。

15、多模态神经网络的真值数据采用宠物耳部采集的数据，使多模态神经网络后续输出的数据更接近耳部数据。就数据采集部位而言耳部数据更优于腹部数据，但由于宠物智能设备在穿戴时穿戴在耳部对宠物造成身体的不适，因此只能穿戴在腹部等其他部位，造成采集数据先天的缺陷，本发明的多模态神经网络的真值数据采用宠物耳部采集到对数据进行对比弥补了该点缺陷。

16、总体而言，本发明具有以下优点：1. 轻量高效：整个网络参数量可控制在100kb以内，能在cortex-m4级mcu或低功耗npu上实时运行。 2. 自适应对齐：通过时间-模态旋转位置编码，无需手动设计同步算法，网络可端到端学习对齐关系。3. 动态抗伪影：路由机制根据运动强度和信号质量，自动激活最适配的降噪专家，显著提升跑步等场景下的心率监测精度（经测试，平均绝对误差可降低40%以上）。 4. 框架通用：统一表征思想可直接扩展至其他传感器模态，具备良好的技术继承性。

1.一种基于多模态特征及多源生理信号融合的信号处理方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于多模态特征及多源生理信号的宠物胸背信号处理方法，其特征在于：

3.如权利要求1所述的一种基于多模态特征及多源生理信号的宠物胸背信号处理方法，其特征在于：

4.如权利要求1所述的一种基于多模态特征及多源生理信号的宠物胸背信号处理方法，其特征在于：

5.多源生理信号融合的处理方法，其特征在于，包括以下步骤：

6.如权利要求5所述的多源生理信号融合的处理方法，其特征在于：

7.如权利要求5所述的多源生理信号融合的处理方法，其特征在于：

8.一种智能可穿戴设备，其特征在于：包括处理器和存储器，所述智能可穿戴设备用于执行权利要求1-7任一项所述的方法。