一种儿科急症的跨模态检测识别方法和系统

摘要: 本发明涉及智能医疗监护领域,尤其涉及一种儿科急症的跨模态检测识别方法和系统。背景技术:1、儿科急症感染进展极快,及时发现和早期预警至关重要。然而,婴儿无法明确表...
一种儿科急症的跨模态检测识别方法和系统

本发明涉及智能医疗监护领域,尤其涉及一种儿科急症的跨模态检测识别方法和系统。

背景技术:

1、儿科急症感染进展极快,及时发现和早期预警至关重要。然而,婴儿无法明确表述其感受,对于检查的配合度也低,在医疗监护的过程中难以迅速发现其急症感染情况。目前的婴儿监护中,可通过婴儿的哭泣、表情等表现进行预警分析,但这些信号均无法反映感染引发的代谢紊乱情况。代谢产物的呼出气检测在成人中已经成熟,但婴儿无法主动配合深吸气并用力呼出的标准采样动作,导致普通的呼出气检测无法应用。

技术实现思路

1、本申请的目的是提出一种儿科急症的跨模态检测识别方法和系统,以解决传统的单一模态检测难以有效识别婴儿的急症感染的问题。

2、本申请的儿科急症的跨模态检测识别方法包括:

3、获取婴儿的声音信号以检测是否出现哭泣事件并得到哭声振动信号;

4、在检测到哭声起始段时,触发呼出气化学传感阵列从第一工作模式切换至第二工作模式,以截取与哭泣动作关联的呼出气化学响应信号,所述第二工作模式的采样强度高于所述第一工作模式,所述第二工作模式至少持续整个哭泣阶段;

5、从所述呼出气化学响应信号中提取化学动态特征,并从所述哭声振动信号中提取声学传输特性特征;

6、将所述化学动态特征和所述声学传输特性特征输入至经训练的跨模态注意力网络,得到病理共变嵌入向量,所述跨模态注意力网络引入有基于已知病理生理通路的稀疏生理掩码,以约束化学模态与声学模态之间的注意力计算;

7、基于所述病理共变嵌入向量,确定出感染性急症风险识别结果。

8、可选的,所述从所述呼出气化学响应信号中提取化学动态特征包括:

9、根据所述呼出气化学传感阵列的各化学传感器通道获取到的瞬态响应曲线,提取出稳态响应值和瞬时波动斜率,构成呼出气化学动态图谱。

10、可选的,所述从所述哭声振动信号中提取声学传输特性特征包括:

11、对所述哭声振动信号提取小波包能量谱和线性预测倒谱系数,以捕捉声道共鸣腔物理变化所致的共振峰频率偏移与带宽变化。

12、可选的,所述稀疏生理掩码实现为稀疏生理掩码矩阵m,用于在所述跨模态注意力网络的交叉注意力模块中,对化学模态查询向量与声学模态键向量之间的注意力权重进行逐元素约束;

13、其中,仅当第i个化学传感器通道对应的目标代谢物与第j个声学频带对应的声道病变之间存在已知的病理生理通路关联时,m(i,j)=1,允许计算注意力;否则m(i,j)=0,禁止注意力连接;

14、并且,所述跨模态注意力网络的训练总损失函数包含正则项λ·||(1-m)⊙a||2,其中a为交叉注意力权重矩阵,λ为正则化系数,以惩罚所有不符合所述病理生理通路的跨模态注意力连接。

15、可选的,所述稀疏生理掩码矩阵m中至少定义有以下允许的注意力连接:

16、将检测硫化氢和短链脂肪酸的化学传感器通道,与2khz-4khz声学频带的注意力连接置为1;

17、将检测氨气的化学传感器通道,与0.5khz-1.5khz声学频带的注意力连接置为1;

18、将检测异戊二烯的化学传感器通道,与3khz-6khz高频谐波能量衰减模式的注意力连接置为1;

19、将各化学传感器通道,与表征情绪波动的声学频带的注意力连接强制置为0。

20、可选的,所述基于所述病理共变嵌入向量,确定出感染性急症风险识别结果包括:

21、获取所述婴儿在健康状态下建立的个体基线共变嵌入向量;

22、计算当前得到的所述病理共变嵌入向量相对于所述个体基线共变嵌入向量的马氏距离偏离度;

23、基于所述马氏距离偏离度,生成感染性急症风险评分作为所述识别结果。

24、可选的,所述呼出气化学传感阵列的所述第一工作模式为低功耗基线采样模式,传感器加热温度维持在第一温度,采样率为第一采样率;所述呼出气化学传感阵列的所述第二工作模式为高速瞬态采样模式,传感器加热温度提升至第二温度,采样率提升至第二采样率,其中所述第二温度高于所述第一温度,所述第二采样率高于所述第一采样率。

25、可选的,所述获取婴儿的声音信号以检测是否出现哭泣事件包括:

26、将所述婴儿的所述声音信号输入预训练的轻量级卷积神经网络以检测是否出现哭泣事件,所述卷积神经网络用于识别所述声音信号中是否包含满足设定特征的哭声起始段。

27、可选的,所述呼出气化学响应信号包括氨气、硫化氢、短链脂肪酸、异戊二烯中至少一种气体的瞬态响应曲线。

28、另一方面,本申请还提供一种儿科急症的跨模态检测识别系统,包括:

29、哭声检测单元,用于获取婴儿的声音信号以检测是否出现哭泣事件并得到哭声振动信号;

30、呼出气检测单元,用于在检测到哭声起始段时,触发呼出气化学传感阵列从第一工作模式切换至第二工作模式,以截取与哭泣动作关联的呼出气化学响应信号,所述第二工作模式的采样强度高于所述第一工作模式,所述第二工作模式至少持续整个哭泣阶段;

31、特征提取单元,用于从所述呼出气化学响应信号中提取化学动态特征,并从所述哭声振动信号中提取声学传输特性特征;

32、向量计算单元,用于将所述化学动态特征和所述声学传输特性特征输入至经训练的跨模态注意力网络,得到病理共变嵌入向量,所述跨模态注意力网络引入有基于已知病理生理通路的稀疏生理掩码,以约束化学模态与声学模态之间的注意力计算;

33、结果输出单元,用于基于所述病理共变嵌入向量,确定出感染性急症风险识别结果。

34、本申请提供的儿科急症的跨模态检测识别方法,实现声学和呼出气化学信息的跨模态检测,利用代谢产物与发声器官炎症之间的病理生理共变规律,使模型能捕捉单一模态无法感知的早期感染信号,大幅提前预警窗口。并且,通过哭泣触发样本采集,利用哭泣的强制呼气作用实现深部更浓的、更能够代表代谢状态的样本获取,哭泣声音与呼气样本的跨模态关联利用感染引发的化学-物理共变机理进行预警,使得本申请的方法实现了更有效、及时地发现儿科急症感染的效果。

1.一种儿科急症的跨模态检测识别方法,其特征在于,包括:

2.如权利要求1所述的儿科急症的跨模态检测识别方法,其特征在于,所述从所述呼出气化学响应信号中提取化学动态特征包括:

3.如权利要求1所述的儿科急症的跨模态检测识别方法,其特征在于,所述从所述哭声振动信号中提取声学传输特性特征包括:

4.如权利要求1所述的儿科急症的跨模态检测识别方法,其特征在于,所述稀疏生理掩码实现为稀疏生理掩码矩阵m,用于在所述跨模态注意力网络的交叉注意力模块中,对化学模态查询向量与声学模态键向量之间的注意力权重进行逐元素约束;

5.如权利要求4所述的儿科急症的跨模态检测识别方法,其特征在于,所述稀疏生理掩码矩阵m中至少定义有以下允许的注意力连接:

6.如权利要求1所述的儿科急症的跨模态检测识别方法,其特征在于,所述基于所述病理共变嵌入向量,确定出感染性急症风险识别结果包括:

7.如权利要求1所述的儿科急症的跨模态检测识别方法,其特征在于,所述呼出气化学传感阵列的所述第一工作模式为低功耗基线采样模式,传感器加热温度维持在第一温度,采样率为第一采样率;所述呼出气化学传感阵列的所述第二工作模式为高速瞬态采样模式,传感器加热温度提升至第二温度,采样率提升至第二采样率,其中所述第二温度高于所述第一温度,所述第二采样率高于所述第一采样率。

8.如权利要求1所述的儿科急症的跨模态检测识别方法,其特征在于,所述获取婴儿的声音信号以检测是否出现哭泣事件包括:

9.如权利要求1所述的儿科急症的跨模态检测识别方法,其特征在于,所述呼出气化学响应信号包括氨气、硫化氢、短链脂肪酸、异戊二烯中至少一种气体的瞬态响应曲线。

10.一种儿科急症的跨模态检测识别系统,其特征在于,包括: