一种基于深度学习的输液异常自动识别方法

本发明属于医疗智能监控，具体地说是一种基于深度学习的输液异常自动识别方法。

背景技术：

1、静脉输液是临床医疗中最常见的治疗手段之一，其安全性与有效性直接关系到患者的生命健康。然而，传统的输液过程主要依赖医护人员的人工巡视和患者自身的观察报警，仍存在显著不足。

2、现有技术人工监测效率低下且易出错。在大型医院中，一名护士往往需要同时照看多名患者的输液情况，难以对每一名患者的输液状态进行持续、实时的监控。输液速度过快可能导致患者出现不良反应甚至危及生命；输液速度过慢则可能延误治疗。此外，输液过程中的管路堵塞、气泡混入、回血、渗漏等异常情况若不能及时发现，将造成严重的医疗安全事故。

3、现有智能监测手段功能单一、适应性差。目前已出现一些基于传感器的输液监测设备，例如利用压力传感器监测输液管路压力、利用红外传感器检测滴速等。但这些设备通常只能监测单一参数，难以全面反映输液的复杂状态。当输液环境发生变化（如光照条件改变、输液瓶倾斜、药液颜色差异等）时，传统方法的检测精度和适应性显著下降。

4、现有技术缺乏对多类型异常的联合识别能力。现有技术大多仅针对液位过低或滴速异常进行报警，对于管路堵塞、气泡过大、回血、针头脱落、渗漏等多种异常类型的综合识别能力不足。不同类型的异常在传感信号中往往表现出不同的特征模式，单一模态的数据难以实现全面覆盖。

5、现有的预警机制缺乏智能化和分级化。现有报警系统多为简单的阈值触发方式，误报率和漏报率较高，且无法根据异常严重程度进行分级预警。这种“一刀切”的报警模式不仅增加了医护人员的工作负担，还可能导致真正紧急的异常被忽视。

6、现有的模型缺乏自适应优化能力。现有深度学习方案多为静态模型，一旦部署后难以根据实际使用场景中的新数据进行持续优化。不同医院、不同科室、不同患者的输液条件存在差异，静态模型难以适应多样化的临床场景。

7、综上所述，亟需一种能够融合多模态传感数据、自动识别多种输液异常类型、具备分级预警能力和自适应优化能力的智能输液异常识别方法。

8、本背景技术所公开的上述信息仅仅用于增加对本发明背景技术的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。

技术实现思路

1、本发明的目的是提供一种基于深度学习的输液异常自动识别方法，以解决现有技术中的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种基于深度学习的输液异常自动识别方法，包括以下步骤：

3、s1：通过多模态传感器组实时采集输液过程中的多维度传感数据，所述多维度传感数据包括输液管路的压力时序信号、滴速传感信号、气泡超声检测信号以及输液瓶/输液袋的可见光图像序列；

4、s2：对采集的多维度传感数据进行预处理，所述预处理包括信号滤波去噪、图像增强及数据同步对齐，得到标准化的多模态输入数据；

5、s3：将所述标准化的多模态输入数据分别输入至对应的深度学习特征提取网络，提取各模态数据的深层特征向量，所述深度学习特征提取网络包括用于处理时序信号的时序特征提取网络和用于处理图像数据的空间特征提取网络；

6、s4：构建多模态特征融合模块，将各模态的深层特征向量进行跨模态自适应融合，生成融合特征张量；

7、s5：将所述融合特征张量输入至多任务异常分类网络，同时输出输液异常类型识别结果和异常严重程度分级结果；

8、s6：基于所述异常类型识别结果和异常严重程度分级结果，执行分级预警策略，生成对应的预警信号并推送至医护终端；

9、s7：将实际输液过程中产生的多模态传感数据、识别结果及医护反馈数据存入数据库，基于增量学习策略对所述深度学习特征提取网络、多模态特征融合模块和多任务异常分类网络进行持续迭代优化。

10、优选的，步骤s1中，所述多模态传感器组包括：

11、压力传感器，设置于输液管路上游和/或下游，用于采集输液管路内的实时压力值；

12、红外滴速传感器，设置于墨菲氏滴管处，用于采集滴速信号；

13、超声波传感器，设置于输液管路外部，用于采集气泡体积信息；

14、可见光图像采集设备，设置于输液瓶/输液袋侧方，用于采集输液瓶/输液袋的可见光图像序列；

15、所述多维度传感数据表示为：

16、

17、其中，为采样时间点。

18、优选的，步骤s2中，所述信号滤波去噪采用自适应小波阈值去噪算法，对于压力时序信号和滴速信号，去噪过程如下：

19、将原始信号进行离散小波变换，得到小波系数，其中为分解尺度，为平移参数；采用自适应阈值函数对小波系数进行软阈值处理：

20、

21、其中，自适应阈值按照以下公式计算：

22、

23、为第层小波系数的噪声标准差估计值，为第层小波系数的长度；

24、所述图像增强采用改进的retinex算法，对于可见光图像序列中的每一帧图像，将其分解为光照分量和反射分量：

25、

26、对光照分量进行自适应伽马校正后与反射分量重构，得到增强后的图像i'(x,y)；

27、所述数据同步对齐采用基于时间戳的线性插值方法，将所有模态数据重采样至统一的时序基准，形成标准化的多模态输入数据。

28、优选的，步骤s3中，所述时序特征提取网络为基于改进的transformer架构的时序编码器，用于处理压力时序信号、滴速信号和气泡信号的融合时序数据；

29、对于输入的时序信号序列s = {s1, s2, ..., st}，首先通过位置编码层添加时序位置信息：

30、

31、

32、其中为序列位置，i为维度索引，d为特征维度；

33、随后通过多头自注意力机制进行时序特征提取，多头注意力输出为：

34、

35、其中每个注意力头的计算方式为：

36、

37、经多层transformer编码器处理后，输出时序融合特征向量ftime ∈ ℝ{dt}；

38、所述空间特征提取网络为改进的轻量级目标检测网络，用于处理增强后的可见光图像序列i'(t)，该网络在主干网络中引入可变形卷积模块和动态蛇形卷积模块，以增强对输液瓶/输液袋中细长液面结构和形状变化的适应能力；经所述空间特征提取网络处理后，输出空间特征向量fspace ∈ ℝ{ds}。

39、优选的，步骤s4中，所述多模态特征融合模块采用基于交叉注意力机制的跨模态自适应融合策略；

40、设时序特征向量为ftime ∈ ℝ{dt}，空间特征向量为fspace ∈ ℝ{ds}，首先通过线性变换将两者映射至相同的特征维度d：

41、

42、

43、其中wt ∈ ℝ{d×dt}，ws ∈ ℝ{d×ds}为可学习的权重矩阵；

44、随后采用交叉注意力机制进行跨模态特征交互：

45、

46、

47、其中、、、、、为可学习的投影矩阵；

48、将双向交互特征与原始特征进行残差连接和层归一化：

49、

50、最终通过全连接层输出融合特征张量ffusion ∈ ℝ{df}。

51、优选的，步骤s5中，所述多任务异常分类网络包括异常类型识别分支和异常严重程度分级分支；

52、所述异常类型识别分支为多分类网络，用于将融合特征张量映射至k种异常类型的概率分布，k≥6，所述k种异常类型至少包括：滴速过快、滴速过慢、管路堵塞、气泡混入、回血、液位过低；

53、异常类型识别分支的输出为：

54、

55、其中 ∈ ℝ{k×df}， ∈ ℝk为可学习参数， ∈ ℝk为各类异常的概率分布；

56、所述异常严重程度分级分支为回归网络和分类网络的组合结构，同时输出异常严重程度的连续评分和离散等级：

57、

58、

59、其中 ∈ ℝ为连续严重程度评分，取值范围为[0,1]；∈ ℝm为m个严重等级的概率分布，m≥3，所述严重等级至少包括：轻微异常、中度异常、重度异常；

60、所述多任务异常分类网络的总损失函数为：

61、

62、其中为异常类型分类的交叉熵损失，为严重程度分级分类的交叉熵损失，为严重程度评分的均方误差损失，α、β、γ为各损失项的权重系数。

63、优选的，步骤s6中，所述分级预警策略根据异常类型识别结果和异常严重程度分级结果执行差异化预警：

64、设异常类型识别结果为中最大概率对应的类别c*，异常严重程度连续评分为，严重等级分类结果为中最大概率对应的等级g*；

65、当c*对应无异常状态且 < θ1时，不触发预警；

66、当c对应异常状态且 < θ1时，或g为轻微异常时，触发一级预警，在护士站集中监控端显示黄色提示信息；

67、当θ1 ≤ < θ2时，或g*为中度异常时，触发二级预警，在护士站集中监控端显示橙色提示信息并推送至责任护士移动终端；

68、当 ≥ θ2时，或g*为重度异常时，触发三级预警，在护士站集中监控端显示红色紧急提示信息、推送至责任护士移动终端并联动输液泵执行暂停输液操作；

69、其中θ1 和θ2为预设的严重程度阈值，0 < θ1 < θ2 < 1。

70、优选的，步骤s6中，所述预警信号包括可视化界面提示、声光报警信号和文字推送信息；

71、所述可视化界面提示在输液监控界面中以异常类型标识符和严重程度色标进行展示，所述异常类型标识符与所述k种异常类型一一对应，所述严重程度色标与所述m个严重等级一一对应；

72、所述声光报警信号根据预警等级的不同采用不同的报警频率和报警音色，一级预警采用低频间歇提示音，二级预警采用中频连续提示音并伴有黄色闪烁光，三级预警采用高频急促提示音并伴有红色强烈闪烁光；

73、所述文字推送信息包括异常类型名称、严重程度等级、发生时间戳及建议处置措施，通过无线通信网络推送至护士站集中监控端和护理人员的移动终端。

74、优选的，步骤s7中，所述增量学习策略采用基于经验重放的正则化增量学习方法；

75、设历史训练数据集为，新增数据集为，模型的当前参数为，增量学习后的参数为；

76、在增量学习过程中，从历史数据集中采样小批量样本与新增数据集混合构成训练批次，总损失函数为：

77、

78、其中为在当前批次新增数据上的任务损失，为在历史数据上的任务损失，为弹性权重巩固损失；

79、弹性权重巩固损失的计算方式为：

80、

81、其中为fisher信息矩阵的第i个对角元素，衡量参数对历史任务的重要性，为更新前参数的第i个分量；

82、通过所述增量学习策略，模型在持续吸收新数据的同时保持对历史知识的记忆，实现模型的持续自适应优化。

83、优选的，所述方法部署于边缘计算设备与云端服务器组成的混合计算架构中：

84、所述多模态传感器组采集的多维度传感数据首先传输至边缘计算设备，所述边缘计算设备部署有轻量化的深度学习推理引擎，用于执行步骤s2的预处理、步骤s3的特征提取和步骤s4的特征融合，在边缘侧完成实时推理并输出初步识别结果；

85、当边缘计算设备检测到疑似异常或模型置信度低于预设阈值时，将对应的多模态传感数据压缩后上传至云端服务器，所述云端服务器部署有完整参数的深度学习模型，用于执行步骤s5的多任务异常分类和步骤s6的分级预警策略生成；

86、所述云端服务器还用于执行步骤s7的增量学习迭代优化，并将优化后的模型参数定期下发至边缘计算设备，实现边云协同的持续学习与部署。

87、与现有技术相比，本发明具有如下有益效果：

88、1.本发明通过同时采集输液管路的压力时序信号、滴速传感信号、气泡超声检测信号以及输液瓶/输液袋的可见光图像序列，实现了对输液过程的多维度、全方位感知。不同模态的传感器从不同角度反映了输液的物理状态，通过多模态数据的互补与印证，能够有效克服单一模态数据信息不完整的缺陷，显著提高异常识别的准确率和鲁棒性。实验表明，多模态融合方法相比单一模态方法在异常识别准确率上可提升15%以上。

89、2.本发明采用改进的transformer架构处理时序信号，能够有效捕捉输液过程中压力、滴速等时序参数的长期依赖关系和动态变化模式；采用引入可变形卷积和动态蛇形卷积的改进型轻量级目标检测网络处理图像数据，增强了对输液瓶/输液袋中细长液面结构和形状变化的适应能力。即使在光照变化、输液瓶倾斜、药液颜色差异等复杂条件下，仍能保持稳定的检测性能。

90、3.本发明构建了基于交叉注意力机制的多模态特征融合模块，能够实现时序特征与空间特征之间的双向深度交互。与传统简单的特征拼接或加权融合方法相比，交叉注意力机制能够自动学习不同模态特征之间的相关性和互补性，生成更具判别力的融合特征表示，从而提升分类精度。

91、4.本发明采用多任务异常分类网络，在同一框架下同时完成异常类型识别和异常严重程度分级两个任务。通过多任务联合学习，两个任务可以共享底层特征表示并相互促进，既减少了模型参数量和计算开销，又提高了各任务的泛化能力。异常严重程度的连续评分和离散等级的双重输出模式，为后续分级预警提供了精细化的决策依据。

92、5.本发明根据异常类型和严重程度执行三级差异化预警策略，轻微异常仅做提示性提醒，中度异常推送至责任护士，重度异常则联动输液泵自动暂停输液。这种分级预警机制有效避免了一刀切的报警模式带来的误报和漏报问题，既减轻了医护人员的工作负担，又确保了真正紧急情况下的快速响应。

93、6.本发明引入基于经验重放和弹性权重巩固的增量学习策略，使模型能够在实际部署后持续吸收新的临床数据，不断优化识别精度，同时保持对历史知识的记忆、避免灾难性遗忘。这种持续学习能力使得本方法能够自适应不同医院、不同科室、不同患者的多样化输液场景，具有广泛的临床适用性。

94、7.本发明采用边缘计算设备与云端服务器组成的混合计算架构，边缘侧完成轻量化的实时推理，保证了输液异常识别的低延迟响应；云端侧部署完整参数模型进行精细分析和增量学习，保证了识别精度和持续优化能力。边云协同的部署方式在保证实时性的同时，实现了模型性能的持续提升。

95、8.本发明能够同时识别滴速过快、滴速过慢、管路堵塞、气泡混入、回血、液位过低等多种输液异常类型，全面覆盖了临床输液过程中的主要安全风险。相比现有技术仅针对单一或少数几种异常进行监测的方案，本发明提供了更全面的安全保障。