一种基于图像识别的肿瘤患者护理状态检测方法

本发明涉及图像识别，尤其涉及一种基于图像识别的肿瘤患者护理状态检测方法。

背景技术：

1、在肿瘤患者的化疗护理中，静脉输液往往需要持续数小时，患者常在输液过程中入睡，输液肢体随睡姿自由变动。计算机视觉与图像识别技术已被引入病房，用以在不接触患者的前提下感知输液与护理过程。一类做法在滴壶处布设图像采集装置，通过对滴壶区域的图像分析统计液滴滴落的快慢，据此判断输液是否顺畅，如公开号为cn113975535a的专利公开的方案，以图像传感器观测滴注腔内液滴的形成，对所采集图像进行分析以估计流量，并据估计结果调节输液流速；另一类做法在输液泵上以压力信号监测管路阻断，在压力越限时发出报警；还有一类做法借助人体姿态识别，如公开号为cn114067358a的专利公开的方案，对图像中的人体进行骨骼关键点检测，依据关键点的相对位置关系判定人体姿态，用于跌倒、离床等护理事件的识别。这些技术分别覆盖了滴速、管路压力与人体姿态三条线索。

2、然而在化疗输液这一具体场景里，三条线索各自为政，处理不了输液肢体因睡姿变动而反复发生的通断。以一名腋窝淋巴结清扫术后、患侧上肢存在淋巴水肿的患者为例：她在夜间输液时侧身入睡，输液侧手臂压在躯干下方或肘部深度弯曲，管路与静脉一并受压，过流随之减小，滴壶内液滴变稀甚至停落；片刻后她翻身、手臂离开受压位置，管路复通，液滴又恢复如常。这样时通时断的过程落到滴速图像监测上，只看到滴速一会儿慢、一会儿快，无从得知快慢的缘由；落到输液泵压力报警上，则表现为反复触发又反复自行解除的报警，值班人员多次查看未见持续异常，逐渐将其当作误报而静音；落到姿态识别上，化疗患者因消瘦、水肿、术后体表改变而体态偏离常人，基于常规人体模型训练的关节关键点估计在这类非典型体态上频频失准，姿态线索本身也不可靠。三条线索都在，却没有一条能把“肢体进入某个位置、滴速随之变慢、肢体离开该位置、滴速又恢复”这一前后咬合的因果串联起来。

3、受压反复发生带来的后果并不止于反复报警。化疗药物多为发疱性药物，一旦管路受压导致下游静脉压升高、血液回流入管，或药液自受损血管渗入皮下，患侧肢体又因淋巴水肿与感觉减退而对疼痛与胀感反应迟钝，患者常无从主诉；护士只能靠定时巡视用肉眼观察穿刺点，等到穿刺点已明显肿胀才被发现，组织损伤往往已经形成。于是同一床位上，反复的滴速波动被当成误报放过，真正危险的回血与外渗又因缺少主诉和及时观察而被延误，护理状态究竟处在正常、体位性反复受压、还是已经危及肢体的阶段，现有各条线索无法给出判断。要在不增加穿戴式传感、不依赖患者主诉的前提下，把这几种护理状态从同一路视频图像里可靠地区分开来，成为化疗输液护理亟待解决的问题。

技术实现思路

1、本发明要解决的技术问题是提供一种基于图像识别的肿瘤患者护理状态检测方法，用于对肿瘤患者化疗输液中输液肢体因睡姿变动而反复发生的输液通断进行归因，并区分护理状态。

2、为了达到上述目的，本发明采取以下技术方案：

3、一种基于图像识别的肿瘤患者护理状态检测方法，包括：

4、由部署在床旁的智能芯片采集肿瘤患者化疗输液场景的视频图像，所述智能芯片集成有图像处理器，通过图像分割从所述视频图像中分割出滴壶区域与输液肢体区域；

5、对所述滴壶区域按时间顺序进行对象识别，逐帧识别下落的液滴，并按滑动时间窗统计单位时间内的液滴数量，得到滴速节律序列；

6、对所述输液肢体区域进行肢体行为特征识别，逐帧确定所述输液肢体所处的位姿类别，所述位姿类别包括压迫输液通路的阻断位，得到位姿状态序列；

7、将所述滴速节律序列与所述位姿状态序列按时间对齐，当所述滴速节律序列中单位时间内的液滴数量降至第一阈值以下的时段、与所述位姿状态序列进入所述阻断位的时段在时间上重合，且所述液滴数量与所述位姿状态在所述输液肢体离开所述阻断位后一并恢复时，将上述重合与恢复记为一次位姿-滴速反相事件；

8、当设定时长内所述位姿-滴速反相事件的次数不低于设定次数时，输出所述肿瘤患者的护理状态为体位性间歇阻断。

9、可选的，所述逐帧识别下落的液滴，并按滑动时间窗统计单位时间内的液滴数量，得到滴速节律序列，包括：

10、对所述滴壶区域进行相邻帧的图像差分，将所述图像差分的结果中出现的、自上而下移动的连通亮度变化区域识别为一个下落的液滴；

11、以设定长度的滑动时间窗在时间轴上滑动，将每个所述滑动时间窗内识别到的液滴数量作为所述滑动时间窗的单位时间内的液滴数量，按时间顺序排列得到所述滴速节律序列；

12、将所述肿瘤患者的护理状态正常时段的单位时间内的液滴数量作为基准滴数，将所述基准滴数的设定比例确定为所述第一阈值。

13、可选的，所述对所述输液肢体区域进行肢体行为特征识别，逐帧确定所述输液肢体所处的位姿类别，包括：

14、对所述输液肢体区域提取所述输液肢体的关节关键点位置与输液管路的走向，作为肢体行为特征；

15、所述位姿类别包括正常位与所述阻断位，当所述肢体行为特征满足以下至少一种情形时，将所述输液肢体所处的位姿类别确定为所述阻断位，否则确定为正常位：所述输液肢体的肘部弯曲角度小于设定角度、所述输液肢体被躯干压覆、所述输液管路在所述输液肢体处出现弯折。

16、可选的，所述在时间上重合，且所述液滴数量与所述位姿状态在所述输液肢体离开所述阻断位后一并恢复，包括：

17、将所述滴速节律序列中所述液滴数量降至所述第一阈值以下的时段确定为降速时段，将所述位姿状态序列中进入所述阻断位的时段确定为阻断位时段；

18、当所述降速时段与所述阻断位时段在时间轴上的重叠时长占所述阻断位时段的比例不低于设定比例时，判定所述降速时段与所述阻断位时段在时间上重合；

19、当所述输液肢体离开所述阻断位后的设定时间内，所述单位时间内的液滴数量回升至所述第一阈值以上时，判定所述液滴数量与所述位姿状态一并恢复。

20、可选的，还包括对护理状态的区分判定：

21、当所述滴速节律序列中所述液滴数量降至所述第一阈值以下、而同一时段所述位姿状态序列未进入所述阻断位时，输出所述肿瘤患者的护理状态为非体位因素的输液异常；

22、当所述滴速节律序列中所述液滴数量降至所述第一阈值以下、且在所述输液肢体离开所述阻断位后未回升时，输出所述肿瘤患者的护理状态为持续性阻断。

23、可选的，所述肢体行为特征识别由行为识别模型完成，所述行为识别模型的构建包括：

24、以标注了位姿类别的输液肢体区域图像序列作为训练样本，每一所述训练样本的输入为一段输液肢体区域图像序列，输出为所述输液肢体所处的位姿类别，训练标签为与所述位姿类别同名的位姿类别标签；

25、采用监督学习方式，以所述训练样本对所述行为识别模型进行参数优化，使所述行为识别模型建立由所述输液肢体区域图像序列到所述位姿类别的映射。

26、可选的，还包括基于管内回血柱的升级判定：

27、通过图像分割从所述视频图像中分割出输液管路区段区域；

28、逐帧识别所述输液管路区段区域内出现的、朝向所述滴壶方向自下向上生长的暗红色连通区域，将所述暗红色连通区域记为管内回血柱，并测量所述管内回血柱朝向所述滴壶方向的爬升长度；

29、当所述肿瘤患者的护理状态为体位性间歇阻断、且所述管内回血柱的爬升长度不低于设定长度时，将所述护理状态由体位性间歇阻断升级为紧急阻断。

30、可选的，所述暗红色连通区域为所述输液管路区段区域内色度落入预设血液色域、且在连续多帧图像中沿所述滴壶方向持续延伸的连通像素区域；

31、所述爬升长度为所述暗红色连通区域沿所述输液管路的走向、由起始帧至当前帧的延伸长度；

32、当所述爬升长度在设定时长内单调增大且不低于所述设定长度时，判定出现所述管内回血柱。

33、可选的，还包括基于穿刺点自基线差分的外渗前兆判定：

34、以检测到所述肿瘤患者的护理状态为体位性间歇阻断作为触发条件，触发对穿刺点区域的分析；

35、将当前的穿刺点区域图像与所述穿刺点区域在护理状态正常时段采集的图像进行差分，将所述护理状态正常时段采集的图像作为自基线；

36、从所述差分的结果中识别局部隆起演变特征，所述局部隆起演变特征为所述穿刺点区域相对所述自基线出现的、面积扩大的凸起区域以及表面高光分布的变化；

37、当所述局部隆起演变特征中所述凸起区域的面积在设定时长内单调扩大时，输出所述肿瘤患者的护理状态为疑似药液外渗。

38、可选的，所述自基线为所述穿刺点区域在最近一段护理状态正常时段内多帧图像的逐像素中值图像；

39、所述凸起区域为所述差分的结果中亮度差异与纹理差异均超过设定差异条件、且相互连通的像素区域；

40、所述表面高光分布的变化为所述穿刺点区域内高光像素的位置与范围相对所述自基线出现的偏移；

41、当所述凸起区域的面积单调扩大、且所述表面高光分布出现所述偏移时，判定所述穿刺点区域出现所述局部隆起演变特征。

42、本发明的有益效果在于：

43、本发明把化疗输液中反复出现却无从归因的滴速波动，转化为可以明确判读的护理状态，解决了滴速图像监测只见快慢、不知缘由的问题。现有滴速图像监测仅统计液滴快慢，遇到时通时断只能反复报警；本发明在同一路视频图像里，既由滴壶区域统计出滴速节律序列，又对输液肢体区域做肢体行为特征识别得到位姿状态序列，并把两者按时间对齐，只有当滴速降低的时段与肢体进入阻断位的时段相互重合、且在肢体离开阻断位后一并恢复时，才记为一次位姿-滴速反相事件。这里对输液肢体区域的肢体行为特征识别由专门以标注了位姿类别的输液肢体区域图像训练的行为识别模型完成，不套用面向常规体态的通用人体模型，因而对化疗患者因消瘦、水肿、术后改变而偏离常人的体态仍能稳定判定位姿类别，为上述时间对齐提供可靠的位姿状态序列。滴速变慢之所以能被归因，是因为体位性受压天然具有进入受压位则过流减小、离开受压位则过流恢复的可逆对应关系，把这一对应关系作为判据，就把单纯的滴速波动升格为带有原因的事件，反复累计到设定次数即判定体位性间歇阻断，全程无需增设穿戴或压力传感元件。

44、本发明把反复触发又自行解除、以往被当作误报静音的报警，与真正的器械故障、持续阻断分了开来，避免了该响应时被忽略、不该响应时又频繁打扰的两难。对滴速降低但同一时段肢体并未进入阻断位的情形，判为非体位因素的输液异常；对滴速降低且肢体离开后仍不回升的情形，判为持续性阻断。三种情形依据的都是滴速与位姿在时间上的配合关系，而不是滴速一个量的高低，因此以往因缺少原因线索而被一律静音的报警，得以按缘由区别对待，减少了漏报与打扰。

45、本发明无需额外的血液传感元件，仅凭同一路视频图像即提前捕捉回血这一危险征兆。管路受压使下游静脉压升高时，血液会自穿刺点向滴壶方向回流入管；本发明复用已分割出的输液管路区段区域，逐帧识别管段内朝滴壶自下而上生长的暗红色连通区域，将其记为管内回血柱并测量爬升长度，一旦在体位性间歇阻断的基础上出现足够长度的回血柱，即把护理状态升级为紧急阻断。相比夹装在管路上的专用光电血液传感器，本发明把回血判断落在通用相机的图像上，既省去专用器件，又与滴速、位姿共用同一路图像，彼此互为印证。

46、本发明针对患侧肢体因淋巴水肿、感觉减退而无从主诉的特点，把药液外渗的发现从事后巡视提前到征兆阶段。化疗患者体表差异大，用统一模板判断穿刺点是否肿胀并不可靠；本发明改以穿刺点自身在护理状态正常时段的图像为自基线，且仅在检测到体位性间歇阻断时才触发对穿刺点区域的差分分析，识别相对自基线出现的、面积单调扩大的局部隆起以及表面高光分布的变化，据此输出疑似药液外渗。以患者自己为参照，回避了不同患者体表千差万别带来的误判；以体位性间歇阻断作为触发，又把分析集中在最可能发生外渗的时刻，既不必全程比对，也不必等到肉眼可见的明显肿胀才发现。

47、本发明把化疗输液护理状态自正常、体位性间歇阻断、紧急阻断到疑似药液外渗逐级区分开来，且全部识别在床旁本地完成、视频图像无需外传，保护了患者隐私。这一点得益于承担采集的智能芯片本身集成有图像处理器：图像处理器在床旁就地提供了运行图像分割、对象识别与肢体行为特征识别所需的算力，滴壶、输液肢体、输液管路区段与穿刺点四处图像线索的分工与咬合因而可以在同一芯片上就地完成，不必把视频图像上传至外部服务器。相比将采集图像回传云端集中处理的做法，这样省去了图像外传的带宽与部署开销，也从源头上避免了视频在传输与存储环节泄露患者隐私的风险。