一种基于服药场景视频识别的真实服药确认方法及系统
本发明涉及计算机视觉与智慧医疗,具体为一种基于服药场景视频识别的真实服药确认方法及系统。
背景技术:
1、随着智慧医疗与居家养老场景的不断普及,服药依从性监测已成为慢性病管理与老年监护的核心环节。现有的自动化监控手段正逐步向基于计算机视觉的无感化识别技术演进,以期通过摄像头直接捕捉患者的服药动作,从而判定其是否遵医嘱按时、足量服药。
2、然而,传统的服药行为视觉识别方案在实际复杂应用中暴露出诸多技术瓶颈。在底层动作识别阶段,由于服药对象在拿取药物时必然伴随手部伸入药盘等操作,现有视觉算法通常仅依据瞬时的空间重合度或目标数量变化进行判定。这种缺乏时间稳态考量的处理方式,容易受到肉体物理遮挡或光影变幻的干扰,导致目标检测网络将手部的短时覆盖误判为药物实体已经消失的假阴性漏检,进而引发取药事件的误触发,严重降低了系统的鲁棒性。
3、进一步地,现有方法在状态决策逻辑上过度依赖于肢体运动表象的轨迹追踪,通常仅通过判定伸手拿药到送往口部的纯动作序列完整性来直接得出已服药的结论。这种缺乏客观物理底座对账的逻辑链路存在致命漏洞,容易被表面动作所欺骗。例如,当患者不慎将药物遗撒,或者主观上在动作完成前将药物丢弃于身侧、大腿表面乃至假装吞咽时,纯视觉动作模型依旧会输出已服药的判定结果。由于未能强制引入动作发生前后的全局静态物理状态比对,系统无法防范此类欺骗路径。
4、除此之外,当系统疑似捕获到未服药或假服等异常状态、需要上传数据供远程医护人员进行人工复核时,现有技术始终面临着隐私保护与取证有效性的两难。若直接上传异常瞬间的原始图像,会严重侵犯患者的人脸与家庭环境等敏感隐私;而若采用常规的全局模糊或粗暴的裁剪黑边手段,又会连同脱手滑落或丢弃在桌面的细小药物实体一并抹除。这导致云端复核人员丧失了判断异常行为的关键物理空间证据,使得远程人工核验丧失了实际可操作性,无法达成医患闭环。
技术实现思路
1、针对现有技术的不足,本发明提供了一种基于服药场景视频识别的真实服药确认方法及系统,解决了现有服药视频识别方案仅依靠纯肢体动作表象易受手部物理遮挡干扰而产生误判,且无法防范因中途遗撒或假装吞咽等导致的假服欺骗行为,同时在异常状态取证上传时难以兼顾客观实体证据保留与患者人脸隐私保护的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:
3、本发明第一方面提供一种基于服药场景视频识别的真实服药确认方法,包括以下步骤:
4、获取服药计划,控制供药设备向出药承接区域释放药物,并记录实际出药数量作为基准值;
5、在预设的服药时间窗内采集包含所述出药承接区域和服药对象动作区域的服药场景视频流,并提取视频帧中的视觉空间特征,所述视觉空间特征包括药物目标、手部区域和口部区域的边界框;
6、根据连续视频帧中所述边界框的空间位置变化以及时序关系,生成服药行为事件序列,所述服药行为事件序列至少包括取药事件、送入口部事件和入口事件;
7、在所述服药行为事件序列执行完毕或所述服药时间窗结束后,对所述出药承接区域以及所述服药对象动作区域进行余药检测,获得余药数量;
8、根据所述实际出药数量、所述服药行为事件序列的完整性以及所述余药数量,综合判定并输出所述服药对象的真实服药状态。
9、本方面通过控制物理供药设备建立初始的实际出药数量基准,并在二维图像坐标系下追踪目标实体的边界框在连续视频帧间的时间与空间投影变化。该方法将底层的像素运动降维并映射为离散的动作事件节点,结合行为结束后的全局静态余药扫描,利用数值减法运算以及事件布尔状态组合,建立行为事件轨迹与物理残余状态的对账闭环,从而输出与客观事实相符的行为判定结果。
10、在一个具体实施例中,所述根据连续视频帧中所述边界框的空间位置变化以及时序关系,生成服药行为事件序列的具体逻辑包括:
11、当识别到所述手部区域的边界框与所述出药承接区域发生空间交叠,且在所述手部区域与所述出药承接区域交叠分离后的连续预设帧数内,所述出药承接区域内检测到的药物目标数量均稳定小于所述实际出药数量时,触发所述取药事件;
12、当识别到所述手部区域的边界框的中心点与所述口部区域的边界框的中心点之间的中心点距离在连续视频帧中呈现单调递减趋势,且最终的中心点距离小于预设距离阈值时,触发所述送入口部事件;
13、当在所述送入口部事件发生后,识别到所述手部区域的边界框与所述口部区域的边界框发生空间交叠,且交叠分离后所述手部区域的边界框的外围邻域未检测到所述药物目标时,触发所述入口事件。
14、通过计算实体边界框之间的空间交并比以及中心点坐标的二维平面欧氏距离,量化实体的物理接触与相对位移。引入局部区域像素检测作为状态转移的必要条件,消除了因视线遮挡造成的单一特征漏检引发的判定跳跃。
15、在一个具体实施例中,所述服药计划包括预期服药数量;所述根据所述实际出药数量、所述服药行为事件序列的完整性以及所述余药数量,综合判定并输出所述服药对象的真实服药状态的步骤包括:
16、当按时间先后顺序依次完整识别到所述取药事件、所述送入口部事件和所述入口事件,且所述余药数量等于所述实际出药数量与所述预期服药数量的差值时,判定所述真实服药状态为已完成服药;
17、当识别到所述取药事件和所述送入口部事件,但未触发所述入口事件时,或者,当依次完整识别到所述取药事件、所述送入口部事件和所述入口事件,但最终所述余药数量大于所述实际出药数量与所述预期服药数量的差值时,判定所述真实服药状态为疑似假服;
18、当在整个所述服药时间窗内未触发所述取药事件,且最终所述余药数量等于所述实际出药数量时,判定所述真实服药状态为疑似未服。该实施例利用多维异常状态捕获规则,将动作序列异常以及药物数量差值异常作为判断条件进行逻辑分支汇聚,阻断了通过视觉死角转移药物的判定路径。
19、优选的,所述方法还包括基于本地脱敏的云端复核步骤:
20、当判定所述真实服药状态为非已完成服药的异常状态时,截取引发所述异常状态的关键图像帧;
21、根据所述关键图像帧中所述手部区域的边界框、所述口部区域的边界框、所述关键图像帧中检测到的所述药物目标的边界框集合以及所述出药承接区域的坐标集合,构建联合掩膜矩阵;
22、利用所述联合掩膜矩阵对所述关键图像帧进行局部保留处理并模糊其余背景区域,得到脱敏图像;
23、将所述脱敏图像上传至云端服务器请求状态复核,并接收复核确认结果。
24、该方案通过生成包含肢体、动作区域及相关实体的二进制坐标掩码,并在该掩码的约束下执行哈达玛积矩阵运算,实现对图像无关背景区域的高斯滤波处理,从而在上传外网之前隔离物理环境及面部隐私像素。
25、优选的,所述提取视频帧中的视觉空间特征的步骤中,为了降低环境干扰,预先在采集到的视频画面中划定两个空间感兴趣区域;
26、所述空间感兴趣区域包括:
27、对应于所述出药承接区域物理位置的供药区域,以及对应于所述服药对象上半身预期活动范围的所述服药对象动作区域;后续所述边界框的提取操作限定在所述供药区域和所述服药对象动作区域内执行。
28、通过将卷积神经网络的前向推理计算范围约束在标定的像素点阵集合内,屏蔽了周边运动物体带来的目标检测引擎伪阳性输出。
29、本发明第二方面提供一种基于服药场景视频识别的真实服药确认系统,包括:
30、供药与基准建立模块,用于获取服药计划,控制出药执行单元向出药承接区域释放药物,并通过出药检测单元记录实际出药数量作为基准值;
31、其中,所述出药执行单元包括驱动机构以及与所述驱动机构联动的药物释放机构,所述药物释放机构用于在所述驱动机构的驱动下将药物释放至所述出药承接区域。
32、视频采集与特征提取模块,用于在预设的服药时间窗内采集包含所述出药承接区域和服药对象动作区域的服药场景视频流,并提取视频帧中的视觉空间特征,所述视觉空间特征包括药物目标、手部区域和口部区域的边界框;
33、时空事件分析模块,用于根据连续视频帧中所述边界框的空间位置变化以及时序关系,生成服药行为事件序列,所述服药行为事件序列至少包括取药事件、送入口部事件和入口事件;
34、余药检测模块,用于在所述服药行为事件序列执行完毕或所述服药时间窗结束后,对所述出药承接区域以及所述服药对象动作区域进行全局目标检测,获得余药数量;
35、状态综合判定模块,用于根据所述实际出药数量、所述服药行为事件序列的完整性以及所述余药数量,综合判定并输出所述服药对象的真实服药状态。
36、本系统方面通过组件协同,在物理设备端执行信息采集、状态转换与本地逻辑仲裁的闭环处理过程。
37、在一个具体实施例中,所述时空事件分析模块内置于边缘侧处理器中,所述时空事件分析模块具体包括:
38、目标检测引擎,用于对输入的连续视频帧进行处理,输出所述药物目标、所述手部区域及所述口部区域的边界框坐标数据;
39、时序状态跟踪器,用于在连续帧间跟踪目标特征,并计算所述边界框之间的空间交并比以及中心点距离的时序变化量;
40、事件触发生成器,用于将所述时序状态跟踪器计算得到的时序变化量根据逻辑规则量化为离散的所述取药事件、所述送入口部事件和所述入口事件。
41、通过模块分离设计,将底层图像张量运算与高层布尔逻辑判定解耦,满足硬件层面的数据流水线处理结构。
42、优选的,所述系统还包括隐私脱敏与云端复核模块;所述隐私脱敏与云端复核模块用于在所述状态综合判定模块输出的真实服药状态为非已完成服药的异常状态时,提取对应的关键图像帧,并利用所述关键图像帧中所述手部区域的边界框、所述口部区域的边界框、所述关键图像帧中检测到的所述药物目标的边界框集合以及所述出药承接区域的坐标集合生成联合掩膜矩阵;所述隐私脱敏与云端复核模块还用于通过哈达玛积运算利用所述联合掩膜矩阵对原始视频像素进行屏蔽变换得到脱敏图像,并将所述脱敏图像发送至云端服务器请求上级复核。
43、优选的,作为图像传输的替代,所述隐私脱敏与云端复核模块还用于将提取到的所述药物目标、所述手部区域及所述口部区域的边界框坐标序列,以及所述出药承接区域的坐标集合打包为脱敏坐标流数据文件,上传至所述云端服务器。
44、所述云端服务器用于基于所述脱敏坐标流数据文件,在人工审核终端动态还原代表手部、口部、出药区域及药物目标运动状态的二维框体骨架拓扑流动画,以供云端审核人员进行依从性复核判定。
45、该无图化处理机制阻断了二维像素矩阵的网络传输路径,降低了传输通信所需的网络带宽载荷。
46、在一个具体实施例中,所述系统还包括通信接口;
47、所述通信接口用于调用内置的网络控制器芯片,在所述真实服药状态为非已完成服药的异常状态时,将生成的脱敏图像或脱敏坐标流数据文件封包发送至云端服务器请求状态复核,并同步接收回传的复核确认结果。
48、该模块为系统的内部数据总线与外部通信网络建立了定时的异步数据传输协议层。
49、本发明提供了一种基于服药场景视频识别的真实服药确认方法及系统。具备以下有益效果:
50、1、本发明通过在取药事件判定中引入手部与出药区域空间交并比分离后连续多帧内目标数量稳定小于实际出药数量的时间消抖技术特征,从而有效滤除了因手部伸入药盘时产生的物理遮挡或光影干扰所导致的视觉假阴性漏检噪点,因此大幅提升了复杂动态场景下系统动作识别的鲁棒性与准确率。
51、2、本发明由于在基于肢体轨迹生成离散动作序列的基础上强制引入了全局静态余药检测机制,并将全局对账得出的实际摄入药物数量与预期服药数量进行闭环交叉比对,所以能够切断用户通过中途丢弃药物或假装吞咽等纯动作表象进行欺骗的路径,进而确保了最终输出的真实服药状态具备绝对可靠的客观物理事实支撑。
52、3、本发明利用包含手部、口部、药物目标边界框以及供药区域坐标的二维联合掩膜矩阵对关键异常图像帧执行哈达玛积局部保留与背景模糊变换,使得生成的脱敏图像在完全屏蔽患者人脸与环境背景的同时完整保留了药物滑落或遗弃的物理空间证据,因而在满足严格隐私保护要求的前提下实现了云端人工准确复核的闭环可实施性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com