一种医疗器械包装SOP合规检测方法和系统与流程

摘要: 本发明涉及医疗器械质量控制与计算机视觉检测,具体而言,涉及医疗器械包装sop合规检测方法系统。背景技术:1、医疗器械消毒供应中心是医院感染防控的核心环节,负责复...
一种医疗器械包装SOP合规检测方法和系统与流程

本发明涉及医疗器械质量控制与计算机视觉检测,具体而言,涉及医疗器械包装sop合规检测方法系统。

背景技术:

1、医疗器械消毒供应中心是医院感染防控的核心环节,负责复用医疗器械的回收、清洗、配装、包装、灭菌与发放全流程管理。其中包装工序直接决定灭菌效果的可靠性,按照医疗质控规范要求,器械包必须执行双层无纺布包裹、粘贴化学指示带等标准操作流程(sop),典型工序依次为放置器械包、包裹内层无纺布、包裹外层无纺布、粘贴指示带、放回原处五个步骤。若内层无纺布遗漏或工序错序,将直接导致灭菌失效,引发院内感染风险。

2、目前针对医疗器械包装工序的合规检测主要依赖人工抽检与普通视觉检测方案,存在以下显著缺陷:

3、物理感知盲区:现有视觉检测技术无法直接判断内层包装是否遗漏,存在本质性检测盲区;自动化程度低:现有视觉检测方案多需人工点击触发检测,易遗忘触发步骤,导致漏检率高,无法实现全流程无感监控;部署门槛高:高精度动作识别模型体积庞大,依赖gpu算力加速,无法在车间普遍配置的无gpu普通工控机或嵌入式边缘设备上实时运行,部署与运维成本高;检测精度不足:一方面内层与外层包裹动作视觉特征高度相似,易产生误判;另一方面单模型同时执行目标检测与关键点检测多任务时,存在特征竞争问题,导致各任务精度同步下降。

技术实现思路

1、本发明的目的在于提供一种医疗器械包装sop合规检测方法和系统,通过动作序列完整性反向验证内层包装合规性,从原理上解决视觉感知盲区问题;同时实现全自动无感检测、边缘端轻量化部署、高精度相似动作区分与全流程时序合规校验,满足医疗质控的高可靠性要求。

2、为解决上述问题,本发明首先提供了一种医疗器械包装sop合规检测方法,包括以下步骤:s1、采集医疗器械包装工位的实时视频流,对视频帧进行尺寸归一化预处理;s2、通过内置交互注意力机制的多任务联合检测模型对预处理后的视频帧进行同步检测,分别输出手部关键点特征与目标检测特征;所述目标检测特征至少包含器械包状态类别、无纺布、指示带的位置与类别信息;s3、基于所述手部关键点特征与所述目标检测特征计算手物交互几何特征,将所述手部关键点特征、目标检测特征与手物交互几何特征进行拼接融合,得到单帧融合特征向量;s4、提取连续多帧的融合特征向量,输入时序分类网络进行动作识别,输出对应帧的动作类别;s5、通过预设的标准操作流程状态机,对所述动作类别进行时序合规性校验,校验维度包括动作执行顺序、跳步、漏步与回退操作;s6、若判定动作流程不符合预设标准时,则发出告警信号;若判定动作序列按预设标准完整执行全部工序,则判定包装操作合规。

3、进一步的,所述多任务联合检测模型基于改进的yolo检测模型构建,所述交互注意力机制的处理流程包括:对模型颈部网络输出的各尺度共享特征图,分别通过独立卷积分支生成手部注意力热图与器械包注意力热图;将手部注意力热图作为空间注意力权重与原共享特征图进行加权运算,生成手部关键点检测任务的专属增强特征图;将器械包注意力热图经1×1卷积投影后与原共享特征图进行加权运算,生成目标检测任务的专属增强特征图;两类任务专属增强特征图分别输入对应的检测分支,实现多任务特征解耦与交互增强;所述交互注意力机制通过交互一致性损失进行训练约束,所述交互一致性损失包括空间对齐损失与特征一致性损失;所述空间对齐损失用于约束所述手部注意力热图的重心与所述各器械包类别注意力热图的重心在空间位置上趋近,拟合手与操作对象的空间位置关联;所述特征一致性损失用于约束手部注意力高响应区域内,手部增强特征图与目标增强特征图的特征分布趋近。

4、进一步的,步骤s3中所述手物交互几何特征至少包括:手部中心与目标中心的相对距离特征、手部外接区域与目标检测框的重叠面积特征、手部与目标的相对角度特征。

5、进一步的,步骤s4中所述时序分类网络采用长短期记忆网络;对网络输出的动作类别采用滑动窗口取众数的滤波策略,将滑动窗口内出现频次最高的动作类别作为最终动作识别结果。

6、进一步的,所述状态机的状态按工序顺序依次设置为:等待放置器械包状态、等待包裹内层无纺布状态、等待包裹外层无纺布状态、等待粘贴指示带状态、等待放回原处状态;所述状态机仅允许按工序顺序正向状态转移,当检测到跳步、漏步、回退、错序的异常动作时,触发实时告警且不进行状态重置;当完整执行全部五步工序且校验通过后,状态机自动重置并进入下一轮检测周期。

7、进一步的,还包括动态帧率控制步骤:系统默认以第一低帧率运行目标检测;当连续多帧检测到预设的操作目标时,自动切换至第二高帧率启动全流程合规检测;当检测到工序结束且持续无操作达到预设时长后,自动恢复至第一低帧率运行。

8、进一步的,所述多任务联合检测模型的训练数据集采用半自动合成方式构建:采用预训练的手部关键点检测模型自动生成图像的手部关键点标注,采用人工标注方式生成图像中目标的边界框标注;将两类标注合并为统一格式,构成包含手部关键点与目标检测两类标注的训练样本。

9、本发明还提供了一种医疗器械包装sop合规检测系统,包括:视频采集预处理模块,用于采集医疗器械包装工位的实时视频流,并对视频帧进行尺寸归一化预处理;多任务联合检测模块,内置有带交互注意力机制的多任务检测模型,用于对预处理后的视频帧同步执行手部关键点检测与目标检测,并输出手部关键点特征与目标检测特征;交互特征融合模块,用于根据手部关键点特征与目标检测特征计算手物交互几何特征,并拼接生成单帧融合特征向量;时序动作识别模块,用于基于连续多帧的融合特征向量进行时序动作分类,输出当前动作类别;sop时序校验模块,内置预设的标准操作流程状态机,用于对连续输出的动作类别进行时序合规性校验,识别动作顺序错误、跳步、漏步与回退异常;内层包装反向验证模块,用于在状态机判定动作序列按序完整执行全部工序时,输出内层无纺布包装操作合规的验证结果。

10、进一步的,所述多任务联合检测模块中的多任务检测模型基于改进的yolo检测模型构建,包含目标检测分支与手部关键点检测分支;所述交互注意力机制用于生成两类任务的专属增强特征图。

11、进一步的,还包括动态帧率控制模块与告警记录模块,所述动态帧率控制模块用于根据场景目标检测结果动态切换检测帧率:无操作目标时维持低帧率运行,检测到操作目标时切换至高帧率进行全流程检测;所述告警记录模块用于在检测到sop时序异常时触发实时告警,并自动记录完整动作序列数据用于质控追溯。

12、与现有技术相比,本发明具有以下有益效果:

13、突破视觉感知盲区,本发明首创通过sop动作序列完整性反向推演内层包装合规性的技术路径,无需直接观测内层无纺布即可验证其是否完成包裹,从原理上解决了包装内部不可见的检测难题;

14、全流程自动化运行,系统自动触发检测、自动识别校验、完成后自动重置,无需操作人员进行任何额外操作,不改变原有作业习惯,有效避免人工触发导致的漏检问题;

15、边缘轻量化部署,大幅了降低应用门槛,通过单模型多任务联合设计、交互注意力机制优化与动态帧率控制策略,系统可在无gpu的普通cpu工控机上实现实时运行,显著降低了部署成本;

16、检测精度高,场景鲁棒性强,交互注意力机制有效缓解多任务特征竞争问题,提升相似动作的区分能力;结合时序网络与多帧众数滤波策略,整体动作识别准确率更高;

17、全流程可追溯,满足医疗质控要求,系统自动记录完整动作序列数据与校验结果,为医疗质控与院感追溯提供可靠依据,从源头降低包装不合格导致的灭菌失败风险。