面向护士实操考核的多模态数据时空耦合评价方法及系统

本发明涉及人工智能与医学教育交叉，具体为面向护士实操考核的多模态数据时空耦合评价方法及系统。

背景技术：

1、在医学教育与培训体系中，对培训及考核过程的规范化校验是保障护理人才培养质量的基础。目前的实操考核评价方案主要依赖基于培训节点数据集的流程校验机制，通过自动化处理出勤记录、轮转时长、签核信息等结构化的教务数据来生成合规性评价，该方式在一定程度上减少了人工审核的主观性。

2、然而，现有的考核评价方法在数据维度和因果逻辑关联上存在局限。现有技术本质上属于基于行政与教务维度的流程记录，未能有效覆盖实操考核现场产生的多模态感知数据，如多路视频流、物品交互轨迹、第一视角微操作细节以及医学模拟人的生理反馈波形。由于缺乏对多模态数据的整合，现有技术无法在因果层面实现视频画面、生理参数与操作事件的精准耦合。在重症监护室连续性肾脏替代治疗上机、创伤急救等专科护士考核场景中，决定考核对象临床决策能力的关键指标往往是病理变化发生后做出正确干预的响应时延、无菌屏障被破坏的具体视频帧时刻，以及操作手法是否符合空间几何规范。这些核心能力的客观量化必须依赖带有精确时间锚点的多模态原始感知数据，而现有的单一教务日志评价系统无法提供此类可追溯的数据量化依据。

3、此外，在客观结构化临床考试（objective structured clinical examination，osce）考站的实际部署中，广泛采用的低成本工程形态通常为多路摄像设备通过独立usb链路接入主控机，设备之间缺乏外部硬件时码同步机制。同时，高保真医学模拟人的生理数据通常只能在考核结束后离线导出，这种硬件架构导致音视频流与生理数据流的时钟源完全解耦。为了应对数据异步问题，现有技术要么选择妥协，仅支持单模态的录像回看而放弃多模态数据对齐；要么强依赖于高昂的实时硬件同步方案。昂贵的硬件同步方案不仅工程侵入性强、部署成本高，且难以实现大规模推广，无法满足专科护士日常大规模实操考核中对于低成本硬件与高精度因果评价的综合需求。

4、因此，亟需一种能够在无专用硬件同步条件下，实现多模态数据时空精准对齐与操作合规性自动校验的评价方法及系统。

技术实现思路

1、针对现有技术的不足，本发明提供了面向护士实操考核的多模态数据时空耦合评价方法及系统，本发明解决的技术问题在于，现有护理实操考核评价方法难以将实操现场采集的视频画面、操作事件与医学模拟人生理参数统一到同一时间轴；在无外部硬件时钟同步机制下，异步摄像设备与医学模拟人之间的时钟漂移和随机丢帧会造成异构数据时序错位，导致难以客观量化决策干预时延，也难以追溯无菌屏障破坏等违规时刻。

2、为解决上述问题，本发明提供如下技术方案：

3、本发明第一方面提供面向护士实操考核的多模态数据时空耦合评价方法，包括：

4、响应于考核启动指令，接收多路摄像装置的视频流，提取包含图像帧的视频帧序列，为所述图像帧分配视频时间戳并建立视频时间轴；

5、获取高保真医学模拟人输出的包含内部时钟采样时刻的离线生理数据包；

6、按预定义的物理位移事件识别所述视频帧序列中的物理事件，并对所述物理事件对应的所述视频帧序列执行动作峰值检测，定位物理可观测操作动作锚点帧；

7、从所述离线生理数据包中提取与所述物理事件对应的生理采样时刻，将所述物理可观测操作动作锚点帧的视频时间戳和所述生理采样时刻配对为锚点对；

8、基于所述锚点对拟合仿射漂移模型，将所述内部时钟采样时刻映射至基准为所述视频时间轴的统一时间轴；

9、在所述统一时间轴上确定操作事件对应的视频帧区间和生理采样子集，并对所述操作事件执行aoi注意力与操作链耦合关系判定、无菌屏障判定和决策响应时延判定，生成评价结果。

10、优选的，为所述图像帧分配视频时间戳包括：

11、记录系统启动时刻，并基于所述系统启动时刻建立所述视频时间轴；

12、采用异步非阻塞方式接收所述视频流；

13、捕获所述图像帧写入物理内存时的当前时刻的系统单调时钟状态，将所述系统单调时钟状态作为所述视频时间戳，并将所述视频时间戳与所述图像帧绑定存储；

14、在所述视频流发生随机丢帧的状态下，根据后续到达图像帧对应的视频时间戳确定所述后续到达图像帧在所述视频时间轴中的位置。

15、优选的，所述动作峰值检测包括：

16、对所述视频帧序列执行视觉分析，提取手部骨骼关键点的空间位移幅度和所述视频帧序列中连续图像帧之间的光流变化特征中的至少一种特征量；

17、搜索所述特征量的局部极大值；

18、当所述局部极大值达到设定的动态阈值时，将所述局部极大值对应的视频帧作为所述物理可观测操作动作锚点帧，所述动态阈值用于判定所述局部极大值是否构成操作动作峰值。

19、优选的，所述aoi注意力与操作链耦合关系判定包括：

20、获取预定义考核场景的感兴趣区域；

21、从所述图像帧中提取头部姿态特征向量，确定注意力朝向近似落点，判定所述注意力朝向近似落点所属的感兴趣区域并累计停留时长，形成停留时长向量；

22、获取当前操作阶段内发生的所述操作事件，将所述停留时长向量与所述操作事件绑定为注意力与行为数据对；

23、获取预定义偏离集包含的偏离规则，所述偏离规则包含操作事件、以及由考核规范、专家经验标定结果或历史合格样本统计结果确定的阈值；

24、当所述注意力与行为数据对满足任一所述偏离规则时，生成注意失配标记。

25、优选的，在提取所述头部姿态特征向量之前，所述方法还包括：

26、建立与所述感兴趣区域对应的感兴趣区域多边形掩码；

27、输出引导指令，记录所述引导指令对应的起止时间戳；

28、根据所述起止时间戳在所述视频流中截取包含考生头部区域的图像帧序列，剔除所述包含考生头部区域的图像帧序列中处于头部姿态偏转过程的首尾设定时间段的过渡图像帧，所述首尾设定时间段为0.5秒至1.0秒；

29、提取中间时段的图像帧生成标定基准帧序列；

30、将所述标定基准帧序列输入头部姿态估计模型，生成基准头部姿态特征向量。

31、优选的，所述无菌屏障判定包括：

32、从所述图像帧中提取手套轮廓掩码和无菌区掩码；

33、对所述无菌区掩码执行逐像素取反操作，生成非无菌区域补集掩码；

34、获取所述手套轮廓掩码与所述非无菌区域补集掩码的交集区域，并提取所述交集区域中连通域的像素面积作为越界面积；

35、当所述越界面积超过根据所述图像帧的空间分辨率确定的越界面积阈值，且持续状态满足预设持续判定条件时，触发无菌屏障破坏信号；

36、所述预设持续判定条件包括连续帧数条件和持续时间条件中的至少一种。

37、优选的，所述仿射漂移模型包括尺度因子和截距参数；

38、拟合所述仿射漂移模型包括：

39、将所述锚点对作为候选锚点对，对所述候选锚点对执行拟合校验生成拟合残差，剔除所述拟合残差超过残差阈值的候选锚点对，将保留的候选锚点对作为有效锚点对，所述残差阈值用于表征候选锚点对允许时间对齐偏差的上限；

40、当所述有效锚点对的数量为多个时，执行多锚点仿射漂移模型拟合操作；

41、当所述有效锚点对的数量为一个时，将所述尺度因子设定为一，并基于单一有效锚点对计算所述截距参数，执行常数级时间平移补偿操作；

42、当所述有效锚点对的数量为零时，不执行所述离线生理数据包与所述视频时间轴的强耦合评分。

43、优选的，所述决策响应时延判定包括：

44、从映射至所述统一时间轴的所述离线生理数据包中读取生理参数时间序列，所述生理参数时间序列包括血压、血氧和心率中的至少一种；

45、当所述生理参数时间序列满足临床考核事件对应的生理参数阈值组合和采样窗口时，将越限起始采样点确定为病理拐点；

46、获取所述病理拐点对应的有效干预事件集合，定位所述视频帧序列中对应所述有效干预事件集合的有效干预起始帧；

47、基于所述有效干预起始帧对应的视频时间戳，与所述病理拐点映射至所述统一时间轴上的时刻进行差分计算，提取决策响应时延；

48、当所述决策响应时延超过由专科护士实操考核规范确定的决策时延阈值时，生成决策迟滞扣分项。

49、优选的，生成所述评价结果之后，所述方法还包括：

50、获取预定义专科操作有向图，所述预定义专科操作有向图包含操作节点、有向边、与所述操作节点对应的疗效分许可标志位、以及与所述操作节点对应的原始生理疗效得分；

51、当基于所述评价结果确定任一所述操作节点触发所述无菌屏障破坏信号时，提取以所述操作节点为起点的全部下游操作节点作为下游操作节点集合，所述下游操作节点集合包括所述操作节点和从所述操作节点出发沿所述有向边可达的全部下游操作节点；

52、将所述下游操作节点集合中各操作节点对应的疗效分许可标志位置为false，并阻断所述下游操作节点集合中各操作节点对应的原始生理疗效得分的传递；

53、基于所述评价结果提取违规事件对应的视频时间戳作为扣分锚点，所述违规事件包括所述无菌屏障破坏信号，生成包含所述扣分锚点的扣分清单；

54、根据所述扣分清单截取视频片段，将所述视频片段与标注图层结合生成结构化复盘视频文件，聚合多个所述扣分清单生成群体能力热力图。

55、本发明第二方面提供一种面向护士实操考核的多模态数据时空耦合评价系统，用于执行所述方法，所述评价系统包括硬件层和逻辑处理层；

56、所述硬件层包括主控终端和多路摄像装置；

57、所述主控终端用于获取高保真医学模拟人输出的包含内部时钟采样时刻的离线生理数据包；

58、所述逻辑处理层部署于所述主控终端，所述逻辑处理层包括多模态感知终端层、边缘计算处理层、智能评价层和教学反哺层；

59、所述多模态感知终端层用于接收所述多路摄像装置采集的视频流；

60、所述边缘计算处理层用于从所述视频流中提取包含图像帧的视频帧序列，为所述图像帧分配视频时间戳，建立视频时间轴，按预定义的物理位移事件识别物理事件并定位物理可观测操作动作锚点帧，拟合仿射漂移模型，并将所述内部时钟采样时刻映射至基准为所述视频时间轴的统一时间轴；

61、所述智能评价层用于执行多模态时空耦合评价，生成评价结果；

62、所述教学反哺层用于基于所述评价结果生成扣分清单、结构化复盘视频文件和群体能力热力图。

63、本发明提供了面向护士实操考核的多模态数据时空耦合评价方法及系统。具备以下有益效果：

64、1、本发明通过提取视频序列中的物理可观测操作动作锚点帧，并与离线生理数据包中同源的生理采样时刻建立配对，进而拟合仿射漂移模型进行跨时钟域映射。该方式在缺乏外部硬件同步信号的异步多路收集中，能够修正摄像装置与医学模拟人底板之间的固有晶振频偏及随机丢帧误差，实现了异构多模态数据在因果时间轴上的对齐，从而在降低考站专属硬件部署成本的前提下，为精准量化各项考核时延提供了基础的数据底座。

65、2、本发明通过在统一时间轴上计算病理拐点与有效干预动作之间的决策响应时延，并利用图像分割算法逐帧校验手套轮廓掩码与非无菌区域的交集面积，结合预定义专科操作有向图执行疗效分阻断判定。该机制将传统的考官经验评价转化为具体的时差数值与空间几何约束，并且在检测到无菌屏障破坏后，自动截断违规节点下游操作带来的模拟人生理改善加分，使系统的计分处理更加符合真实的临床医疗因果逻辑。

66、3、本发明通过头部姿态估计模型提取空间欧拉角以解算注意力朝向近似落点，统计其在预定义感兴趣区域内的停留时长并与具体操作事件绑定，同时基于扣分锚点自动剪辑关联视频片段并汇聚生成群体能力热力图。该方案无需引入额外的眼动仪硬件即可识别考生在操作前的情境感知缺失或专注度不足问题，最后输出的带时间戳结构化视频与统计数据，为后续排查实操动作细节和调整教学侧重点提供了客观的数据依据。