一种基于多任务分类网络的新生儿肢体动作监控方法与流程

本技术涉及图像识别，尤其涉及一种基于多任务分类网络的新生儿肢体动作监控方法。

背景技术：

1、新生儿肢体动作监控通常依赖床旁摄像机、暖箱观察窗摄像机或视频脑电同步采集设备获得连续监护视频，与普通动作识别场景相比，新生儿肢体短小，远端动作幅度较弱，动作持续时间也较短，视频采集过程还会受到护理操作、遮挡变化和设备标记方式的影响，例如，在一次夜间监护过程中，新生儿下肢先出现短促抖动，随后护理人员进入画面整理襁褓并固定导管，事件按钮在护理人员观察到异常反应后才被触发，此时，监护系统记录的事件时间段可能覆盖抖动发生前后的较长视频范围，前段可能只有轻微可见动作，中段可能出现护理人员遮挡，后段可能已经恢复静止，对于该类视频，事件标记虽然能够反映一次监护事件的发生范围，但其中并非每一帧都包含可供图像识别模型学习的肢体动作证据，真实可见动作起止点与记录系统形成的事件时间段之间容易存在偏移。

2、现有新生儿动作监控方法通常采用视频帧检测、关键点跟踪、姿态估计、帧间运动分析或分类网络对肢体动作进行识别，也有方法在同一视频输入下同步输出动作类别、异常姿态和运动幅度，以便获得多维度监控结果，上述方法在视频片段边界清晰、事件标记与可见动作基本一致的条件下能够支持动作识别和监控提示，然而，在真实监护数据整理过程中，事件标记可能来源于护理记录、人工触发时间或同步监测设备标记，其时间范围并不总是与视频中可见肢体动作完全一致，当该时间范围未经可见动作证据校正即作为多任务分类网络的训练标签时，同一标注窗口内可能同时包含真实动作帧、护理遮挡帧、无明显运动帧和背景轻微扰动帧，此时，动作分类分支容易受到非肢体动作图像特征影响，姿态检测分支可能受遮挡状态牵引，运动幅度量化分支也可能因无运动帧占比增加而削弱真实动作边界，由此，在更换病房摄像头、床位视角或标注流程后，模型可能出现异常动作边界响应偏移，影响新生儿连续视觉监控中动作证据输出的稳定性。

技术实现思路

1、本技术提出了一种基于多任务分类网络的新生儿肢体动作监控方法，以解决背景技术中提出的问题。

2、为达到上述目的，本技术采用如下技术方案：一种基于多任务分类网络的新生儿肢体动作监控方法，包括如下步骤：

3、获取新生儿监护标注数据，对新生儿监护标注数据中的事件标记与历史监护视频帧执行时基校正，并按照事件来源对应的标记延迟范围修正校正后的事件标记，生成标签校正记录，标签校正记录用于限定历史监护视频中与事件标记对应的候选片段；

4、调用候选片段，采用目标检测网络截取新生儿身体区域中的候选肢体区域，对候选肢体区域的帧间位移执行背景运动抑制和连续性筛选，生成可见动作片段，并将满足背景同步条件、护理残留条件中至少一项条件的图像变化写入排除片段记录；

5、采用分支准入处理对可见动作片段和排除片段记录进行训练窗口分配，生成分支训练权重，并将存在事件标记且未形成可见动作片段的候选片段写入低视觉证据样本集，分支训练权重用于控制多任务分类网络中对应任务分支的训练贡献；

6、依据分支训练权重约束多任务分类网络的损失函数，训练得到新生儿肢体动作监控模型，并在实时监护视频的滚动窗口内复用分支准入处理对应的门控规则生成输出可信度，根据输出可信度输出新生儿肢体动作监控结果。

7、进一步的，时基校正包括：

8、基于历史监护视频帧的帧时间戳建立视频时间轴，采用同时具有事件时间记录和视频帧定位信息的同步参照点生成事件时间轴相对于视频时间轴的时基偏移量，依据时基偏移量修正事件标记的时间位置并映射为锚点帧。

9、进一步的，生成标签校正记录包括：

10、按照事件来源对应的标记延迟范围，以锚点帧为基准截取候选片段，并根据候选片段的有效边界和来源置信度生成标签校正记录；其中，标记延迟范围由历史同源事件的延迟样本形成，延迟样本未达到延迟范围形成条件时采用对应事件来源的预设标记延迟范围并降低来源置信度。

11、进一步的，截取候选肢体区域包括：

12、对候选片段内的历史监护视频帧运行目标检测网络，得到新生儿身体区域和肢体端部检测区域，将检测得到的区域回映至历史监护视频帧的原始像素坐标，并在原始像素坐标下结合相邻帧跟踪结果，在新生儿身体区域内生成候选肢体区域。

13、进一步的，生成可见动作片段包括：

14、对经相邻帧跟踪匹配的候选肢体区域生成帧间位移，采用背景参照区域的背景全局运动量扣减帧间位移，得到残余位移；将满足背景同步条件、护理残留条件中至少一项条件的图像变化写入排除片段记录，并对未写入排除片段记录且残余位移达到位移准入值的连续帧生成可见动作片段。

15、进一步的，训练窗口分配包括：

16、依据同一候选片段来源索引和视频帧时间戳匹配可见动作片段与排除片段记录，以可见动作片段的起止帧生成训练窗口，计算训练窗口与排除片段记录之间的帧级交集，得到排除覆盖率，并根据排除覆盖率对训练窗口执行对应任务分支准入判断。

17、进一步的，生成分支训练权重包括：

18、根据各任务分支的准入判断结果、来源置信度、对应任务分支的训练证据占比和排除覆盖率，生成各任务分支的分支训练权重；对于存在事件标记且未形成可见动作片段的候选片段，将候选片段写入低视觉证据样本集，并将该候选片段对应的各任务分支的分支训练权重置为0。

19、进一步的，依据分支训练权重约束多任务分类网络的损失函数包括：

20、读取由分支准入处理形成的分支准入记录，将训练窗口输入多任务分类网络，得到各任务分支的分支损失值；

21、按照分支准入记录中的分支训练权重对对应任务分支的分支损失值进行加权，生成加权损失值；

22、其中，分支训练权重为0的训练窗口不产生对应任务分支的损失贡献。

23、进一步的，在实时监护视频的滚动窗口内复用分支准入处理对应的门控规则生成输出可信度包括：

24、按照已接收视频帧形成闭合滚动窗口，将闭合滚动窗口输入新生儿肢体动作监控模型，得到模型输出结果；

25、在闭合滚动窗口内复用分支准入处理对应的门控规则，对模型输出结果、候选肢体区域可见程度和排除覆盖率执行门控计算，生成输出可信度；

26、其中，闭合滚动窗口的排除覆盖率达到排除覆盖率准入阈值时，输出可信度置为0。

27、进一步的，根据输出可信度输出新生儿肢体动作监控结果包括：

28、当输出可信度达到可信输出阈值时，输出新生儿肢体动作监控结果；

29、当输出可信度未达到可信输出阈值时，输出低可信提示；

30、当输出可信度达到用于训练样本自动回写的可信输出阈值且低视觉证据标记未成立时，将对应闭合滚动窗口写入待复核训练样本池；

31、当存在输出可信度未达到用于训练样本自动回写的可信输出阈值、低视觉证据标记成立中的任一情形时，将对应闭合滚动窗口写入运行记录。

32、本发明有益效果如下：

33、本发明针对新生儿监护视频中事件标记与真实可见肢体动作边界不一致的问题，将事件标记先转换为候选片段约束，再依据可见肢体运动证据、背景同步变化和护理残留变化对训练样本进行分流，使事件记录不再直接等同于多任务分类网络的训练标签，通过分支训练权重控制动作分类、姿态检测和幅度计量分支的训练贡献，能够减少遮挡帧、静止帧和背景扰动帧对不同任务分支的污染，使模型学习对象更集中于真实可观测的肢体动作证据；同时，在实时监护阶段复用相同的门控逻辑生成输出可信度，对低视觉证据结果和疑似护理残留结果进行限制输出和分流回写，从而降低病房摄像头视角、床位环境及标注方式变化引起的动作边界偏移。