一种脑瘫婴儿异常不安运动视频生成方法及系统

本发明涉及图像处理，更具体的涉及一种脑瘫婴儿异常不安运动视频生成方法及系统。

背景技术：

1、脑瘫，即脑性瘫痪(cerebral palsy，cp)是由发育期脑损伤或脑发育异常引起的持续性运动和姿势障碍，通常伴随活动受限，并可对患儿运动功能及生活质量造成长期影响。由于婴幼儿早期存在重要的神经可塑性窗口，对脑性瘫痪高风险婴儿进行早期识别和及时干预具有重要的临床意义。在现有临床实践中，prechtl全身运动评估被广泛应用于婴儿神经发育早期筛查。其中，不安运动是具有较高预测价值的重要观察指标。婴儿不安运动(fm)通常出现在婴儿矫正胎龄后约9周至20周，正常fm表现为颈部、躯干及四肢细小、持续且富于变化的自发运动；而脑性瘫痪高风险婴儿通常表现为fm缺失、稀少、单调或者时空变化不足等异常特征。因此，fm异常已成为脑性瘫痪早期识别中的重要运动学标志。

2、随着计算机视觉和人工智能技术的发展，基于视频的计算机辅助gma逐渐成为婴儿神经发育评估的重要技术方向。与可穿戴传感器方案相比，视频采集方式具有非接触、低干扰、不限制婴儿自然自发活动等优点，更适用于婴儿全身运动的连续观察与智能分析。然而，基于视频的自动评估方法通常依赖大量高质量、经专家标注的婴儿运动视频数据。受限于医学伦理、隐私保护、临床采集条件复杂、随访周期较长以及专家标注成本高等因素，现有临床数据中异常fm视频样本尤其稀缺，导致相关模型训练过程中存在样本不足、类别分布不均衡及异常运动模式覆盖不足等问题，进而限制了识别模型的泛化能力及临床应用效果。

3、为缓解异常视频样本不足的问题，现有技术已提出采用生成对抗网络、扩散模型等生成方法进行数据扩增。该类方法通过学习视频数据的图像分布及时间序列变化规律，能够生成具有一定视觉真实性的视频序列。

4、然而，现有通用视频生成方法主要面向自然视频场景，其优化目标侧重于视觉真实性与整体平滑性。当将其直接应用于脑瘫婴儿异常不安运动(fm)视频生成时，由于无法准确建模fm异常运动的病理特征，导致生成结果存在病理运动特征易丢失、难以兼顾视觉合理性与病理保真度的问题，生成的视频临床辨识度较低，无法有效服务于后续的辅助诊断或模型训练。

技术实现思路

1、针对上述领域中存在的问题，本发明提出了一种脑瘫婴儿异常不安运动视频生成方法及系统，构建的视频生成网络，能够生成既具备视觉真实性又忠实保留异常fm病理运动学特征的视频序列，为脑性瘫痪早期智能筛查及辅助诊断模型训练提供了可靠的数据支撑。

2、为解决上述技术问题，本发明公开了一种脑瘫婴儿异常不安运动视频生成方法，包括以下步骤：

3、获取不同脑瘫婴儿运动视频中的单帧外观图像、由多个连续单帧外观图像构成的原目标姿态序列；

4、将单帧外观图像和原目标姿态序列输入至预训练的视频生成网络中，生成预测视频序列；

5、其中，所述视频生成网络包括级联的第一生成器和第二生成器；所述第一生成器基于u-net结构，其编码器部分为并行的条件分支和姿态分支的双分支结构，并在解码器前引入时序增强模块；所述第二生成器基于u-net结构，其编码器部分为并行的外观分支和运动分支，并在所述外观分支的输出端和解码器之间引入3d-se注意力模块；

6、其中，所述条件分支提取单帧外观图像的形状特征；所述姿态分支提取原目标姿态序列的姿态特征；所述时序增强模块对基于形状特征和姿态特征融合的融合特征进行跨帧动态信息聚合，输出时序增强特征，并作为解码器的输入，通过解码生成粗粒度视频序列；

7、其中，所述外观分支利用时间核大小为1的伪3d卷积提取单帧外观图像的纯空间形状特征；所述3d-se注意力模块对纯空间形状特征进行通道重标定，得到增强形状特征；所述运动分支利用标准3d卷积提取粗粒度视频序列的运动特征；所述解码器将增强形状特征和运动特征融合后，解码生成残差式细节补偿图像；并将残差式细节补偿图像与粗粒度视频序列逐像素相加，生成预测视频序列。

8、优选地，所述姿态分支提取原目标姿态序列的姿态特征，具体包括：

9、对原目标姿态序列进行相邻帧差分后与原目标姿态序列通道拼接，得到增强姿态表征；

10、所述姿态分支提取增强姿态表征的姿态特征。

11、优选地，所述对原目标姿态序列进行相邻帧差分后与原目标姿态序列通道拼接，得到增强姿态表征，具体包括：

12、基于原目标姿态序列中当前视频帧的姿态及其下一视频帧的姿态的差值，得到姿态差分序列；

13、将姿态差分序列与原目标姿态序列在通道维度进行拼接，得到增强姿态表征。

14、优选地，所述时序增强模块对基于形状特征和姿态特征融合的融合特征进行跨帧动态信息聚合，输出时序增强特征，具体包括：

15、所述时序增强模块包括级联的多个3d残差单元，各3d残差单元具有不同的时间感受野；

16、多个3d残差单元聚合融合特征的局部短时动态信息与相对长程动态信息，得到时序增强特征。

17、优选地，所述解码器将增强形状特征和运动特征融合后，解码生成残差式细节补偿图像，具体包括：

18、所述第二生成器的解码器采用渐进式上采样和并行卷积单元对融合后的特征进行解码，并利用长跳跃连接将所述外观分支在提取纯空间形状特征过程中产生的多尺度编码特征、以及所述运动分支在提取运动特征过程中产生的多尺度编码特征引入解码器中，协同恢复多尺度高频信息，生成用于补偿粗粒度视频序列中缺失的高频纹理和局部形变细节的残差式细节补偿图像。

19、优选地，所述视频生成网络的训练过程，具体包括：

20、获取不同脑瘫婴儿运动视频中的单帧外观图像、由多个连续单帧外观图像构成的原目标姿态序列，以及所述原目标姿态序列对应的标签；

21、基于视频生成网络生成的预测视频序列与所述标签的差异，构建总损失函数；

22、基于不同脑瘫婴儿运动视频中的单帧外观图像、由多个连续单帧外观图像构成的原目标姿态序列，以及所述原目标姿态序列对应的标签，构建训练集；

23、利用训练集和总损失函数，优化视频生成网络，得到预训练的视频生成网络；

24、其中，所述总损失函数包括频谱约束损失，所述频谱约束损失通过对预测视频序列与所述标签沿时间维度执行全局实数快速傅里叶变换，确定两者在预设频段内的频谱能量分布差异获得；

25、通过所述频谱约束损失约束所述第二生成器。

26、优选地，所述总损失函数还包括对抗损失和像素级重建损失；

27、所述对抗损失由双头3d patchgan判别器输出；所述双头3d patchgan判别器包括共享3d编码器、空间真实性头和时序一致性头；其中，所述共享3d编码器提取预测视频序列和所述标签的层次化时空特征；所述空间真实性头基于层次化时空特征评估局部纹理真实性；所述时序一致性头基于层次化时空特征的相邻帧差分特征评估动态变化的合理性；

28、通过所述对抗损失约束所述第二生成器的训练过程；

29、所述像素级重建损失为通过确定预测视频序列与所述标签的l1距离，并基于通过姿态热图阈值化获得的人体掩膜，对婴儿人体所在的前景区域的l1距离进行加权获得；

30、通过将所述像素级重建损失加入总损失函数，利用反向传播算法同时优化所述第一生成器和第二生成器的网络参数。

31、优选地，所述总损失函数还包括基于帧差的一致性约束；

32、所述基于帧差的一致性约束用于约束预测视频序列和所述标签在预设采样间隔下的帧间差分差异；

33、通过所述基于帧差的一致性约束同时约束所述第一生成器和第二生成器的训练过程。

34、优选地，所述总损失函数还包括感知损失；

35、所述感知损失通过将预测视频序列与所述标签分别输入至预训练的特征提取网络中，获取对应的高层语义特征表示；并基于预测视频序列与所述标签的高层语义特征表示之间的差异获得的；

36、通过所述感知损失约束所述第二生成器的训练过程；

37、其中，所述预训练的特征提取网络包括vgg-19网络。

38、优选地，还包括一种脑瘫婴儿异常不安运动视频生成系统，包括：

39、数据获取模块，用于获取不同脑瘫婴儿运动视频中的单帧外观图像、由多个连续单帧外观图像构成的原目标姿态序列；

40、视频生成模块，用于将单帧外观图像和原目标姿态序列输入至预训练的视频生成网络中，生成预测视频序列；

41、视频生成网络构建模块，用于构建视频生成网络，其中，所述视频生成网络包括级联的第一生成器和第二生成器；所述第一生成器基于u-net结构，其编码器部分为并行的条件分支和姿态分支的双分支结构，并在解码器前引入时序增强模块；所述第二生成器基于u-net结构，其编码器部分为并行的外观分支和运动分支，并在所述外观分支的输出端和解码器之间引入3d-se注意力模块；

42、其中，所述条件分支提取单帧外观图像的形状特征；所述姿态分支提取原目标姿态序列的姿态特征；所述时序增强模块对基于形状特征和姿态特征融合的融合特征进行跨帧动态信息聚合，输出时序增强特征，并作为解码器的输入，通过解码生成粗粒度视频序列；

43、其中，所述外观分支利用时间核大小为1的伪3d卷积提取单帧外观图像的纯空间形状特征；所述3d-se注意力模块对纯空间形状特征进行通道重标定，得到增强形状特征；所述运动分支利用标准3d卷积提取粗粒度视频序列的运动特征；所述解码器将增强形状特征和运动特征融合后，解码生成残差式细节补偿图像；并将残差式细节补偿图像与粗粒度视频序列逐像素相加，生成预测视频序列；

44、所述视频生成网络的训练过程，具体包括：

45、获取不同脑瘫婴儿运动视频中的单帧外观图像、由多个连续单帧外观图像构成的原目标姿态序列，以及所述原目标姿态序列对应的标签；

46、基于视频生成网络生成的预测视频序列与所述标签的差异，构建总损失函数；

47、基于不同脑瘫婴儿运动视频中的单帧外观图像、由多个连续单帧外观图像构成的原目标姿态序列，以及所述原目标姿态序列对应的标签，构建训练集；

48、利用训练集和总损失函数，优化视频生成网络，得到预训练的视频生成网络；

49、其中，所述总损失函数包括频谱约束损失，所述频谱约束损失通过对预测视频序列与所述标签沿时间维度执行全局实数快速傅里叶变换，确定两者在预设频段内的频谱能量分布差异获得；

50、通过所述频谱约束损失约束所述第二生成器。

51、与现有技术相比，本发明具有如下有益效果：

52、本发明提出的脑瘫婴儿异常不安运动视频生成方法，构建的视频生成网络，采用级联的第一生成器和第二生成器构建两阶段渐进式的视频生成网络，在第一阶段专注于生成外观一致、几何结构合理的粗粒度视频序列，为后续细化提供稳定可信的基础；在第二阶段不再重新学习全局结构，而是专注于预测残差式细节补偿图像。这种由粗到细的残差学习机制，有效避免了单阶段生成中为追求视觉整体平滑而抹除微弱病理动态特征的问题，实现了视觉合理性与病理运动保真性的兼顾。

53、其中，构建的视频生成网络，通过在第一生成器的解码器前引入时序增强模块，使网络在恢复空间分辨率前，充分整合了局部与长程的时序上下文信息，显著提升了粗粒度视频序列的运动连贯性和时序稳定性。在第二生成器中，通过时间核大小为1的伪3d卷积提取的纯空间形状特征，避免了对运动信息的混淆；同时，在外观分支编码器输出端引入3d-se注意力模块，对纯空间形状特征进行通道重标定，能够自适应地强化人体边界、服饰纹理和局部运动敏感区域的特征响应，结合标准3d卷积提取的运动特征进行融合解码，生成的残差式补偿图像精准补偿了粗粒度视频中缺失的高频纹理和局部形变细节，显著提高了生成视频的临床辨识度。