一种术中成像运动伪影抑制与质量增强方法及装置与流程

本发明涉及术中成像信号处理，尤其涉及一种术中成像运动伪影抑制与质量增强方法及装置。

背景技术：

1、在微创外科手术中，术中成像是外科医生获取手术视野信息的主要手段。腹腔镜、胸腔镜、关节镜等内镜系统通过细长器械进入体腔，将手术区域的实时影像传输至显示设备，支撑医生完成组织辨识、病灶切除与缝合等精细操作。然而，手术过程中患者持续的呼吸运动、心跳搏动以及手术器械对组织的物理接触和牵拉，使得术中成像画面不可避免地出现运动伪影，表现为图像的模糊、拖影、抖动和几何形变。其中，呼吸运动引起整体性抖动和周期性位移，心跳搏动经组织传导产生局部微颤，手术器械操作导致高频非周期性的局部形变，多种运动源相互叠加，严重影响外科医生对组织结构的辨识精度和手术操作的准确性。手术视频质量退化类型多样（如去烟、去模糊、去高光、去闪烁等），已成为手术视频处理领域的研究热点。

2、现有的运动伪影处理方法主要分为三类。一种方案是硬件补偿方法，通过在成像探头或患者体表附加运动传感器（如惯性测量单元imu、电磁追踪器等）实时感知探头或组织的运动状态，并在图像采集端进行运动补偿；但该类方法需要额外的硬件设备，增加手术成本和操作复杂度，且传感器测量精度易受手术室电磁环境干扰，更为关键的是，硬件补偿只能校正探头或体表的整体刚体运动，无法处理呼吸、心跳导致的软组织内部形变。一种方案是软件后处理方法，在图像采集后进行离线处理，典型方法包括基于光流的帧间插值、基于频域分析的运动滤波和传统图像去模糊算法，例如基于时域带通滤波的运动放大技术可分离呼吸、心跳等周期性运动分量；但此类显式频域滤波方法假设运动具有严格周期性和线性可加性，对器械操作引起的非周期性局部形变适应性差，且整体计算复杂度较高，难以满足术中实时处理要求，在抑制伪影的同时往往损伤图像中的有效诊断信息。一种方案是通用深度学习方法，近年来深度学习方法在图像恢复领域取得显著进展，如基于可变形卷积与注意力机制的视频恢复网络、基于循环结构的视频恢复网络、基于生成对抗网络的图像增强网络等；但通用图像/视频恢复模型针对自然图像的退化模式建模，对术中运动伪影的特殊性：多种运动源叠加、具有生理周期规律的呼吸心跳运动、与手术操作相关的组织形变等缺乏针对性建模，导致恢复效果有限，部分面向内镜视频的增强方法也仅针对单一退化类型（如设备抖动、烟雾），未对多运动源进行显式区分，恢复过程可能错误改动真实的解剖运动信息。

3、因此，亟需一种专门针对术中成像运动伪影特点的智能抑制方法：既能够区分呼吸、心跳、器械操作等多种运动源并分别处理，又能在抑制伪影的同时保持解剖结构与诊断信息的完整性，且满足术中实时处理的要求。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供一种术中成像运动伪影抑制与质量增强方法及装置。

2、第一方面，本发明提供一种术中成像运动伪影抑制与质量增强方法，包括：获取术中成像系统输出的术中时序图像序列；

3、将所述术中时序图像序列输入双分支时空对抗网络进行处理；其中，所述双分支时空对抗网络包括物理驱动的运动估计分支和医学先验增强分支；所述物理驱动的运动估计分支利用运动估计网络进行光流场估计，并为按照可解释性进行微调来对光流场进行运动场分解，识别并分离术中时序图像序列中的全局呼吸运动、局部心跳搏动运动和手术器械运动；所述医学先验增强分支根据解剖结构一致性和组织纹理分布的医学领域知识，对分离后的图像帧进行质量评估和先验约束；

4、基于运动光流场和医学先验约束，通过图像恢复网络生成伪影抑制后的高质量图像序列。

5、更进一步地，所述物理驱动的运动估计分支利用运动估计网络进行光流场估计；运动估计网络利用可变形卷积和transformer注意力机制相结合，以连续三帧图像作为输入，输出对应的前向光流场和后向光流场；其中，所述运动估计网络在训练时以呼吸和心跳的生理周期频率作为先验约束项嵌入网络训练过程，提升周期运动分量估计的稳定性与可解释性；

6、所述物理驱动的运动估计分支利用生理周期频率估计单元对所述前向光流场和所述后向光流场进行短时频谱分析，实时估计所述全局呼吸运动和所述局部心跳搏动运动的瞬时频率；

7、所述物理驱动的运动估计分支利用所述周期/非周期双通道解耦单元根据所述瞬时频率将光流场所对应的运动场分解为周期运动通道和非周期运动通道，所述非周期运动通道接收未被所述周期运动通道覆盖的运动残差；其中，训练时施加生理周期一致性损失，约束所述周期运动通道输出光流的频域能量集中于所述瞬时频率对应的频带，且所述频带的带宽随瞬时频率自适应调整；

8、所述物理驱动的运动估计分支利用运动场分解模块进行运动场分解，将估计得到的混合运动场按照运动来源进行显式分离，为呼吸运动分量、心跳搏动运动分量和手术器械运动分量。

9、更进一步地，生理周期频率先验的嵌入方式包括：将所述生理周期频率作为频域约束项加入训练损失函数、将所述生理周期频率对应的频带作为运动估计网络中间特征的频域正则化约束、或将生理周期频率信息作为额外输入通道注入所述运动估计网络的特征提取过程。

10、更进一步地，所述运动场分解模块采用门控循环单元gru建模各运动分量的时序演化规律，通过三个并行的门控循环单元gru分别建模呼吸运动、心跳搏动运动和手术器械运动的时序演化，门控机制根据各运动分量在频域和空间域的特征差异动态分配权重，将混合光流分解为三个独立分量；所述运动场分解模块的训练监督信号采用生理信号同步标注或合成数据生成，所述生理信号同步标注方式为：在采集术中图像序列的同时同步采集呼吸带信号与心电信号，以呼吸带信号与心电信号作为运动分量的时序标注，监督所述运动场分解模块的学习；所述合成数据生成方式为：利用具有已知运动参数的合成运动模型生成带有已知真值运动分量的训练样本，监督所述运动场分解模块的学习。

11、更进一步地，所述医学先验增强分支包括解剖结构感知模块、纹理保真度模块和基于医学图像诊断特征提取网络的判别器；所述解剖结构感知模块以预训练的多尺度u-net网络提取图像中的解剖边缘和器官轮廓特征，并在恢复过程中对所述特征施加解剖结构一致性损失约束；所述纹理保真度模块基于医学图像的噪声分布模型，对恢复图像的噪声功率谱进行约束，确保恢复图像保留符合医学成像物理特性的噪声分布；医学图像诊断特征提取网络为图像恢复网络提供诊断特征保持损失函数进行对抗训练。

12、更进一步地，所述医学先验增强分支采用诊断特征保持损失函数进行对抗训练，所述诊断特征保持损失函数包括伪影无诊断信息约束和恢复图像诊断特征不变约束；所述伪影无诊断信息约束使分离出的运动伪影分量在预训练的医学图像诊断特征提取网络的特征空间中响应趋近于零；所述恢复图像诊断特征不变约束使基于运动分离结果生成的恢复图像与原始清晰图像在所述特征空间中的诊断特征分布一致；

13、对抗训练时，采用预训练的医学图像诊断特征提取网络作为判别器，将所述运动伪影分量作为负样本、将所述原始清晰图像作为正样本进行对抗训练，确保恢复图像的诊断信息完整性。

14、更进一步地，基于运动分离结果和医学先验约束，图像恢复网络以分离得到的运动分量对图像进行逆向运动补偿，并通过生成对抗网络的对抗训练进一步优化图像质量；

15、所述逆向运动补偿的实现方式包括：基于光流场的像素级重采样补偿、基于运动分量的形变场补偿、基于运动分量驱动的帧间插值补偿，或上述方式的组合；

16、所述图像恢复网络采用生成对抗网络架构，包括生成器和对抗判别器；

17、所述生成器的损失函数由图像内容重建损失、感知损失、图像质量感知损失、结构相似性损失和医学先验损失加权组成；

18、所述对抗判别器用于判别所述图像恢复网络生成的图像与原始清晰图像，所述医学先验增强分支中以预训练的医学图像诊断特征提取网络构成的判别器用于判别所述运动伪影分量与所述原始清晰图像，二者分别从图像真实性与诊断信息完整性维度约束所述图像恢复网络。

19、更进一步地，各损失分量的权重根据术中成像模态自适应调整，包括但不限于：按模态预设权重组合、基于验证集网格搜索的权重标定、基于不确定度学习的权重自动学习、基于任务相似度的迁移权重，或上述方式的组合。

20、更进一步地，所述运动场分解模块输出的各运动分量的时序统计特征，构建个体化运动特征描述子，所述个体化运动特征描述子包括呼吸频率估计值、心跳频率估计值、各运动分量的能量占比及能量波动幅度；当图像质量评估指标低于预设阈值，且所述个体化运动特征描述子与预训练数据集的运动特征分布相比，偏离程度超过预设范围时，触发对所述物理驱动的运动估计分支和所述运动场分解模块的轻量级在线微调；所述轻量级在线微调仅更新所述运动估计网络的最后两层参数、所述运动场分解模块的门控循环单元参数和所述生理周期频率估计单元的参数，并在微调损失中加入对预训练参数的约束项以防止灾难性遗忘，使所述双分支时空对抗网络适应特定手术场景和患者的个体化运动特征。

21、第二方面，本发明提供一种术中成像运动伪影抑制与质量增强装置，包括：至少一处理单元，所述处理单元通过总线单元连接存储单元，所述存储单元存储有可被所述处理单元执行的计算机程序，所述计算机程序被所述处理单元执行时，实现所述的术中成像运动伪影抑制与质量增强方法。

22、本发明实施例提供的上述技术方案与现有技术相比具有如下优点：

23、本技术通过物理驱动的运动估计分支对呼吸运动、心跳搏动运动和手术器械运动三种运动源进行显式识别与分离，实现运动伪影与真实组织运动的可解释区分，从而克服传统方法难以区分运动伪影与真实组织运动的问题，为后续逆向运动补偿提供精确的运动源分离结果；

24、本技术通过医学先验增强分支引入解剖结构一致性约束、噪声功率谱约束与诊断特征保持约束，在抑制运动伪影的同时确保恢复图像的医学诊断信息完整性，从而避免通用图像恢复方法在术中场景中矫枉过正的问题；

25、本技术通过图像内容重建损失、感知损失、图像质量感知损失、结构相似性损失和医学先验损失的加权组合且各损失分量的权重随术中成像模态自适应调整，在像素保真、感知质量、结构完整与医学约束之间取得动态平衡，从而兼顾伪影抑制强度与组织纹理、诊断细节的保留；

26、本技术通过在线自适应微调机制，使所述双分支时空对抗网络适应不同手术类型和患者的个体化运动特征，随手术例数积累持续提升伪影抑制效果。