一种结合深度学习的内镜视频与病理图像匹配系统

本发明涉及医学图像处理，具体为一种结合深度学习的内镜视频与病理图像匹配系统。

背景技术：

1、内窥镜检查与病理学检查是消化道肿瘤诊疗中两种互补的重要手段。内窥镜可实时获取消化道黏膜的宏观动态视频，病理检查则通过活检切片提供细胞层面的金标准诊断信息。将同一患者的内镜视频与病理图像进行精确空间关联，对早期病变定位、靶向活检及术后评估具有直接临床指导意义。然而，内镜视频与病理图像的跨模态匹配面临显著技术困难。二者成像机理、分辨率及特征空间差异巨大，传统基于手工特征的配准方法难以建立有效相似性度量；同时，内镜视频包含呼吸、心跳及器械操作等复杂非刚性形变，而病理图像为静态切片，利用视频时序信息辅助匹配是该场景的特殊难点。

2、现有技术中已有基于深度学习的医学图像配准方案。例如，cn113850852a公开了一种基于多尺度上下文的内窥镜图像配准方法，采用u-net架构，通过层级聚合模块提取多尺度特征，并利用自适应特征伸缩模块细化特征图，最终生成参数化配准场，实现了同模态内窥镜图像对的可变形配准。但该方案仅针对静态灰度图像对，未涉及内镜视频与病理图像之间的跨模态场景，其网络设计与训练策略未考虑模态分布差异。其层级聚合模块仅能提取同模态纹理特征，无法实现宏观黏膜与微观细胞结构间的语义映射；自适应特征伸缩模块亦不具备跨模态对齐能力。此外，该方案未利用视频时序信息，仅依赖单帧图像，在临床应用中易因信息不足导致匹配失败或定位偏差。

3、针对上述缺陷，本发明提出一种结合深度学习的内镜视频与病理图像匹配系统，通过构建时序编码与跨模态特征对齐的联合学习框架，解决动态视频与静态病理切片间跨尺度、跨模态的空间关联问题，为消化道肿瘤精准诊疗提供技术支撑。

技术实现思路

1、本发明目的在于提供一种结合深度学习的内镜视频与病理图像匹配系统，以解决上述背景技术中提出的问题。

2、为解决上述技术问题，本发明提供如下技术方案：一种结合深度学习的内镜视频与病理图像匹配系统，包括：

3、潜空间对齐模块，用于将内镜视频帧图像和病理切片图像分别投影至共享潜空间，并在所述共享潜空间中，约束两组投影后特征满足同一组拓扑形变基的线性组合，输出组合系数；

4、时序编码模块，用于提取所述内镜视频帧图像在时间维度上的运动特征，输出时序运动签名；

5、细胞拓扑编码模块，用于提取所述病理切片图像在空间维度上的结构特征，输出细胞核拓扑图；

6、耦合形变模块，用于将所述时序运动签名作为边界约束施加于所述细胞核拓扑图，并将所述细胞核拓扑图的刚度信息反馈至所述时序运动签名，输出耦合特征；

7、形变场估计模块，用于依据所述耦合特征和所述组合系数进行空间变换运算，输出初步形变场；

8、闭环校验模块，用于依据所述初步形变场对所述病理切片图像进行重采样，生成虚拟重建图，并计算所述虚拟重建图与内镜视频帧图像之间的差异，依据差异对组合系数进行迭代调整，直至满足迭代终止条件时输出目标形变场。

9、优选的，所述潜空间对齐模块通过第一可逆流单元，将所述内镜视频帧图像的特征分布映射至所述共享潜空间，通过第二可逆流单元，将所述病理切片图像的特征分布映射至所述共享潜空间，并通过基约束单元，计算两组投影后特征相对于所述拓扑形变基的线性回归系数，以所述线性回归系数作为所述组合系数。

10、优选的，所述时序编码模块通过三维卷积单元，对连续多帧所述内镜视频帧图像进行时空特征提取，通过光流计算单元，依据提取的所述时空特征，计算相邻帧之间的稠密光流场，并通过签名生成单元，依据所述稠密光流场的时域统计量，生成所述时序运动签名，所述时序运动签名包含组织振动幅度边界值和振动频率主成分。

11、优选的，所述细胞拓扑编码模块通过细胞核检测单元，识别所述病理切片图像中的细胞核位置坐标，通过拓扑图构建单元，依据所述细胞核位置坐标进行三角剖分，以生成所述细胞核拓扑图，所述细胞核拓扑图的顶点为细胞核中心点，所述细胞核拓扑图的边为相邻细胞核之间的连接线，并通过刚度计算单元，依据所述细胞核拓扑图中各顶点在预设受力条件下的位移响应，计算各向异性刚度系数。

12、优选的，所述耦合形变模块通过边界约束单元，将所述时序运动签名中的所述组织振动幅度边界值设定为所述细胞核拓扑图变形时各顶点的最大位移限值，通过刚度反馈单元，将所述各向异性刚度系数作为空间注意力权重，加权至所述时序运动签名中对应空间位置的光流置信度，并通过特征融合单元，将边界约束后的所述细胞核拓扑图与加权后的所述时序运动签名在通道维度进行拼接，以生成所述耦合特征。

13、优选的，所述形变场估计模块通过空间变换网络单元，将所述耦合特征和所述组合系数映射为空间变换参数，通过形变场生成单元，依据所述空间变换参数，构建所述初步形变场，所述初步形变场包含所述病理切片图像中各像素点至所述内镜视频帧图像坐标空间的位移矢量。

14、优选的，所述闭环校验模块通过重采样单元依据所述初步形变场对所述病理切片图像进行双线性插值重采样以生成所述虚拟重建图，通过差异计算单元计算所述虚拟重建图与所述内镜视频帧图像之间的形态梯度距离和结构相似度以得到所述差异，并通过迭代调整单元在所述差异大于预设阈值时仅更新所述组合系数并重新生成所述初步形变场。

15、优选的，所述迭代调整单元依据所述差异相对于所述组合系数的梯度方向，沿梯度下降方向对所述组合系数进行步长调整，每次更新后重新计算所述差异，直至所述差异小于或等于所述预设阈值时输出当前形变场作为所述目标形变场，最大迭代次数为预设值，达到所述最大迭代次数时，终止迭代，并输出当前形变场。

16、优选的，还包括标签映射模块，所述标签映射模块依据所述目标形变场，将所述病理切片图像上标注的病理区域标签变换至所述内镜视频帧图像的坐标空间以生成叠加标签帧。

17、优选的，还包括显示输出模块，所述显示输出模块将所述叠加标签帧与所述内镜视频帧图像进行叠加显示；所述内镜视频帧图像为消化道黏膜内镜动态视频中的关键帧图像，所述病理切片图像为与所述关键帧图像对应活检点位的数字病理切片。

18、本发明提供了一种结合深度学习的内镜视频与病理图像匹配系统。具备以下有益效果：

19、该系统通过构建共享潜空间将内镜视频与病理图像进行双向投影，利用拓扑形变基的线性组合系数来表征跨模态的空间映射关系；这种设计避免了在原始像素空间直接计算相似度的常规路径，从而消除了模态差异对匹配精度的根本性制约；时序运动签名与细胞核拓扑图之间的双向耦合机制，使得宏观的生理振动规律能够约束微观结构的形变边界，同时微观结构的局部刚性信息又能反向校准宏观运动估计中的噪声干扰；这种跨尺度信息交互方式，使得匹配过程同时受到视频时序信息和病理结构信息的双重引导。

20、闭环校验模块通过在迭代过程中仅更新组合系数而不改变网络主参数，实现了形变场的逐步精化；这种精化过程以虚拟重建图与原始内镜帧之间的形态和结构一致性作为评价依据，使得最终输出的目标形变场，能够兼顾像素级的空间准确度和区域级的结构保真度；系统输出的目标形变场，可用于将病理切片上的诊断标签映射至内镜视频帧的对应空间位置，为内镜操作过程中的病变识别与定位提供空间参照；整个系统在消化道内镜诊疗场景中，能够在无需金标准形变场监督的条件下，完成跨模态的空间匹配任务。