一种基于CNN-Transformer混合模型的血管内超声支架与管腔协同分割系统

本发明涉及医学图像处理与人工智能，具体涉及一种基于cnn-transformer混合模型的血管内超声（ivus）支架与管腔协同分割系统，以及基于分割结果的支架临床指标定量评估方法。

背景技术：

1、冠状动脉粥样硬化性心脏病是全球范围内最重要的公共卫生问题之一。经皮冠状动脉介入治疗（pci）技术的发展使支架植入成为治疗冠脉狭窄的关键手段。然而，术后支架扩张不足、贴壁不良和再狭窄等并发症显著影响远期临床结局。血管内超声（ivus）能够提供高分辨率的血管横截面图像，清晰显示血管壁与内部结构，已成为引导支架植入和术后评估的重要影像工具。研究表明，ivus引导下的pci相较于单纯造影引导可显著降低心脏死亡率、心肌梗死和支架血栓等不良事件。

2、最相近论文有：

3、郝文月，蔡怀宇等。融合transformer分支和拓扑强制的血管内超声图像分割方法[j].激光与光电子学进展，2024；

4、杨鑫，李阳。基于改进u-net的ivus管腔与外弹性膜自动分割算法[j].中国生物医学工程学报，2023；

5、liuh,etal.cascadedlearninginintravascularultrasound:coronarystentdelineationinmanualpullbacks[j].computermethodsandprogramsinbiomedicine,2022；

6、zhangm,etal.post-ivus:aperceptualorganisation-awareselectivetransformerframeworkforintravascularultrasoundsegmentation[j].ieeetransactionsonmedicalimaging,2023。

7、最相近专利有：

8、专利号cn116206023a一种基于改进u-net的血管内超声管腔自动分割系统；

9、专利号cn117199487a一种基于transformer的ivus斑块智能分割装置。

10、当前，ivus图像智能分割相关研究与技术方案，主要分为传统图像处理、纯卷积神经网络、cnn-transformer混合模型、专用支架检测算法四大类，代表性技术如下：

11、基于传统图像处理的ivus分割：通过边缘检测、活动轮廓模型、水平集、图割等算法，依靠人工设计梯度、纹理特征完成管腔轮廓提取。

12、基于纯cnn的ivus分割识别：采用u-net、attentionu-net等网络提取多尺度局部特征，实现管腔、血管外膜分割，依靠跳跃连接提升细节分割效果。

13、基于cnn-transformer混合架构分割：transunet、swin-unet、transfuse等模型引入自注意力机制建模全局信息，用于息肉、血管、皮肤病灶分割任务。

14、基于机器学习的支架检测方案：采用级联卷积网络、传统机器学习特征完成支架梁检测与轮廓拟合。

15、几何约束型医学分割模型：geo-unet等网络增加单连通区域几何约束，优化管腔轮廓连续性。

16、最相近现有技术：

17、目前与本发明最为接近的现有技术，是transfuse并行cnn-transformer混合分割架构、cswintransformer视觉基础模型、带几何约束的ivus管腔分割算法以及独立支架检测深度学习框架。

18、混合架构分割方案：仅搭建单支路多尺度增强模块，未针对ivus环形结构优化注意力机制，无解剖拓扑约束，易出现支架越界分割结果。

19、通用ivus单目标分割系统：仅单独分割管腔或斑块，无法同步完成支架、管腔协同分割，缺少支架形态量化评估功能。

20、综上，现有技术普遍存在模型未适配ivus环状径向解剖结构、无支架-管腔拓扑约束、缺少多分支同步多尺度增强、分割与临床量化评估相互割裂等问题，缺乏一种适配ivus成像特征、嵌入解剖先验、全自动完成支架与管腔协同分割并输出临床指标的一体化系统。

21、对于传统图像处理方案，缺点十分突出：

22、鲁棒性差，泛化能力弱：高度依赖人工设计特征，面对ivus散斑噪声、环形伪影、钙化声影时分割边界极易断裂，需要大量人工修正。

23、特征提取能力有限：仅捕捉局部灰度梯度，无法建模血管长程连续结构，细小支架梁识别精度极低。

24、对于纯cnn分割方案，存在明显性能短板：

25、全局建模能力不足：卷积感受野存在天然局限，难以捕捉回撤ivus序列、环形血管整体分布依赖，支架整体轮廓分割误差大。

26、多尺度特征提取不充分：仅依靠跳跃连接融合多分辨率特征，缺少空洞空间金字塔池化扩大感受野，微小支架细节丢失严重。

27、对于现有cnn-transformer混合模型，存在架构适配缺陷：

28、注意力机制不匹配ivus成像特征：多采用通用swin、vit注意力，未沿ivus角向、径向双维度建模环形结构，全局特征提取效率低。

29、无双分支同步增强设计：仅在单一分支后端设置aspp模块，cnn局部细节、transformer全局信息无法同步完成多尺度上下文强化。

30、缺少解剖先验约束：管腔、支架分割通道独立预测，未引入“支架完全位于管腔内部”的生理规则，输出大量违背临床逻辑的分割掩膜。

31、对于现有支架检测、单目标ivus分割设备，存在功能缺失：

32、未实现支架与管腔协同联合分割：仅单独识别支架或分割管腔，无法同步获取两类目标轮廓，不能直接用于支架贴壁、扩张效果综合评估。

33、无自动化临床定量计算流程：分割完成后支架椭圆度、支架面积、支架-管腔面积比等关键参数需要医生手动测算，工作量大、测量一致性差。

34、缺少标准化ivus预处理链路：无法兼容多厂商私有影像格式，无小波去噪、对比度增强标准化流程，不同设备采集图像分割效果波动大。

35、未形成完整落地推理系统：仅有离线模型代码，无轻量化前后端交互、批量图像序列处理、结果导出可视化功能，医院部署成本高、使用门槛高。

36、综上，现有技术普遍存在模型结构与ivus环形解剖不匹配、无拓扑解剖约束、多尺度特征提取不足、支架与管腔无法协同分割、缺少全自动临床量化评估、无标准化影像预处理与轻量化部署方案等问题。

37、目前缺少一种基于resnet50-cswintransformer双分支架构、双支路aspp多尺度增强、嵌入拓扑一致性损失、可同步分割支架与管腔并自动计算临床指标的一体化ivus智能分割系统。

技术实现思路

1、本发明的技术目的在于解决纯cnn全局建模不足、通用transformer未适配ivus角向/径向环状解剖结构，支架、管腔双目标分割精度低、轮廓贴合差的问题；

2、解决现有混合模型仅单支路多尺度增强，细小支架梁、血管边缘特征丢失，豪斯多夫距离偏大的缺陷；

3、解决传统模型无解剖先验约束，支架预测区域超出管腔、分割结果不符合冠脉解剖常识，临床不可用的问题；

4、解决现有ivus分析工具分割与临床评估割裂，支架形态、扩张程度相关指标人工测算、重复性差、效率低下的问题；

5、解决多厂商ivus影像格式杂乱、噪声干扰严重，无标准化小波预处理流水线，模型泛化能力弱的问题；

6、提供flask轻量化后端推理服务+前端可视化交互整套部署方案，支持批量ivus序列处理，降低基层医院、影像科室落地成本。

7、本发明采用的技术方案为一种基于cnn-transformer混合模型的血管内超声支架与管腔协同分割系统，包括：

8、数据预处理模块，设置于系统输入端口，配置为对原始血管内超声图像执行标准化预处理，并将预处理后生成的标准化灰度图像输出至下游的双分支编码器模块；

9、所述数据预处理模块包括：

10、医学格式解析单元，用于读取dicom标准格式的血管内超声影像，提取换能器型号、回撤速度、病变位置元数据，并支持将多种厂商私有超声影像格式批量转换为标准png或jpg灰度图像，全程保留原始灰度信息；

11、分辨率归一化单元，用于将所有输入图像统一裁剪缩放至标准尺寸；

12、自适应图像降噪增强单元，采用小波变换算法抑制散斑噪声、环形伪影和钙化声影干扰，并结合伽马校正与局部对比度均衡，消除设备亮度不均及中心暗区干扰，输出标准化灰度图像；

13、双分支编码器模块，其输入端与所述数据预处理模块的输出端对接，用于接收所述标准化灰度图像，所述双分支编码器模块设置两条并行特征提取主干，包括：

14、resnet50卷积神经网络分支，配置为提取血管壁局部纹理、支架梁细粒度边缘及斑块灰度细节的短距离局部特征，并将提取的第一阶段特征图输出至后续的多尺度上下文增强模块；

15、cswintransformer分支，采用十字窗自注意力机制，沿血管内超声图像的角向和径向两个维度计算全局自注意力，建模血管环形连续性及支架整体空间分布的长程依赖关系，并将提取的第一阶段特征图并行输出至后续的多尺度上下文增强模块；

16、多尺度上下文增强模块，分别独立嵌入所述resnet50卷积神经网络分支的末端和所述cswintransformer分支的末端，用于接收两条分支各自输出的第一阶段特征图，每个所述多尺度上下文增强模块均为aspp模块即空洞空间金字塔池化模块，所述aspp模块包含五条并行特征提取分支，分别为1×1基础卷积分支、膨胀率各不相同的第一空洞卷积分支、第二空洞卷积分支和第三空洞卷积分支以及全局平均池化分支；各分支输出在通道维度拼接融合后，通过1×1卷积降维统一通道数，在不损失图像空间分辨率的前提下扩大感受野，捕获多尺度血管与支架特征，并将两条分支各自增强后的第二阶段特征图分别输出至跨模态特征融合模块；

17、跨模态特征融合模块，其输入端分别与嵌入所述resnet50卷积神经网络分支末端的多尺度上下文增强模块的输出端以及嵌入所述cswintransformer分支末端的多尺度上下文增强模块的输出端对接，用于同时接收两条分支经增强后的第二阶段特征图，所述跨模态特征融合模块配置为融合所述resnet50卷积神经网络分支输出的空间注意力特征与所述cswintransformer分支输出的通道注意力特征，并引入双线性交互单元完成局部细节与全局环形结构特征的深层互补融合，将融合后生成的统一融合特征图输出至解码器模块；

18、解码器模块，其输入端与所述跨模态特征融合模块的输出端连接，用于接收所述统一融合特征图，所述解码器模块配置为分层逐步上采样的解码结构，搭配注意力增强跳跃连接，与双分支编码器模块各层级的跨分辨率语义特征进行对齐，经逐级上采样恢复空间分辨率后，最终输出双通道分割概率掩膜，其中第一通道对应管腔区域，第二通道对应支架区域，并将所述双通道分割概率掩膜分别输出至拓扑一致性约束模块和临床指标计算模块；

19、拓扑一致性约束模块，其输入端与所述解码器模块的输出端连接，用于接收所述双通道分割概率掩膜，所述拓扑一致性约束模块嵌入模型训练阶段的损失计算链路，配置为将支架完全位于管腔内部的临床解剖先验转化为可微拓扑损失函数，在训练阶段惩罚支架像素落在管腔以外的预测结果，并将经拓扑约束优化后的最终分割掩膜输出至临床指标计算模块；

20、临床指标计算模块，其输入端分别与所述解码器模块的输出端以及所述拓扑一致性约束模块的输出端连接，用于接收解码器输出的管腔二值分割掩膜和支架二值分割掩膜以及经拓扑约束优化后的最终分割掩膜，自动计算pci术后核心临床定量指标，所述临床指标包括：通过对支架轮廓进行最小外接椭圆拟合，以短轴长度与长轴长度的比值量化的支架椭圆度；基于有效支架像素数量与单像素面积的乘积计算的支架面积；以及以支架总面积与管腔总面积的比值计算的支架-管腔面积比；

21、前后端交互模块，其输入端与所述临床指标计算模块的输出端连接，用于接收分割结果和临床定量指标，所述前后端交互模块包括轻量化前端可视化界面和后端推理服务单元，所述前端可视化界面支持单张图像上传及批量血管内超声回撤图像序列上传、分割轮廓与原始图像叠加可视化、临床指标报表实时预览及结果导出；所述后端推理服务单元基于flask框架与pytorch搭建推理restapi，逐帧执行图像推理，批量输出原始血管内超声图像、彩色分割叠加效果图及标准化定量指标表格。

22、进一步地，所述cswintransformer分支中的十字窗自注意力机制具体配置为：将注意力窗口沿水平方向和垂直方向分别划分为多个十字形条带窗口，分别计算水平条带窗口内和垂直条带窗口内的自注意力，通过交替堆叠水平十字窗注意力和垂直十字窗注意力，实现沿血管内超声图像角向与径向两个方向的全局长程依赖建模。

23、进一步地，所述aspp模块中，所述resnet50卷积神经网络分支的aspp模块输入通道数为1024、输出通道数为512；所述cswintransformer分支的aspp模块输入通道数为384、输出通道数为512；所述五条并行分支中，各空洞卷积分支的膨胀率分别为12、24和36，所述1×1卷积分支、三组空洞卷积分支和全局平均池化分支的输出特征图在通道维度执行拼接操作，得到多尺度聚合特征，再经1×1卷积层进行通道融合与降维，输出统一通道数的增强特征图。

24、进一步地，所述拓扑一致性约束模块在推理阶段还包括后处理拓扑校验单元，所述后处理拓扑校验单元的输入端与所述解码器模块的输出端连接，用于接收支架分割掩膜和管腔分割掩膜，所述后处理拓扑校验单元配置为：对所述解码器模块输出的支架分割掩膜逐像素进行检查，将位于所述管腔分割掩膜所界定的管腔区域以外的支架预测像素予以剔除，并将经校验修正后的支架分割掩膜与管腔分割掩膜一并输出至临床指标计算模块，确保最终输出的支架分割结果严格包裹于管腔内部。

25、进一步地，所述数据预处理模块还包括多厂商格式转换工具链单元，所述多厂商格式转换工具链单元设置于医学格式解析单元之前，用于对接各厂商原始影像数据的输入端口，支持将多种血管内超声设备厂商的私有影像格式批量转换为标准png或jpg格式，且在全流程中保持原始图像灰度值的一致性，转换后的标准格式图像依次送入所述分辨率归一化单元和所述自适应图像降噪增强单元；所述自适应图像降噪增强单元的小波变换算法具体包括小波分解、阈值收缩去噪和小波重构三个子步骤，其中阈值收缩采用自适应阈值策略。

26、一种基于cnn-transformer混合模型的血管内超声支架与管腔协同分割方法，包括以下步骤，各步骤之间按如下顺序依次衔接执行：

27、步骤s1：原始血管内超声图像标准化预处理

28、首先，读取多种格式的原始血管内超声影像作为系统输入，执行医学格式标准化解析，提取包含换能器型号、回撤速度和病变位置的元数据；

29、接着，通过批量转换工具将各厂商私有超声影像格式统一转换为标准png或jpg灰度图像，全程保留原始灰度信息；

30、然后，将所有图像统一裁剪缩放至标准尺寸；

31、再采用小波变换算法进行自适应图像降噪，抑制散斑噪声、环形伪影和钙化声影干扰；

32、最后，结合伽马校正与局部对比度均衡进行图像增强，消除设备亮度不均及中心暗区干扰，生成标准化灰度图像，并将该标准化灰度图像作为步骤s2的输入；

33、步骤s2：双分支并行特征提取

34、将步骤s1输出的标准化灰度图像同时分别送入两条并行的特征提取主干，即resnet50卷积神经网络分支和cswintransformer分支；

35、通过所述resnet50卷积神经网络分支提取血管壁局部纹理、支架梁细粒度边缘及斑块灰度细节的短距离局部特征，生成第一分支第一阶段特征图；

36、同时，通过所述cswintransformer分支采用十字窗自注意力机制，沿血管内超声图像的角向和径向两个维度计算全局自注意力，建模血管环形连续性及支架整体空间分布的长程依赖关系，生成第二分支第一阶段特征图；

37、将所述第一分支第一阶段特征图和第二分支第一阶段特征图分别作为步骤s3中两条分支各自的输入；

38、步骤s3：双分支独立多尺度上下文增强

39、将步骤s2中所述resnet50卷积神经网络分支输出的第一分支第一阶段特征图送入嵌入该分支末端的第一aspp模块进行多尺度上下文增强；

40、同时，将步骤s2中所述cswintransformer分支输出的第二分支第一阶段特征图送入嵌入该分支末端的第二aspp模块进行多尺度上下文增强；

41、每个所述aspp模块分别通过五条并行分支提取多尺度特征，所述五条并行分支包括1×1基础卷积分支、膨胀率分别为12、24和36的三组空洞卷积分支及全局平均池化分支；

42、将各分支输出在通道维度拼接融合后，经1×1卷积降维统一通道数，分别获得第一分支第二阶段增强特征图和第二分支第二阶段增强特征图；

43、将所述第一分支第二阶段增强特征图和第二分支第二阶段增强特征图共同作为步骤s4的输入；

44、步骤s4：跨模态深度特征融合

45、同时接收步骤s3中经双分支aspp模块增强后的第一分支第二阶段增强特征图和第二分支第二阶段增强特征图；

46、融合所述resnet50卷积神经网络分支输出的空间注意力特征与所述cswintransformer分支输出的通道注意力特征；

47、通过双线性交互单元实现局部细节与全局环形结构特征的深层互补融合，输出统一融合特征图，并将该统一融合特征图作为步骤s5的输入；

48、步骤s5：分层解码生成双通道分割掩膜

49、将步骤s4输出的统一融合特征图输入分层解码器，通过注意力增强跳跃连接与编码器各层级的跨分辨率语义特征进行对齐；

50、通过逐步上采样操作恢复特征图空间分辨率；

51、最终输出双通道分割概率掩膜，其中第一通道对应管腔区域分割结果，第二通道对应支架区域分割结果；

52、将所述双通道分割概率掩膜同时作为步骤s6和步骤s7的输入；

53、步骤s6：拓扑一致性约束

54、首先，在模型训练阶段，将支架完全位于管腔内部的临床解剖先验转化为可微拓扑损失函数；

55、以总损失函数监督模型训练，其中分割损失由dice损失和二元交叉熵损失共同构成，拓扑损失与分割损失加权求和，通过反向传播将解剖先验知识嵌入特征学习全过程；

56、然后，在推理阶段，接收步骤s5输出的双通道分割概率掩膜，对支架分割掩膜进行后处理拓扑校验，将位于管腔分割掩膜界定的管腔区域以外的支架预测像素予以剔除，生成经拓扑约束优化后的管腔二值分割掩膜和支架二值分割掩膜；

57、将经拓扑约束优化后的管腔二值分割掩膜和支架二值分割掩膜作为步骤s7的输入；

58、步骤s7：自动计算临床定量评估指标

59、接收步骤s6输出的管腔二值分割掩膜和支架二值分割掩膜作为输入；

60、对支架轮廓进行最小外接椭圆拟合，以短轴长度与长轴长度的比值计算支架椭圆度，量化支架扩张均匀程度；

61、以有效支架像素数量与单像素面积的乘积计算支架面积；

62、以支架总面积与管腔总面积的比值计算支架-管腔面积比，用于评估支架贴壁程度及残余狭窄风险；

63、将分割结果与临床定量指标通过前后端交互模块进行可视化展示，支持批量导出评估报告。

64、进一步地，所述步骤s1中的小波变换算法进行自适应图像降噪具体包括：对输入图像执行小波分解，得到多个尺度和方向的小波系数；对各层小波系数采用自适应阈值进行阈值收缩处理，抑制散斑噪声和环形伪影对应的高频分量；通过小波重构得到降噪后的图像；所述伽马校正与局部对比度均衡具体包括：调整图像灰度分布的伽马值以校正亮度不均，以及在局部图像块内执行对比度均衡化处理以增强管腔边界和支架边缘的可视性。

65、进一步地，所述步骤s3中各aspp模块的全局平均池化分支具体执行：对输入特征图进行全局平均池化，将每个通道的空间信息压缩为单一数值，得到通道描述向量；将所述通道描述向量通过1×1卷积进行通道变换后，上采样恢复至原特征图空间尺寸，得到全局上下文特征，与其余四个分支的输出在通道维度拼接融合。

66、进一步地，所述步骤s4中的跨模态深度特征融合具体包括：将所述resnet50卷积神经网络分支输出的增强特征图通过空间注意力机制生成空间注意力权重图，强化局部纹理和边缘特征响应；将所述cswintransformer分支输出的增强特征图通过通道注意力机制生成通道注意力权重向量，强化全局环形结构相关的特征通道响应；将空间注意力加权后的cnn特征与通道注意力加权后的transformer特征输入双线性交互单元，所述双线性交互单元通过外积运算捕获二阶特征交互信息，实现局部细节与全局环形结构特征的深层互补融合。

67、进一步地，所述步骤s5中的分层解码器具体包括多个上采样阶段，每个上采样阶段包含上采样层、跳跃连接层和卷积层；所述上采样层采用双线性插值或转置卷积将特征图分辨率逐级恢复；所述跳跃连接层将当前解码层特征与编码器对应层级的特征进行拼接，在拼接前通过注意力门控单元对编码器特征进行选择性增强，抑制无关背景响应、突出管腔和支架区域相关特征；所述卷积层对拼接后的特征进行非线性变换，逐级恢复空间细节信息。

68、进一步地，所述步骤s7之后还包括前后端交互步骤：前端可视化界面接收用户上传的单张图像或批量血管内超声回撤图像序列；后端基于flask框架和pytorch搭建的restapi服务逐帧执行步骤s1至步骤s7的完整推理流程；推理完成后，批量输出原始血管内超声图像、分割轮廓叠加可视化图像、彩色分割掩膜叠加效果图以及包含支架椭圆度、支架面积和支架-管腔面积比的标准化定量指标表格；前端界面实时预览分割与量化结果，并提供结果导出功能。

69、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现基于cnn-transformer混合模型的血管内超声支架与管腔协同分割方法的全部步骤。

70、一种血管内超声智能分割评估装置包括存储器和处理器，所述存储器存储有可运行的计算机程序，所述处理器执行所述计算机程序时实现基于cnn-transformer混合模型的血管内超声支架与管腔协同分割方法的全部步骤，包括：血管内超声影像标准化预处理、双分支编码器特征提取、aspp多尺度上下文增强、bifusion跨模态特征融合、分层解码生成分割掩膜、拓扑一致性约束校正、以及临床定量指标自动测算。