基于多模态放射影像融合的肿瘤靶区自动勾画分析系统

本发明涉及医学图像处理与放射治疗计划，具体涉及基于多模态放射影像融合的肿瘤靶区自动勾画分析系统。

背景技术：

1、在肿瘤放射治疗中，靶区的精准勾画是制定放疗计划的关键前提，直接决定剂量分布与治疗效果。临床上广泛采用计算机断层扫描和磁共振成像引导靶区识别，计算机断层扫描对骨骼等高密度组织显示清晰，磁共振成像对软组织肿瘤和水肿边界具有高对比分辨力，然而单一模态影像存在固有局限，计算机断层扫描对某些软组织肿瘤边界显示模糊，磁共振影像则易受几何畸变和信号不均匀影响。传统靶区勾画由医师手动逐层完成，耗时长达数十分钟，勾画结果高度依赖个人经验，不同医师间及同一医师前后的一致性均难以保证，这种人工方式已成为制约放疗精度与效率的瓶颈。基于深度学习的自动分割方法为改进该问题提供了可能，但现有方法大多基于单模态影像，无法捕获多模态互补信息，对复杂病例中肿瘤边界的判别能力不足。部分多模态融合方案仅将两种影像在输入或特征层简单拼接，未对跨模态深层语义交互进行建模，难以突显肿瘤在多模态下的特有表征。同时，这些方法普遍缺乏解剖学先验的集成，分割结果常违反正常解剖结构，将紧邻肿瘤的骨质、血管腔或空腔脏器误纳入靶区。分割网络输出的概率图边界模糊，直接转化为掩膜会产生锯齿状边缘与孤立噪点，即使引入条件随机场进行后处理，也往往仅利用单模态梯度信息，未发挥多模态边缘互补优势。此外，现有系统多止步于轮廓输出，缺乏对肿瘤体积、最大三维径线和纹理异质性等量化指标的自动提取功能，临床实用性和完整性不足。因此，亟需能够深度融合多模态影像信息并嵌入解剖约束与边界优化的肿瘤靶区自动勾画方案。

技术实现思路

1、鉴于以上现有技术的缺点，本发明的目的在于提供基于多模态放射影像融合的肿瘤靶区自动勾画分析系统，用于解决单模态影像信息不足及人工勾画主观性强效率低的问题。本发明通过对计算机断层扫描影像和磁共振影像进行刚性与形变配准形成对齐影像对，由包含独立编码器和跨模态通道注意力融合单元的多特征分割网络生成初始肿瘤概率图，利用预建的解剖概率图谱进行空间过滤，再以全连接条件随机场结合多模态边缘信号对边界迭代优化，最终输出靶区掩膜并计算体积、三维径线和纹理参数，实现全自动勾画。

2、本发明提供基于多模态放射影像融合的肿瘤靶区自动勾画分析系统，包括：

3、影像配准模块，对ct影像和mri影像执行刚性配准与基于b样条的形变配准，形成多模态配准信号；

4、多模态特征分割模块，接收多模态配准信号，通过包含独立ct编码器、mri编码器和共享解码器的多特征融合网络生成初始肿瘤概率图信号，其中编码器各层级间设有跨模态通道注意力融合单元，将加权融合后的特征图传递至解码器；

5、解剖概率约束模块，接收初始肿瘤概率图信号，利用预建的解剖概率图谱对概率图进行空间过滤，去除不符合解剖约束的体素，形成约束概率图信号；

6、条件随机场优化模块，接收约束概率图信号和源自ct影像的梯度边缘信号，以约束概率图为一元势、梯度边缘为二元势构建全连接条件随机场，迭代演化后形成肿瘤靶区掩膜信号；

7、量化分析模块，接收肿瘤靶区掩膜信号，计算并输出包含体积、最大三维径线和基于灰度共生矩阵的纹理参数的分析结果信号。

8、在本发明的一个实施例中，影像配准模块以ct影像作为固定图像，以mri影像作为浮动图像，首先计算两幅影像间的归一化互信息相似性测度，采用梯度下降法搜索使互信息值最大的刚性变换参数，刚性变换参数包含三个平移分量和三个旋转分量，完成刚性配准后，在刚性配准结果的基础上构建控制点间距一致的b样条自由形变网格，以归一化互信息为目标函数，通过优化各控制点的位移向量使浮动图像逐级形变，当目标函数的增量低于预设收敛阈值时停止迭代，最终将形变后的mri影像与ct影像重采样至同一空间坐标系，形成多模态配准信号，归一化互信息的计算公式如下：

9、

10、其中，为归一化互信息函数输出数值，f为 ct 固定影像灰度分布变量，m为经形变处理后的 mri 浮动影像灰度分布变量，为刚性变换三维平移、旋转参数向量，为 b样条形变网格控制点位移向量，为 ct 影像灰度值域遍历索引，为三维影像体素空间遍历索引，为 ct 影像与形变 mri 影像联合灰度 - 体素概率分布函数，为 ct 单模态灰度边缘概率分布函数，为形变 mri 单模态体素边缘概率分布函数。

11、在本发明的一个实施例中，跨模态通道注意力融合单元对ct编码器和mri编码器同一层级输出的特征图分别进行全局平均池化操作，将每个通道的特征图压缩为一个标量值，得到第一通道描述符向量和第二通道描述符向量，第一通道描述符向量和第二通道描述符向量共享同一个由全连接层、线性整流激活函数、第二全连接层和s形激活函数顺次连接构成的权重生成网络，该权重生成网络对第一通道描述符向量和第二通道描述符向量分别输出ct通道权重向量和mri通道权重向量，将ct通道权重向量与ct编码器输出的特征图沿通道维度相乘，将mri通道权重向量与mri编码器输出的特征图沿通道维度相乘，得到加权后的第一特征图和加权后的第二特征图，对加权后的第一特征图和加权后的第二特征图进行逐元素相加操作，再通过一个卷积核尺寸为一乘一的卷积层将通道数还原至相加前的通道数，形成该层级传递给共享解码器对应层级的融合特征图，ct 通道权重向量的计算公式如下：

12、

13、其中，w为通道权重向量标识符号，ct 为 ct 编码器专属区分标识，c为当前计算特征通道序号索引，为 sigmoid 激活函数标识，为第二层全连接层权重矩阵，为线性整流激活函数标识，为第一层全连接层权重矩阵，h为单通道特征图高度像素数量，w为单通道特征图宽度像素数量，i为特征图高度方向遍历索引，j为特征图宽度方向遍历索引，为 ct 编码器第 c 通道原始特征图，(i,j)为特征图二维像素坐标索引，为第一层全连接层偏置向量，为第二层全连接层偏置向量。

14、在本发明的一个实施例中，解剖概率约束模块内部部署有一个预先训练的多器官分割网络，该多器官分割网络接收多模态配准信号并对ct影像和mri影像分别进行器官区域分割，输出包含多个器官标签的语义分割结果，解剖概率约束模块根据预设的病灶发生关联器官列表从语义分割结果中提取允许肿瘤出现的器官掩膜区域，同时从语义分割结果中提取禁止肿瘤出现的器官掩膜区域，将初始肿瘤概率图信号中落入禁止肿瘤出现的器官掩膜区域内的体素的概率值设置为零，将落入允许肿瘤出现的器官掩膜区域之外的体素的概率值也设置为零，对于保留的非零概率体素，进一步计算其与所在允许器官掩膜区域的距离变换值，当距离变换值低于预设距离阈值时该体素的概率值保持不变，当距离变换值超出预设距离阈值时按比例衰减该体素的概率值，完成上述操作后形成约束概率图信号。

15、在本发明的一个实施例中，解剖概率约束模块在生成约束概率图信号之前还执行连通域分析操作，对经过概率置零和衰减处理后的概率图进行阈值二值化，提取所有空间上连通的候选区域，计算每个连通区域的体积，将体积小于预设最小肿瘤体积的连通区域删除，对于体积大于预设最大肿瘤体积的连通区域，在保留其外部轮廓的前提下沿轮廓法线方向向内收缩至预设最大肿瘤体积对应的体素数量，对保留的连通区域进行基于主成分分析的三维形状分析，提取连通区域的长轴、中轴和短轴方向及对应的长度值，计算长轴与中轴的比值以及中轴与短轴的比值，当上述比值超出预设长宽比阈值时判定该连通区域为非结节形态并予以剔除，通过上述连通域分析形成约束概率图信号。

16、在本发明的一个实施例中，解剖概率约束模块还通过构造形状先验对约束概率图信号进行边缘规整，形状先验的构造方式为将初始肿瘤概率图信号中概率值最高的体素作为种子点，从种子点出发沿三维空间中均匀采样的方向向量发射虚拟射线，记录每条虚拟射线上概率值第一次跌落至预设截止阈值以下的体素坐标，将所有记录的体素坐标连接形成三维凸包，将三维凸包内部的体素概率值设置为该体素在初始肿瘤概率图信号中的原始概率值，将三维凸包外部的体素概率值设置为零，使约束概率图信号中各连通区域的边界趋于平滑。

17、在本发明的一个实施例中，条件随机场优化模块构建的全连接条件随机场的能量函数由一元势项和二元势项构成，一元势项直接取自约束概率图信号中各体素的概率值取负对数后的值，表示将该体素标记为肿瘤或背景的独立代价，二元势项由两个高斯核函数的加权和构成，第一个高斯核函数以体素的空间位置差异和源自ct影像的梯度边缘信号中对应体素的梯度幅值差异共同作为输入，其中空间位置差异由两个体素欧氏距离的平方除以第一空间带宽参数的平方计算，梯度幅值差异由两个体素梯度幅值之差的平方除以第一梯度带宽参数的平方计算，第二个高斯核函数仅以体素的空间位置差异作为输入，由两个体素欧氏距离的平方除以第二空间带宽参数的平方计算，第一个高斯核函数使相邻且梯度幅值相近的体素趋向于赋予相同标签，第二个高斯核函数用于消除孤立的小尺寸误检区域，将一元势项与二元势项求和构成全局能量函数，采用平均场近似算法迭代更新各体素的标签概率分布，直至能量函数收敛，输出肿瘤靶区掩膜信号。

18、在本发明的一个实施例中，源自ct影像的梯度边缘信号在输入二元势项之前先与源自mri影像的相位一致性边缘信号进行融合，mri影像的相位一致性边缘信号通过对mri影像在多个尺度和多个方向上计算傅里叶域相位一致性值获得，对每个体素取各方向相位一致性值的最大值作为该体素的相位一致性边缘响应，计算ct影像在各体素处的局部信噪比和mri影像在各体素处的局部信噪比，以ct局部信噪比和mri局部信噪比的比值作为加权系数，将ct梯度幅值与mri相位一致性边缘响应进行加权求和，生成融合后的边缘信号，将该融合后的边缘信号替代源自ct影像的梯度边缘信号作为二元势项中第一个高斯核函数的梯度幅值差异输入。

19、在本发明的一个实施例中，量化分析模块对肿瘤靶区掩膜信号进行连通域标记，识别出每个独立的肿瘤区域，对每个肿瘤区域统计其包含的体素总数并乘以单个体素的物理体积得到肿瘤体积，在肿瘤区域内遍历所有体素对计算各体素对之间的欧氏距离，取所有欧氏距离中的最大值作为最大三维径线，在肿瘤区域内构建灰度共生矩阵，计算灰度共生矩阵的能量、对比度、相关性和同质性四个纹理特征值，将肿瘤体积、最大三维径线、能量、对比度、相关性和同质性组织为结构化的分析结果信号并输出。

20、在本发明的一个实施例中，多模态特征分割模块中的多特征融合网络在训练阶段采用联合损失函数进行参数优化，联合损失函数由第一损失项、第二损失项和第三损失项加权求和构成，第一损失项为初始肿瘤概率图信号与人工标注的肿瘤掩膜之间的戴斯损失和焦点损失之和，第二损失项为约束概率图信号与人工标注的肿瘤掩膜之间的加权交叉熵损失，其中人工标注的肿瘤掩膜中体素值为一的体素赋予第一权重，体素值为零的体素赋予第二权重，且第一权重大于第二权重，第三损失项为对网络所有可训练参数求取二范数平方和的正则化损失，将第一损失项、第二损失项和第三损失项分别乘以预设的第一系数、第二系数和第三系数后求和，作为反向传播的目标函数。

21、本发明提供的基于多模态放射影像融合的肿瘤靶区自动勾画分析系统，本发明通过对计算机断层扫描影像和磁共振影像进行刚性与形变配准形成对齐影像对，由包含独立编码器和跨模态通道注意力融合单元的多特征分割网络生成初始肿瘤概率图，利用预建的解剖概率图谱进行空间过滤，再以全连接条件随机场结合多模态边缘信号对边界迭代优化，最终输出靶区掩膜并计算体积、三维径线和纹理参数，实现全自动勾画。