一种基于多模态肺部结节的图像识别方法、设备及系统

本技术涉及医学图像处理以及人工智能，尤其涉及一种基于多模态肺部结节的图像识别方法、设备及系统。

背景技术：

1、肺部结节是肺癌的早期主要表现形式，其良恶性的准确鉴别对于患者的治疗与预后至关重要。目前，临床主要依靠医生对胸部ct影像进行视觉判读，并结合患者的年龄、吸烟史、临床症状等文本信息进行综合判断。

2、然而，现有的医学图像识别方法主观性强，效率较低，面对海量ct图像时工作负担重，易产生视觉疲劳。且现有的计算机辅助系统大多仅基于单一的ct影像数据，未能有效利用关键的临床文本信息。部分已有系统虽尝试引入文本信息，但多采用特征向量简单拼接等初级融合方式，未能挖掘多模态数据之间的深层关联。而且不同模态数据在特征空间与信息尺度上存在显著差异，ct影像特征为高维空间特征，而临床文本特征为语义序列特征，两者天然存在“语义鸿沟”。传统融合方法难以实现跨模态的细粒度对齐。并且现有方法易将血管、疤痕等正常组织误判为结节，导致不必要的进一步检查。

3、因此，亟需一种能够高效融合ct影像与临床文本信息，且具备良好可解释性与低假阳性率的智能医学图像识别方法及系统。

技术实现思路

1、本技术实施例提供了一种基于多模态肺部结节的图像识别方法、设备及系统，用于解决如下技术问题：在现有肺部结节图像的智能识别中，难以有效融合ct影像与临床文本等多模态信息，容易对于微小或形态不典型的结节图像识别存在误差，导致所识别后假阳性率较高。

2、本技术实施例采用下述技术方案：

3、一方面，本技术实施例提供了一种基于多模态肺部结节的图像识别方法，包括：对目标人员的多模态肺部结节图像进行感兴趣区域提取处理，以疑似结节的中心点为基准构建包裹所述疑似结节的三维感兴趣区域；提取所述三维感兴趣区域的影像特征以及提取所述目标人员临床文本序列的临床文本特征；以影像置信度与临床文本置信度为引导条件，对所述影像特征和所述临床文本特征进行双向交互计算，分别生成图像到文本的第一门控系数以及文本到图像的第二门控系数；其中，所述影像置信度由所述影像特征计算得到，所述临床文本置信度由所述临床文本特征计算得到；通过所述第一门控系数以及所述第二门控系数，将所述影像特征与所述临床文本特征之间进行信息流引导下的交叉注意力增强计算，得到特征融合后的初步融合特征向量；对所述初步融合特征向量进行跨模态特征的多轮迭代处理，得到所述肺部结节图像中疑似结节区域对应的最终融合特征；将所述最终融合特征进行基于分类器的分类处理，输出所述肺部结节图像的最终肺部结节识别结果。

4、本技术实施例通过置信度评估网络动态量化各模态特征的质量，并据此生成门控系数调控跨模态信息流动。可以当某一模态数据质量较差时，门控机制自动抑制该模态向另一模态的信息传递，避免低质量特征污染融合结果。还利用多轮迭代交互让视觉特征与文本特征反复对话，每一轮都在对方信息的引导下对自身进行精化。同时，本技术不仅输出医学图像的识别判断结果，还能输出各模态的置信度分数和注意力热图，能够具备更好的可观性与可信度。并且通过置信度引导的门控机制，当影像特征不明确时，系统会更多地依赖临床文本信息进行综合判断；反之亦然；动态权衡机制有效减少了单一模态误判导致的假阳性。而且，在多模态信息的冗余性使得在识别过程中，当某一模态数据质量不佳时，仍能从另一模态获得足够的判断特征，提高了系统在真实临床环境下的稳定性和泛化能力。

5、在一种可行的实施方式中，对目标人员的多模态肺部结节图像进行感兴趣区域提取处理，以疑似结节的中心点为基准构建包裹所述疑似结节的三维感兴趣区域，具体包括：获取所述目标人员的肺部薄层ct扫描原始数据并生成对应的肺部结节图像；其中，所述肺部结节图像为ct图像；根据形态学分割特征，对所述肺部结节图像进行有关肺实质区域的分割处理，并将肺部结节图像按照统一体素间距进行图像重采样处理；识别所述肺实质区域中的肺部结核疑似区域，并将所述肺部结核疑似区域中的疑似结节中心点确定为兴趣区域的中心坐标；根据所述兴趣区域的中心坐标，对所述肺部结核疑似区域进行区域裁剪处理，并基于hu值的归一化处理，得到裁剪后的所述三维感兴趣区域。

6、在一种可行的实施方式中，提取所述三维感兴趣区域的影像特征以及提取目标人员临床文本序列的临床文本特征，具体包括：获取所述目标人员的临床文本信息，并对所述临床文本信息进行文本数据的结构化字段与非结构化文本处理，得到预处理后的所述临床文本序列；其中，所述临床文本信息至少包括：年龄、性别、吸烟史、结节家族史、临床症状以及既往肺部疾病史；通过预设的文本编码器，对所述临床文本序列进行编码处理，并将所述文本编码器最后一层隐藏状态的文本特征矩阵确定为所述临床文本特征；将卷积神经网络中全局平均池化层和全连接分类层均进行移除处理，并保留最后一个卷积层；将所述最后一个卷积层的特征通道数维度与所述文本特征矩阵的特征通道数维度进行维度相同控制；通过定制化修改后的卷积神经网络，对所述三维感兴趣区域进行特征提取处理，得到所述影像特征；其中，所述定制化修改后的卷积神经网络为视觉编码器。

7、在一种可行的实施方式中，以影像置信度与临床文本置信度为引导条件，对所述影像特征和所述临床文本特征进行双向交互计算，分别生成图像到文本的第一门控系数以及文本到图像的第二门控系数，具体包括：将所述影像特征进行全局平均池化处理，得到基于全局特征聚合后的全局视觉特征向量；通过视觉质量回归网络，将所述全局视觉特征向量进行有关标量值的回归计算，并基于sigmoid激活函数映射区间，得到所述影像置信度；其中，所述视觉质量回归网络由两层全连接层构成的回归网络；基于文本质量回归网络，将所述临床文本特征对应的全局文本特征向量进行基于sigmoid激活函数映射区间的标量值计算，得到所述临床文本置信度；其中，所述文本质量回归网络与所述视觉质量回归网络均为网络结构相同但参数相互独立的回归网络；将所述影像置信度与所述临床文本置信度之间进行有关置信度相互引导下的门控系数生成处理，得到由影像置信度到临床文本置信度引导下的所述第一门控系数与由临床文本置信度到影像置信度引导的所述第二门控系数；其中，所述门控系数用于不同模态置信度之间信息流动的加强控制或者抑制控制。

8、在一种可行的实施方式中，通过所述第一门控系数以及所述第二门控系数，将所述影像特征与所述临床文本特征之间进行信息流引导下的交叉注意力增强计算，得到特征融合后的初步融合特征向量，具体包括：通过线性投影层，将所述影像特征与所述临床文本特征均映射到相同的特征空间中；并基于可学习的投影矩阵，得到基于所述影像特征的视觉查询向量与视觉键值对以及基于所述临床文本特征的文本查询向量与文本键值对；基于所述视觉查询向量与所述文本键值对，计算出第一交叉注意力；通过所述第一门控系数的调控信息流强度，并基于所述第一交叉注意力以及所述视觉键值对，对临床文本特征引导下的影像特征进行特征增强计算，得到有关图像到文本的交叉注意力下的增强影像特征；基于所述文本查询向量以及所述视觉键值对，计算出第二交叉注意力；通过所述第二门控系数的调控信息流强度，并基于所述第二交叉注意力以及所述文本键值对，对影像特征引导下的临床文本特征进行特征增强计算，得到有关文本到图像的交叉注意力下的增强临床文本特征；将所述增强影像特征进行全局平局池化处理，得到视觉影像全局特征向量；将所述增强临床文本特征中所标记的文本序列全局表征所对应的特征向量确定为临床文本全局特征向量；基于特征通道维度，将所述视觉影像全局特征向量与所述临床文本全局特征向量进行拼接处理，得到所述肺部结节图像中疑似结节区域的所述初步融合特征向量。

9、在一种可行的实施方式中，对所述初步融合特征向量进行跨模态特征的多轮迭代处理，得到所述肺部结节图像中疑似结节区域的最终融合特征，具体包括：通过预设的多层感知机，将所述初步融合特征向量中沿相同通道维度拆分出的视觉分量与文本分量均进行基于当前轮次可学习变换矩阵的分量增强处理，得到当前轮次的增强视觉分量与增强文本分量；其中，所述多层感知机用于将一种模态信息变换后叠加到当前模态中；将所述增强视觉分量与所述增强文本分量进行基于所述相同通道维度的重新拼接处理，得到下一轮次的融合特征；在每一轮迭代结束后，计算相邻两轮所述融合特征之间的变化量；并基于变化量的波动范围，对所述融合特征的迭代进行提前终止控制；基于所述融合特征的多轮次迭代控制或者提前终止控制，生成所述肺部结节图像中疑似结节区域的最终融合特征。

10、在一种可行的实施方式中，将所述最终融合特征进行基于分类器的分类处理，输出所述肺部结节图像的最终肺部结节识别结果，具体包括：通过所述分类器中的softmax激活函数，将所述最终融合特征进行有关肺部结核类别的概率分布计算，得到所述肺部结节图像中每种类型肺部结核的危险概率；其中，所述分类器由两层全连接层和softmax激活函数所构成；将每种类型肺部结核的危险概率进行模式划分，输出所述最终肺部结节识别结果；其中，所述最终肺部结节识别结果包括：二分类模式中的良性概率与恶性概率以及三分类模式中的低危、中危与高危的分级概率。

11、在一种可行的实施方式中，在将所述影像特征与所述临床文本特征之间进行信息流引导下的交叉注意力增强计算，得到特征融合后的初步融合特征向量之后，所述方法还包括：提取所述初步融合特征向量中基于交叉注意力计算出的注意力权重矩阵；将所述注意力权重矩阵映射到所述肺部结节图像的三维空间中，并生成对应的注意力热图；其中，所述注意力热图用于展示肺部结核视觉类型区域的贡献度以及对应临床文本信息的贡献度。

12、第二方面，本技术实施例还提供了一种基于多模态肺部结节的图像识别设备，所述设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行上述任一实施方式所述的一种基于多模态肺部结节的图像识别方法。

13、第三方面，本技术实施例还提供了一种基于多模态肺部结节的图像识别系统，系统能够使处理器能够执行上述任一实施方式所述的一种基于多模态肺部结节的图像识别方法。

14、本技术提供了一种基于多模态肺部结节的图像识别方法、设备及介质，与现有技术相比，本技术实施例具有以下有益的技术效果：

15、1、通过置信度评估网络动态量化各模态特征的质量，并据此生成门控系数调控跨模态信息流动。可以当某一模态数据质量较差时，门控机制自动抑制该模态向另一模态的信息传递，避免低质量特征污染融合结果。

16、2、利用多轮迭代交互让视觉特征与文本特征反复对话，每一轮都在对方信息的引导下对自身进行精化。渐进式的特征优化策略相比单次融合能够捕捉更深层的模态间语义关联，尤其适用于微小或形态不典型结节的精细鉴别。

17、3、本技术不仅输出医学图像的识别判断结果，还能输出各模态的置信度分数和注意力热图，能够具备更好的可观性与可信度。

18、4、通过置信度引导的门控机制，当影像特征不明确时，系统会更多地依赖临床文本信息进行综合判断；反之亦然。这种动态权衡机制有效减少了单一模态误判导致的假阳性。

19、5、多模态信息的冗余性使得在识别过程中，当某一模态数据质量不佳时，仍能从另一模态获得足够的判断特征，提高了系统在真实临床环境下的稳定性和泛化能力。