一种基于人工智能的医疗影像识别与分析系统的制作方法

本发明涉及医疗人工智能，具体为一种基于人工智能的医疗影像识别与分析系统。

背景技术：

1、随着深度学习技术的发展，人工智能在医疗影像识别领域已取得显著进展，现有技术通常采用卷积神经网络或视觉变换网络作为特征提取骨干网络，对计算机断层扫描影像、磁共振影像、x光影像等医学影像进行端到端的特征提取，并结合分类头直接输出诊断结论，例如良恶性判别结果或疾病分级结果，部分先进系统进一步引入病理数据、基因数据、电子病历数据等多模态数据，通过特征拼接方式或注意力融合机制形成综合诊断模型，在可解释性方面，业界普遍采用类激活映射工具、局部可解释模型无关解释工具等事后解释手段，对模型决策所依赖的影像区域进行可视化标注；

2、与本发明最接近的现有技术方案为端到端多模态融合诊断系统，其技术流程为：首先，系统分别对影像数据和文本病历数据进行特征提取，影像端通常采用卷积网络或视觉变换网络骨干提取全局特征向量，文本端采用预训练语言模型提取语义向量，其次，将两类特征向量通过拼接方式、加权求和方式或跨模态注意力机制进行融合，得到统一的多模态融合特征，再次，融合特征被直接输入分类器或回归头，一步生成最终诊断结论，最后，为满足一定的可解释性需求，系统在输出结论后附加使用类激活映射等工具对影像输入生成热力图，作为事后解释说明，该方案在结构上属于特征提取、融合、直接输出结论、事后解释相互独立的处理流水线；

3、上述现有技术方案存在以下缺陷：其一，模型在跨机构、跨设备部署场景下容易学习到与病理特征无关但与标签存在统计相关性的设备域伪特征，导致模型泛化能力不足，其二，多模态特征在融合过程中被混合为单一高维向量，已不再具备与原始模态的一一对应关系，事后解释工具只能在原始输入空间上生成近似估计，无法穿透融合层还原出具体证据对预测结果的贡献程度，其三，现有生成式模型在推理阶段并未强制要求先输出可验证的中间证据、再输出诊断结论，模型在证据不充分的情况下仍可能给出看似合理但缺乏依据的诊断表述，存在虚构病灶细节的风险，为此，我们提出一种基于人工智能的医疗影像识别与分析系统。

技术实现思路

1、本发明的目的在于提供一种基于人工智能的医疗影像识别与分析系统，以解决现有端到端多模态融合诊断系统中设备域伪特征导致跨机构泛化能力不足、融合特征无法被事后解释工具穿透归因、以及诊断结论输出前缺乏强制证据校验导致虚构病灶细节等技术问题。

2、为解决上述技术问题，本发明提供一种基于人工智能的医疗影像识别与分析系统，包括特征提取层、证据锚定层、因果解耦融合模块、沙普利归因分解模块和证据包生成单元。

3、所述特征提取层用于对输入的医学影像数据和结构化电子病历文本数据分别进行特征提取，得到影像特征和文本特征。

4、所述证据锚定层与所述特征提取层连接，包括病灶分割检测子模块、医学实体识别子模块和证据交叉验证单元，所述病灶分割检测子模块用于依据所述影像特征生成病灶的像素级分割掩码和边界框，作为视觉证据，所述医学实体识别子模块用于依据所述文本特征提取医学实体集合，作为文本证据，所述证据交叉验证单元用于计算所述视觉证据与所述文本证据之间的语义一致性得分，判断所述一致性得分是否达到预设阈值，当达到预设阈值时输出通过交叉验证的视觉证据和文本证据，当未达到预设阈值时触发证据不足预警并终止后续诊断流程，从而在诊断结论输出前强制要求系统先生成可验证的结构化证据。

5、所述因果解耦融合模块与所述证据锚定层连接，包括共享特征提取器、诊断任务分类头、梯度反转层和域对抗分类器，所述共享特征提取器用于对通过交叉验证的视觉证据和文本证据进行特征融合，输出融合特征，所述融合特征分别输入所述诊断任务分类头和经由所述梯度反转层输入所述域对抗分类器，所述诊断任务分类头以真实诊断标签为监督信号，输出诊断预测结果，所述域对抗分类器以样本所属设备域标签为监督信号，输出域预测标签，所述梯度反转层用于在反向传播过程中将所述域对抗分类器传回的梯度乘以负系数后传递给所述共享特征提取器，使所述共享特征提取器学习到域不变的融合特征，从而剥离设备域混杂因素对诊断结果的干扰。

6、所述沙普利归因分解模块与所述因果解耦融合模块连接，用于将所述诊断预测结果按照证据来源模态划分为多个特征组，计算每个所述特征组对所述诊断预测结果的沙普利归因值，生成结构化的决策贡献度清单。

7、所述证据包生成单元用于将所述视觉证据、所述文本证据、所述诊断预测结果和所述决策贡献度清单进行整合，生成责任可追溯证据包，经接口反馈至临床诊断界面。

8、采用上述技术方案，与现有技术相比，本发明的有益效果在于：

9、1.本发明通过在诊断结论输出前设置强制性的证据锚定层，要求系统先生成像素级视觉证据与结构化文本证据并完成交叉验证后方可进入后续流程，从算法机制上阻断了在证据不充分情况下输出诊断结论的路径，降低了虚构病灶细节的风险；

10、2.本发明通过将诊断前强制性证据锚定交叉验证与结构因果模型指导下的域对抗解耦及面向融合后模态特征组的沙普利归因分解三种机制进行链式联动前一环节的输出作为后一环节的强制性输入前提，而非并行独立叠加，克服了现有技术中证据生成、特征融合、事后解释三阶段相互割裂、无法形成因果闭环的技术偏见，使得归因结果可直接穿透至通过交叉验证的原始模态证据，取得了现有单独应用域对抗训练或单独应用shap方法均无法达到的证据全链路可追溯技术效果；

11、3.本发明通过将证据锚定层输出的可视化举证材料、因果解耦模块输出的域不变诊断结果与沙普利归因分解模块输出的贡献度清单进行整合，形成端到端闭环的责任可追溯证据包，为满足医疗器械监管审批对可追溯性的要求提供了具体的技术手段。

1.一种基于人工智能的医疗影像识别与分析系统，其特征在于，包括：特征提取层，用于对输入的医学影像数据和结构化电子病历文本数据分别进行特征提取，得到影像特征和文本特征，证据锚定层，与所述特征提取层连接，包括病灶分割检测子模块、医学实体识别子模块和证据交叉验证单元，所述病灶分割检测子模块用于依据所述影像特征生成病灶的像素级分割掩码和边界框，作为视觉证据，所述医学实体识别子模块用于依据所述文本特征提取医学实体集合，作为文本证据，所述证据交叉验证单元用于计算所述视觉证据与所述文本证据之间的语义一致性得分，判断所述一致性得分是否达到预设阈值，当所述一致性得分达到预设阈值时，输出通过交叉验证的视觉证据和文本证据，当所述一致性得分未达到预设阈值时，触发证据不足预警并终止后续诊断流程，因果解耦融合模块，与所述证据锚定层连接，包括共享特征提取器、诊断任务分类头、梯度反转层和域对抗分类器，所述共享特征提取器用于对通过交叉验证的视觉证据和文本证据进行特征融合，输出融合特征，所述融合特征分别输入所述诊断任务分类头和经由所述梯度反转层输入所述域对抗分类器，所述诊断任务分类头以真实诊断标签为监督信号，输出诊断预测结果，所述域对抗分类器以样本所属设备域标签为监督信号，输出域预测标签，所述梯度反转层用于在反向传播过程中将所述域对抗分类器传回的梯度乘以负系数后传递给所述共享特征提取器，使所述共享特征提取器输出域不变的融合特征，沙普利归因分解模块，与所述因果解耦融合模块连接，用于将所述诊断预测结果按照证据来源模态划分为多个特征组，计算每个所述特征组对所述诊断预测结果的沙普利归因值，生成结构化的决策贡献度清单，证据包生成单元，用于将所述视觉证据、所述文本证据、所述诊断预测结果和所述决策贡献度清单进行整合，生成责任可追溯证据包。

2.根据权利要求1所述的一种基于人工智能的医疗影像识别与分析系统，其特征在于：所述证据交叉验证单元通过投影函数将所述视觉证据和所述文本证据分别映射至同一联合语义嵌入空间，计算映射后得到的视觉证据向量与文本证据向量之间的余弦相似度，作为所述一致性得分。

3.根据权利要求1所述的一种基于人工智能的医疗影像识别与分析系统，其特征在于：所述特征提取层包括视觉主干网络和医学语言模型，所述视觉主干网络为基于滑动窗口的层级化视觉变换网络，用于对所述医学影像数据逐级降采样并输出多尺度特征图，所述医学语言模型用于对所述结构化电子病历文本数据进行语义编码，输出语义特征向量。

4.根据权利要求1所述的一种基于人工智能的医疗影像识别与分析系统，其特征在于：所述因果解耦融合模块还用于基于结构因果模型将所述诊断预测结果表示为真实病理特征、设备域混杂因素和外生噪声项共同作用的结果，并利用所述结构因果模型指导所述域对抗分类器和所述梯度反转层的对抗训练过程。

5.根据权利要求1所述的一种基于人工智能的医疗影像识别与分析系统，其特征在于：所述沙普利归因分解模块采用带l1惩罚项的加权回归方法对所述沙普利归因值进行求解，并将求解得到的沙普利归因值按贡献度大小排序后归一化为百分比形式。

6.根据权利要求1所述的一种基于人工智能的医疗影像识别与分析系统，其特征在于：还包括证据不足预警与人工复核接口，所述证据不足预警与人工复核接口与所述证据交叉验证单元连接，用于在所述一致性得分未达到预设阈值时生成式人工复核请求并发送至临床医生诊断界面。

7.一种基于人工智能的医疗影像识别与分析方法，其特征在于，包括：获取待分析的医学影像数据以及与所述医学影像数据对应的结构化电子病历文本数据，对所述医学影像数据进行特征提取，得到影像特征，对所述结构化电子病历文本数据进行特征提取，得到文本特征，依据所述影像特征生成病灶的像素级分割掩码和边界框，作为视觉证据，依据所述文本特征提取医学实体集合，作为文本证据，计算所述视觉证据和所述文本证据之间的语义一致性得分，判断所述一致性得分是否达到预设阈值，当所述一致性得分未达到预设阈值时，触发证据不足预警并终止后续诊断流程，当所述一致性得分达到预设阈值时，将所述视觉证据和所述文本证据进行融合，得到融合特征，将所述融合特征输入诊断任务分类头，得到作为临床医生参考信息的诊断预测结果，同时将所述融合特征经梯度反转层输入域对抗分类器，所述域对抗分类器以样本所属设备域标签为监督信号进行训练，所述梯度反转层在反向传播过程中将所述域对抗分类器传回的梯度乘以负系数后回传给共享特征提取器，使所述共享特征提取器输出域不变的融合特征，将所述诊断预测结果按照证据来源模态划分为多个特征组，计算每个所述特征组对所述诊断预测结果的沙普利归因值，生成结构化的决策贡献度清单，将所述视觉证据、所述文本证据、所述诊断预测结果和所述决策贡献度清单进行整合，生成责任可追溯证据包。

8.根据权利要求7所述的一种基于人工智能的医疗影像识别与分析方法，其特征在于：计算所述视觉证据和所述文本证据之间的语义一致性得分包括：将所述视觉证据和所述文本证据分别通过投影函数映射至同一联合语义嵌入空间，计算映射后得到的两个向量之间的余弦相似度，作为所述一致性得分。

9.根据权利要求7所述的一种基于人工智能的医疗影像识别与分析方法，其特征在于：得到所述融合特征之后，还包括：构建结构因果模型，将所述诊断预测结果表示为真实病理特征、设备域混杂因素和外生噪声项共同作用的结果，并利用所述结构因果模型指导所述域对抗分类器和所述梯度反转层的对抗训练过程。

10.根据权利要求7所述的一种基于人工智能的医疗影像识别与分析方法，其特征在于：计算每个所述特征组对所述诊断预测结果的沙普利归因值包括：采用带l1惩罚项的加权回归方法对所述沙普利归因值进行求解，并将求解得到的沙普利归因值按贡献度大小排序后归一化为百分比形式。