面向CT医学图像的篡改检测方法、篡改检测模型训练方法和系统与流程
本发明涉及图像检测,尤其涉及一种面向ct医学图像的篡改检测方法、篡改检测模型训练方法和系统。
背景技术:
1、随着医院影像归档与通信系统、远程影像会诊系统、云端阅片系统以及人工智能辅助诊断平台的发展,在医学方面的计算机断层扫描(computed tomography, ct)图像已经不仅仅是单机保存的静态图像,而是作为一种重要的医疗数据资产,在采集、传输、存储、调阅和分析等多个环节中被频繁调用。这样虽然提升了医疗效率,但也带来了新的安全风险,尤其是在图像数字化和网络化环境下,ct医学图像可能遭受恶意篡改,例如在肺部ct医学图像中人为插入伪造病灶、对原有病灶区域进行删除或擦除、将某处病灶复制到另一位置、将其他图像中的异常组织拼接到当前ct医学图像中以及对局部区域进行修补或重绘以掩盖真实病变等均属于恶意篡改情况。这些篡改行为一旦发生,可能对医生的判断产生误导,严重时会造成漏诊、误诊或错误治疗。因此,研究ct医学图像篡改检测技术具有重要的临床安全意义和应用价值。
2、当前已有少量针对医学图像篡改的研究,但大多数方法仍然存在适用场景单一、对小目标病灶不敏感、误检率较高以及泛化能力有限等问题。特别是对于ct医学图像,由于其纹理细微、边界过渡柔和、局部结构相似度高,仅依赖单一特征往往无法准确区分正常变化与篡改痕迹。
3、虽然现有ct医学图像篡改检测技术已经能够在一定程度上识别伪造痕迹,但仍然存在以下明显不足:①对不同类型篡改痕迹缺乏分层建模能力:现有方法倾向于使用单一网络统一提取特征(如利用卷积神经网络或其他深层模型自动学习篡改特征),导致对复杂篡改场景的适应性不足;②对小范围、低对比度篡改区域敏感性不足医学图像中的篡改往往发生在较小的病灶区域或者边缘过渡较弱的组织区域,这些区域面积小、灰度变化轻微,且容易与正常解剖结构混淆。现有方法若过度依赖全局语义信息,容易出现漏检,尤其在病灶插入、病灶擦除和局部拼接等场景下更为明显。
4、因此,亟需一种适用于ct医学图像的篡改检测方法,能够克服现有技术的缺陷提高检测精度。
技术实现思路
1、鉴于此,本发明实施例提供了一种面向ct医学图像的篡改检测方法、篡改检测模型训练方法和系统,能够结合边缘增强、噪声残差分析或多尺度特征融合等方式,提高ct医学图像中篡改区域的识别能力。
2、本发明的一个方面提供了一种面向ct医学图像的篡改检测方法,该方法基于预训练的特征提取模型实现,特征提取模型包括多尺度边缘特征提取模块、多尺度噪声特征提取模块、多尺度融合模块和双特征融合模块;该方法包括以下步骤:
3、将待检测ct医学图像输入多尺度边缘特征提取模块,输出得到多个尺度的边缘特征图,并且将待检测ct医学图像输入多尺度噪声特征提取模块,输出得到多个尺度的噪声特征图;
4、将边缘特征图和噪声特征图分别输入多尺度融合模块,融合得到边缘融合特征图和噪声融合特征图;
5、利用双特征融合模块对边缘融合特征图和噪声融合特征图进行加权融合,得到待检测ct医学图像对应的融合特征图;
6、将融合特征图输入预训练的篡改检测分类模型,输出得到待检测ct医学图像对应的篡改检测结果。
7、在本发明的一些实施例中,在利用多尺度融合模块进行特征融合之后,所述方法还包括:
8、基于未被篡改的ct医学图像生成先验知识图;其中,未被篡改的ct医学图像与待检测ct医学图像属于同一解剖区域;先验知识图用于表示器官区域、组织结构区域或病灶边界区域在未被篡改的ct医学图像中的位置;
9、将先验知识图以及特定特征图作为注意力机制的输入,输出得到注意力权重,并利用注意力权重调整特定特征图;其中,特定特征图为边缘融合特征图、噪声融合特征图或待检测ct医学图像对应的融合特征图。
10、在本发明的一些实施例中,多尺度融合模块用于执行如下操作:
11、通过自底向上的特征编码路径对输入多尺度融合模块的多尺度特征图进行下采样,得到多尺度的第一采样特征图;
12、通过自顶向下的特征编码路径对多尺度的第一采样特征图进行上采样,得到多尺度的第二采样特征图;
13、对齐第一采样特征图和第二采样特征图,并通过加权融合得到输入多尺度融合模块的多尺度特征图对应的融合特征图。
14、在本发明的一些实施例中,待检测ct医学图像对应的融合特征图是通过如下方式得到的:
15、对齐边缘融合特征图和噪声融合特征图,并利用注意力机制分别生成对应的第一注意力图和第二注意力图;
16、通过逐元素相乘结合第一注意力图和第二注意力图,并将得到的联合注意力图作为联合权重;
17、通过联合权重对边缘融合特征图和噪声融合特征图进行加权融合处理,得到待检测ct医学图像对应的融合特征图。
18、在本发明的一些实施例中,待检测ct医学图像是通过对获取的原始待检测ct医学图像进行灰度归一化处理以及高斯滤波处理得到的;
19、待检测ct医学图像对应的篡改检测结果包括用于指示是否发生篡改的判定结果以及篡改概率图;
20、多尺度边缘特征提取模块是基于u-net模型构建得到的,多尺度噪声特征提取模块用于在多尺度的变换域中提取出噪声特征。
21、在本发明的一些实施例中,在将待检测ct医学图像输入多尺度边缘特征提取模块之前,所述方法还包括:通过梯度响应对待检测ct医学图像进行边缘增强处理。
22、在本发明的一些实施例中,在将待检测ct医学图像输入多尺度噪声特征提取模块之前,所述方法还包括:对待检测ct医学图像进行噪声残差增强处理。
23、本发明的另一方面提供了一种面向ct医学图像的篡改检测模型的训练方法,篡改检测模型包括特征提取模型和篡改检测分类模型,训练完成的篡改检测模型用于执行上述任一实施例所述的篡改检测方法;该方法包括以下步骤:
24、获取多个训练样本以及训练样本对应标签;其中,训练样本包括未篡改样本以及对未篡改样本添加边缘扰动和噪声扰动得到的篡改样本,训练样本中的未篡改样本和篡改样本均为ct医学图像;
25、将未篡改样本和篡改样本分别输入待训练的篡改检测模型,输出得到未篡改样本对应的篡改检测结果和篡改样本对应的篡改检测结果;
26、基于多尺度边缘特征提取模块、多尺度噪声特征提取模块、多尺度融合模块以及双特征融合模块针对未篡改样本和篡改样本分别输出的特征图形成特征提取模型的训练损失,基于未篡改样本和篡改样本对应的篡改检测结果以及对应标签形成篡改检测分类模型的训练损失,并利用特征提取模型和篡改检测分类模型的训练损失迭代训练篡改检测模型,得到训练完成的篡改检测模型。
27、在本发明的一些实施例中,篡改样本以及对应标签是将未篡改样本输入预训练的生成模型而得到的;
28、生成模型和篡改检测分类模型是共同进行训练的。
29、本发明的另一方面提供了一种面向ct医学图像的篡改检测系统,包括处理器、存储器及存储在存储器上的计算机程序/指令,所述处理器用于执行所述计算机程序/指令,当所述计算机程序/指令被执行时该系统实现上述任一实施例所述方法的步骤。
30、本发明提出的面向ct医学图像的篡改检测方法、篡改检测模型训练方法和系统,能够将结构异常和统计异常通过不同分支进行特征提取,并且还可同时整合浅层细节信息和深层语义信息,兼顾细粒度篡改定位和较大区域异常识别,进而联合建模进行篡改区域识别。本技术提出的方法通过双分支特征提取和特征融合对篡改痕迹进行分层建模,并且由于特征提取完整能够准确识别图像中小范围、低对比度的篡改区域,具有较高的篡改检测精度。
31、本发明的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
32、本领域技术人员将会理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。