基于混合注意的语义增强哈希医学图像检索方法与流程

技术特征：
1.一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于，包括如下步骤：步骤1，将数据集划分为训练集和测试检索集；步骤2，随机选择图像组成医学三元组；步骤3，构建整体网络模型，将医学三元组样本作为网络模型的输入；步骤4，训练整体网络模型；步骤5，使用训练好的网络得到检索结果。2.如权利要求1所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤1中使用n个数据集，对于每个数据集，选用70％的数据作为训练集，剩余30％作为测试和检索集，同一个数据集中的医学图像为同类医学图像，不同数据集中的医学图像为不同类医学图像。3.如权利要求2所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤2中给定m个训练图像构成训练集i＝{i1,i2,...,i
m
}，从训练集中随机选择两幅同类医学图像作为锚点图像q
i
和正例图像p
i
，然后随机选择一幅与q
i
、p
i
不同类的医学图像作为负例图像n
i
，构成医学三元组t＝{q
i
,p
i
,n
i
}
i∈{1,...,m}
；在构建医学三元组样本单元时，选择样本数量比较少的医学图像作为稀有图像，并将其作为普通样本的负例图像，以此实现训练阶段对稀有图像的复用，克服医学图像检索领域的样本不平衡问题。4.如权利要求3所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤3中对于每一个三元组，三张医学图像同时输入权重共享的孪生神经网络，该孪生神经网络由卷积块、密集块、卷积块和一个用于哈希码输出的全连接层组成；在卷积块和密集块之间加上一个通道注意模块，密集块和卷积块之间加上一个空间注意模块，构成混合注意机制；通过通道注意模块和空间注意模块获取感兴趣区域信息，能够同时获得通道间的依赖和空间域的显著特征，进而更有效地关注医学图像的差异。5.如权利要求4所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤3中一张医学图像首先通过第一个卷积块得到特征图x∈r
c
×
h
×
w
，其中h和w分别表示特征图的高和宽，c表示通道的数量；接着通过通道注意模块，利用平均池化和最大池化操作压缩输入的特征图；通道注意模块内包括两个连续卷积层，第一个1
×
1卷积用于将池化操作后的特征投影到参数较少的隐藏层，并利用relu函数作为激活函数；第二个1
×
1卷积旨在恢复通道数，并利用sigmoid函数作为激活函数；然后将平均池化向量和最大池化向量逐元素相加，利用sigmoid函数进行加权操作，最后乘以特征图x；通道注意模块可表示为：通道注意模块可表示为：式中，m
c
(x)是一维通道注意图，大小为c
×1×
1；conv1×1代表滤波器大小为1
×
1的卷积操作；σ表示sigmoid函数；avgpool(
·
)是平均池化函数；maxpool(
·
)是最大池化函数。6.如权利要求5所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤3中为了充分利用特征图并加强特征图的传递，将特征图输入到由四个密集层组成的密集块中，每个密集层的输出将传递到每个后续层，以实现创建从早期层到后期层的短路径；空间注意模块是通道注意模块的补充，它重点关注样本信息量最大的部分，令y∈
r
c
×
h
×
w
表示从最后一个密集层提取到的特征图，其中h和w分别表示特征图的高和宽，c表示通道的数量，则空间注意模块可表示为：m
s
(y)＝σ(conv7×7([avgpool(x)；maxpool(x)]))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式中，m
s
(y)是一个二维空间注意图，大小是1
×
h
×
w；conv7×7代表滤波器大小为7
×
7的卷积操作；σ表示sigmoid函数；avgpool(
·
)是平均池化函数；maxpool(
·
)是最大池化函数；最后深度嵌入被映射到哈希码生成层，受语义增强损失、正则化损失和三元组交叉熵损失的约束。7.如权利要求1所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤4中基于混合注意力机制和孪生神经网络，通过优化整体损失函数来训练模型，整体损失函数包括哈希三元组、语义增强项和量化项；哈希函数可以将医学实例映射为紧凑的哈希码，同时保留原始空间中匹配医学图像和标签的语义信息，由于离散哈希码的汉明距离在深度学习网络中不便于优化，使用由线性层输出的深度嵌入的欧几里德距离代替哈希码的汉明距离；为了捕捉哈希空间中的相对相关性，医学图像的基本三元组项可以表示为：式中，||
·
||2表示二范式向量，用来测量距离；和表示尚未离散化的k位深度嵌入；δ表示边缘阈值；类别级语义有助于区分不同类别的相似哈希码，为了捕捉医学图像的类别级语义，使用匹配的图像和真实标签来约束哈希码的学习过程；语义增强项可以表示为：式中，表示交叉熵损失函数，和分别表示q
i
、p
i
、n
i
的标签信息；由于三元组损失的计算是基于没有离散化的深度嵌入，将会导致量化误差，受迭代量化的启发，使用量化项以减少深度嵌入和哈希码之间的量化误差；量化项可以表示为：式中，||
·
||2表示二范式向量，用来测量距离；和表示尚未离散化的k位深度嵌入，和分别表示q
i
、p
i
、n
i
的k位哈希码；考虑上述三个部分，总体损失函数可以表示为：l
total
＝l
tri
α
×
l
se
β
×
l
qu
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)式中，α和β表示控制损失项权重的超参数。8.如权利要求7所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征
在于：步骤4中训练整体网络模型时，医学三元组图像的大小调整为256
×
256，并在每轮训练中随机采样作为网络的输入，将三元组损失的边缘阈值δ设置为0.5，总体损失函数的参数α和β分别设置为1和0.8，该网络利用adam函数优化损失，学习率为0.001，评估哈希码位数从8，16，32，48到64的性能和最相似图像从5，10，15，20，25到30的性能，训练100个轮次或直到损失不再降低，得到训练好的模型。9.如权利要求1所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤5中使用训练好的网络计算测试数据集中样本图像的平均命中率、平均精度和平均倒数排名，以此三个指标评价检索性能；其中，命中率用于测量返回列表中有多少图像与查询图像相似；在返回列表中，平均精度将与查询图像相似的图像的排名位置做平均运算，从而测量排名质量；倒数排名指在返回列表中第一个相似图像排序的倒数位置。

技术总结
本发明涉及一种基于混合注意的语义增强哈希医学图像检索方法。首先将数据集划分为训练集和测试检索集，从训练集中随机选择图像组成医学三元组，然后构建整体网络模型，将医学三元组样本作为网络模型的输入，最后训练整体网络模型，并使用训练好的网络得到检索结果。本发明利用通道注意模块和空间注意模块构成混合注意机制，能高效提取感兴趣区域(ROI)信息；利用类别级语义信息来约束哈希码的学习过程，有助于区分不同类别的相似哈希码；当深度嵌入映射至离散哈希码时，利用量化损失项减少深度嵌入和哈希码之间的量化误差，能够进一步提升医学图像检索的精度。提升医学图像检索的精度。提升医学图像检索的精度。


技术研发人员：陈亚雄 李小玉 汤一博 王凡 熊盛武
受保护的技术使用者：武汉理工大学
技术研发日：2021.09.22
技术公布日：2022/1/4