一种基于统计优化的医学图像融合方法及系统与流程
本技术涉及医学图像处理，特别是涉及一种基于统计优化的医学图像融合方法及系统。
背景技术：
1、随着医学成像技术的发展，临床诊疗过程中可以获得多种类型的医学图像，不同医学图像在组织结构、灰度分布、边界特征以及病灶表现等方面具有不同的信息特点。受成像原理、采集条件以及成像参数等因素影响，单一医学图像所能够呈现的信息通常具有一定局限性，因此，可通过医学图像融合技术对具有空间对应关系的多幅医学图像进行处理，将不同图像所包含的信息综合至融合图像中，以为医学图像的观察、分析以及后续处理提供更加完整的图像信息。
2、目前，医学图像融合可以采用基于像素处理、图像变换或者神经网络等不同方式实现。由于不同医学图像之间的信息分布、图像对比度以及局部特征表现存在差异，不同图像对于融合结果的有效信息贡献也会随图像区域发生变化，现有融合方法在处理此类差异时，容易出现部分有效信息保留不足或者不同来源图像信息相互影响的情况，使融合结果存在组织轮廓不够清晰、局部信息丢失、灰度表现不稳定等问题。同时，随着医学图像数据量以及图像处理需求的增加，部分融合方法为了提高图像信息处理能力而采用较为复杂的处理结构，由此可能增加计算资源消耗和模型训练难度，在医学图像数据有限或者计算资源受限的应用环境下，融合效果和处理稳定性仍有进一步提高的空间。
3、因此，在医学图像融合过程中，不同医学图像之间的信息差异较大、有效图像信息难以充分协调保留以及融合质量、处理效率和结果稳定性难以兼顾，成为亟需解决的问题。
技术实现思路
1、本技术提供一种基于统计优化的医学图像融合方法及系统，旨在解决现有技术在医学图像融合过程中，不同医学图像之间的信息差异较大、有效图像信息难以充分协调保留以及融合质量、处理效率和结果稳定性难以兼顾的问题。
2、第一方面，一种基于统计优化的医学图像融合方法，所述方法包括：
3、获取具有空间对应关系的第一医学图像和第二医学图像并分别进行频带分解，得到各医学图像对应的低频分量和高频分量；
4、对所述低频分量和所述高频分量进行多尺度特征提取，其中，低频编码深度大于高频编码深度，得到两幅医学图像的多尺度低频特征和高频特征；
5、针对相同尺度、相同频带的所述第一医学图像和所述第二医学图像对应的特征，基于多个局部尺度的局部统计信息确定各局部尺度对应的统计能量，其中，根据局部均值的平方与局部方差之和确定低频统计能量，根据局部方差确定高频统计能量；聚合多个局部尺度对应的统计能量，得到统计能量表征；根据对应统计能量表征进行归一化并直接确定融合权重，且确定过程不引入可训练的融合参数，并根据所述融合权重融合相应特征，得到融合低频特征和融合高频特征；
6、对所述融合低频特征和所述融合高频特征进行多尺度解码，得到融合解码特征；
7、基于所述融合解码特征分别生成融合基础分量和融合细节分量，并组合得到医学融合图像。
8、上述方案中，可选地，所述分别对所述第一医学图像和所述第二医学图像进行频带分解，包括：
9、分别采用预设平滑核对所述第一医学图像和所述第二医学图像进行平滑处理，得到第一低频分量和第二低频分量；
10、分别将所述第一医学图像与所述第一低频分量作差，以及将所述第二医学图像与所述第二低频分量作差，得到具有正负符号的第一高频分量和第二高频分量。
11、上述方案中，可选地，所述分别对所述低频分量和所述高频分量进行多尺度特征提取，包括：
12、将所述低频分量输入共享编码器，并使所述低频分量依次经过所述共享编码器的多个编码阶段，得到多个尺度下的低频特征；
13、将所述高频分量输入所述共享编码器，并使所述高频分量经过所述多个编码阶段中的部分前序编码阶段后终止编码，得到多个尺度下的高频特征。
14、上述方案中，可选地，所述基于多个局部尺度的局部统计信息确定统计表征，包括：
15、针对相同尺度、相同频带的所述第一医学图像和所述第二医学图像对应的特征，分别按照多个不同尺寸的局部窗口确定局部均值和局部方差，得到多窗口局部统计信息；
16、当对应特征为低频特征时，根据所述局部均值的平方与所述局部方差之和，确定各所述局部窗口对应的低频统计能量；
17、当对应特征为高频特征时，根据所述局部方差确定各所述局部窗口对应的高频统计能量；
18、对多个所述局部窗口对应的统计能量进行聚合，得到所述第一医学图像和所述第二医学图像在对应尺度和对应频带下的统计能量表征。
19、上述方案中，可选地，所述基于所述统计能量表征确定融合权重，并根据所述融合权重进行特征融合，包括：
20、对所述第一医学图像和所述第二医学图像在相同尺度、相同频带下的统计能量表征进行归一化处理，得到第一空间权重和第二空间权重，其中，同一空间位置处的所述第一空间权重与所述第二空间权重之和为1；
21、根据所述第一空间权重和所述第二空间权重，对所述第一医学图像和所述第二医学图像在相同尺度、相同频带下的特征进行加权融合，得到对应尺度和对应频带的融合特征；
22、根据不同尺度和不同频带对应的所述融合特征，得到所述融合低频特征和所述融合高频特征。
23、上述方案中，可选地，所述对所述融合低频特征和所述融合高频特征进行多尺度解码，包括：
24、对最深尺度的融合低频特征进行通道适配，得到初始解码特征；
25、对所述初始解码特征进行上采样，得到当前解码尺度对应的上采样特征；
26、对所述当前解码尺度对应的融合低频特征和融合高频特征中的至少一种进行通道适配，得到当前尺度适配特征；
27、将所述当前尺度适配特征与所述上采样特征进行逐元素相加，得到当前尺度解码特征；
28、将所述当前尺度解码特征作为下一解码尺度的待上采样特征，按照解码尺度逐级执行上采样、通道适配和逐元素相加，得到所述融合解码特征。
29、上述方案中，可选地，所述基于所述融合解码特征分别生成融合基础分量和融合细节分量，并将所述融合基础分量和所述融合细节分量进行组合，包括：
30、将所述融合解码特征输入基础分量输出路径进行有界映射，得到所述融合基础分量；
31、将所述融合解码特征输入细节分量输出路径进行有符号且幅度受限的映射，得到所述融合细节分量；
32、将所述融合基础分量与所述融合细节分量进行叠加，并对叠加结果进行强度范围限制，得到所述医学融合图像。
33、上述方案中，可选地，在执行医学图像融合之前，还包括对用于执行所述多尺度特征提取和所述多尺度解码的医学图像融合网络进行自监督预训练，所述自监督预训练包括：
34、获取单模态医学训练图像，并对所述单模态医学训练图像进行频带分解，得到训练低频分量和训练高频分量；
35、分别对所述训练低频分量和所述训练高频分量施加相互独立的随机块掩码，得到掩码低频分量和掩码高频分量；
36、对所述掩码低频分量和所述掩码高频分量进行差异化多尺度特征提取，并对提取所得特征进行多尺度解码，得到预测基础分量和预测细节分量；
37、将所述预测基础分量和所述预测细节分量进行组合，得到预测重建图像；
38、根据所述预测重建图像、所述预测基础分量和所述预测细节分量与对应训练目标之间的差异，确定联合重建损失；
39、根据所述联合重建损失更新所述医学图像融合网络的网络参数，得到预训练医学图像融合网络。
40、上述方案中，可选地，还包括利用所述预训练医学图像融合网络进行跨医学图像融合训练，所述跨医学图像融合训练包括：
41、加载所述预训练医学图像融合网络的编码器参数、解码器参数、基础分量输出参数和细节分量输出参数，将编码器设置为参数冻结状态，并保留所述基础分量输出参数和所述细节分量输出参数，得到待训练医学图像融合网络；
42、将具有空间对应关系的医学图像对输入所述待训练医学图像融合网络进行融合处理，得到训练融合图像；
43、根据所述医学图像对确定强度约束目标和梯度约束目标，得到融合训练目标；
44、根据所述训练融合图像与所述融合训练目标之间的差异，确定融合训练损失；
45、在保持所述编码器的参数冻结状态下，根据所述融合训练损失更新解码器参数、基础分量输出参数和细节分量输出参数，得到训练完成的医学图像融合网络。
46、第二方面，一种基于统计优化的医学图像融合系统，所述系统包括：
47、图像处理模块，用于获取具有空间对应关系的第一医学图像和第二医学图像并分别进行频带分解，得到各医学图像对应的低频分量和高频分量；
48、特征提取模块，对所述低频分量和所述高频分量进行多尺度特征提取，其中，低频编码深度大于高频编码深度，得到两幅医学图像的多尺度低频特征和高频特征；
49、统计融合模块，用于针对相同尺度、相同频带的所述第一医学图像和所述第二医学图像对应的特征，基于多个局部尺度的局部统计信息确定各局部尺度对应的统计能量，其中，根据局部均值的平方与局部方差之和确定低频统计能量，根据局部方差确定高频统计能量；聚合多个局部尺度对应的统计能量，得到统计能量表征；根据对应统计能量表征进行归一化并直接确定融合权重，且确定过程不引入可训练的融合参数，并根据所述融合权重融合相应特征，得到融合低频特征和融合高频特征；
50、多尺度解码模块，用于对所述融合低频特征和所述融合高频特征进行多尺度解码，得到融合解码特征；
51、融合图像生成模块，用于基于所述融合解码特征分别生成融合基础分量和融合细节分量，并组合得到医学融合图像。
52、相比现有技术，本技术至少具有以下有益效果：
53、本技术基于对现有技术问题的进一步分析和研究，认识到在医学图像融合过程中，不同医学图像之间的信息差异较大、有效图像信息难以充分协调保留以及融合质量、处理效率和结果稳定性难以兼顾的问题，通过对具有空间对应关系的第一医学图像和第二医学图像进行频带分解，使医学图像中的整体结构信息与局部细节信息能够分别形成对应的低频分量和高频分量，并通过使低频分量采用相对较深的编码路径、高频分量采用相对较浅的编码路径进行多尺度特征提取，使不同性质的图像信息按照各自特征得到针对性表征，从而减少采用统一处理方式造成的信息相互干扰；进一步地，针对相同尺度、相同频带的两幅医学图像特征，基于多个局部尺度的局部统计信息形成统计表征，并根据所述统计表征确定融合权重，使两幅医学图像在不同空间位置处的融合贡献能够随局部信息特征自适应调整，由此提高不同医学图像中有效信息的协调保留能力；在获得融合低频特征和融合高频特征后，通过多尺度解码形成融合解码特征，并分别生成融合基础分量和融合细节分量后进行组合，使医学融合图像中的整体灰度和组织结构能够得到保持，同时兼顾局部边缘和细节信息的表达，因此，本技术能够在适应不同医学图像信息差异的基础上，提高有效图像信息的融合与保留能力，并兼顾医学图像融合的融合质量、处理效率和结果稳定性，从而解决现有医学图像融合过程中不同医学图像之间的信息差异较大、有效图像信息难以充分协调保留以及融合质量、处理效率和结果稳定性难以兼顾的问题。