一种基于无参考焦点质量评估的多聚焦图像融合方法与流程

1.本技术涉及图像融合技术领域，具体而言，涉及一种基于无参考焦点质量评估的多聚焦图像融合方法。


背景技术：

2.图像融合是用特定的算法将两幅图像融合成一幅新的图像，由于图像融合能利用两幅图像在时空上的相关性及信息上的互补性，因此图像融合得到的图像能更全面、清晰地反映拍摄场景。为了提高图像分析的准确度，现有技术一般通过多聚焦图像融合技术对源图像进行处理。
3.现有的多聚焦图像融合技术一般采用基于块的方法来融合图像，但由于固定块中可能包括聚焦区域和离焦区域，且在焦点测量过程中容易丢失源图像中的像素信息，因此该方法在焦点测量时不能准确检测聚焦区域与离焦区域之间的边界，从而导致图像融合的质量下降。
4.针对上述问题，目前尚未有有效的技术解决方案。


技术实现要素：

5.本技术的目的在于提供一种基于无参考焦点质量评估的多聚焦图像融合方法，能够有效地提高图像融合的质量。
6.第一方面，本技术提供了一种基于无参考焦点质量评估的多聚焦图像融合方法，用于融合多聚焦的第一源图像和第二源图像，该方法包括以下步骤：基于相同的分块方式分别对第一源图像和第二源图像进行分块处理，以获取第一图像块组和第二图像块组；基于无参考图像焦点质量评估度量对第一图像块组和第二图像块组进行重组，以生成全模糊图像；根据第一源图像和全模糊图像获取第一差图，根据第二源图像和全模糊图像获取第二差图；分别对第一差图和第二差图进行焦点测量，以获取与第一源图像对应的第一结构显著图和与第二源图像对应的第二结构显著图；根据第一结构显著图和第二结构显著图生成第一决策图；根据第一决策图融合第一源图像和第二源图像，以生成融合图像。
7.本技术提供的一种基于无参考焦点质量评估的多聚焦图像融合方法，先基于相同的分块方式分别对第一源图像和第二源图像进行分块处理，以获取第一图像块组和第二图像块组，并基于无参考图像焦点质量评估度量对第一图像块组和第二图像块组进行重组，以生成全模糊图像，然后根据第一源图像和全模糊图像获取第一差图，根据第二源图像和全模糊图像获取第二差图，并分别对第一差图和第二差图进行焦点测量，以获取第一结构显著图和第二结构显著图，最后根据第一结构显著图和第二结构显著图生成第一决策图，
并根据第一决策图融合第一源图像和第二源图像，由于该方法基于同一个全模糊图像获取第一源图像和第二源图像的图像强度剧烈变化处，而第一源图像和第二源图像具有不同的聚焦区域，因此第一差图能够更准确地反映第一源图像的图像强度剧烈变化处，第二差图能够更准确地反映第二源图像的图像强度剧烈变化处，第一结构显著图能够更准确地反映第一源图像的聚焦区域和聚焦边界，第二结构显著图能够更准确地反映第二图像的聚焦区域和聚焦边界，从而有效地提高检测聚焦区域和聚焦边界的准确度和图像融合的质量。
8.可选地，根据第一决策图融合第一源图像和第二源图像，以生成融合图像的步骤包括：基于一致性验证根据第一决策图生成第二决策图；利用小结构去除滤波器过滤第二决策图；根据过滤后的第二决策图融合第一源图像和第二源图像，以生成融合图像。
9.由于基于一致性验证根据第一决策图生成第二决策图能判断第一决策图中的像素点是否聚焦，而利用小结构去除滤波器过滤第二决策图能去除第二决策图中出现错误的像素点，因此该技术方案能够进一步地提高检测聚焦区域和聚焦边界的准确度，进而进一步地提高图像融合的质量。
10.可选地，一致性验证的步骤包括：以第一决策图的一像素点为中心，对第一预设图形内的所有像素点进行求和以生成第一求和结果；若第一求和结果大于等于第一预设图形的面积的一半，则将该像素点对应的像素值修正为1；若第一求和结果小于第一预设图形的面积的一半，则将该像素点对应的像素值修正为0。
11.可选地，一致性验证如下式所示：其中，fim（x，y）表示第二决策图在坐标为（x，y）的像素点的像素值，φ表示第一预设图形，（a，b）为第一决策图中以坐标为（x，y）的像素点为中心的第一预设图形内的任一像素点，表示以坐标为（x，y）的像素点为中心的第一预设图形内的所有像素点的第一求和结果，s
φ
表示第一预设图形的面积。
12.可选地，一致性验证的步骤包括：以第一决策图中的一像素点为中心，对第一预设图形内的所有像素点进行求和以生成第一求和结果，对第二预设图形内的所有像素点进行求和以生成第二求和结果，第一预设图形的尺寸与第二预设图形的尺寸不同；若第一求和结果与第二求和结果的差值大于等于预设变化的阈值面积的一半，则将该像素点对应的像素值修正为1；若第一求和结果与第二求和结果的差值小于阈值面积的一半，则将该像素点对应
的像素值修正为0。
13.可选地，一致性验证如下式所示：其中，fim（x，y）表示第二决策图在坐标为（x，y）的像素点的像素值，δa表示第一预设图形，（a，b）为第一决策图中以坐标为（x，y）的像素点为中心的第一预设图形内的任一像素点，表示以坐标为（x，y）的像素点为中心的第一预设图形内的所有像素点的第一求和结果，δb表示第二预设图形，（i，j）为第一决策图中以坐标为（x，y）的像素点为中心的第二预设图形内的任一像素点，表示以坐标为（x，y）的像素点为中心的第二预设图形内的所有像素点的第二求和结果，表示阈值面积。
14.可选地，根据第一源图像和全模糊图像获取第一差图，根据第二源图像和全模糊图像获取第二差图的步骤包括：对全模糊图像进行高斯滤波处理；根据第一源图像和滤波后的全模糊图像获取第一差图；根据第二源图像和滤波后的全模糊图像获取第二差图。
15.由于对全模糊图像进行高斯滤波处理能够消除全模糊图像中的块效应，因此该技术方案能够进一步地提高检测聚焦区域和聚焦边界的准确度，进而进一步地提高图像融合的质量。
16.可选地，基于无参考图像焦点质量评估度量对第一图像块组和第二图像块组进行重组，以生成全模糊图像的步骤包括：基于无参考图像焦点质量评估度量分别对第一图像块组中的多个图像块进行测评，以获取多个第一评分值；基于无参考图像焦点质量评估度量分别对第二图像块组中的多个图像块进行测评，以获取多个第二评分值；根据第一评分值和第二评分值对第一图像块组和第二图像块组进行重组，以生成全模糊图像。
17.可选地，分别对第一差图和第二差图进行焦点测量，以获取与第一源图像对应的第一结构显著图和与第二源图像对应的第二结构显著图的步骤包括：分别计算第一差图和第二差图的空间频率，以获取与第一源图像对应的第一结构显著图和与第二源图像对应的第二结构显著图。
18.可选地，根据第一结构显著图和第二结构显著图生成第一决策图的规则如下式所示：
其中，im（x,y）表示第一决策图在坐标为（x，y）的像素点的输出，sfa（x,y）为第一结构显著图在坐标为（x，y）的像素点的空间频率，sfb（x,y）为第二结构显著图在坐标为（x，y）的像素点的空间频率。
19.由上可知，本技术提供的一种本技术提供的一种基于无参考焦点质量评估的多聚焦图像融合方法，先基于相同的分块方式分别对第一源图像和第二源图像进行分块处理，以获取第一图像块组和第二图像块组，并基于无参考图像焦点质量评估度量对第一图像块组和第二图像块组进行重组，以生成全模糊图像，然后根据第一源图像和全模糊图像获取第一差图，根据第二源图像和全模糊图像获取第二差图，并分别对第一差图和第二差图进行焦点测量，以获取第一结构显著图和第二结构显著图，最后根据第一结构显著图和第二结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像，由于该方法基于同一个全模糊图像获取第一源图像和第二源图像的图像强度剧烈变化处，而第一源图像和第二源图像具有不同的聚焦区域，因此第一差图能够更准确地反映第一源图像的图像强度剧烈变化处，第二差图能够更准确地反映第二源图像的图像强度剧烈变化处，第一结构显著图能够更准确地反映第一源图像的聚焦区域和聚焦边界，第二结构显著图能够更准确地反映第二图像的聚焦区域和聚焦边界，从而有效地提高检测聚焦区域和聚焦边界的准确度和图像融合的质量。
附图说明
20.图1为本技术实施例提供的一种基于无参考焦点质量评估的多聚焦图像融合方法的流程图。
21.图2为本技术实施例提供的一种第一源图像和第二源图像。
具体实施方式
22.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
24.第一方面，如图1所示，本技术提供了一种基于无参考焦点质量评估的多聚焦图像融合方法，用于融合多聚焦的第一源图像和第二源图像，该方法包括以下步骤：s1、基于相同的分块方式分别对第一源图像和第二源图像进行分块处理，以获取第一图像块组和第二图像块组；s2、基于无参考图像焦点质量评估度量对第一图像块组和第二图像块组进行重
组，以生成全模糊图像；s3、根据第一源图像和全模糊图像获取第一差图，根据第二源图像和全模糊图像获取第二差图；s4、分别对第一差图和第二差图进行焦点测量，以获取与第一源图像对应的第一结构显著图和与第二源图像对应的第二结构显著图；s5、根据第一结构显著图和第二结构显著图生成第一决策图；s6、根据第一决策图融合第一源图像和第二源图像，以生成融合图像。
25.第一源图像的尺寸与第二源图像的尺寸相同，第一源图像和第二源图像的拍摄对象相同，但第一源图像和第二源图像具有不同的聚焦区域，以图2为例，图2中的左图为第一源图像，图2中的右图为第二源图像，第一源图像的聚焦区域为饼干人玩偶，第二源图像的聚焦区域为毛衣。步骤s1的分块方式可以为等距分块、等分分块等，步骤s1利用现有的分块算法、分块工具或第三预设图形分别对第一源图像和第二源图像进行分块处理，以得到第一图像块组和第二图像块组，第一图像块组包括对第一源图像进行分块处理后得到的多个第一图像块，第二图像块组包括对第二源图像进行分块处理后得到的多个第二图像块，步骤s1优选利用现有的滑动窗口算法分别对第一源图像和第二源图像进行分块处理。应当理解的是，为了保证后续步骤能够对第一图像块组和第二图像块组进行重组，步骤s1需要基于相同的分块方式分别对第一源图像和第二源图像进行分块，即分块处理第一源图像时使用的参数与分块处理第二源图像时使用的参数相同，从而使第一图像块组中的第一图像块的尺寸与第二图像块组中的第二图像块的尺寸相同，且每一个第一图像块均有一个与之位置、尺寸对应的第二图像块。
26.步骤s2的无参考图像焦点质量评估度量可以为现有的用于计算图像块的模糊程度的算法或模型，无参考图像焦点质量评估度量能够根据图像块生成对应的模糊程度信息，模糊程度信息越大，则该图像块越模糊。步骤s2先基于无参考图像焦点质量评估度量分别根据第一图像块组和第二图像块组生成多个与第一图像块对应的第一模糊程度信息和多个与第二图像块对应的第二模糊程度信息，然后根据第一模糊程度信息和对第二模糊程度信息对第一图像块组和第二图像块组进行重组以生成全模糊图像，该重组过程为比较各个位置的第一图像块和第二图像块的模糊程度，并抽取每个位置中较为模糊的图像块来重组成全模糊图像。
27.步骤s3利用全模糊图像减去第一源图像以获取第一差图和利用全模糊图像减去第二源图像以获取第二差图。全模糊图像减去第一源图像时会将全模糊图像和第一源图像的对应像素值相减，以削弱全模糊图像和第一源图像的相似部分和突出全模糊图像和第一源图像的差异部分，因此第一差图为显示第一源图像与全模糊图像之间的差异的图像，其能反映第一源图像相对于全模糊图像的图像强度剧烈变化处。全模糊图像减去第二源图像时会将全模糊图像和第二源图像的对应像素值相减，以削弱全模糊图像和第二源图像的相似部分和突出全模糊图像和第二源图像的差异部分，因此第一差图为显示第二源图像与全模糊图像之间的差异的图像，其能反映第二源图像相对于全模糊图像的图像强度剧烈变化处。由于该步骤相当于以同一个参考标准获取第一源图像和第二源图像相对于同一个全模糊图像的图像强度剧烈变化处，而第一源图像和第二源图像具有不同的聚焦区域，因此第一差图能够更准确地反映第一源图像的图像强度剧烈变化处，第二差图能够更准确地反映
第二源图像的图像强度剧烈变化处。
28.在获取第一差图和第二差图后，步骤s4利用现有的焦点测量算法（例如基于空间频率的焦点测量算法或基于拉普拉斯能量的焦点测量算法）或模型分别对第一差图和第二差图进行焦点测量以计算第一差图和第二差图中的像素显著性，从而获取与第一源图像对应的第一结构显著图和与第二源图像对应的第二结构显著图。步骤s4优选利用现有的基于空间频率的焦点测量算法分别对第一差图和第二差图进行焦点测量。第一结构显著图为表征第一源图像各个像素显著性的图像，第二结构显著图为表征第二源图像各个像素显著性的图像。应当理解的是，步骤s4选择不同的焦点测量算法能够生成不同的结构显著图，例如，步骤s4利用现有的基于拉普拉斯能量的焦点测量算法分别对第一差图和第二差图进行焦点测量，则第一结构显著图为第一差图的拉普拉斯能量图，第二结构显著图为第二差图的拉普拉斯能量图；又例如，步骤s4利用现有的基于空间频率的焦点测量算法分别对第一差图和第二差图进行焦点测量，则第一结构显著图为第一差图的空间频率图，第二结构显著图为第二差图的空间频率图。
29.步骤s5根据第一结构显著图和第二结构显著图生成第一决策图为现有技术。优选地，第一结构显著图为第一差图的空间频率图，第二结构显著图为第二差图的空间频率图，步骤s5生成第一决策图的规则如式（1）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，im（x,y）表示第一决策图在坐标为（x，y）的像素点的输出（即该像素点的像素值），sfa（x,y）为第一结构显著图在坐标为（x，y）的像素点的输出（即第一差图在坐标为（x，y）的像素点的空间频率），sfb（x,y）为第二结构显著图在坐标为（x，y）的像素点的输出（即第二差图在坐标为（x，y）的像素点的空间频率）。由于第一决策图综合了第一结构显著图和第二结构显著图的优势，因此步骤s5生成的第一决策图能够更准确地反映聚焦区域和聚焦边界。应当理解的是，步骤s5生成的第一决策图为二值图（即黑白图像），第一决策图能反映在生成融合图像的每一像素点时需要从第一源图像中提取该像素点还是从第二源图像中提取该像素点，若第一决策图中的一像素点为黑色，则该像素点的像素值为0，此时需要从第二源图像中提取该像素点；若第一决策图中的一像素点为白色，则该像素点的像素值为1，此时需要从第一源图像中提取该像素点。
30.步骤s6先根据第一决策图分别从第一源图像或第二源图像中提取多个融合像素点，再根据所有融合像素点生成融合图像。由于第一决策图能反映在生成融合图像的每一像素点时需要从第一源图像中提取该像素点还是从第二源图像中提取该像素点，因此步骤s6能根据第一决策图从第一源图像或第二源图像中提取多个融合像素点，且根据所有融合像素点生成融合图像属于现有技术，此处不再进行详细论述。具体地，步骤s6的融合规则如式（2）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，f（x，y）表示坐标为（x，y）的融合像素点，im（x，y）表示第一决策图在坐标为（x，y）的像素点的像素值，ia为第一源图像，ib为第二源图像。
31.该实施例的工作原理为：该方法根据第一源图像和全模糊图像获取第一差图和根
据第二源图像和全模糊图像获取第二差图，第一差图能反映第一源图像相对于全模糊图像的图像强度剧烈变化处（即图像剧烈变化处），第二差图能反映第二源图像相对于全模糊图像的图像强度剧烈变化处，由于该方法基于同一个全模糊图像获取第一源图像和第二源图像的图像强度剧烈变化处，而第一源图像和第二源图像具有不同的聚焦区域，因此第一差图能够更准确地反映第一源图像的图像强度剧烈变化处，第二差图能够更准确地反映第二源图像的图像强度剧烈变化处，由于第一结构显著图为对第一差图进行焦点测量得到的，第二结构显著图为对第二差图进行焦点测量得到的，因此第一结构显著图能够更准确地反映第一源图像的聚焦区域和聚焦边界，第二结构显著图能够更准确地反映第二图像的聚焦区域和聚焦边界，从而有效地提高检测聚焦区域和聚焦边界的准确度和图像融合的质量。
32.本技术提供的一种基于无参考焦点质量评估的多聚焦图像融合方法，先基于相同的分块方式分别对第一源图像和第二源图像进行分块处理，以获取第一图像块组和第二图像块组，并基于无参考图像焦点质量评估度量对第一图像块组和第二图像块组进行重组，以生成全模糊图像，然后根据第一源图像和全模糊图像获取第一差图，根据第二源图像和全模糊图像获取第二差图，并分别对第一差图和第二差图进行焦点测量，以获取第一结构显著图和第二结构显著图，最后根据第一结构显著图和第二结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像，由于该方法基于同一个全模糊图像获取第一源图像和第二源图像的图像强度剧烈变化处，而第一源图像和第二源图像具有不同的聚焦区域，因此第一差图能够更准确地反映第一源图像的图像强度剧烈变化处，第二差图能够更准确地反映第二源图像的图像强度剧烈变化处，第一结构显著图能够更准确地反映第一源图像的聚焦区域和聚焦边界，第二结构显著图能够更准确地反映第二图像的聚焦区域和聚焦边界，从而有效地提高检测聚焦区域和聚焦边界的准确度和图像融合的质量。
33.在一些实施例中，步骤s6包括：s61、基于一致性验证根据第一决策图生成第二决策图；s62、利用小结构去除滤波器过滤第二决策图；s63、根据过滤后的第二决策图融合第一源图像和第二源图像，以生成融合图像。
34.步骤s61基于一致性验证对第一决策图中的所有像素点进行验证以消除第一决策图中出现错误的像素点，第二决策图为对第一决策图进行一致性操作后得到的决策图。应当理解的是，步骤s61生成的第二决策图也为二值图。
35.步骤s62利用现有的小结构去除滤波器过滤第二决策图，小结构去除滤波器用于消除第二决策图中小于预设面积的区域，该预设面积为预设值，本领域技术人员能够根据实际需要改变预设面积的大小，预设面积优选为第一源图像的面积除以45的商，即预设面积=（m
×
n）/45，m和n为第一源图像的尺寸（例如m为第一源图像的长度，n为第一源图像的宽度）。具体地，步骤s62利用小结构去除滤波器过滤第二决策图的公式如式（3）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）其中，表示过滤后的第二决策图，fim表示第二决策图，为源图像的数量（本技术为2），表示预设面积，表示小结构去除滤波器。
36.步骤s63的工作流程为：s631、根据过滤后的第二决策图从第一源图像或第二源图像中提取多个融合像素点；s632、根据所有融合像素点生成融合图像。步骤s632根据所有融
合像素点生成融合图像属于现有技术，此处不再进行详细论述。具体地，以获取一个融合像素点为例，步骤s63的融合规则如式（4）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）其中，f（x，y）表示坐标为（x，y）的融合像素点，表示过滤后的第二决策图在坐标为（x，y）的像素点的像素值，ia为第一源图像，ib为第二源图像。
37.由于基于一致性验证根据第一决策图生成第二决策图能判断第一决策图中的像素点是否聚焦，而利用小结构去除滤波器过滤第二决策图能去除第二决策图中出现错误的像素点，因此该实施例能够进一步地提高检测聚焦区域和聚焦边界的准确度，进而进一步地提高图像融合的质量。
38.在一些实施例中，一致性验证的步骤包括：以第一决策图的一像素点为中心，对第一预设图形内的所有像素点进行求和以生成第一求和结果；若第一求和结果大于等于第一预设图形的面积的一半，则将该像素点对应的像素值修正为1；若第一求和结果小于第一预设图形的面积的一半，则将该像素点对应的像素值修正为0。
39.第一决策图中某一像素点的颜色和与该像素点相邻的其他像素点的颜色相关联，若一半以上的其他像素点的颜色为白色，则该像素点的颜色应为白色；若一半以上的其他像素点的颜色为黑色，则该像素点的颜色应为黑色。由于第一决策图为二值图，而像素点的颜色为白色时的像素值为1，像素点的颜色为黑色时的像素值为0，因此可以先对以第一决策图中的一像素点为中心的第一预设图形的所有像素点的像素值进行求和，以得到第一求和结果，再通过比较第一求和结果和第一预设图形的面积的一半的方式对该像素点的颜色进行修正，若第一求和结果大于等于第一预设图形的面积的一半，则第一预设图形内有一半以上的像素点的颜色为白色，此时需要将该像素点对应的像素值修正为1，即将该像素点的颜色修正为白色；若第一求和结果小于等于第一预设图形的面积的一半，则第一预设图形内有一半以上的像素点的颜色为黑色，此时需要将该像素点对应的像素值修正为0，即将该像素点的颜色修正为黑色。例如，第一预设图形为边长为3的正方形，第一预设图形的面积为9，若第一求和结果大于等于4.5，则第一预设图形内有一半以上的像素点的颜色为白色，此时需要将该像素点对应的像素值修正为1，即将该像素点的颜色修正为白色；若第一求和结果小于4.5，则第一预设图形内有一半以上的像素点的颜色为黑色，此时需要将该像素点对应的像素值修正为0，即将该像素点的颜色修正为黑色。应当理解的是，该实施例可以重复执行至完成对第一决策图中的所有像素点的修正，从而实现基于一致性验证根据第一决策图生成第二决策图。该实施例的一致性验证如式（5）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，fim（x，y）表示第二决策图在坐标为（x，y）的像素点的像素值，φ表示第一预
设图形，（a，b）为第一决策图中以坐标为（x，y）的像素点为中心的第一预设图形内的任一像素点，表示以坐标为（x，y）的像素点为中心的第一预设图形内的所有像素点的第一求和结果，s
φ
表示第一预设图形的面积。
40.上述实施例利用固定大小的第一预设图形对第一决策图进行一致性验证，由于第一决策图具有多样性，而固定大小的第一预设图形对不同的第一决策图的影响不同，例如在聚焦边界中，若第一预设图形较大，其可能会包含离焦区域的像素，若第一预设图形较小，其包括较少聚焦区域内的像素，因此利用固定大小的第一预设图形对第一决策图进行一致性验证可能会导致第一决策图中的聚焦区域被破坏。为了解决该技术问题，在一些实施例中，一致性验证的步骤包括：以第一决策图中的一像素点为中心，对第一预设图形内的所有像素点进行求和以生成第一求和结果，对第二预设图形内的所有像素点进行求和以生成第二求和结果，第一预设图形的尺寸与第二预设图形的尺寸不同；若第一求和结果与第二求和结果的差值大于等于预设变化的阈值面积的一半，则将该像素点对应的像素值修正为1；若第一求和结果与第二求和结果的差值小于阈值面积的一半，则将该像素点对应的像素值修正为0。
41.该实施例的阈值面积为预设变化值，其能够根据第一源图像或第二源图像的尺寸进行自适应调整，具体地，阈值面积的计算公式如式（6）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）其中，表示阈值面积，m和n为第一源图像的尺寸（例如m为第一源图像的长度，n为第一源图像的宽度），max（m，n）表示m和n中的最大值，log2max（m，n）表示求m和n中的最大值是2的多少次幂。
42.该实施例的一致性验证如式（7）所示：
ꢀꢀꢀ
（7）其中，fim（x，y）表示第二决策图在坐标为（x，y）的像素点的像素值，δa表示第一预设图形，（a，b）为第一决策图中以坐标为（x，y）的像素点为中心的第一预设图形内的任一像素点，表示以坐标为（x，y）的像素点为中心的第一预设图形内的所有像素点的第一求和结果，δb表示第二预设图形，（i，j）为第一决策图中以坐标为（x，y）的像素点为中心的第二预设图形内的任一像素点，表示以坐标为
（x，y）的像素点为中心的第二预设图形内的所有像素点的第二求和结果，表示阈值面积。优选地，该实施例的第一预设图形的尺寸大于第二预设图形的尺寸，第一预设图形优选为边长为17个像素点的正方形，第二预设图形优选为边长为3个像素点的正方形。
43.该实施例的工作原理为：该实施例分别对第一预设图形内的所有像素点和第二预设图形内的所有像素点进行求和，第一预设图形的尺寸与第二预设图形的尺寸不同，由于在聚焦边界中，尺寸不同的第一预设图形和第二预设图形能综合预设图形较大时考虑周全和预设图形较小时检测准确的优势，因此该实施例能够避免出现由于利用固定大小的第一预设图形对第一决策图进行一致性验证而导致第一决策图中的聚焦区域被破坏的情况。
44.在一些实施例中，步骤s2包括：s21、基于无参考图像焦点质量评估度量分别对第一图像块组中的多个图像块进行测评，以获取多个第一评分值；s22、基于无参考图像焦点质量评估度量分别对第二图像块组中的多个图像块进行测评，以获取多个第二评分值；s23、根据第一评分值和第二评分值对第一图像块组和第二图像块组进行重组，以生成全模糊图像。
45.步骤s21利用第一源图像的灰色尺度图像和导数滤波器分别对第一图像块组中的多个图像块进行测评以获取多个第一评分值（相当于上述实施例的第一模糊程度信息）。具体地，该步骤如式（8）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）其中，sa为第一评分值数组，该数组包括多个第一评分值，表示基于无参考图像焦点质量评估度量的评分算法，表示第一源图像的灰色尺度图像，h
hvs-m
表示导数滤波器，导数滤波器如式（9）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）其中，h
hvs-m
（r,z
*
）表示导数滤波器，r表示光轴沿横向平面的径向距离，z
*
表示显微镜物镜的最佳焦距，cn表示未知系数，d
2n
（r）表示第2n个导数算子。
46.步骤s22利用第二源图像的灰色尺度图像和导数滤波器分别对第二图像块组中的多个图像块进行测评以获取多个第二评分值（相当于上述实施例的第二模糊程度信息）。具体地，该步骤如式（10）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）其中，sb为第二评分值数组，该数组包括多个第二评分值，表示基于无参考图像焦点质量评估度量的评分算法，表示第二源图像的灰色尺度图像，h
hvs-m
表示导数滤波器，导数滤波器如式（9）所示。应当理解的是，由于每一个第一图像块均有一个与之位置、尺寸对应的第二图像块，而每一个第一图像块均有一个与之对应的第一评分值，每一个第二图像块均有一个与之对应的第二评分值，因此每一个第一评分值均有
一个与之对应的第二评分值。
47.步骤s23比较各个位置的第一图像块的第一评分值和第二图像块的第二评分值，并抽取各个位置中评分值较高（即较为模糊）的图像块来重组成全模糊图像。具体地，以抽取某一位置的图像块为例，若第一评分值大于等于第二评分值，则第一图像块的模糊程度大于等于第二图像块的模糊程度，此时抽取该第一评分值对应的第一图像块作为全模糊图像在该位置的图像块；若第一评分值小于第二评分值，则第一图像块的模糊程度小于第二图像块的模糊程度，此时抽取第二图像块作为全模糊图像在该位置的图像块。具体地，步骤s23的逻辑如式（11）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（11）其中,f
blur
表示全模糊图像，表示第一图像块组中的第k个第一图像块，表示第一评分值数组中的第k个第一评分值，表示第二评分值数组中的第k个第二评分值，表示第二图像块组中的第k个第二图像块。
48.上述实施例中，由于全模糊图像是由多个从第一图像块组中提取的第一图像块或从第二图像块组中提取的第二图像块拼凑而成的，因此全模糊图像上可能会出现块效应，块效应会导致检测聚焦区域和聚焦边界的准确度降低。为了解决该技术问题，在一些实施例中，步骤s3包括：s31、对全模糊图像进行高斯滤波处理；s32、根据第一源图像和滤波后的全模糊图像获取第一差图；s33、根据第二源图像和滤波后的全模糊图像获取第二差图。
49.步骤s31对全模糊图像进行高斯滤波处理，以消除全模糊图像中的块效应。具体地，步骤s31进行高斯滤波处理的公式如式（12）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（12）其中，表示滤波后的全模糊图像，f
blur
表示全模糊图像，表示窗口大小为ω
×
ω，标准差为σ的高斯函数。
50.步骤s32和步骤s33与步骤s3相似，此处不再进行详细论述。由于对全模糊图像进行高斯滤波处理能够消除全模糊图像中的块效应，因此该技术方案能够进一步地提高检测聚焦区域和聚焦边界的准确度，进而进一步地提高图像融合的质量。
51.在一些实施例中，步骤s4包括：s41、分别计算第一差图和第二差图的空间频率，以获取与第一源图像对应的第一结构显著图和与第二源图像对应的第二结构显著图。
52.由于空间频率起源于人类的视觉系统，而空间频率能够表示图像的整体活动水平，因此步骤s41能通过计算第一差图的空间频率和第二差图的空间频率的方式来获取与第一源图像对应的第一结构显著图和与第二源图像对应的第二结构显著图。步骤s41计算第一差图的空间频率的公式如式（13）所示：
ꢀꢀꢀꢀꢀ
（13）其中，sfa表示第一差图的空间频率，rfa表示第一差图中的图像块的行频率，cfa表示第一差图中的图像块的列频率，m和n为第一差图的尺寸（例如m为第一差图的长度，n为第一差图的宽度），（m，n）为第一差图中的任意像素点，da（m，n）表示第一差图中坐标为（m，n）的像素点的灰度值，da（m，n-1）表示第一差图中坐标为（m，n-1）的像素点的灰度值，da（m-1，n）表示第一差图中坐标为（m-1，n）的像素点的灰度值。应当理解的是，第二差图的空间频率的计算公式与式（13）相似，第一差图的尺寸、第二差图的尺寸、第一源图像的尺寸和第二源图像的尺寸相同。
53.实施例1本技术实施例提供了一种基于无参考焦点质量评估的多聚焦图像融合方法，其包括步骤：s1、基于相同的分块方式分别对第一源图像和第二源图像进行分块处理，以获取第一图像块组和第二图像块组；s2、基于无参考图像焦点质量评估度量对第一图像块组和第二图像块组进行重组，以生成全模糊图像；s3、根据第一源图像和全模糊图像获取第一差图，根据第二源图像和全模糊图像获取第二差图；s4、分别对第一差图和第二差图进行焦点测量，以获取与第一源图像对应的第一结构显著图和与第二源图像对应的第二结构显著图；s5、根据第一结构显著图和第二结构显著图生成第一决策图；s6、根据第一决策图融合第一源图像和第二源图像，以生成融合图像。第一源图像为图2中的左半部分，第二源图像为2中的右半部分，第一源图像的尺寸与第二源图像的尺寸相同，第一源图像和第二源图像的拍摄对象均包括饼干人玩偶和毛衣，但第一源图像和第二源图像具有不同的聚焦区域，第一源图像的聚焦区域为饼干人玩偶，第二源图像的聚焦区域为毛衣。
54.该实施例分别利用基于深度卷积神经网络的多聚焦图像融合算法（cnn）、基于卷积稀疏表示的图像融合算法（csr）、基于卷积神经网络的通用图像融合框架（ifcnn）、基于多尺度聚焦测度和广义随机游走的多聚焦图像融合算法（grw）、基于非下采样轮廓波变换和残差去除的多聚焦图像融合算法（nsct-rr）和本技术实施例的基于无参考焦点质量评估的多聚焦图像融合方法对第一源图像和第二源图像进行融合以生成融合图像，分别利用5个不同的评价指标对融合图像进行评价，优选地，这5个评价指标分别为归一化互信息（q
mi
）、基于tsallis熵的融合度量（q
te
）、非线性相关信息熵（q
nice
）、基于多尺度方案的融合度量（qm）和基于人类感知的度量（q
cb
）。具体地，各个图像融合方法的评价结果如表1所示，由于评价指标的值越大，融合图像的质量越好，因此本技术的基于无参考焦点质量评估的多聚焦图像融合方法得到的融合图像的质量最好。
55.表1 不同图像融合方法的评价结果表由上可知，本技术提供的一种基于无参考焦点质量评估的多聚焦图像融合方法，先基于相同的分块方式分别对第一源图像和第二源图像进行分块处理，以获取第一图像块组和第二图像块组，并基于无参考图像焦点质量评估度量对第一图像块组和第二图像块组进行重组，以生成全模糊图像，然后根据第一源图像和全模糊图像获取第一差图，根据第二源图像和全模糊图像获取第二差图，并分别对第一差图和第二差图进行焦点测量，以获取第一结构显著图和第二结构显著图，最后根据第一结构显著图和第二结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像，由于该方法基于同一个全模糊图像获取第一源图像和第二源图像的图像强度剧烈变化处，而第一源图像和第二源图像具有不同的聚焦区域，因此第一差图能够更准确地反映第一源图像的图像强度剧烈变化处，第二差图能够更准确地反映第二源图像的图像强度剧烈变化处，第一结构显著图能够更准确地反映第一源图像的聚焦区域和聚焦边界，第二结构显著图能够更准确地反映第二图像的聚焦区域和聚焦边界，从而有效地提高检测聚焦区域和聚焦边界的准确度和图像融合的质量。
56.在本技术所提供的实施例中，应该理解到，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
57.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。