图像融合方法、装置、计算机可读存储介质和电子设备与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像融合方法、装置、计算机可读存储介质和电子设备。


背景技术：

2.图像配准是指将不同时间、不同成像设备拍摄或同一成像设备在不同条件下获取的两幅或多幅图像进行匹配、叠加的过程，图像配准是图像叠加、人脸识别、身份验证、智慧城市等场景中必不可少的一环。
3.以两幅图像的配准为例，两幅图像通常拍摄的是同一场景，常见的对两幅图像进行配准的方法，是首先选取待配准图像中的一幅，提取该图像中的关键帧图像，获取另一待配准图像中各点与关键帧图像中各对应点之间的位置转换关系作为配准位置，进而根据配准位置，将另一待配准图像的各点匹配至关键帧图像中，以得到配准图像。
4.但是，由于两幅待配准图像通常为对于同一场景以两种不同的条件拍摄得到的，因此，两幅配准图像通过位置转换关系直接匹配叠加后，在关键帧图像和其他图像的连接处可能存在图像的扭曲、变形等问题，导致图像配准后的图像显示效果较差。


技术实现要素：

5.本技术实施例的目的在于提供一种图像融合方法、装置、计算机可读存储介质和电子设备，能够对于双摄图像进行配准和优化，使得配准后的图像解析力提升，且配准后的图像中有效的降低图像的扭曲和变形问题。
6.本技术实施例的一方面，提供了一种图像融合方法，包括：获取针对同一目标场景的第一图像和第二图像，其中，第一图像的视场范围大于第二图像的视场范围；根据第二图像，确定第一图像中的与第二图像具有相同视场范围的感兴趣区域；对第二图像与感兴趣区域进行配准，得到深度图像；根据深度图像中各像素点的深度值，以及各像素点对应的位置权重，计算各像素点的优化深度值，其中，位置权重用于表征各像素点与深度图像的边缘的距离；根据优化深度图对第二图像进行重映射，优化深度图中各像素点的深度值为优化深度值；根据重映射后的第二图像和第一图像中的感兴趣区域进行融合，得到融合图像。
7.可选地，第一图像为广角图像，第二图像为长焦图像。
8.可选地，各像素点对应的位置权重由深度图像的中心向边缘逐渐降低。
9.可选地，根据优化深度图对第二图像进行重映射包括：根据优化深度图将第二图像配准到第一图像，得到重映射后的第二图像。
10.可选地，根据深度图像中各像素点的深度值，以及各像素点对应的位置权重，计算各像素点的优化深度值，包括：根据深度图像中各像素点的深度值，以及位置权重，对能量函数进行最小化处理，确定能量最小时像素点的深度值为优化深度值，其中，能量函数为关于像素点的深度值的方差的能量函数。
11.可选地，能量函数为：
[0012][0013]
depth
(x,y)
为深度图像中像素坐标为(x，y)处的深度值，depth
opt(x,y)
为像素坐标为(x，y)处的优化深度值，λ和γ为深度图像的权重量且λ和γ负相关，alpha为位置权重，var(depth
opt(x,y)
)为像素坐标为(x，y)处的优化深度值的局部方差。
[0014]
可选地，根据重映射后的第二图像和第一图像中的感兴趣区域进行融合，得到融合图像，包括：在第一图像中，采用重映射后的第二图像替换第一图像中的感兴趣区域，以得到融合图像。
[0015]
可选地，根据重映射后的第二图像和第一图像中的感兴趣区域进行融合，得到融合图像，包括：根据重映射后的第二图像中各像素点的像素值，检测重映射后的第二图像中的错误区域；采用感兴趣区域中与错误区域对应区域的像素值，对错误区域的像素值进行替换，得到更新后的第二图像；将更新后的第二图像替换第一图像中的感兴趣区域，以得到融合图像。
[0016]
可选地，根据重映射后的第二图像中各像素点的像素值，检测重映射后的第二图像中的错误区域，包括：根据重映射后的第二图像中各像素点的像素值，计算重映射后的第二图像中像素点的光流方差；确定重映射后的第二图像中光流方差超出预设方差阈值的像素点为错误区域。
[0017]
可选地，根据重映射后的第二图像中各像素点的像素值，检测重映射后的第二图像中的错误区域，包括：根据重映射后的第二图像中各像素点的像素值，和感兴趣区域的像素点的像素值，计算重映射后的第二图像和感兴趣区域中的像素点的结构相似度；确定重映射后的第二图像中结构相似度小于或等于预设结构相似度的像素点为错误区域。
[0018]
本技术实施例的另一方面，提供了一种图像融合装置，包括：获取模块，用于获取针对同一目标场景的第一图像和第二图像，其中，第一图像的视场范围大于第二图像的视场范围；确定模块，用于根据第二图像，确定第一图像中的与第二图像具有相同视场范围的感兴趣区域；配准模块，用于对第二图像与感兴趣区域进行配准，得到深度图像；计算模块，用于根据深度图像中各像素点的深度值，以及各像素点对应的位置权重，计算各像素点的优化深度值，其中，位置权重用于表征各像素点与深度图像的边缘的距离；重映射模块，用于根据优化深度图对第二图像进行重映射，优化深度图中各像素点的深度值为优化深度值；融合模块，用于根据重映射后的第二图像和第一图像中的感兴趣区域进行融合，得到融合图像。
[0019]
可选地，计算模块，具体用于根据深度图像中各像素点的深度值，以及位置权重，对能量函数进行最小化处理，确定能量最小时像素点的深度值为优化深度值，其中，能量函数为关于像素点的深度值的方差的能量函数。
[0020]
本技术实施例的又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器读取并运行时，实现前述任一项的方法。
[0021]
本技术实施例的再一方面，提供了一种电子设备，包括：第一摄像头、第二摄像头、存储器和处理器，第一摄像头用于摄取第一图像，第二摄像头用于摄取第二图像，第一图像的视场范围大于第二图像的视场范围，第一摄像头和第二摄像头分别与处理器连接，处理器与存储器连接，存储器中存储有可在处理器上运行的计算机程序，处理器执行所述计算
机程序时实现前述任一项的方法的步骤。
[0022]
本技术实施例提供的图像融合方法，包括：获取针对同一目标场景的第一图像和第二图像，其中，第一图像的视场范围大于第二图像的视场范围；首先根据第二图像，确定第一图像中的与第二图像具有相同视场范围的感兴趣区域；对第二图像与感兴趣区域进行配准，得到深度图像；然后根据深度图像中各像素点的深度值，以及各像素点对应的位置权重，计算各像素点的优化深度值，其中，位置权重用于表征各像素点与深度图像的边缘的距离；根据优化深度图对第二图像进行重映射，优化深度图中各像素点的深度值为优化深度值，这样一来，通过对于深度图像的优化，使得重映射中像素不完全对齐，根据重映射后的第二图像和第一图像中的感兴趣区域进行融合，得到的融合图像就能够有效的降低清晰度不均匀的问题的发生，减轻图像的扭曲、变形，提高图像的解析力。
附图说明
[0023]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0024]
图1是本技术实施例提供的一种图像融合方法的流程图；
[0025]
图2是本技术实施例提供的一种图像融合方法的流程图中s105的子流程图；
[0026]
图3是本技术实施例提供的一种图像融合方法中步骤s104的另一实施方式的流程图；
[0027]
图4是本技术实施例提供的一种图像融合方法的流程图中s106的子流程图之一；
[0028]
图5是本技术实施例提供的一种图像融合方法的流程图中s106的子流程图之二；
[0029]
图6是本技术实施例提供的一种图像融合方法的流程图中s1061的子流程图之一；
[0030]
图7是本技术实施例提供的一种图像融合方法的流程图中s1061的子流程图之二；
[0031]
图8是本技术实施例提供的一种图像融合装置的示意图；
[0032]
图9是本技术实施例提供的一种电子设备的示意图。
[0033]
图标：100
‑
图像融合装置；101
‑
获取模块；110
‑
确定模块；120
‑
配准模块；130
‑
计算模块；140
‑
重映射模块；150
‑
融合模块；200
‑
电子设备；201
‑
存储器；202
‑
处理器；203
‑
第一摄像头；204
‑
第二摄像头。
具体实施方式
[0034]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
[0035]
在本技术的描述中，需要说明的是，术语“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0036]
还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理
解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
[0037]
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
[0038]
随着显示技术水平提升，用户对作为显示源的图像的质量也提出了更高的要求。广角图像根据其图像的摄取和运算处理的方式，决定了广角图像能够具有较大的视场角，但同时其画面解析力较低，即图像的清晰度有限，而长焦图像通常采用长焦距的远摄镜头或者望远镜头拉进拍摄，能够更多的表现图像画面中的细节，具有较高的清晰度，但不可避免的存在视场角较小的限制。
[0039]
基于此，以手机终端为例，现有的手机终端往往包括有双摄像头，要获得较大视场角且具有较好的图像清晰度的图像，例如，可以通过将双摄像头设置为广角摄像头和长焦摄像头，分别拍摄具有较大视场角的广角图像，和具有较高画面解析力的长焦图像，然后对两幅图像进行图像配准融合来得到。
[0040]
通常将双摄像头拍摄同一场景两幅不同视场范围大小的图像(例如广角图像和长焦图像)做像素对齐进行配准，然后将对其后的长焦图像通过图像融合的方式融入到广角图像中，得到的融合图像能够保持广角图像的视场角，并且能够提高原先广角图像的清晰度。但是，由于两幅图像的视场范围大小不一致，基于遮挡以及对齐算法的错误，在进行像素对齐过程中，往往存在很多像素区域无法对齐，对于这些非对齐区域，只能采取长焦图像中的信息，而对于对齐区域，采用的是画面解析力较高的长焦图像中的信息，这就导致融合图像中的各个区域的清晰度不均匀，图像的显示效果并不好。
[0041]
本技术实施例提供了一种图像融合方法，图1为本技术实施例提供的一种图像融合方法的流程图之一，如图1所示，图像融合方法包括：
[0042]
s101、获取针对同一目标场景的第一图像和第二图像，其中，第一图像的视场范围大于第二图像的视场范围。
[0043]
获取针对同一个目标场景的两幅图像——第一图像和第二图像，其中，第一图像和第二图像的视场范围不同，第一图像的视场范围大于第二图像的视场范围。本领域技术人员应当知晓，对于同一位置拍摄同一目标场景的图像来说，视场范围越大，其图像的清晰
度就会越差，反之，若图像的视场范围小一些，则清晰度就能够得到一定程度的提高。据此可知，获取的视场范围不同的第一图像和第二图像，视场范围较大的第一图像用于在后续图像配准融合的相应处理中提供大的视场范围，而视场范围较小的第二图像则用于提供特定位置的清晰度。
[0044]
基于此，本技术实施例的图像融合方法中，不具体限定第一图像和第二图像的具体视场范围，只要第一图像和第二图像都是针对于同一个目标场景来获取，并且第一图像的视场范围大于第二图像的视场范围即可。
[0045]
s102、根据第二图像，确定第一图像中的与第二图像具有相同视场范围的感兴趣区域。
[0046]
当拍摄同一场景时，第二图像虽然视场范围较小，但是第二图像具有较大的清晰度，因此，根据第二图像来确定第一图像中的感兴趣区域，其中，确定的感兴趣区域指的就是，在第一图像中包含有第二图像所表达的有相同景物范围的部分的公共视场角区域。
[0047]
s103、对第二图像与感兴趣区域进行配准，得到深度图像。
[0048]
然后，对第二图像与感兴趣区域进行配准以得到深度图像。示例的，可以采用光流法进行图像的配准，在一个图像平面上，物体的运动往往是通过图像序列中不同图像灰度分布的不同体现的，从而，空间中的运动场转移到图像上就表示为光流场(optical flow field)。光流场是一个二维矢量场，它反映了图像上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。光流法就是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。因此，提取各像素点的位移量，以此为依据对第二图像与第一图像中具有相同视场范围的感兴趣区域进行配准，也就得到包含有各像素点位移量信息的深度图像，这里深度图像可以理解为带有灰度的像素点在图像平面上运动位移量的光流图。
[0049]
s104、根据深度图像中各像素点的深度值，以及各像素点对应的位置权重，计算各像素点的优化深度值，其中，位置权重用于表征各像素点与深度图像的边缘的距离。
[0050]
继而，根据深度图像中各像素点的深度值和各像素点对应的位置权重来分别对各个像素点进行优化计算，从而由计算结果得到各像素点的优化深度值，位置权重作为预设值，或者，位置权重也可以是经验值得出或者查表等方式获得的，又或者，位置权重也可以是根据具体的图像融合目的的需要进行的权重设置，本技术实施例对此不作具体限定。
[0051]
对深度图像进行优化，考虑到后续重映射后的第二图像还要和第一图像中的感兴趣区域进行融合，对于第二图像的边缘与第一图像之间的拼接，需要尽可能的完全配准，而中心区域不存配准困难的这一问题，因此，还需要结合各像素点对应的位置权重对深度图像进行优化，位置权重是用来表征各个像素点与深度图像的边缘的距离，也就是根据各个像素点在深度图像中的位置来对应决定对于深度图像中该点位置的优化程度。优化深度图即为对深度图像中各像素点进行优化后，由各像素点的优化深度值得到的图像。
[0052]
s105、根据优化深度图对第二图像进行重映射，优化深度图中各像素点的深度值为优化深度值。
[0053]
根据优化深度图像对第二图像进行重映射，优化深度图中各像素点的深度值即为优化深度值，重映射后，第一图像和第二图像之间可以认为实现了较佳的像素对齐，即对第
二图像的边缘与第一图像之间实现较好的拼接配准提供了较优化的基础。
[0054]
s106、根据重映射后的第二图像和第一图像中的感兴趣区域进行融合，得到融合图像。
[0055]
最后，根据重映射后第二图像和第一图像中的感兴趣区域进行融合，示例的，可以理解为将经过前述优化和重映射后的第二图像放入第一图像中，覆盖第一图像中的感兴趣区域，从而得到的基于第一图像的融合图像。
[0056]
由于对深度图像进行了优化处理，使得融合图像中有效的减少了不同位置的清晰度不均匀的状况，而且，由于优化处理中加入了位置权重作为优化参数之一，使得第二图像的边缘与第一图像之间的拼接位置也能够实现较为准确的衔接，从而大大降低出现拼接边缘图像的断裂、弯曲等不良现象。
[0057]
本技术实施例提供的图像融合方法，包括：获取针对同一目标场景的第一图像和第二图像，其中，第一图像的视场范围大于第二图像的视场范围；首先根据第二图像，确定第一图像中的与第二图像具有相同视场范围的感兴趣区域；对第二图像与感兴趣区域进行配准，得到深度图像；然后根据深度图像中各像素点的深度值，以及各像素点对应的位置权重，计算各像素点的优化深度值，其中，位置权重用于表征各像素点与深度图像的边缘的距离；根据优化深度图对第二图像进行重映射，优化深度图中各像素点的深度值为优化深度值，这样一来，通过对于深度图像的优化，使得重映射中像素不完全对齐，根据重映射后的第二图像和第一图像中的感兴趣区域进行融合，得到的融合图像就能够有效的降低清晰度不均匀的问题的发生，减轻图像的扭曲、变形，提高图像的解析力。
[0058]
在本技术的一些可选的实施方式中，第一图像为广角图像，第二图像为长焦图像。
[0059]
提供拍摄同一场景的两个图像，第一图像为广角图像，第二图像为长焦图像。长焦图像指的是由长焦镜头拍摄的图像，长焦镜头拍摄的长焦图像通常拍摄景物的视场范围小，但对于拍摄景物的细节会展现的较为清晰，而广角图像是一种采用焦距较短的广角镜头拍摄的图像，与长焦图像相比，广角图像能够拍摄到较大视场范围的景物，但广角图像中景物呈现的清晰度较小。
[0060]
由于长焦图像的景物空间范围较小，也就是说，当拍摄同一场景时，长焦图像只能够体现广角图像中一部分视场范围内的景物，那么，将长焦图像与广角图像对应在一起，根据长焦图像所能够呈现的视场范围，就能够确定出与之对应的广角图像中的感兴趣区域。
[0061]
在本技术的一些可选的实施方式中，各像素点对应的位置权重由深度图像的中心向边缘逐渐降低。
[0062]
由于在本技术实施例的图像融合方法中，优化后的长焦图像需要后续与广角图像进行拼接，那么，在第二图像边缘区域与第一图像之间的配准是影响图像整体清晰度的重要因素，因此，越靠近深度图像的边缘，需要对其最小化优化的程度越低，甚至可以设置当像素点与深度图像的边缘距离为0时通过位置权重参数的设置，使得该位置处不做最小化优化，也就是说，在第二图像边缘区域的位置权重设置的较小，越靠近深度图像的中心位置，最小化优化的程度越高，设置的位置权重越大。
[0063]
本技术实施例中对于位置权重的变化趋势可以为位置权重由中心向边缘以平滑曲线逐渐减小，也可以为其他的直线或曲线形式，只要满足预设位置权重具有由深度图像的中心位置向边缘位置呈减小的趋势即可。
[0064]
在本技术的一些可选的实施方式中，图2为本技术实施例提供的一种图像融合方法的流程图之二，如图2所示，s105、根据优化深度图对第二图像进行重映射包括：
[0065]
s1051、根据优化深度图将第二图像配准到第一图像，得到重映射后的第二图像。
[0066]
对第二图像重映射可以采用根据优化深度图将第二图像配准到第一图像的方式，对第二图像进行优化计算，从而得到重映射后的第二图像。在本技术的一些可选的实施方式中，图3为本技术实施例提供的一种图像融合方法中步骤s104的另一实施方式的流程图，如图3所示，s104、根据深度图像中各像素点的深度值，以及各像素点对应的位置权重，计算各像素点的优化深度值包括：
[0067]
s1041、根据深度图像中各像素点的深度值，以及位置权重，对能量函数进行最小化处理，确定能量最小时像素点的深度值为优化深度值，其中，能量函数为关于像素点的深度值的方差的能量函数。
[0068]
具体地，根据深度图像中各像素点的深度值对能量函数进行最小化处理，能量函数为关于像素点的深度值的方差的能量函数，能量函数中包含的位置权重参数，使得越靠近深度图像的中心位置，最小化优化的程度越高，越靠近深度图像的边缘，最小化优化的程度越低，甚至可以设置当像素点与深度图像的边缘距离为0时通过位置权重参数的设置，使得该位置处不做最小化优化。
[0069]
在本技术的一些可选的实施方式中，能量函数为：
[0070][0071]
其中，depth
(x,y)
为深度图像中像素坐标为(x，y)处的深度值，depth
opt(x,y)
为像素坐标为(x，y)处的优化深度值，λ和γ为深度图像的权重量且λ和γ负相关，alpha为位置权重，var(depth
opt(x,y)
)为像素坐标为(x，y)处的优化深度值的局部方差。
[0072]
示例的，对能量函数的优化处理包括，对上述能量函数e的二次函数表达式进行泰勒级数展开，采用最优化方法进行迭代计算，逼近一阶导数为零即可看做为能量函数最小化。提取最小化能量函数中的像素坐标为(x，y)处的优化深度值depth
opt(x,y)
，即可得到优化深度图。
[0073]
其中，位置权重alpha具体取值范围在0.0
‑
1.0之间，且，在深度图像中，alpha在像素坐标为(x，y)越靠近中心位置处的取值越接近1.0，alpha在像素坐标为(x，y)越靠近边缘位置取值越接近0.0。那么，根据能量函数表达式可知，像素坐标(x，y)越靠近图像的边缘位置处，项趋近于0，同时，项对于能量函数的影响程度越高，反之，像素坐标(x，y)越靠近图像的中心位置处，项趋近于0，同时，项对于能量函数的影响程度越高。
[0074]
像素坐标为(x，y)处的优化深度值depth
opt(x,y)
的局部方差：
[0075][0076]
n表示局部窗口的半径，var(depth
opt(x,y)
)表示以像素坐标(x，y)为中心、2*n 1为边长的矩形区域内的局部方差。
[0077]
像素坐标(x，y)位于越靠近中心位置处，经过能量函数最小化的优化处理能够越平滑，方差越小，从而在中心位置处由于位移量不那么对齐而使得配准度不高，重映射后在该位置处匹配长焦图像，就避免的重映射后的图像扭曲、弯曲问题。
[0078]
能量函数表达式中还包括λ和γ两个权重量，这两个权重量为固定值，即在整个深度图像的各像素点的值均不变，而且λ和γ的取值负相关，即λ的取值越大则γ的取值越小，项对于能量函数的影响程度越高，同时，项对于能量函数的影响程度越低，即函数最小化优化后，该像素坐标位置处的优化深度值与优化前深度图像中的深度值的差异越小。反之，λ的取值越小则γ的取值越大。项对于能量函数的影响程度越低，同时，项对于能量函数的影响程度越高，即函数最小化优化后，该像素坐标位置处的优化深度值与优化前深度图像中的深度值的差异越大。
[0079]
其中，本技术实施例中对于能量函数的优化处理所采用的优化方法不做具体限定。具体地，对能量函数的优化处理包括将能量函数表达式泰勒级数展开后进行迭代运算，具体可以采用高斯牛顿法、sor(successive over relaxation，逐次超松弛)迭代法、最小二乘法等。
[0080]
虽然理论上说，根据前述对深度图像的优化，能够使得融合图像中消除图像的扭曲、变形问题，但是在实际应用中，难以避免的，在优化后仍然可能存在一些区域的图像存在扭曲和变形的问题。
[0081]
图4为本技术实施例的图像融合方法的流程图中s106的子流程图之一，如图4所示，在本技术的一些可选的实施方式中，s106、根据重映射后的第二图像和第一图像中的感兴趣区域进行融合，得到融合图像，包括：
[0082]
s1060、在第一图像中，采用重映射后的第二图像替换第一图像中的感兴趣区域，以得到融合图像。
[0083]
在第一图像中，可以采用重映射后的第二图像来替换第一图像中的感兴趣区域，由于第二图像的视场范围小，第二图像仅能够覆盖到第一图像中的感兴趣区域，第二图像在覆盖上第一图像后，仍然具有除了感兴趣区域以外的其他图像部分，因此，将重映射后的第二图像覆盖至第一图像中的感兴趣区域，并替换第一图像中的感兴趣区域的原图像，得到融合图像，可知，融合图像的视场范围为第一图像的视场范围，但，在感兴趣区域替换为清晰度较高且经过重映射后的第二图像。
[0084]
图5为本技术实施例的图像融合方法的流程图中s106的子流程图之二，如图5所
示，在本技术的一些可选的实施方式中，s106、根据重映射后的第二图像和第一图像中的感兴趣区域进行融合，得到融合图像，包括：
[0085]
s1061、根据重映射后的第二图像中各像素点的像素值，检测重映射后的第二图像中的错误区域。
[0086]
为了进一步降低融合图像中个别位置存在的扭曲和变形的问题，在前述的深度图像优化、配准和重映射之后，在将重映射后的第二图像填回感兴趣区域时，增加检测和修复的工作。首先，根据重映射后的第二图像中各像素点的像素值，检测重映射后的第二图像中是否存在错误区域。错误区域即指的是融合图像中那些仍然存在扭曲和变形情况的区域。通常情况下，错误区域主要出现在前后景的边缘处，在这些位置出现对其错误就会在图像中呈现出弯曲、拉伸或者压缩的变形。
[0087]
s1062、采用感兴趣区域中与错误区域对应区域的像素值，对错误区域的像素值进行替换，得到更新后的第二图像。
[0088]
对于检测出的错误区域，采用感兴趣区域中与该错误区域对应区域的像素值进行替换，对错误区域导致的图像弯曲、拉伸或者压缩的变形进行修复，以得到更新后的第二图像。
[0089]
s1063、将更新后的第二图像替换第一图像中的感兴趣区域，以得到融合图像。
[0090]
最后将更新后的第二图像替换第一图像中的感兴趣区域，以得到融合图像。这样一来，得到的融合图像进一步消除了弯曲、拉伸或者压缩变形的错误区域，提高了融合图像的图像解析力和显示效果。
[0091]
在本技术的一些可选的实施方式中，对于错误区域的检测和修复可以采用以下方式。
[0092]
图6为本技术实施例提供的一种图像融合方法的流程图中步骤s1061的子流程图之一，如图6所示，s1061、根据重映射后的第二图像中各像素点的像素值，检测重映射后的第二图像中的错误区域包括：
[0093]
s10611、根据重映射后的第二图像中各像素点的像素值，计算重映射后的第二图像中像素点的光流方差。
[0094]
s10612、确定重映射后的第二图像中光流方差超出预设方差阈值的像素点为错误区域。
[0095]
根据前述的光流法，对重映射后的第二图像中各像素点的像素值计算光流方差。根据与预设方差阈值进行比对，若该像素点的像素值计算的光流方差超出预设方差阈值的范围，则确定为错误区域，并对该错误区域采用感兴趣区域中与该错误区域对应区域的像素值进行替换。光流方差超出预设方差阈值范围包括大于预设方差阈值范围的上限或者小于预设方差阈值范围的下限。
[0096]
图7为本技术实施例提供的一种图像融合方法的流程图中步骤s1061的子流程图之二，如图7所示，在本技术的一些可选的实施方式中，s1061、根据重映射后的第二图像中各像素点的像素值，检测重映射后的第二图像中的错误区域包括：
[0097]
s10613、根据重映射后的第二图像中各像素点的像素值，和感兴趣区域的像素点的像素值，计算重映射后的第二图像和感兴趣区域中的像素点的结构相似度。
[0098]
s10614、确定重映射后的第二图像中结构相似度小于或等于预设结构相似度的像
素点为错误区域。
[0099]
结构相似度(structural similarity，ssim)，也可称为结构相似性，是一种衡量两幅图像相似度的指标。结构相似度越高说明两幅图像的重合程度越高，融合图像的显示效果就越好。对重映射后的第二图像中各像素点的像素值，和感兴趣区域的对应像素点的像素值之间进行判断，计算重映射后的第二图像和感兴趣区域中的像素点的结构相似度，根据预设结构相似度进行比对，若重映射后的第二图像中结构相似度小于或等于预设结构相似度的像素点则确定为错误区域，并对该错误区域采用感兴趣区域中与该错误区域对应区域的像素值进行替换。
[0100]
下述对用以执行本技术提供的图像融合方法的装置、电子设备及计算机可读存储介质等进行说明，其具体的实现过程以及优化效果参见上述，下述不再赘述。
[0101]
图8为本技术实施例提供的一种图像融合装置的示意图，如图8所示，本技术实施例的另一方面，提供一种图像融合装置100，图像融合装置100可包括：
[0102]
获取模块101，用于获取针对同一目标场景的第一图像和第二图像，其中，第一图像的视场范围大于第二图像的视场范围。
[0103]
确定模块110，用于根据第二图像，确定第一图像中的与第二图像具有相同视场范围的感兴趣区域。
[0104]
配准模块120，用于对第二图像与感兴趣区域进行配准，得到深度图像。
[0105]
计算模块130，用于根据深度图像中各像素点的深度值，以及各像素点对应的位置权重，计算各像素点的优化深度值，其中，位置权重用于表征各像素点与深度图像的边缘的距离。
[0106]
重映射模块140，用于根据优化深度图对第二图像进行重映射，优化深度图中各像素点的深度值为优化深度值。
[0107]
融合模块150，用于根据重映射后的第二图像和第一图像中的感兴趣区域进行融合，得到融合图像。
[0108]
在本技术的一些可选的实施方式中，计算模块130，具体用于根据深度图像中各像素点的深度值，以及位置权重，对能量函数进行最小化处理，确定能量最小时像素点的深度值为优化深度值，其中，能量函数为关于像素点的深度值的方差的能量函数。
[0109]
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
[0110]
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(digital singnal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system
‑
on
‑
a
‑
chip，简称soc)的形式实现。
[0111]
图9为本技术实施例提供的一种电子设备200的示意图，如图9所示，该电子设备200包括：第一摄像头203、第二摄像头204、存储器201和处理器202。第一摄像头203用于摄取第一图像，第二摄像头204用于摄取第二图像，第一图像的视场范围大于第二图像的视场
范围，第一摄像头203和第二摄像头204分别与处理器202连接，处理器202与存储器201通过总线连接，存储器201用于存储程序，存储器201中存储有可在处理器202上运行的计算机程序，处理器202调用存储器201存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
[0112]
在本技术的一些可选的实施方式中，本技术还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
[0113]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0114]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0115]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0116]
以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read
‑
only memory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0117]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。