双摄拍照的图像融合方法、装置和电子系统与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种双摄拍照的图像融合方法、装置和电子系统。


背景技术：

2.在现有摄像技术中，将摄像头大体分为两类，一种为长焦摄像头，另一种为广角摄像头。长焦摄像头的焦距在60毫米以上，拍摄范围相对较小，适合远距离拍摄；广角摄像头的焦距一般在40毫米以下，拍摄范围相对较大，适合较大场景的拍摄。以手机为例，手机的摄像功能是用户使用频率较高的功能之一，为了提高手机的成像质量以满足复杂多变的应用场景，在手机上同时搭载长焦摄像头和广角摄像头，用户在使用此类手机进行摄像时，两个摄像头会同时获取到不同的图像信息，能够起到相互补充的作用，进而提升手机的成像质量。
3.现有的利用双摄拍照技术提升图像清晰度的方法通常为：对于同一拍摄时刻，通过广角摄像头得到广角图像，通过长焦摄像头得到长焦图像，其中，广角图像的视野(fov)更大，但其清晰度较低；长焦图像的fov更小，但其清晰度较高。为了兼顾图像的fov和清晰度，以广角图像的fov为主，利用长焦图像的信息来提升广角图像的清晰度。
4.然而，长焦摄像头和广角摄像头类似于人的双目，在看物体的时候由于存在视差，会导致近景、远景附近存在一定的遮挡区域(其中一个摄像头能拍摄到，而另一个摄像头拍摄不到)，无法对这部分区域进行图像配准，进而导致该区域只能使用广角图像信息而无法使用长焦图像信息进行后续图像融合，导致该区域的清晰度较低，甚至出现一定程度的图像扭曲现象，影响了整体图像的呈现效果。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种双摄拍照的图像融合方法、装置和电子系统，以提升双摄拍照技术中的图像清晰度，改善图像的呈现效果。
6.第一方面，本发明实施例提供了一种双摄拍照的图像融合方法，所述方法包括：对第一图像和第二图像进行配准操作，得到配准后的所述第一图像和所述第二图像对应的光流图像；其中，所述第一图像通过第一摄像头获取，所述第二图像通过第二摄像头获取，所述第一摄像头的视场角大于所述第二摄像头的视场角；根据所述光流图像确定所述光流图像中的待平滑区域；对所述待平滑区域进行平滑滤波处理，得到平滑后的光流图像；根据平滑后的光流图像对所述第二图像进行坐标映射处理，得到第二映射图像；将所述第二映射图像与所述第一图像融合，得到双摄融合图像。
7.结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据所述光流图像确定所述光流图像中的待平滑区域的步骤，包括：根据所述光流图像中像素的像素值生成所述光流图像的方差值；
8.根据所述光流图像的方差值确定所述光流图像中的待平滑区域。
9.结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据所述光流图像的方差值确定所述光流图像中的待平滑区域的步骤，包括：根据所述光流图像的方差值生成方差图；将所述方差图中方差值介于第一阈值和预设第二阈值之间区域确定为方差区域；其中，所述第一阈值小于所述第二阈值；根据所述方差区域确定所述光流图像中的待平滑区域。
10.结合第一方面，本发明实施例提供了第一方面的上述可能的实施方式，其中，所述对所述待平滑区域进行平滑滤波处理，得到平滑后的光流图像的步骤，包括：构建所述光流图像的滤波半径图；其中，在所述滤波半径图中，所述待平滑区域对应的像素的滤波半径的大小与所述待平滑区域中的像素的方差值大小成正相关关系；根据所述滤波半径图对所述光流图像进行平滑滤波处理，得到平滑后的光流图像。
11.结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述构建所述光流图像的滤波半径图的步骤，包括：构建尺寸与所述光流图像的尺寸相同的滤波半径初始图；其中，所述滤波半径初始图中的各个像素对应的滤波半径均为0；根据所述待平滑区域中像素的方差值，修改所述滤波半径初始图中与所述待平滑区域中的像素对应位置处的像素的滤波半径，得到滤波半径图。
12.结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，修改所述滤波半径初始图中与所述待平滑区域中的像素对应位置处的像素的滤波半径的步骤，包括：根据预设值与所述待平滑区域中的像素的方差值的乘积计算更新后的滤波半径r，将所述滤波半径初始图中与所述待平滑区域中的像素对应位置处的像素的滤波半径修改为更新后的滤波半径r。
13.结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，根据所述滤波半径图对所述光流图像进行平滑滤波处理的步骤之前，所述方法还包括：确定所述滤波半径图的各个图边对应的边缘区域；对于每个所述边缘区域，均从所述边缘区域内边界至所述边缘区域外边界，对所述边缘区域中的像素对应的滤波半径进行更新，更新后的边缘区域逐行或逐列像素对应的滤波半径从r过渡为0，r为更新前的滤波半径；其中，所述边缘区域内边界为所述边缘区域上与所述边缘区域外边界相对的边界。
14.结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述根据所述滤波半径图对所述光流图像进行平滑滤波处理，得到平滑后的光流图像的步骤，包括：根据所述滤波半径图确定所述光流图中的像素对应的滤波半径；对于所述光流图中的每个像素，均执行以下平滑滤波处理：以该像素为中心，该像素对应的滤波半径确定邻域区域；基于所述邻域区域计算该像素对应的像素均值；以所述像素均值作为该像素平滑后的像素值。
15.结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述将所述第二映射图像与所述第一图像融合，得到双摄融合图像的步骤，包括：将所述第二映射图像与所述第一图像中的局部图像融合，得到局部融合图像；其中，所述局部图像为所述第一图像中与所述第二图像对应的图像；将所述局部融合图像与所述第一图像中除局部图像之外的图像进行拼接处理，得到双摄融合图像。
16.结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，所述第一摄像头为广角摄像头，所述第二摄像头为长焦摄像头。
17.第二方面，本发明实施例提供了一种双摄拍照的图像融合装置，所述装置包括：配准模块，第一图像和第二图像进行配准操作，得到配准后的所述第一图像和所述第二图像对应的光流图像；其中，所述第一图像通过第一摄像头获取，所述第二图像通过第二摄像头获取，所述第一摄像头的视场角大于所述第二摄像头的视场角；区域确定模块，用于根据所述光流图像中的像素值确定所述光流图像中的待平滑区域；滤波处理模块，用于对所述待平滑区域进行平滑滤波处理，得到平滑后的光流图像；映射模块，用于根据平滑后的光流图像对所述第二图像进行坐标映射处理，得到第二映射图像；融合模块，用于将所述第二映射图像与所述第一图像融合，得到双摄融合图像。
18.第三方面，本发明实施例提供了一种电子系统，所述电子系统包括：图像采集设备、处理设备和存储装置；所述图像采集设备，用于获取第一图像和第二图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如前述实施例中任一项所述的双摄拍照的图像融合方法。
19.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理设备运行时执行如前述实施例中任一项所述的双摄拍照的图像融合方法的步骤。
20.本发明实施例带来了以下有益效果：
21.本发明实施例提供了一种双摄拍照的图像融合方法、装置和电子系统，通过对第一图像和第二图像进行配准操作，得到配准后的第一图像和第二图像对应的光流图像，其中，第一图像通过第一摄像头获取，第二图像通过第二摄像头获取，第一摄像头的视场角大于所述第二摄像头的视场角；再根据光流图像确定出光流图像中的待平滑区域，而根据光流图像确定出的待平滑区域能够反映出第二图像中的遮挡区域，通过有针对性地对该待平滑区域进行平滑滤波处理，进而有效平滑了光流图像，实现了对光流图像中表征遮挡区域对应的像素进行修正，进而根据平滑后的光流图像进行后续的图像融合操作，能够在上述遮挡区域有针对性的应用第二图像的信息，提升了第一图像和第二图像的融合清晰度，也减少了图像的扭曲现象，进而改善双摄拍照的呈现效果。
22.本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
23.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
24.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1为本发明实施例一提供的一种电子系统的结构示意图；
26.图2为本发明实施例二提供的一种双摄拍照的图像融合方法的流程图；
27.图3为本发明实施例三提供的一种双摄拍照的图像融合方法的流程图；
28.图4为本发明实施例四提供的一种双摄拍照的图像融合方法的流程图；
29.图5为本发明实施例四提供的滤波半径图的边缘区域的示意图；
30.图6为本发明实施例四提供的一种双摄拍照的图像融合方法的示意图；
31.图7为本发明实施例五提供的一种目标对象识别装置的结构示意图；
32.图8为本发明实施例六提供的另一种目标对象识别装置的结构示意图。
具体实施方式
33.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
35.为了有效提升双摄拍照技术的图像呈现效果，本发明实施例提供的一种双摄拍照的图像融合方法、装置以及系统，通过对广角图像和长焦摄像头配准过程的光流图进行有针对性的平滑滤波处理，改善图像的融合效果。
36.为便于对本实施例进行理解，首先对本发明实施例所公开的一种双摄拍照的图像融合方法进行详细介绍。
37.实施例一
38.首先，参照图1所示的电子系统100的结构示意图。该电子系统可以用于实现本发明实施例的双摄拍照的图像融合方法和装置。
39.如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。
40.处理设备102可以为服务器、智能终端，或者是包含中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行双摄拍照的图像
融合的功能。
41.存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
42.输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
43.输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
44.图像采集设备110可以获取第一图像和第二图像，其中，获取第一图像的设备的视场角大于获取第二图像的设备的视场角，并且将获取到的图像存储在存储装置104中以供其它组件使用。
45.示例性地，用于实现根据本发明实施例的双摄拍照的图像融合方法、装置和电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
46.实施例二
47.参见图2，本发明实施例提供了一种双摄拍照的图像融合方法，该方法可以应用于带有第一摄像头和第二摄像头的电子设备，其中，第一摄像头的视场角大于第二摄像头的视场角，例如，第一摄像头和第二摄像头为超广角摄像头、广角摄像头、长焦摄像头、微距摄像头中的两个；该电子设备可以配置有上述电子系统，该方法主要包括以下步骤：
48.步骤s202，对第一图像和第二图像进行配准操作，得到配准后的第一图像和第二图像对应的光流图像。其中，第一图像通过第一摄像头获取，第二图像通过第二摄像头获取，第一摄像头的视场角大于第二摄像头的视场角；
49.具体地，以第一摄像头为广角摄像头、第二摄像头为长焦摄像头为例，在同一摄像场景，通过长焦摄像头和广角摄像头同时进行摄像，分别得到两幅图像，即长焦图像和广角图像。通常广角图像的尺寸比长焦图像的尺寸更大，长焦图像的清晰度比广角图像的清晰度更高。由于这两幅图像分别是由不同摄像头获取的，因而这两幅图的像素分别对应处于不同坐标系中。为了保证后续图像融合的准确性，需要对长焦图像和广角图像进行图像配准，使两幅图的像素分别对应处于同一坐标系中。
50.在对第一图像和第二图像进行配准操作时，首先通过坐标映射的方式将第二图像的像素映射到第一图像的第一坐标系(例如广角坐标系)中，使第二图像的像素和第一图像的像素均处于同一坐标系(即第一坐标系)中；由于第一图像的尺寸比第二图像的尺寸大，也即第一图像的像素个数比第二图像的多，因而第一图像中仅有一部分区域的像素与第二图像的像素具有坐标映射关系，将第二图像与第一图像中的这部分区域形成的图像组成配
准图像对，配准图像对实际上是将第二图像叠加在第一图像的局部区域上的结果，该结果包括相互配准的第二图像和第一图像中与第二图像对应的局部区域图像。
51.得到配准图像对之后，生成该配准图像对对应的光流图像。由于第二图像和第一图像中对应位置的像素在各自图像中的像素坐标不同，通过配准寻找第二图像和第一图像中对应位置的像素的位移关系，得到光流图。光流图像具体可通过光流算法对配准图像对进行计算，常见的光流算法主要有horn
‑
schunck算法、lucas
‑
kanade算法等，具体可根据实际需要自行选择。
52.步骤s204，根据光流图像确定光流图像中的待平滑区域。
53.本实施例中，根据光流图像确定光流图像中的待平滑区域的过程中，可以将光流图像中的像素值与其相邻像素值进行比较，根据比较出的像素值的差异性确定待平滑区域。
54.作为一种可能的实施方式，上述差异性可以用像素值的方差值表示，也可以用像素值的梯度值表示，或者用像素值的其它参数值表示，本发明实施例对此不进行限定。
55.步骤s206，对待平滑区域进行平滑滤波处理，得到平滑后的光流图像。
56.本实施例的平滑滤波处理也称“模糊处理”(blurring)，该平滑滤波处理方式可以是方框滤波、均值滤波、中值滤波、高斯滤波或者双边滤波等，具体可根据实际需要自行选择。
57.步骤s208，根据平滑后的光流图像对第二图像进行坐标映射处理，得到第二映射图像。
58.由于光流图像中每一像素的像素值表征在第二图像和第一图像中对应位置的像素在行和列上移动的距离大小，因此可根据光流图上每一像素的像素值构建坐标映射矩阵，通过该矩阵对第二图像进行矩阵变换，能够将第二图像中的像素映射到第一图像的第一坐标系下，以便后续将处理后的第二图像更好地融合到第一图像中与第二图像对应的区域中去。
59.步骤s210，将第二映射图像与第一图像融合，得到双摄融合图像。
60.因为第一图像的fov较大，所以在进行图像融合时，作为一种可能的实施方式，可以在第一图像的局部图像区域进行图像融合，得到小视场角的双摄融合图像。作为一种可实施方式，可以将第二映射图像与上述第一图像中的局部图像融合，得到局部融合图像；其中，该局部图像为第一图像中与第二图像对应的图像；之后将局部融合图像与第一图像中除该局部图像之外的图像进行拼接处理，得到双摄融合图像。
61.上述双摄拍照的图像融合方法中，通过对上述第一图像和第二图像进行配准操作，得到配准后的第一图像和第二图像对应的光流图像，再根据光流图像中的像素值确定出光流图像中的待平滑区域，而根据光流图像确定出的待平滑区域能够反映出第二图像中的遮挡区域，通过有针对性地对该待平滑区域进行平滑滤波处理，进而有效平滑了光流图像，实现了对光流图像中表征遮挡区域对应的像素进行修正，进而根据平滑后的光流图像进行后续的图像融合操作，能够在上述遮挡区域有针对性的应用第二图像的信息，提升了第一图像和第二图像的融合清晰度，也减少了图像的扭曲现象，进而改善双摄拍照的呈现效果。
62.实施例三
63.在上述实施例二的基础上，参见图3，本发明实施例还提供了一种双摄拍照的图像融合方法，该方法主要通过光流图像的方差值，确定出滤波半径图，通过滤波半径图对光流图像进行平滑滤波处理，具体包括以下步骤：
64.步骤s302，对第一图像和第二图像进行配准操作，得到配准后的第一图像和第二图像对应的光流图像。
65.步骤s304，根据光流图像中像素的像素值生成光流图像的方差值，根据光流图像的方差值确定该光流图像中的待平滑区域。
66.在确定光流图像中的待平滑区域的过程中，可以采用以下方式之一：(1)将光流图像中方差值介于第一阈值和预设第二阈值之间的区域确定为带平滑区域。(2)根据光流图像的方差值生成方差图，将方差图中方差值介于第一阈值和预设第二阈值之间区域确定为方差区域；其中，第一阈值小于第二阈值；根据该方差区域确定光流图像中的待平滑区域，例如：将光流图中该方差区域对应的区域确定为待平滑区域。
67.上述方差区域的确定过程具体可以包括：在方差图中确定方差值大于所述第一阈值的第一区域；在方差图中确定方差值大于第二阈值的第二区域；将第一区域减去第二区域得到的剩余区域，确定为方差值介于第一阈值和预设第二阈值之间的方差区域。
68.对于光流图像中的每一像素来说，计算每一像素的像素值的方差值，生成一系列与光流图中每一像素的位置一一对应的新像素，为每一新像素赋予像素值，该像素值的大小即为上述计算出来的方差值。生成的一系列新像素共同组成了方差图。预先设置好第一阈值和第二阈值(第二阈值大于第一阈值)，在该方差图中确定方差值介于第一阈值和第二阈值之间的方差区域。将光流图中与方差区域对应的区域确定为待平滑区域。
69.在确定光流图中的待平滑区域时，为了进一步提高操作的便捷性，具体可采用下述操作方式：首先在方差图中确定方差值大于第一阈值的第一区域(即无法配准的区域，也即遮挡区域)，之后在方差图中确定方差值大于第二阈值的第二区域(即无法平滑的区域)，将第一区域减去第二区域得到的剩余区域，确定为方差值介于第一阈值和预设第二阈值之间的方差区域(无法配准但是可以平滑的区域)。通过该方式能够快速确定出方差值介于第一阈值和预设第二阈值之间的方差区域，进而将光流图中该方差区域对应的区域确定为待平滑区域，提高了待平滑区域的确定效率。
70.上述第一阈值可以选择小于1的值，例如：第一阈值为0.2
‑
0.9之间的值，第二阈值可以选择大于2的值，例如第二阈值可以为2
‑
6之间的值。
71.步骤s306，构建上述光流图像的滤波半径图；其中，在滤波半径图中，待平滑区域对应的像素的滤波半径的大小与待平滑区域中的像素的方差值大小成正相关关系。
72.其中，上述正相关关系指待平滑区域中的像素的方差值越大，待平滑区域对应的滤波半径也越大，例如正比例关系或者其它正相关函数对应的关系。
73.在构建滤波半径图时，可以先构建尺寸与光流图像的尺寸相同的滤波半径初始图；其中，滤波半径初始图中的各个像素对应的滤波半径均为0。再根据待平滑区域中像素的方差值，修改滤波半径初始图中与待平滑区域对应区域中的像素对应位置处的像素的滤波半径，得到滤波半径图。为了使修改后的滤波半径与上述方差值成正相关关系，上述修改所述滤波半径初始图中与所述待平滑区域中的像素对应位置处的像素的滤波半径的步骤，可以包括：根据预设值与待平滑区域中的像素的方差值的乘积计算更新后的滤波半径r，将
滤波半径初始图中与待平滑区域中的像素对应位置处的像素的滤波半径修改为更新后的滤波半径r。例如：本实施例采用下述公式确定滤波半径：
74.r＝l var*maxblur；
75.其中，r为滤波半径，l和maxblur均为预设值，var为待平滑区域中的像素的方差值。作为一种可能的实现方式，l可以选择30至60之间的数值，maxblur可以选择20至80之间的数值。
76.在得到滤波半径图之后，为了进一步提升后续图像融合阶段图像对齐的准确性，可对滤波半径图的各个图边对应的边缘区域进行过渡带处理，具体操作方式为：首先确定滤波半径图的各个图边对应的边缘区域，之后对于每个边缘区域，均从边缘区域内边界至边缘区域外边界，对边缘区域中的像素对应的滤波半径进行更新，更新后的边缘区域逐行或逐列像素对应的滤波半径从r过渡为0，r为更新前的滤波半径；其中，边缘区域内边界为边缘区域上与边缘区域外边界相对的边界。为了便于描述过渡带的处理方式，参见图5，以滤波半径图大小为100*100为例，对上述过渡带处理的具体操作方式进行描述，滤波半径图具有上、下、左、右四个方向的图边，分别记作上图边、下图边、左图边、右图边。对于图5来说，可将滤波半径图中靠近左图边、上图边、下图边、右图边10个像素所形成的区域定义为边缘区域(图5中用密集点区域来表示)，将滤波半径图中边缘区域外的剩余区域定义为图区域(图5中用斜线区域来表示)，边缘区域与图区域的共用边称为区域边，以图5为例，区域边包括对应左图边、上图边、下图边、右图边的左区域边、上区域边、下区域边、右区域边，左图边、上图边、下图边、右图边共同组成了边缘区域外边界，左区域边、上区域边、下区域边、右区域边共同组成了边缘区域内边界；之后对于每个边缘区域，均从边缘区域内边界至边缘区域外边界，对边缘区域中的像素对应的滤波半径进行更新，更新后的边缘区域中每行或每列像素对应的滤波半径从r过渡为0。
77.以图5的左区域边与左图边对应的边缘区域为例，左区域边上各个像素点均对应有通过上述公式计算得到的滤波半径r，不管边缘区域中原来计算的r是什么值，均从左区域边至左图边，按照滤波半径从r逐渐变为0的原则修改边缘区域中的滤波半径，例如图5中，假设左区域边上第一像素对应的滤波半径r＝10，则以该第一像素开始，从左区域边至左图边，每经过一个像素，滤波半径减1，这样从该第一像素开始，从左区域边至左图边方向上的像素的滤波半径从10逐渐减为0，左区域边上其余像素对应的滤波半径的过渡方式与第一像素类似，图5中其余区域边上像素对应的滤波半径的过渡方式与左区域边类似。
78.图5中的边缘区域仅仅是一个示例，其中，左区域边与左图边对应的边缘区域大于上区域边与上图边对应的边缘区域，实际应用中，也可以灵活变换每个区域边与图边对应的边缘区域，这里不再详述。
79.通过上述过渡带处理的操作方式，能够减少后续平滑滤波处理对光流图像边缘区域的像素值(也即光流图像对应的第二图像边缘区域的像素的偏移量)造成的改变，进而保证后续图像融合阶段所得到的局部融合图像能够与第一图像中除局部图像之外的图像精准拼接。
80.步骤s308，根据上述滤波半径图对光流图像进行平滑滤波处理，得到平滑后的光流图像。
81.具体地，在确定好上述光流图像中的待平滑区域之后，需要对待平滑区域进行平
滑滤波处理。平滑滤波处理的原理过程为：根据当前像素构建合适尺寸的滤波窗口，本实施例的滤波窗口的大小由滤波半径决定，而当前像素的滤波半径与该当前像素的方差值大小成正相关关系，因此由当前像素的方差值可以确定出其对应的滤波窗口，具体应用中，该当前像素通常位于该滤波窗口的中心位置，滤波窗口内的像素的均值即可作为平滑处理后的像素值，即用这个均值替换当前像素的像素值。以此类推，对于光流图像中的每个像素，均应用该像素对应的滤波窗口确定出该像素对应的均值，用该均值替换该像素的像素值，即得到了整个光流图像的平滑滤波图像。对于光流图像中的像素的方差值为0的情况，该像素对应的滤波半径也为0，即该像素经过平滑滤波处理，其像素值仍然不变。
82.上述滤波窗口的形状可以为半径是滤波半径的圆形，圆心即为待平滑滤波的像素。或者，滤波窗口也可以是正方形，正方形边长的一半可以是上述滤波半径，而正方形的中心即为待平滑滤波的像素。
83.具体地，上述平滑滤波处理采用了均值滤波，具体操作方式为：以上述滤波半径图的像素与光流图像的像素具有一一对应的位置关系为例，以光流图像的每一像素为中心生成圆形滤波窗口，设置圆形滤波窗口的半径大小为该像素在上述滤波半径图上对应像素的滤波半径大小，将光流图像上该圆形滤波窗口所在区域确定为该像素的邻域区域；基于邻域区域计算该像素对应的像素均值；以该像素均值作为该像素平滑后的像素值。对光流图像中的每一像素均执行上述操作，得到平滑后的光流图像。
84.步骤s310，根据平滑后的光流图像对第二图像进行坐标映射处理，得到第二映射图像。
85.步骤s312，将第二映射图像与第一图像融合，得到双摄融合图像。
86.采用上述双摄拍照的图像融合方法，通过对第一图像和第二图像进行配准操作，得到配准后的第一图像和第二图像对应的光流图像，再通过上述像素对应的方差值的阈值确定光流图像中的待平滑区域，这种待平滑区域能够反映出第二图像中的遮挡区域，通过有针对性地为该待平滑区域的像素设置滤波半径并进行平滑滤波处理，实现了对光流图像中表征遮挡区域对应的像素进行修正，提高了光流图像对第二图像中不同位置像素的适配性，进而根据平滑后的光流图像进行后续的图像融合操作，能够在上述遮挡区域有针对性的应用第二图像的信息，提升了第一图像和第二图像的融合清晰度，也减少了图像的扭曲现象，进而改善双摄拍照的呈现效果。
87.实施例四
88.在上述实施例二的基础上，以第一图像为广角图像，第二图像为长焦图像，第一摄像头为广角摄像头，第二摄像头为长焦摄像头为例，拍摄某一具体场景，参见图4和图6，本实施例还提供了一种双摄拍照的图像融合方法，图6中以该方法包括以下步骤：
89.步骤s402，通过长焦摄像头和广角摄像头分别获取长焦图像和广角图像，对长焦图像和广角图像进行配准，得到配准图像对，基于配准图像对生成原始光流图。
90.其中，配准图像对包括长焦图像，以及广角图像中对应于该长焦图像的区域图像，图6中示意出以长焦图像为基准，根据配准图像对中的区域图像确定出的原始光流图，该原始光流图可以表征上述长焦图像的坐标的映射关系，基于该映射关系对长焦图像进行变换，将长焦图像变换至广角摄像头对应的广角坐标系下，但是本实施例考虑到长焦摄像头和广角摄像头采集的图像中通常存在一定的景物遮挡现象，该景物遮挡现象体现在原始光
流图中会存在比较显著的边缘区域，即图6所示的原始光流图中的白色与黑色的交界区域，这种区域会影响后续图像融合的质量，因此本发明实施例将会对这些区域进行平滑滤波处理。
91.步骤s404，生成原始光流图的方差图，通过方差图的阈值化处理确定待平滑区域。
92.图6示出了方差图，本实施例预先为方差图的像素值设置有两个阈值，分别记作thr1、thr2，且thr2＞thr1，例如，thr1可取0.2
‑
0.9之间的值，thr2可取2
‑
6之间的值；对上述方差图进行两次阈值化处理，分别为第一阈值化处理和第二阈值化处理，具体地，通过第一阈值化处理从方差图中找出像素值大于thr1的区域1，通过第二阈值化处理从方差图中找出像素值大于thr2的区域2。
93.第一阈值化处理的具体过程为：将方差图中像素值大于thr1的像素赋予像素值为255，对于剩余像素赋予像素值为0，得到区域1，区域1中白色的部分即为无法配准的区域，也即遮挡区域。
94.同理，第二阈值化处理的具体过程为：将方差图中像素值大于thr2的像素赋予像素值为255，对于剩余像素赋予像素值为0，得到区域2，区域2中白色的部分即为无法平滑的区域。
95.在对方差图进行第一阈值化处理和第二阈值化处理之后，可根据无法配准的区域和无法平滑的区域确定待平滑区域。具体地，参见图6，将区域1减去区域2，得到区域3，区域3中白色的部分即为上述方差图中像素值介于thr1和thr2之间的区域，该区域为无法配准但是可以平滑的区域，因此确定区域3中白色的部分为待平滑区域。
96.步骤s406，分别为无法平滑的区域和待平滑区域在原始光流图上对应的像素设置滤波半径，根据设置的滤波半径生成初始滤波半径图；对初始滤波半径图的边缘进行过渡带处理，得到优化后的滤波半径图。
97.具体地，参见图6，滤波半径图的生成过程包括以下步骤：
98.(1)将区域1中白色的部分(即无法平滑的区域)在原始光流图上对应的像素的滤波半径设置为0，目的是不对其进行滤波处理；将区域3中白色的部分(即待平滑区域)在原始光流图上对应的像素的滤波半径设置为r，r的计算方式具体可采用公式r＝l var*maxblur，其中，var为步骤s404中计算得到的方差值，l和maxblur为根据实际需要自行设置的固定值(例如，将l设置为40，将maxblur设置为60)。
99.(2)根据设置的滤波半径生成初始滤波半径图，在初始滤波半径图上，与区域3中白色部分对应的区域中的像素的像素值为r，其余区域中的像素的像素值为0(即不进行平滑滤波处理)。
100.(3)对初始滤波半径图的边缘区域进行过渡带处理，得到优化后的滤波半径图(参见图6)。具体操作方式与上述步骤s306中对应内容类似，在此不再赘述。
101.步骤s408，用优化后的滤波半径图对原始光流图进行boxfilter滤波处理，得到滤波后的光流图(参见图6)。
102.具体地，在进行boxfilter滤波时，首先需要构建一个方形滤波窗口。由于滤波半径图的像素与原始光流图中的像素具有一一对应的位置关系，以原始光流图的每一像素为中心生成方形滤波窗口，由于方形滤波窗口为一正方形矩阵，可设置方形滤波窗口的边长大小为该像素在上述滤波半径图上对应像素的滤波半径大小或者该滤波半径大小的一半，
将原始光流图上该方形滤波窗口所在区域确定为该像素的邻域区域；基于邻域区域计算该像素对应的像素求和值；以像素求和值作为该像素平滑后的像素值。对原始光流图中的每一像素均执行上述操作，得到滤波后的光流图。
103.步骤s410，根据滤波后的光流图对长焦图像进行坐标映射处理，得到处理后的长焦图像。
104.步骤s412，将处理后的长焦图像与广角图像中与长焦图像对应的局部图像区域融合，得到最终的融合图像。
105.在上述双摄拍照的图像融合方法中，通过对长焦摄像头的长焦图像和广角摄像头的广角图像进行配准操作，得到配准图像对并基于配准图像对生成光流图，再基于光流图的像素值生成光流图对应的方差图并通过方差图的两次阈值化处理能够快速地确定光流图中的待平滑区域，而通过方差图的两次阈值化处理确定出的待平滑区域能够反映出长焦图像中的遮挡区域，通过有针对性地为该待平滑区域的像素设置滤波半径并进行boxfilter滤波处理，实现了对光流图中表征遮挡区域对应的像素进行修正，提高了光流图对长焦图像中不同位置像素的适配性，进而用滤波后的光流图进行后续的图像融合操作，能够在上述遮挡区域有针对性的应用长焦图像的信息，提升了广角图像和长焦图像的融合清晰度，也减少了图像的扭曲现象，进而改善双摄拍照的呈现效果。
106.实施例五
107.对于实施例二中所提供的双摄拍照的图像融合方法，本发明实施例提供了一种双摄拍照的图像融合装置，参见图7所示的一种双摄拍照的图像融合装置的结构示意图，该装置包括：
108.配准模块72，用于对第一图像和第二图像进行配准操作，得到配准后的第一图像和第二图像对应的光流图像。其中，所述第一图像通过第一摄像头获取，所述第二图像通过第二摄像头获取，所述第一摄像头的视场角大于所述第二摄像头的视场角。
109.区域确定模块74，用于根据光流图像确定光流图像中的待平滑区域。
110.滤波处理模块76，用于对待平滑区域进行平滑滤波处理，得到平滑后的光流图像。
111.映射模块78，用于根据平滑后的光流图像对第二图像进行坐标映射处理，得到第二映射图像。
112.融合模块80，用于将第二映射图像与第一图像融合，得到双摄融合图像。
113.本实施例提供的上述双摄拍照的图像融合装置，通过对第一图像和第二图像进行配准操作，得到配准后的第一图像和第二图像对应的光流图像，再根据光流图像中的像素值确定光流图像中的待平滑区域，而根据光流图像确定出的待平滑区域能够反映出第二图像中的遮挡区域，通过有针对性地对该带平滑区域进行平滑滤波处理，进而有效平滑了光流图像，实现了对光流图像中表征遮挡区域对应的像素进行修正，进而根据平滑后的光流图像进行后续的图像融合操作，能够在上述遮挡区域有针对性的应用第二图像的信息，提升了第一图像和第二图像的融合清晰度，也减少了图像的扭曲现象，进而改善双摄拍照的呈现效果。
114.上述区域确定模块74还用于：根据所述光流图像中像素的像素值生成所述光流图像的方差值；根据所述光流图像的方差值确定所述光流图像中的待平滑区域。
115.上述区域确定模块74还用于：根据所述光流图像的方差值生成方差图；
116.将所述方差图中方差值介于第一阈值和预设第二阈值之间区域确定为方差区域；其中，所述第一阈值小于所述第二阈值；根据所述方差区域确定所述光流图像中的待平滑区域。
117.上述滤波处理模块76还用于：构建光流图像的滤波半径图；其中，在滤波半径图中，待平滑区域对应的像素的滤波半径的大小与待平滑区域中的像素的方差值大小成正相关关系；根据滤波半径图对光流图像进行平滑滤波处理，得到平滑后的光流图像。
118.上述滤波处理模块76还用于：构建尺寸与光流图像的尺寸相同的滤波半径初始图；其中，滤波半径初始图中的各个像素对应的滤波半径均为0；根据待平滑区域中像素的方差值，修改滤波半径初始图中与所述待平滑区域中的像素对应位置处的像素的滤波半径，得到滤波半径图。基于此，上述修改滤波半径初始图中待平滑区域对应区域中的像素的滤波半径包括：根据预设值与所述待平滑区域中的像素的方差值的乘积计算更新后的滤波半径r，将所述滤波半径初始图中与所述待平滑区域中的像素对应位置处的像素的滤波半径修改为更新后的滤波半径r。例如：修改滤波半径初始图中待平滑区域对应区域中的像素的滤波半径r＝l var*maxblur；其中l和maxblur均为预设值，var为待平滑区域中的像素的方差。
119.上述滤波处理模块76还用于：确定滤波半径图的各个图边对应的边缘区域；对于每个边缘区域，均从边缘区域内边界至边缘区域外边界，对边缘区域中的像素对应的滤波半径进行更新，更新后的边缘区域逐行或逐列像素对应的滤波半径从r过渡为0，r为更新前的滤波半径；其中，边缘区域内边界为边缘区域上与边缘区域外边界相对的边界。
120.上述滤波处理模块76还用于：根据滤波半径图确定光流图中的像素对应的滤波半径；对于光流图中的每个像素，均执行以下平滑滤波处理：以该像素为中心，该像素对应的滤波半径确定邻域区域；基于邻域区域计算该像素对应的像素均值；以像素均值作为该像素平滑后的像素值。
121.上述融合模块80还用于：将第二映射图像与第一图像中的局部图像融合，得到局部融合图像；其中，局部图像为第一图像中与第二图像对应的图像；将局部融合图像与第一图像中除局部图像之外的图像进行拼接处理，得到双摄融合图像。
122.在一些实施方式中，上述第一摄像头为广角摄像头，上述第二摄像头为长焦摄像头。
123.本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
124.实施例六
125.参见图8，本发明实施例还提供另一种双摄拍照的图像融合装置，该双摄拍照的图像融合装置200包括：处理器90，存储器91，总线92和通信接口93，处理器90、通信接口93和存储器91通过总线92连接；处理器90用于执行存储器91中存储的可执行模块，例如计算机程序。
126.其中，存储器91可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非易失存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口93(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
127.总线92可以是isa总线、pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
128.其中，存储器91用于存储程序，处理器90在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器90中，或者由处理器90实现。
129.处理器90可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器90中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器90可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field
‑
programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器91，处理器90读取存储器91中的信息，结合其硬件完成上述方法的步骤。
130.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
131.本发明实施例所提供的一种双摄拍照的图像融合方法、装置和电子系统的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
132.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
133.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
134.最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本
发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
135.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
136.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。