图像融合方法、装置、计算机设备及计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像融合方法、装置、计算机设备及计算机可读存储介质。


背景技术：

2.随着智能手机的发展，人们对手机相机的拍照功能的需求越来越高。手机相机中具有一个长曝光功能，通过该长曝光功能可以拍摄出带有动感的车流、水流等照片。
3.但是，这种长曝光功能不适用于拍摄带有拍摄对象的图像，拍摄对象可以是人像、可以是物体。因为长曝光功能要求的拍摄时间比较长，例如，拍摄时间要几十秒甚至更久，这样的话，要求被拍摄对象要保持不动，否则拍摄出来的图像中的拍摄对象会出现重影。


技术实现要素：

4.本技术实施例提供一种图像融合方法、装置、计算机设备及计算机可读存储介质，能够避免图像中的拍摄对象出现重影。
5.一种图像融合方法，包括：
6.获取拍摄对象针对同一拍摄背景的若干候选图像；
7.对所述候选图像进行图像分割，得到所述候选图像中拍摄对象的对象图像和所述拍摄背景的背景图像；
8.将所述背景图像进行背景融合处理，得到融合后背景图像；
9.将所述对象图像与所述融合后背景图像进行对象融合处理，得到目标图像。
10.相应地，本技术实施例提供一种图像融合装置，包括：
11.获取单元，可以用于获取拍摄对象针对同一拍摄背景的若干候选图像；
12.分割单元，可以用于对所述候选图像进行图像分割，得到所述候选图像中拍摄对象的对象图像和所述拍摄背景的背景图像；
13.第一融合单元，可以用于将所述背景图像进行背景融合处理，得到融合后背景图像；
14.第二融合单元，可以用于将所述对象图像与所述融合后背景图像进行对象融合处理，得到目标图像。
15.在一些实施例中，第一融合单元，具体可以用于确定所述背景图像的融合区域；基于所述融合区域，对所述背景图像进行背景融合处理，得到融合后背景图像。
16.在一些实施例中，第一融合单元，具体可以用于确定所述背景图像对应的对象图像映射到所述背景图像中的对象区域；将所述对象区域进行区域融合处理，得到非融合区域；基于所述非融合区域，确定所述背景图像的融合区域。
17.在一些实施例中，第一融合单元，具体可以用于获取所述融合区域的透明度；基于所述融合区域的透明度，对所述背景图像进行叠加，得到所述融合后背景图像。
18.在一些实施例中，第二融合单元，具体可以用于获取所述对象图像的锐度值；基于
所述对象图像的锐度值，从所述对象图像中筛选出目标对象图像；将所述目标对象图像与所述融合后背景图像进行图像融合处理，得到目标图像。
19.在一些实施例中，第二融合单元，具体可以用于对所述对象图像中的对象进行边缘检测，得到所述对象图像中对象边缘的每个像素点的像素值；对所述对象边缘的每个像素点的像素值进行融合处理，得到融合后像素值；将所述融合后像素值确定为所述对象图像的锐度。
20.在一些实施例中，拍摄对象为人像；分割单元，具体可以用于针对每一所述候选图像，对所述候选图像进行人像检测；若所述候选图像存在人像，则对所述候选图像进行图像分割，得到所述候选图像中人像的对象图像和所述拍摄背景的背景图像。
21.此外，本技术实施例还提供一种计算机设备，包括存储器和处理器；存储器存储有计算机程序，处理器用于运行存储器内的计算机程序，以执行本技术实施例提供的任一种图像融合方法中的操作。
22.此外，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序适于处理器进行加载，以执行本技术实施例提供的任一种图像融合方法。
23.本技术实施例可以获取拍摄对象针对同一拍摄背景的若干候选图像；对所述候选图像进行图像分割，得到所述候选图像中拍摄对象的对象图像和所述拍摄背景的背景图像；将所述背景图像进行背景融合处理，得到融合后背景图像；将所述对象图像与所述融合后背景图像进行对象融合处理，得到目标图像。由于本技术实施例可以从候选图像中分割出拍摄对象的对象图像和拍摄背景的背景图像，由此，本技术实施例可以将由背景图像进行融合处理得到的融合后背景图像和对象图像进行融合，如此避免若干候选图像直接叠加实现融合，从而避免目标图像中的拍摄对象出现重影。
附图说明
24.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1是本技术实施例提供的图像融合方法的场景示意图；
26.图2是本技术实施例提供的图像融合方法的流程示意图；
27.图3是本技术实施例提供的第一背景图像的示意图；
28.图4是本技术实施例提供的第二背景图像的示意图；
29.图5是本技术实施例提供的非融合区域和融合区域的示意图；
30.图6是本技术实施例提供的图像融合装置的结构示意图；
31.图7是本技术实施例提供的计算机设备的结构示意图。
具体实施方式
32.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于
本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
33.本技术实施例提供一种图像融合方法、装置、计算机设备和计算机可读存储介质。其中，该图像融合装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。
34.其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
35.例如，参见图1，以图像融合装置集成在计算机设备中为例，计算机设备获取拍摄对象针对同一拍摄背景的若干候选图像；对候选图像进行图像分割，得到候选图像中拍摄对象的对象图像和拍摄背景的背景图像；将背景图像进行背景融合处理，得到融合后背景图像；将对象图像与融合后背景图像进行对象融合处理，得到目标图像。
36.其中，同一拍摄背景是指在若干候选图像中，当每张候选图像的拍摄背景大部分相同时，此种情况可以称为同一拍摄背景；或者，当每张候选图像的拍摄背景完全一样时，此种情况可以为同一拍摄背景。
37.其中，拍摄对象可以是人像、可以是运动物体、可以是植物等对象。
38.其中，拍摄背景可以是水流、可以是车流、可以是自然风光等背景。
39.以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
40.本实施例将从图像融合装置的角度进行描述，该图像融合装置具体可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算机(pc，personal computer)、可穿戴设备、虚拟现实设备或其他可以获取数据的智能设备等设备。
41.如图2所示，该图像融合方法的具体流程如下：
42.s101、获取拍摄对象针对同一拍摄背景的若干候选图像。
43.其中，同一拍摄背景是指在若干候选图像中，当每张候选图像的拍摄背景大部分相同时，此种情况可以称为同一拍摄背景；或者，当每张候选图像的拍摄背景完全一样时，此种情况可以为同一拍摄背景。
44.其中，拍摄对象可以是人像、可以是运动物体、可以是植物等对象。
45.其中，拍摄背景可以是水流、可以是车流、可以是自然风光等背景。
46.本技术实施例获取拍摄对象针对同一拍摄背景的若干候选图像的方式有多种，例如，计算机设备启动相机模式；计算机设备响应于用户的选择操作，采用长曝光模式针对同一拍摄背景进行拍摄，从而获取到若干候选图像。
47.又例如，计算设备响应于用户触发的拍摄操作，针对同一拍摄背景进行拍摄，从而获取到若干候选图像。
48.其中，拍摄操作可以是针对倒计时拍摄的拍摄操作，例如，倒计时10秒后，计算设
备才进行拍摄的拍摄操作，拍摄操作也可以是直接拍摄的拍摄操作，例如，按下计算机设备的快门键，计算机设备直接执行拍摄操作。
49.s102、对候选图像进行图像分割，得到候选图像中拍摄对象的对象图像和拍摄背景的背景图像。
50.其中，本技术实施例可以采用图像分割模型对候选图像进行分割，将候选图像的背景和前景进行分离，从而得到候选图像中拍摄对象的对象图像和拍摄背景的背景图像。
51.本技术实施例还可以采用背景差分法将候选图像的背景和前景进行分离，从而得到候选图像中拍摄对象的对象图像和拍摄背景的背景图像。
52.具体地，当拍摄对象为人像时，本技术实施例可以针对每一候选图像，对候选图像进行人像检测；若候选图像存在人像，则对候选图像进行图像分割，得到候选图像中人像的对象图像和拍摄背景的背景图像。
53.其中，本技术实施例可以采用人像识别模型对候选图像进行人像检测，从而将人像的对象图像和背景图像进行分离。
54.s103、将背景图像进行背景融合处理，得到融合后背景图像。
55.具体地，本技术实施例可以设置背景图像的透明度，该透明度可以设置为百分之十；然后，将每张背景图像直接叠加，实现融合处理，从而得到融合后背景图像。
56.具体地，本技术实施例将背景图像进行背景融合处理，得到融合后背景图像还可以按照以下方法：
57.例如，计算机设备确定背景图像的融合区域；基于融合区域，对背景图像进行背景融合处理，得到融合后背景图像。
58.其中，本技术实施例确定背景图像的融合区域的方式可以为：计算机设备确定背景图像对应的对象图像映射到背景图像中的对象区域；将对象区域进行区域融合处理，得到非融合区域；基于非融合区域，确定背景图像的融合区域。
59.本技术实施例中，针对每一张候选图像，对候选图像进行分割，得到每一张候选图像对应的对象图像和背景图像，也即，对象图像和背景图像一一对应。基于此，背景对象中的对象区域是指，对象图像在对象图像对应的候选图像中所占区域重合的区域。
60.本技术实施例将每一张背景图像进行对齐，得到对齐后背景图像；将每张对齐后背景图像对应的对象区域进行叠加，叠加后所占的总区域即为非融合区域。
61.例如，本技术以候选图像具有两张为例进行阐述。本技术实施例对两张候选图像分别进行分割，得到了两张背景图像和每张背景图像对象的对象图像。这两种背景图像分别为第一背景图像、第二背景图像。
62.如图3所示，图3为第一背景图像，第一背景图像中具有对象区域和非对象区域，图3中的对象区域位于左侧，也即，该第一背景图像对应的对象图像位于第一背景图像对应的候选图像的左侧。
63.如图4所示，图4为第二背景图像，第二背景图像中具有对象区域和非对象区域，图4中的对象区域位于中间，也即，该第二背景图像对应的对象图像位于第二背景图像对应的候选图像的中间。
64.本技术实施例将第一背景图像的对象区域和第二背景图像的对象区域叠加后，得到非融合区域如图5所示，非融合区域之外的区域即为融合区域。
65.基于上述，本技术实施例获取融合区域的透明度；基于融合区域的透明度，对背景图像进行叠加，得到融合后背景图像。
66.本技术实施例可以按照百分之10的透明度直接对背景图像进行对齐并叠加。
67.s104、将对象图像与融合后背景图像进行对象融合处理，得到目标图像。
68.其中，本技术实施例可以从若干对象图像中筛选出目标对象图像，并将目标对象图像与融合后背景图像进行图像融合处理，得到目标图像。
69.具体地，计算机设备获取对象图像的锐度值；基于对象图像的锐度值，从对象图像中筛选出目标对象图像；将目标对象图像与融合后背景图像进行图像融合处理，得到目标图像。
70.其中，对于每一张对象图像，本技术实施例可以对对象图像中的对象进行边缘检测，得到对象图像中对象边缘的每个像素点的像素值；对对象边缘的每个像素点的像素值进行融合处理，得到融合后像素值；将融合后像素值确定为对象图像的锐度。
71.本技术实施例对对象边缘的每个像素点的像素值进行融合处理，得到融合后像素值的方式可以是直接将对象图像中对象的边缘的每个像素点的像素值进行相加；也可以是采用权重对对象图像中对象的边缘的每个像素点的像素值进行融合。
72.本技术实施例可以通过索贝尔算子对对象图像中的对象进行边缘检测，也可以采用图像边缘检测模型对对象图像中对象进行边缘检测。
73.锐度值最大的对象图像为最清晰的对象图像，本技术实施例可以将锐度值最大的对象图像确定为目标对象图像。
74.本技术实施例可以获取拍摄对象针对同一拍摄背景的若干候选图像；对候选图像进行图像分割，得到候选图像中拍摄对象的对象图像和拍摄背景的背景图像；将背景图像进行背景融合处理，得到融合后背景图像；将对象图像与融合后背景图像进行对象融合处理，得到目标图像。由于本技术实施例可以从候选图像中分割出拍摄对象的对象图像和拍摄背景的背景图像，由此，本技术实施例可以将由背景图像进行融合处理得到的融合后背景图像和对象图像进行融合，如此避免若干候选图像直接叠加实现融合，从而避免目标图像中的拍摄对象出现重影。
75.为了更好地实施以上方法，本技术实施例还提供一种图像融合装置，该图像融合装置可以集成在计算机设备，比如服务器或终端等设备中，该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
76.例如，如图6所示，该图像融合装置可以包括获取单元301、分割单元302、第一融合单元303和第二融合单元304，如下：
77.(1)获取单元301；
78.获取单元301，可以用于获取拍摄对象针对同一拍摄背景的若干候选图像。
79.(2)分割单元302；
80.分割单元302，可以用于对候选图像进行图像分割，得到候选图像中拍摄对象的对象图像和拍摄背景的背景图像。
81.在一些实施例中，拍摄对象为人像；分割单元302，具体可以用于针对每一候选图像，对候选图像进行人像检测；若候选图像存在人像，则对候选图像进行图像分割，得到候选图像中人像的对象图像和拍摄背景的背景图像。
82.(3)第一融合单元303；
83.第一融合单元303，可以用于将背景图像进行背景融合处理，得到融合后背景图像。
84.在一些实施例中，第一融合单元303，具体可以用于确定背景图像的融合区域；基于融合区域，对背景图像进行背景融合处理，得到融合后背景图像。
85.在一些实施例中，第一融合单元303，具体可以用于确定背景图像对应的对象图像映射到背景图像中的对象区域；将对象区域进行区域融合处理，得到非融合区域；基于非融合区域，确定背景图像的融合区域。
86.在一些实施例中，第一融合单元303，具体可以用于获取融合区域的透明度；基于融合区域的透明度，对背景图像进行叠加，得到融合后背景图像。
87.(4)第二融合单元304；
88.第二融合单元304，可以用于将对象图像与融合后背景图像进行对象融合处理，得到目标图像。
89.在一些实施例中，第二融合单元304，具体可以用于获取对象图像的锐度值；基于对象图像的锐度值，从对象图像中筛选出目标对象图像；将目标对象图像与融合后背景图像进行图像融合处理，得到目标图像。
90.在一些实施例中，第二融合单元304，具体可以用于对对象图像中的对象进行边缘检测，得到对象图像中对象边缘的每个像素点的像素值；对对象边缘的每个像素点的像素值进行融合处理，得到融合后像素值；将融合后像素值确定为对象图像的锐度。
91.本技术实施例的获取单元301可以获取拍摄对象针对同一拍摄背景的若干候选图像；分割单元302可以对候选图像进行图像分割，得到候选图像中拍摄对象的对象图像和拍摄背景的背景图像；第一融合单元303可以用于将背景图像进行背景融合处理，得到融合后背景图像；第二融合单元304可以用于将对象图像与融合后背景图像进行对象融合处理，得到目标图像。由于本技术实施例可以从候选图像中分割出拍摄对象的对象图像和拍摄背景的背景图像，由此，本技术实施例可以将由背景图像进行融合处理得到的融合后背景图像和对象图像进行融合，如此避免若干候选图像直接叠加实现融合，从而避免目标图像中的拍摄对象出现重影。
92.本技术实施例还提供一种计算机设备，如图7所示，其示出了本技术实施例所涉及的计算机设备的结构示意图，具体来讲：
93.该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图7中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
94.处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和计算机程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到
处理器401中。
95.存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
96.计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
97.该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息通讯，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
98.尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的计算机程序，从而实现各种功能，如下：
99.获取拍摄对象针对同一拍摄背景的若干候选图像；对候选图像进行图像分割，得到候选图像中拍摄对象的对象图像和拍摄背景的背景图像；将背景图像进行背景融合处理，得到融合后背景图像；将对象图像与融合后背景图像进行对象融合处理，得到目标图像。
100.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
101.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
102.为此，本技术实施例提供一种计算机可读存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本技术实施例所提供的任一种图像融合方法。
103.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
104.其中，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
105.由于该计算机可读存储介质中所存储的指令，可以执行本技术实施例所提供的任一种图像融合方法中的步骤，因此，可以实现本技术实施例所提供的任一种图像融合方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
106.其中，根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
107.以上对本技术实施例所提供的一种图像融合方法、装置、计算机设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本技术的限制。