一种图像融合方法、存储介质及终端设备与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像融合方法、存储介质及终端设备。


背景技术：

2.目前为了得到在高光和阴影处都清晰自然的图像，通常会通过多曝光融合技术来确定图像。多曝光融合技术是通常获取多帧多曝光图像，在将多帧多曝光图像进行融合以得到输出图像。然而，现有的多曝光融合技术存在融合后的输出图像的图像效果差的问题。


技术实现要素：

3.本技术要解决的技术问题在于，针对现有技术的不足，提供一种图像融合方法、存储介质及终端设备。
4.为了解决上述技术问题，本技术实施例第一方面提供了一种图像融合方法，所述方法包括：
5.获取若干图像帧；
6.基于曝光量将若干图像帧划分为第一图像组和第二图像组；
7.确定所述第一图像组对应的第一权重图，以及所述第二图像组对应的第二权重图；
8.基于确定得到的第一权重图和第二权重图，将若干图像帧进行融合以得到输出图像。
9.所述图像融合方法，其中，所述若干图像帧中各图像帧的图像内容的相似度满足预设条件。
10.所述图像融合方法，其中，所述若干图像帧均为原始图像数据，并且对于第一图像组中的每个第一图像，该第一图像对应的曝光量小于或者等于预设曝光量；对于第二图像中的每个第二图像，该第二图像对应的曝光量大于预设曝光量。
11.所述图像融合方法，其中，所述确定第一图像组对应的第一权重图具体包括：
12.对于第一图像组中的每张第一图像，确定该第一图像对应的第一灰度图，基于该第一灰度图确定该第一图像中各像素点对应的第一像素点权值，以得到该第一图像对应的第一权重矩阵；
13.基于所述第一图像组中所有第一图像各自分别对应的第一权重矩阵，确定所述第一图像组对应的第一权重图。
14.所述图像融合方法，其中，所述对于第一图像组中的每张第一图像，确定该第一图像对应的第一灰度图，基于该第一灰度图确定该第一图像中各像素点对应的第一像素点权值，以得到该第一图像对应的第一权重矩阵具体包括：
15.对于第一图像组中的每张第一图像，确定该第一图像对应的第一灰度图；
16.基于预设的第一高斯曲线，确定所述第一灰度图中各像素点与第一预设期望值之
间的第一距离；
17.将确定得到各像素点各自对应的第一距离作为各像素点各自对应的第一像素点权值，以得到该第一图像对应的第一权重矩阵。
18.所述图像融合方法，其中，所述对于第一图像组中的每张第一图像，确定该第一图像对应的第一灰度图之后，所述方法还包括：
19.对所述第一灰度图进行归一化处理，并将归一化处理后的第一灰度图作为该第一图像对应的第一灰度图。
20.所述图像融合方法，其中，所述确定第二图像组对应的第二权重图具体包括：
21.对于第二图像组中的每张第二图像，确定该第二图像对应的第二灰度图；基于该第二灰度图确定该第二图像对应的均值矩阵，以及，基于所述均值矩阵以及所述第二灰度图，确定该第二图像对应的第二权重矩阵；
22.基于所述第二图像组中所有第二图像各自分别对应的第二权重矩阵，确定所述第二图像组对应的第二权重图。
23.所述图像融合方法，其中，所述基于所述均值矩阵以及所述第二灰度图，确定该第二图像对应的第二权重矩阵具体包括：
24.基于预设的第二高斯曲线，确定所述均值矩阵中各像素点与第二期望值之间的第二距离，并将确定得到各第二距离作为各像素点各自对应的第二像素点权值，以得到第一临时权重矩阵；
25.基于预设的第三高斯曲线以及所述第二灰度图，确定该第二图像对应的第二临时权重矩阵；
26.基于所述第一临时权重矩阵和第二临时权重矩阵确定第二图像对应的第二权重矩阵。
27.所述图像融合方法，其中，所述基于预设的第三高斯曲线以及所述第二灰度图，确定该第二图像对应的第二临时权重矩阵具体包括：
28.基于所述第二灰度图确定该第二图像对应的导向滤波图；
29.基于预设的第三高斯曲线，确定所述导向滤波图中各像素点与第三期望值之间的第三距离，并将确定得到各第三距离作为各像素点各自对应的第三像素点权值，以得到第二临时权重矩阵。
30.所述图像融合方法，其中，若干图像帧均为原始图像数据；所述获取若干图像帧具体包括：
31.获取若干图像帧；
32.对于每张图像帧，按照该图像帧对应的颜色顺序对该图像帧进行通道分离，以得到多通道图像；
33.将得到的若干多通道图像作为若干图像帧。
34.所述图像融合方法，其中，所述基于确定得到的第一权重图和第二权重图，将若干图像帧进行融合以得到输出图像具体包括：
35.基于确定得到的第一权重图和第二权重图，将各图像帧的各颜色通道进行融合以得到融合图像；
36.将所述融合图像按照颜色顺序转换为单通道图像，并将所述单通道图像作为输出
图像。
37.所述图像融合方法，其中，所述基于确定得到的第一权重图和第二权重图，将各图像帧的各颜色通道进行融合以得到融合图像具体包括：
38.在若干图像帧中选取一目标图像帧，并将若干图像帧中除目标图像帧外的其他图像帧作为参考图像帧；
39.对于目标图像帧中的每个颜色通道，分别确定各参考图像帧中与该颜色通道对应的参考颜色通道，其中，各参考颜色通道在各自对应的参考图像帧中的通道号与该颜色通道在目标图像帧中的通道号相同；
40.基于所述第一权重图和的第二权重图，将该颜色通道以及各参考颜色通道进行加权处理，以得到该颜色通道对应的融合通道；
41.基于确定得到的所有融合通道，确定若干图像帧对应的融合图像。
42.本技术实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像融合方法中的步骤。
43.本技术实施例第二方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
44.所述通信总线实现处理器和存储器之间的连接通信；
45.所述处理器执行所述计算机可读程序时实现如上任一所述的图像融合方法中的步骤。
46.有益效果：与现有技术相比，本技术提供了一种图像融合方法、存储介质及终端设备，所述方法通过基于曝光量将获取到若干图像帧划分为第一图像组和第二图像组；分别确定所述第一图像组对应的第一权重图以及所述第二图像组对应的第二权重图；最后基于确定得到的第一权重图和第二权重图，将若干图像帧进行融合以得到输出图像。这样确定第一图像组对应的第一权重图和第二图像组对应的第二权重图，并根据第一权重图和第二权重图对应的融合权重图对若干图像帧进入融合，这样可以提高不同曝光量的图像帧对应不同的权重图，通过不同曝光量的图像帧对应的权重图来提高各自的作用，从而提高了融合得到的输出图像的图像效果。
附图说明
47.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1为本技术提供的图像融合方法的流程图。
49.图2为图像采集装置直接拍摄得到图像的示例图。
50.图3为通过本技术提供的图像融合方法融合得到输出图像的示例图。
51.图4为本技术提供的终端设备的结构原理图。
具体实施方式
52.本技术提供一种图像融合方法、存储介质及终端设备，为使本技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
53.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
54.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
55.发明人经过研究发现，在夜景环境中，为了能够得到一张在高光和阴影处都清晰的图像，通常会获取多帧多曝光图像，再通过融合技术进行处理以得到高光和阴影处都清晰的图像。这是由于单一曝光产生的图像无法压制高光区域和提亮阴影区域，而多曝光图像内含有不同曝光量的同一场景的图像数据，长曝光量图像可以用于提亮阴影区域，而短曝光量图像可以用于压制高光区域，通过融合多曝光图像可以得到高光和阴影处都清晰的图像。
56.然而，在采用多曝光融合技术确定图像时需要确定多图像帧对应的融合权重图，其中，融合权重图普遍是基于局部图像特征的质量评估来得到，比如最常见的通过图像的对比度、饱和度以及曝光量计算融合权重图，以及对图像进行细节分解后提取不同图像层的亮度分量权重等等。所述融合权重图中各图像帧对应的权重矩阵均是采用相同方法确定，无法体现短曝光图像对高光区域的压制作用，以及长曝光图像对阴影区域的提亮作用，从而导致融合得到的输出图像的图像效果差。
57.为了解决上述问题，在本技术实施例中，通过基于曝光量将获取到若干图像帧划分为第一图像组和第二图像组；分别确定所述第一图像组对应的第一权重图以及所述第二图像组对应的第二权重图；最后基于确定得到的第一权重图和第二权重图，将若干图像帧进行融合以得到输出图像。这样确定第一图像组对应的第一权重图和第二图像组对应的第二权重图，并根据第一权重图和第二权重图对应的融合权重图对若干图像帧进入融合，这样可以提高不同曝光量的图像帧对应不同的权重图，通过不同曝光量的图像帧对应的权重图来提高各自的作用，从而提高了融合得到的输出图像的图像效果。
58.下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
59.本实施提供了一种图像融合方法，如图1所示，所述方法包括：
60.s10、获取若干图像帧。
61.具体地，所述若干图像帧可以是通过图像融合方法的电子设备(例如，智能手机
等)获取到的图像，该若干图像帧可以由有图像采集设备采集的原始图像，其中，所述图像采集设备可以配置于运行有图像融合方法的电子设备，也可以配置于其他外部设备上，通过外部设备将获取到原始图像发送至运行有图像融合方法的电子设备中。在本实施例的一个可能实现方式中，所述图像采集装置配置于运行有图像融合方法的电子设备，这样在电子设备采集到若干图像帧后，可以直接对若干图像帧进行融合，电子设备在获取到若干图像帧后可以直接输出该若干图像帧对应的融合后的图像，提高若干图像帧融合的实时性。
62.进一步，所述若干图像帧中各图像帧相对应，其中，各图像帧相对应指的是各图像帧各自对应的图像尺寸相等，并且对于若干图像帧中的任意两帧图像帧，分别记为第一图像帧和第二图像帧，所述第一图像帧和第二图像帧对应相同的图像场景。所述第一图像帧和第二图像帧对应相同的图像场景指的是第一图像帧携带的图像内容与第二图像帧携带的图像内容的相似度满足预设条件。可以理解的是，所述第一图像帧的图像尺寸与第二图像帧的图像尺寸相同，并且当第一图像帧和第二图像帧重合时，第一图像帧携带的物体对第二图像帧中与其对应的物体的覆盖率满足预设条件。其中，所述预设条件为预设阈值，所述相似度满足预设条件指的相似度达到预设阈值，所述覆盖率满足预设条件指的覆盖率达到预设阈值，所述预设阈值为预先设置的，例如，99％等。
63.进一步，在本实施例的一个实现方式中，所述若干图像帧包括至少两帧图像帧，分别记为图像帧a和图像帧b，图像帧a对应的曝光量与图像帧b对应的曝光量不同，例如，图像帧a对应的曝光量为ev-8，图像帧b对应的曝光量为ev 12，其中，ev(exposure values)用于反映曝光量，所述曝光量用于反映拍摄图像时光圈的入光量，即在快门打开到关闭的过程中进入光圈的光线量；并且当感光度为iso 100、光圈系数为f1、曝光时间为1秒时，曝光量定义为0。此外，ev-n表示曝光量减少n档(例如，快门时间减少为1/n或者光圈缩为1/n),ev n；曝光量增加n档(快门时间增加n倍或者光圈增加n档)，其中，n为正整数。在本实施例的一个可能实现方式中，若干图像帧对应的曝光参数(如，光圈系数以及感光度等)相同，若干图像帧中不同曝光量的图像帧是通过调整图像帧对应的曝光时长而生成，例如，对于曝光量为ev-8的图像帧a和曝光量为ev 12的图像帧b，图像帧a对应的曝光时长小于图像帧b对应的曝光时长，其中，所述曝光时长为是指从快门打开到关闭的时间间隔，摄像装置镜头的光圈叶片在时间间隔内可以将物体的影响留在在底片上留下影像，并且当摄像装置的曝光时长长时，进入光圈内的光多；当摄像装置的曝光时长短时，进入光圈内的光少。
64.基于此，在本实施例的一个实现方式中，若干图像帧可以为配置相同曝光参数的成像设备对同一拍摄场景进行多次拍摄得到多张曝光量不同的图像帧，并且多张曝光量不同的图像帧中存在部分图像帧的曝光量小于预设曝光量，记为欠曝光图像帧，部分图像帧的曝光量大于预设曝光量，记为过曝光图像帧，其中，所述预设曝光量可以为0，预设曝光量为当感光度为iso 100、光圈系数为f1、曝光时间为1秒时的曝光量。当然，多张曝光量不同的图像帧中可以存在部分图像帧，该部分图像帧的曝光量等于预设曝光量，记为正常曝光图像帧。
65.举例说明：若干图像帧为图像采集设备通过不同曝光时长采集得到的图像帧，若干图像帧为5帧不同曝光量的图像帧，并且5帧图像帧包括正常曝光图像帧、欠曝光图像帧以及过曝光图像帧。5帧图像帧的具体曝光量可以分别为：ev-24，ev-16，ev-8，ev0和ev 12，即5帧图像帧包含3帧欠曝光图像帧，1张正常曝光图像帧，以及1张过曝光图像帧。
66.进一步，为了提高若干图像帧的融合速度，在本实施例的一个实现方式中，若干图像帧均为原始图像数据raw，其中，所述原始图像数据可以为cmos(complementary metal-oxide-semiconductor，互补金属氧化物半导体)或者ccd(charge coupled device，电荷耦合器件)图像传感器将捕捉到的光源信号转化为数字信号的原始数据，所述原始图像数据为未经过处理和压缩的图像数据。本实施例中通过避免图像处理和压缩过程造成的图像细节丢弃，从而在融合时各图像帧均包含各图像细节，从而可以提高融合得到的输出的图像质量。此外，采用原始图像数据raw作为图像帧，在融合过程中无需对图像帧进行解码，这样可以减少若干图像帧的融合所需时长，从而提高图像融合的实时性。
67.s20、基于曝光量将若干图像帧划分为第一图像组和第二图像组。
68.具体地，所述曝光量用于反映拍摄图像时光圈的入光量，即在快门打开到关闭的过程中进入光圈的光线量。其中，快门打开到关闭的过程所述占用的时间为曝光时长，并且在曝光参数固定时，曝光时长越长，进入光圈的光线量越多，即曝光量越大；反之，曝光时长越短，进入光圈的光线量越少，即曝光量越小。
69.进一步，所述第一图像组至少包括一帧图像帧，所述第二图像组至少包括一帧图像帧，这里将第一图像帧中的图像帧记为第一图像，第二图像组中的图像帧记为第二图像。第一图像组中的每张第一图像均为若干图像帧中的一帧图像帧，第二图像组中的每张第二图像均为若干图像帧中的一帧图像，并且对于第一图像组中的任一第一图像，第二图像组中均不存在与该第一图像相同的第二图像；同理，对于第二图像组中的任一第二图像，第一图像组中均不存在与该第二图像相同的第一图像。可以理解的是，第一图像组和第二图像组的并集为所述若干图像帧，第一图像组与第二图像组的交集为空集。
70.进一步，在本实施例的一个实现方式中，所述第一图像组和第二图像组为基于曝光量阈值进行划分得到。相应的，所述基于曝光量将若干图像帧划分为第一图像组和第二图像组具体可以包括：对于若干图像帧中的每帧图像帧，将该图像帧对应的曝光量与预设曝光量阈值进行比较；若该图像帧对应的曝光量大于预设曝光量，则将该图像帧添加至第二图像组；若该图像帧对应的曝光量小于或者等于预设曝光量，则将该图像帧添加至第一图像组，由此，得到第一图像组和第二图像组。此外，由第一图像组和第二图像组的划分过程可以知道，对于第一图像组中的每个第一图像，该第一图像对应的曝光量小于或者等于预设曝光量；对于第二图像中的每个第二图像，该第二图像对应的曝光量大于预设曝光量。
71.进一步，所述预设曝光量为所述预设曝光量可以为0，预设曝光量为当感光度为iso 100、光圈系数为f1、曝光时间为1秒时的曝光量，这里称为正常曝光量；第一图像组中至少存在一个第一图像，该第一图像对应的曝光量小于所述预设曝光量，这里将该第一图像称为欠曝光图像，通过欠曝光图像可以压制高光区域。此外，第二图像组中的第二图像的曝光量大于预设曝光量，这里将第二图像称为过曝光图像，过曝光图像可以用于提亮阴影区域，这样通过将包含欠曝光图像和过曝光图像的若干图像帧进行融合，可以使得高光区域和阴影区域均可以清晰，提高了融合得到的输出图像的图像效果。
72.s30、确定所述第一图像组对应的第一权重图，以及所述第二图像组对应的第二权重图。
73.具体地，所述第一权重图用于反映第一图像组中各第一图像若干图像帧融合过程中的权重；第二权重图用于反映第二图像组中各第二图像若干图像帧融合过程中的权重。
所述第一权重图像包括若干图像通道，若干图像通道的通道数量与第一图像组包含的第一图像的数量相同，并且若干图像通道与第一图像组中的若干第一图像一一对应。例如，第一图像组包括3张第一图像，分别为第一图像a、第一图像b和第一图像c，那么第一权重图像为3通道图像，分别为图像通道1、图像通道2以及图像通道3；那么第一图像a与图像通道1相对应，第一图像b与图像通道2相对应，第一图像c与图像通道3相对应。
74.对于每个第一图像，该第一图像对应的图像通道用于反映该第一图像在若干图像帧融合过程中的权重，可以理解的是，该第一图像的图像尺寸与该图像通道对应的图像尺寸相同，并且对于该图像通道中每个像素点，该像素值为第一图像中目标像素点对应的权重值，所述目标像素点在第一图像中的像素位置与该像素点在图像通道中的像素位置相同。例如，对于第一图像a，第一权重图像中其对应的图像通道为图像通道1，图像通道1中的像素点(10,20)对应的像素值为第一图像a中像素点(10,20)对应的权重。
75.进一步，所述第二权重图像包括若干图像通道，若干图像通道的通道数量与第二图像组包含的第二图像的数量相同，并且若干图像通道与第二图像组中的若干第二图像一一对应。例如，第二图像组包括3张第二图像，分别为第二图像a、第二图像b和第二图像c，那么第二权重图像为3通道图像，分别为图像通道1、图像通道2以及图像通道3；那么第二图像a与图像通道1相对应，第二图像b与图像通道2相对应，第二图像c与图像通道3相对应。
76.进一步，对于每个第二图像，该第二图像对应的图像通道用于反映该第二图像在若干图像帧融合过程中的权重，可以理解的是，该第二图像的图像尺寸与该图像通道对应的图像尺寸相同，并且对于该图像通道中每个像素点，该像素值为第二图像中目标像素点对应的权重值，所述目标像素点在第二图像中的像素位置与该像素点在图像通道中的像素位置相同。例如，对于第二图像a，第二权重图像中其对应的图像通道为图像通道1，图像通道1中的像素点(30,20)对应的像素值为第二图像a中像素点(30,20)对应的权重。
77.进一步，在本实施例的一个实现方式中，所述确定第一图像组对应的第一权重图具体包括：
78.对于第一图像组中的每张第一图像，确定该第一图像对应的第一灰度图，基于该第一灰度图确定该第一图像中各像素点对应的第一像素点权值，以得到该第一图像对应的第一权重矩阵；
79.基于所述第一图像组中所有第一图像各自分别对应的第一权重矩阵，确定所述第一图像组对应的第一权重图。
80.具体地，灰度图(gray scale image或是grey scale image)又称灰阶图，且为用灰度表示的图像。其中，灰度为将白色与黑色之间按对数关系分为若干等级(如，256等)所形成的，其中，若干等级中每个等级为一个灰度。此外，由于所述原始图像数据为单通道数据，从而在确定第一图像对应的第一灰度图之前，需要将所述原始图像数据进行颜色通道分离，以得到多通道的原始图像数据，其中，多通道的原始图像数据中对每个通道用于中各像素点的颜色相同。
81.基于此，在本实施例的一个实现方式中，所述获取若干图像帧具体包括：
82.获取若干图像帧；
83.对于每张图像帧，按照该图像帧对应的颜色顺序对该图像帧进行通道分离，以得到多通道图像；
84.将得到的若干多通道图像作为若干图像帧。
85.具体地，所述颜色顺序为所述图像帧中各像素点的颜色排布顺序，所述按照该图像帧对应的颜色顺序对该图像帧进行通道分离指的是按照所述图像帧中各像素点的颜色顺序将图像帧数据进行颜色通道分离。例如，如图2所示，所述图像帧为h*w*1的原始图像数据，并且图像帧颜色顺序为rgbg，其中，h表示第一图像的高，w表示第一图像的宽，1表示第一图像的颜色通道数据。那么所述图像帧通过颜色通道分离后可以生成h/2*w/2*4的多通道图像，其中，h/2表示颜色通道分离后的第一图像的高，w/2表示颜色通道分离后的第一图像的宽，4表示颜色通道分离后的第一图像的颜色通道数据。这里将4个颜色通道分别记为第一颜色通道1、第二颜色通道2、第三颜色通道3以及第四颜色通道4，其中，第一颜色通道存储r像素点，第二颜色通道存储g像素点，第三颜色通道存储b像素点，第四颜色通道存储g像素点；r像素点表示红色像素点、g像素点表示绿色像素点、b像素点表示蓝色像素点。此外，在将各图像帧分割为各自分别对应的多通道图像后，将若干多通道图像作为若干图像帧，以使得每个图像帧均为四通道图像，并且四通道图像中每个通道的像素点的颜色相同。
86.进一步，在获取到四通道的图像帧后，对每个图像帧，将该图像帧的4个通道rgbg数据进行平均以生成该图像帧对应的灰度图。其中，所述该图像帧的4个通道rgbg数据进行平均指的过程可以为：对于r通道中的每个像素点，分别g通道、b通道以及g通道中该像素点对应的参考像素点，计算获取到的各目标像素点的像素值和该像素点的像素值的平均值，将该平均值作为灰度图中目标像素点的像素值。其中，各参考像素点在各自对应的通道中的像素位置与该像素点在r通道中的像素位置相同，并且目标像素点在灰度图中的像素位置与该像素点在r通道中的像素位置相同。例如，第一颜色通道为r通道，第二颜色通道为g通道，第三颜色通道为b通道，第四颜色通道为g通道，其中，第一颜色通道中的像素点(10，15)，红色像素值为60；第二颜色通道中的像素点(10，15)，绿色像素值为60,第三颜色通道中的像素点(10，15)，蓝色像素值为55，第四颜色通道中的像素点(10，15)，绿色像素值为65,那么灰度图中像素点(10,15)的灰度值为(60 60 55 65)/4＝60。
87.在本实施例的一个实现方式中，在获取到各第一图像对应的第一灰度图后，可以对第一灰度图进行归一化处理。相应的，所述对于第一图像组中的每张第一图像，确定该第一图像对应的第一灰度图之后，所述方法还包括：对所述第一灰度图进行归一化处理，并将归一化处理后的第一灰度图作为该第一图像对应的第一灰度图。其中，归一化处理是将原始图像除以存储图像的最大数值，例如，设备存储图像的最大位数为10位，则除以存储图像的最大数值为1023。
88.进一步，在获取到各第一图像对应的第一灰度图后，可以使用均值滤波器(例如，滤波核为9*9等)对各第一图像对应的第一灰度图进行处理，以得到各滤波后的灰度图。在获取到各滤波后的灰度图后，对于每个滤波后的第一灰度图，可以基于该第一灰度图确定该灰度图对应的第一权重矩阵，相应的，在实施例的一个实现方式中，所述对于第一图像组中的每张第一图像，确定该第一图像对应的第一灰度图，基于该第一灰度图确定该第一图像中各像素点对应的第一像素点权值，以得到该第一图像对应的第一权重矩阵具体包括：
89.对于第一图像组中的每张第一图像，确定该第一图像对应的第一灰度图；
90.基于预设的第一高斯曲线，确定所述第一灰度图中各像素点与第一预设期望值之间的第一距离；
91.将确定得到各像素点各自对应的第一距离作为各像素点各自对应的第一像素点权值，以得到该第一图像对应的第一权重矩阵。
92.具体地，所述第一高斯曲线为预先设置，用于确定第一灰度图中各像素点的高斯距离。所述第一预设期望值为预先设置，用于表示各像素点对应的期望高斯距离，对于每个像素点，该像素点对应的第一距离为该像素点对应的高斯距离与第一预设期望值之间的距离。其中，高斯距离的计算公式可以为：
[0093][0094]
其中，wk为第k个权重矩阵，k＝1,2，...，m，m为第一图像组中第一图像的数量；p
ij,k
为第k个灰度图中坐标为i,j的像素点的像素值；σ为标准方差，例如，0.18等；u为第一期望值；其中，所述第一期望值可以根据该第一灰度图对应的第一图像的曝光量来确定。
[0095]
进一步，在确定各像素点对应的第一距离后，将各第一距离作为各像素点对应的第一像素点权值，以得到第一灰度图中各像素各自对应的第一像素点权重值。此外，在得到第一灰度图中各像素各自对应的第一像素点权重值后，将各第一像素点权重值作为第一权重矩阵中该像素点对应的目标元素的元素值，其中，所述目标元素在第一权重矩阵中的位置与该像素点在灰度图中的位置相对应(例如，目标元素在第一权重矩阵中的位置为(35,45)，该像素点在灰度图中的位置为(35,45))；最后，将第一权重矩阵作为该第一图像对应的第一权重矩阵。
[0096]
举例说明：第一图像组包括4张第一图像，分别为第一图像a、第一图像b、第一图像c以及第一图像d，其中，第一图像a的曝光量为ev-24、第一图像b的曝光量为ev-16、第一图像c的曝光量为ev-8以及第一图像d的曝光量为ev-0，那么第一图像a对应的期望值为0.6、第一图像b对应的期望值为0.45、第一图像c对应的期望值为0.3以及第一图像d对应的期望值为0.15。
[0097]
进一步，所述第一权重图的确定过程可以为将各第一权重矩阵按照通道方向排列得到第一权重图。可以理解的是，第一权重图为多通道图像，第一权重图的通道数与第一图像组中第一图像的图像数量相同，并且第一权重图中的每个图像通道对应于若干第一权重矩阵中的一个权重矩阵，并且各图像通道对应的第一权重矩阵互不相同。在本实施例的一个实现方式中，为了快速确定各第一图像对应的权重矩阵，在生成第一权重图时，可以将各权重矩阵按照其对应的第一图像的拍摄时间进行排序，例如，按照拍摄时间的升序，或者按照拍摄时间的降序等。这里以按照拍摄时间的升序进行排序进行说明，那么对于第一权重图像中任意相邻的两个通道，该通道a和通道b，若通道a的通道号小于通道b的通道号，则通道a对应的第一图像的拍摄时间早于通道b对应的第一图像的拍摄时间，且第一图像a与第一图像b相邻。
[0098]
举例说明：第一图像组包括3帧图像帧，分别为第一图像帧、第二图像帧和第三图像帧，第一图像帧对应的拍摄时间为11点55分25秒，第二图像帧对应的拍摄时间为11点55分26秒，第三图像帧对应的拍摄时间为11点55分28秒，那么第一图像帧对应的权重矩阵在第一权重图中的通道号为0，第二图像帧在对应的权重矩阵在第一权重图中的通道号为1，第三图像帧在对应的权重矩阵在第一权重图中的通道号为1。
[0099]
进一步，在本实施例的一个实现方式中，所述确定第二图像组对应的第二权重图
具体包括：
[0100]
对于第二图像组中的每张第二图像，确定该第二图像对应的第二灰度图；基于该第二灰度图确定该第二图像对应的均值矩阵，以及，基于所述均值矩阵以及所述第二灰度图，确定该第二图像对应的第二权重矩阵；
[0101]
基于所述第二图像组中所有第二图像各自分别对应的第二权重矩阵，确定所述第二图像组对应的第二权重图。
[0102]
具体地，所述灰度图(gray scale image或是grey scale image)又称灰阶图，且为用灰度表示的图像。其中，灰度为将白色与黑色之间按对数关系分为若干等级(如，256等)所形成的，其中，若干等级中每个等级为一个灰度。此外，由于所述原始图像数据为单通道数据，从而在确定第一图像对应的灰度图之前，需要将所述原始图像数据进行颜色通道分离，以得到多通道的原始图像数据，其中，多通道的原始图像数据中对每个通道用于中各像素点的颜色相同。此外，第二图像组中各第二图像对应的第二灰度图的确定过程与第一图像组中各第一图像对应的第一灰度图的确定过程相同，这里就不一一说明，具体可以参照第一图像对应的第一灰度图的确定过程。当然，值得说明的，在确定各第二图像对应的第二灰度图之前，也需要将各第二图像进行颜色通道分离，以将各第二图像转为多通道图像，其中，对第二图像进行颜色通道分离过程与对第一图像进行颜色通道分离过程相同，这也不一一说明，具体可以参照对第一图像进行颜色通道分离过程。
[0103]
进一步，所述均值矩阵中的各元素值均相等，且均等于该灰度图中所有像素点的像素值的平均值。其中，所述均值矩阵的确定过程可以为:首先，创建一个二维矩阵，该二维矩阵的矩阵维度与该灰度图的图像尺寸相同，并且二维矩阵中每个元素对应于该灰度图中一个目标像素点，二维矩阵中的每个元素用于反映其对应的目标像素点的像素点权重值；其中，该目标像素点在该灰度中的位置与该元素在二维矩阵中的位置对应，例如，二维矩阵中的元素的位置为(30,40)，那么该元素在灰度图中对应的目标像素点的像素位置为(30,40)；其次，在确定二维矩阵后，将二维矩阵中的每个元素值设置为预设值(例如，1等)，并计算该灰度图中所有像素点的像素值的均值；最后，采用计算得到的均值替换二维矩阵中各目标元素的元素值，以得到均值矩阵。例如，二维矩阵中每个元素的元素值为1，灰度图中所有像素点的平均像素值为5，那么可以将二维矩阵与该平均值像素值进行点乘运算，以使得二维矩阵中每个元素的元素值均为5。当然，当二维矩阵中的元素值为非1数值(如，3等)，可以之间采用平均像素值(如，5等)替换二维矩阵中每个元素的元素值，以使得二维矩阵中每个元素的元素值均为该平均像素值(如，5等)。
[0104]
进一步，在本实施例的一个实现方式中，所述基于所述均值矩阵以及所述第二灰度图，确定该第二图像对应的第二权重矩阵具体包括：
[0105]
基于预设的第二高斯曲线，确定所述均值矩阵中各像素点与第二期望值之间的第二距离，并将确定得到各第二距离作为各像素点各自对应的第二像素点权值，以得到第一临时权重矩阵；
[0106]
基于预设的第三高斯曲线以及所述第二灰度图，确定该第二图像对应的第二临时权重矩阵；
[0107]
基于所述第一临时权重矩阵和第二临时权重矩阵确定第二图像对应的第二权重矩阵。
[0108]
具体地，所述第二高斯曲线为预先设置，用于确定均值矩阵中各像素点的高斯距离。所述第二预设期望值为预先设置，用于表示各像素点对应的期望高斯距离，对于每个像素点，该像素点对应的第二距离为该像素点对应的高斯距离与第一预设期望值之间的距离。其中，高斯距离的计算公式可以为：
[0109][0110]
其中，wk为第k个转换后的均值矩阵，k＝1,2，...，n，n为第二图像组中第二图像的数量；p
ij,k
为第k个转换前的均值矩阵中坐标为i,j的像素点的像素值；σ为标准方差，例如，018等；u为第二期望高斯距离；其中，所述第二期望高斯距离可以根据该均值矩阵对应的第二图像的曝光量来确定。例如，第二图像a的曝光量为ev 12，那么第二图像a对应的期望值为0.05。当然，值得说明的是，每个第二图像对应的均值矩阵，该均值矩阵中的每个元素的元素值均相等，那么在通过高斯距离将该均值矩阵中的元素值转换为权重值时，可以在该均值矩阵中选取一个目标元素，通过高斯距离公式计算该目标元素对应的权重值，然后将该均值矩阵中所有元素的原始值均设置为该权重值，得到转换后的均值矩阵。这样可以减少均值矩阵转换的计算步骤，从而提高转换后的均值矩阵的获取速度，从而提高图像融合的速度。
[0111]
进一步，在本实施例的一个实现方式中，所述基于预设的第三高斯曲线以及所述第二灰度图，确定该第二图像对应的第二临时权重矩阵具体包括：
[0112]
基于所述第二灰度图确定该第二图像对应的导向滤波图；
[0113]
基于预设的第三高斯曲线，确定所述导向滤波图中各像素点与第三期望值之间的第三距离，并将确定得到各第三距离作为各像素点各自对应的第三像素点权值，以得到第二临时权重矩阵。
[0114]
具体地，导向滤波图为对第二灰度图进行导向滤波得到，其中，导向滤波可以为半价为21，正则化参数为0.12的导向滤波。第三高斯曲线为预先设置，第三期望值为预先设置，并且基基于预设的第三高斯曲线，确定所述导向滤波图中各像素点与第三期望值之间的第三距离与基于第一高斯曲线确定第一距离的过程相同，这里就不在一一说明。此外，在获取到各第二图像对应的第二灰度图后，可以对第二灰度图进行归一化处理。相应的，所述对于第二图像组中的每张第二图像，确定该第二图像对应的第二灰度图之后，所述方法还包括：对所述第二灰度图进行归一化处理，并将归一化处理后的第二灰度图作为该第二图像对应的第二灰度图。其中，归一化处理是将原始图像除以存储图像的最大数值，例如，设备存储图像的最大位数为10位，则除以存储图像的最大数值为1023。
[0115]
进一步，在获取到第一临时权重矩阵以及第二临时权重矩阵后，所述第一临时权重矩阵的矩阵维度与所述第二临时权重矩阵的矩阵维度相同，并且均等于第二图像的图像尺寸，其中，矩阵维度指的是矩阵的行数和列数。例如，第二图像的图像尺寸为224*224，那么第一临时权重矩阵的矩阵维度为224行，224列，第二临时权重矩阵的矩阵维度为224行，224列。基于此，在获取到第一临时权重矩阵和第二临时权重矩阵后，可以通过第一临时权重矩阵和第二临时权重矩阵的矩阵点乘运算确定该灰度图对应的第二权重矩阵，即得到该第二灰度图对应的第二图像的第二权重矩阵。
[0116]
进一步，在获取到各第二灰度图对应的第二权重矩阵后，将各第二权重矩阵按照
通道方向排列得到第二权重图。可以理解的是，第二权重图为多通道图像，并且第二权重图的通道数与第二图像组中第二图像的图像数量相同。在本实施例的一个实现方式中，为了快速确定各第二图像对应的第二权重矩阵，在生成第二权重图时，可以将各第二权重矩阵按照其对应的第一图像的拍摄时间进行排序，例如，按照拍摄时间的升序，或者按照拍摄时间的降序等。这里以按照拍摄时间的升序进行排序进行说明，那么对于第二权重图像中任意相邻的两个通道，该通道a和通道b，若通道a的通道号小于通道b的通道号，则通道a对应的第二图像a的拍摄时间早于通道b对应的第二图像b的拍摄时间，且第二图像a与第二图像b相邻。
[0117]
s40、基于确定得到的第一权重图和第二权重图，将若干图像帧进行融合以得到输出图像。
[0118]
具体地，所述输出图像为若干图像帧融合得到一帧图像帧，其中，所述输出图像可以作为图像采集设备输出的拍摄图像。在获取到第一权重图和第二权重图后，第一权重图中包括各第一图像对应的权重矩阵，第二权重图中包括各第二图像对应的权重矩阵，由此，可以将第一权重图和第二权重图按照通道方向拼接以得到权重图，其中，该权重图包括若干图像帧中每一图像帧对应的权重矩阵。此外，在将第一权重图和第二权重图拼接时，第一权重图按照通道方向可以位于第二权重图之前，也可以位于第二权重图之后。
[0119]
举例说明：第一权重图为4通道图像，通道号分别为0,1,2以及3，第二权重图像为单通道图像，通道号为0；那么第一权重图和第二权重图拼接得到的权重图为5通道图像；当第二权重图按照通道方向位于第一权重图之后时，第二权重图像的通道号为0的通道，变为权重图中通道号为4的通道；当第二权重图按照通道方向位于第一权重图之前时，第一权重图中通道号为0的通道变为权重图中通道号为1的通道；第一权重图中通道号为1的通道变为权重图中通道号为2的通道；第一权重图中通道号为2的通道变为权重图中通道号为3的通道；第一权重图中通道号为3的通道变为权重图中通道号为4的通道。
[0120]
基于此，在本实施例的一个实现方式中，所述基于确定得到的第一权重图和第二权重图，将各图像帧的各颜色通道进行融合以得到融合图像具体包括：
[0121]
在若干图像帧中选取一目标图像帧，并将若干图像帧中除目标图像帧外的其他图像帧作为参考图像帧；
[0122]
对于目标图像帧中的每个颜色通道，分别确定各参考图像帧中与该颜色通道对应的参考颜色通道，其中，各参考颜色通道在各自对应的参考图像帧中的通道号与该颜色通道在目标图像帧中的通道号相同；
[0123]
基于所述第一权重图和的第二权重图，将该颜色通道以及各参考颜色通道进行加权处理，以得到该颜色通道对应的融合通道；
[0124]
基于确定得到的所有融合通道，确定若干图像帧对应的融合图像。
[0125]
具体地，所述目标图像帧为若干图像帧中的一帧，参考图像帧为若干图像帧中除目标图像帧中外的所有图像帧，其中，所述目标图像帧可以为若干图像帧中的任一图像帧，也可以是若干图像帧中按照拍摄顺序位于最前的图像帧作，还可以是若干图像帧中按照拍摄顺序位于最后的图像帧作等。例如，若干图像帧包括图像帧a、图像帧b和图像帧c，将图像帧a作为目标图像帧，那么图像帧b和图像帧c为参考图像帧。
[0126]
进一步，所述目标图像帧包括的颜色通道与各参考图像帧包括的颜色通道一一对
应，由此，对于目标图像帧中的每个颜色通道，各参考图像帧中均存在一个参考颜色通道与该颜色通道相对应，其中，所述相对应指的是对于每个参考颜色通道，该参考颜色通道在其所属参考图像帧中的通道号与该颜色通道在目标图像帧中的通道号相同。例如，若干图像帧包括图像帧a、图像帧b和图像帧c，图像帧a为目标图像帧，图像帧b和图像帧c为参考图像帧，图像帧a包括四个颜色通道，图像帧b和图像帧c均包括四个颜色通道，图像帧a中四个颜色通道的通道号分别为0,1,2和3；，图像帧b和图像帧c中四个颜色通道的通道号也分别为0,1,2和3，那么图像帧b中的通道号为0的参考颜色通道a，和图像帧c中的通道号为0的参考颜色通道b均为图像帧a中的通道号为0的颜色通道a对应的参考颜色通道。
[0127]
进一步，在基于所述第一权重图和的第二权重图，将该颜色通道以及各参考颜色通道进行加权处理之前，需要将第一权重图和第二权重图按照通道方向拼接以得到权重图，其中，所述权重图包括若干图像通道，若干图像通道的数量与若干图像帧的数量相同，并且若干通道与若干图像帧一一对应，各通道用于反映其对应的图像帧在若干图像帧融合过程中的权重系数。例如，若干图像帧包括5张图像帧，那么权重图为5通道图像，并且5通道分别与5图像帧一一对应。
[0128]
进一步，在获取到权重图后，将权重图的每个像素做归一化操作，并将归一化后的权重图作为权重图，其中，归一化操作公式如下：
[0129][0130]
其中，为归一化后的第k张权重图中坐标为i,j的像素值，w
ij,k
为第k张权重图中坐标为i,j的像素值，m为第一图像组中第一图像的数量，n为第二图像组中第二图像的数量，m n为若干图像帧的图像数量。
[0131]
进一步，在归一化后的权重图后，将各图像帧与其对应的归一化后的权重矩阵(图像通道)进行矩阵点乘运算，以更新各图像帧中各像素点的像素值，例如，图像帧a包括像素点(0,0),像素点(0,1),像素点(1,1)以及像素点(1,0)，图像帧a对应的权重矩阵为包括a
00
，a
01
，a
11
以及a
10
，像素点(0,0)与a
00
，像素点(0,0)对应的更新后的像素值为像素点(0,0)对应的更新前的像素值与a
00
的乘积，如，像素点(0,0)对应的更新前的像素值为50，a
00
为0.5，那么像素点(0,0)对应的更新后的像素值为0.5*50＝25；同理，像素点(0,1)对应的更新后的像素值为像素点(0,1)对应的更新前的像素值与a
01
的乘积，像素点(1,1对应的更新后的像素值为像素点(1,1)对应的更新前的像素值与a
11
的乘积；像素点(1,0)对应的更新后的像素值为像素点(1,0)对应的更新前的像素值与a
10
的乘积。
[0132]
进一步，在得到更新后的各图像帧后，将更新后的各图像帧中对应像素位置的像素值相加，并将相加得到的像素值作为输出图像中该像素位置的像素值，以得到输出。例如，若干图像帧帧包括图像帧a和图像帧b，图像帧a和图像帧b融合得到的输出图像的图像尺度与图像帧a的图像尺度相同，其中，图像帧a的图像尺度与图像帧b的图像尺度相同；并且对于输出图像中的任意像素点(i,j)的像素值等于图像帧a图的像素点(i,j)的像素值与图像帧b图的像素点(i,j)的像素值。
[0133]
进一步，在本实施例的一个实现方式中，由于在获取到若干图像帧后对若干图像帧中每个图像帧进行颜色通道分离。从而在获取到输出图像时，输出图像为颜色通道分离
后的原始图像数据。由此，在将若干图像帧进行融合时，将各图像帧中对于颜色通道的通道图像进行融合。相应的，所述基于确定得到的第一权重图和第二权重图，将若干图像帧进行融合以得到输出图像具体包括：
[0134]
基于确定得到的第一权重图和第二权重图，将各图像帧的各颜色通道进行融合以得到融合图像；
[0135]
将所述融合图像按照颜色顺序转换为单通道图像，并将所述单通道图像作为输出图像。
[0136]
具体地，在获取到第一权重图和第二权重图后，基于第一权重图和第二权重图确定用于融合的权重图，所述权重图的获取过程在上述实现方式中已经说明，这里就不在赘述。在获取到权重图后，权重图中每个权重矩阵a(图像通道)对应一张图像帧a，并该图像帧a中每个颜色通道均对于该权重图。可以理解的是，图像帧a的颜色通道对应的权重矩阵均为该权重矩阵a，例如，图像帧a包括第一颜色通道(r通道)，第二颜色通道(g通道)、第三颜色通道(b通道)以及第四颜色通道(g通道)，那么第一颜色通道(r通道)，第二颜色通道(g通道)、第三颜色通道(b通道)以及第四颜色通道(g通道)均对应权重矩阵a。
[0137]
基于此，将各图像帧的各颜色通道进行融合以得到融合图像可以为将各图像帧的通道号为0的颜色通道融合，各图像帧的通道号为1的颜色通道融合，各图像帧的通道号为2的颜色通道融合，以各图像帧的通道号为3的颜色通道融合，并将各通道号对应的融合得到颜色通道作为融合图像的颜色通道，以得到融合图像。此外，在获取到融合图像后，将融合图像按照图像帧的颜色顺序进行通道重排，得到输出图像。例如，融合图像按照通道号顺序分别为r通道、g通道1、b通道以及g通道2，并且融合图像的图像尺寸为h/2*w/2*4的多通道图像，其中，h/2表示融合图像的高，w/2表示融合图像的宽，4表示融合图像；那么创建一个h*w*1的参考图像，其中，h表示参考图像的高，w表示参考图像的宽，1表示参考图像的颜色通道数；将融合图像中各颜色通道的像素点按照融合图像按照通道号顺序，r通道中的像素点、g通道1中的像素点、b通道中的像素点、g通道2中的像素点的顺序添加到参考图像中，以得到输出图像。
[0138]
举例说明：融合图像按照通道号顺序分别为r通道、g通道1、b通道以及g通道2，其中，r通道包括像素点(0,0)r、(0,1)r、(1,0)r以及(1,1)r，g通道1包括像素点(0,0)
g1
、(0,1)
g1
、(1,0)
g1
以及(1,1)
g1
,b通道包括像素点(0,0)b、(0,1)b、(1,0)b以及(1,1)b,g通道2包括像素点(0,0)
g2
、(0,1)
g2
、(1,0)
g2
以及(1,1)
g2
，那么输出图像的第一行的像素点排布为：(0,0)r、(0,0)
g1
、(0,0)b、(0,0)
g2
；第二行为(0,1)
g1
、(0,1)r、(0,1)b、(0,1)
g2
；第三行为(1,0)b、(1,0)
g2
、(1,0)r、(1,0)
g1
，第四行为(1,1)
g2
、(1,1)r、(1,1)
g1
、(1,1)b。
[0139]
综上所述，本技术提供了一种图像融合方法、存储介质及终端设备，所述方法通过基于曝光量将获取到若干图像帧划分为第一图像组和第二图像组；分别确定所述第一图像组对应的第一权重图以及所述第二图像组对应的第二权重图；最后基于确定得到的第一权重图和第二权重图，将若干图像帧进行融合以得到输出图像。这样确定第一图像组对应的第一权重图和第二图像组对应的第二权重图，并根据第一权重图和第二权重图对应的融合权重图对若干图像帧进入融合，这样可以提高不同曝光量的图像帧对应不同的权重图，通过不同曝光量的图像帧对应的权重图来提高各自的作用，从而提高了融合得到的输出图像的图像效果。例如，如图2为通过图像装置直接拍摄得到的拍摄场景的图像，如图3为通过该
拍摄场景对应的若干图像帧按照本实施例的图像融合方法融合得到的图像，由图2和图3可以看出，图3中的文字的清晰度高于图2中的文字的清晰度。
[0140]
基于上述图像融合方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像融合方法中的步骤。
[0141]
基于上述图像融合方法，本技术还提供了一种终端设备，如图4所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
[0142]
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0143]
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0144]
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0145]
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0146]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。