图像生成方法、系统、电子设备、存储介质和产品与流程

1.本技术涉及图像处理领域，特别涉及一种图像生成方法、系统、电子设备、存储介质和产品。


背景技术：

2.随着电子设备影像技术的发展，用户对成像的质量要求更高，厂商对电子设备影像处理提出了新的挑战。
3.目前电子设备的影像技术图像生成方法，针对全部画面的特征进行合成，使用这种方式进行图像合成时会出现合成的图像不自然的现象，或者边缘模糊以及伪影和重叠的现象，显然，目前的成像方式严重影响用户的观感，给用户带来不便，影响使用体验。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种可以提升成像质量的图像生成方法、系统、电子设备、存储介质和产品。
5.本技术实施例提供了一种图像生成方法，包括：
6.获得第一图像帧和第二图像帧，并分别对所述第一图像帧和第二图像帧进行图像分割，以得到所述第一图像帧和第二图像帧的前景区域；
7.判断所述第一图像帧的前景区域和第二图像帧的前景区域是否存在匹配的特征点；
8.如果存在匹配的特征点，则基于匹配的特征点求解旋转平移矩阵，否则基于默认方法求解旋转平移矩阵；
9.基于所述旋转平移矩阵对所述第二图像帧的前景区域进行矫正，并根据所述第一图像帧和矫正后的第二图像帧生成合成图像。
10.在一个实施例中，如果存在匹配的特征点，则基于匹配的特征点求解旋转平移矩阵，否则基于默认方法求解旋转平移矩阵，包括：
11.如果存在匹配的特征点，则利用ransac方法对所述匹配的特征点求解以得到所述旋转平移矩阵，否则利用ecc方法迭代计算所述第一图像帧和第二图像帧的前景区域的最小误差，以得到所述旋转平移矩阵。
12.在一个实施例中，所述第一图像帧和第二图像帧的前景区域均包括至少一个区块，分别根据所述第一图像帧和第二图像帧的前景区域中各区块内匹配的特征点，求解对应于各区块的旋转平移矩阵。
13.在一个实施例中，所述基于所述旋转平移矩阵对所述第二图像帧的前景区域进行矫正，包括：
14.分别基于各区块对应的旋转平移矩阵对所述第二图像帧的各区块进行矫正。
15.在一个实施例中，在判断所述第一图像帧的前景区域和第二图像帧的前景区域是否存在匹配的特征点之前，还包括：
16.获取所述第一图像帧的特征点和第二图像帧的特征点；
17.对所述第一图像帧的特征点和第二图像帧的特征点进行特征匹配。
18.在一个实施例中，所述对所述第一图像帧的特征点和第二图像帧的特征点进行特征匹配，包括：
19.应用第一方法，对所述第一图像帧的特征点和第二图像帧的特征点进行一次匹配；
20.在一次匹配的基础上，应用第二方法，对所述第一图像帧的特征点和第二图像帧的特征点进行二次匹配。
21.本技术实施例提供了一种图像生成系统，包括：
22.分割模块，用于获得第一图像帧和第二图像帧，并分别对所述第一图像帧和第二图像帧进行图像分割，以得到所述第一图像帧和第二图像帧的前景区域；
23.判断模块，用于判断所述第一图像帧的前景区域和第二图像帧的前景区域是否存在匹配的特征点；
24.求解模块，用于如果存在匹配的特征点，则基于匹配的特征点求解旋转平移矩阵，否则基于默认方法求解旋转平移矩阵；
25.合成模块，用于基于所述旋转平移矩阵对所述第二图像帧的前景区域进行矫正，并根据所述第一图像帧和矫正后的第二图像帧生成合成图像。
26.本技术实施例提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现本技术任意实施例所提供的一种图像生成方法的步骤。
27.本技术实施例提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行本技术任意实施例所提供的一种图像生成方法的步骤。
28.本技术实施例提供了一种计算机程序产品，当所述计算机程序产品中的指令由移动终端的处理器执行时，使得移动终端能够执行实现本技术任意实施例所提供的一种图像生成方法的步骤。
29.本技术实施例所提供的图像生成方法、系统、电子设备、存储介质和产品，通过分离出前景和后景，针对性对图像进行合成，便可以合成出清晰度高的图像。相比于现有技术中的传统合成方式相比，减少因为图像前景和后景的清晰度差别过大，导致无法正常成合成或合成后清晰度较低的问题，具有提成用户使用体验的优点。
附图说明
30.图1为一个实施例中图像生成方法的流程示意图；
31.图2为一个实施例中图像生成系统的结构框图；
32.图3为一个实施例中电子设备的内部结构图；
具体实施方式
33.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
34.在一个实施例中，如图1所示，提供了一种图像生成方法。本实施例以该方法应用移动终端进行举例说明，以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。
35.步骤s101，获得第一图像帧和第二图像帧，并分别对所述第一图像帧和第二图像帧进行图像分割，以得到所述第一图像帧和第二图像帧的前景区域。
36.具体的，通过获取图像的第一帧和第二帧，将两张图像的前景和景做出分割，其中前景包括但不限于人物、静物、物品，后景包括但不限于风景、建筑。
37.在具体实施过程中，第一帧和第二帧的图像可以通过电子设备拍摄获得，其中，电子设备例如为：智能手机、平板电脑等。
38.在上述实施例中，所述第一图像帧和第二图像帧的前景区域均包括至少一个区块，分别根据所述第一图像帧和第二图像帧的前景区域中各区块内匹配的特征点，求解对应于各区块的旋转平移矩阵。
39.具体的，将第一图像帧和第二图像帧进行分割，其中采用深度学习语义机型分割，其中分割出的图像至少包括一个区块，区块包含的像素的数量和第一图像帧和第二图像帧前景区域相关。根据第一图像帧和第二图像帧的前景区域的特征点进行匹配，对区块进行旋转、平移等，使两者对齐。
40.在上述步骤中，所述基于所述旋转平移矩阵对所述第二图像帧的前景区域进行矫正，包括：分别基于各区块对应的旋转平移矩阵对所述第二图像帧的各区块进行矫正。
41.具体的，以第一图像帧为基准帧，以使第二图像帧向第一图像帧进行校正。基于特征点对第二图像帧的区块进行校正，以达到更好的图像观感。
42.步骤s102，判断所述第一图像帧的前景区域和第二图像帧的前景区域是否存在匹配的特征点。
43.具体的，在第一图像帧的前景和第二图像帧的前景中判断是否包含特征点。例如，特征点可以简单的理解为图像帧中比较显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点，harris角点等。
44.步骤s103，如果存在匹配的特征点，则基于匹配的特征点求解旋转平移矩阵，否则基于默认方法求解旋转平移矩阵。
45.具体的，如果存在可以匹配的特征点，则基于ransac调整第二图像帧。若没有特征点，则基于增强相关系数(ecc)最大化的图像配准方法迭代计算。
46.步骤s104，基于所述旋转平移矩阵对所述第二图像帧的前景区域进行矫正，并根据所述第一图像帧和矫正后的第二图像帧生成合成图像。
47.具体的，根据相应规则对第二图像帧矫正，校正后的第二图像帧和第一图像帧合成，成为新的图像帧。
48.在上述步骤中，如果存在匹配的特征点，则基于匹配的特征点求解旋转平移矩阵，否则基于默认方法求解旋转平移矩阵，包括：
49.如果存在匹配的特征点，则利用ransac方法对所述匹配的特征点求解以得到所述旋转平移矩阵，否则利用ecc方法迭代计算所述第一图像帧和第二图像帧的前景区域的最
小误差，以得到所述旋转平移矩阵。
50.具体的，ransac是random sample consensus(随机抽样一致)的缩写。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。例如，是从一组观测数据中找出合适的2维直线。假设观测数据中包含局内点和局外点，其中局内点近似的被直线所通过，而局外点远离于直线，ransac能得出一个仅仅用局内点计算出模型，并且概率还足够高。ecc为增强相关系数，该方式具有对比度和亮度的光度失真不变的优点。
51.在上述步骤中，在判断所述第一图像帧的前景区域和第二图像帧的前景区域是否存在匹配的特征点之前，还包括：
52.获取所述第一图像帧的特征点和第二图像帧的特征点；
53.对所述第一图像帧的特征点和第二图像帧的特征点进行特征匹配。
54.具体的，例如第一图像帧和第二图像帧的特征点可以是明暗差距变化大于预设阈值的点、颜色变化大于预设阈值的点以及角点。将两张图像帧的特征点进行匹配，以使图像便于后续操作。
55.在上述步骤中，所述对所述第一图像帧的特征点和第二图像帧的特征点进行特征匹配，包括：
56.应用第一方法，对所述第一图像帧的特征点和第二图像帧的特征点进行一次匹配；在一次匹配的基础上，应用第二方法，对所述第一图像帧的特征点和第二图像帧的特征点进行二次匹配。
57.具体的，在匹配好的特征点上在进行二次精确匹配，以达到更好的视觉效果。
58.综上，本技术提供的图像生成方法，通过分离出前景和后景，针对性对图像进行合成，便可以合成出清晰度高的图像。相比于现有技术中的传统合成方式相比，减少因为图像前景和后景的清晰度差别过大，导致无法正常成合成或合成后清晰度较低的问题，具有提成用户使用体验的优点。
59.应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
60.在一个实施例中，如图2所示，提供了一种图像生成系统，包括：分割模块210，判断模块220，求解模块230，合成模块240。
61.分割模块210，用于获得第一图像帧和第二图像帧，并分别对所述第一图像帧和第二图像帧进行图像分割，以得到所述第一图像帧和第二图像帧的前景区域；
62.判断模块220，用于判断所述第一图像帧的前景区域和第二图像帧的前景区域是否存在匹配的特征点；
63.求解模块230，用于如果存在匹配的特征点，则基于匹配的特征点求解旋转平移矩阵，否则基于默认方法求解旋转平移矩阵；
64.合成模块240，用于基于所述旋转平移矩阵对所述第二图像帧的前景区域进行矫正，并根据所述第一图像帧和矫正后的第二图像帧生成合成图像。
65.在一个实施例中，求解模块230还包括：
66.如果存在匹配的特征点，则利用ransac方法对所述匹配的特征点求解以得到所述旋转平移矩阵，否则利用ecc方法迭代计算所述第一图像帧和第二图像帧的前景区域的最小误差，以得到所述旋转平移矩阵。
67.综上，本技术提供的图像生成系统，通过分离出前景和后景，针对性对图像进行合成，便可以合成出清晰度高的图像。相比于现有技术中的传统合成方式相比，减少因为图像前景和后景的清晰度差别过大，导致无法正常成合成或合成后清晰度较低的问题，具有提成用户使用体验的优点。
68.关于一种图像生成系统的具体限定可以参见上文中对于一种图像生成方法的限定，在此不再赘述。上述一种移动终端的应用启动系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
69.在一个实施例中，提供了一种电子设备，该电子设备可以是终端设备，其内部结构图可以如图3所示。该终端设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、近场通信(nfc)或其他技术实现。该计算机程序被处理器执行时以实现一种应用打开方法。该终端设备的显示屏可以是液晶显示屏或者通讯墨水显示屏，该终端设备的输入装置可以是显示屏上覆盖的触摸层，也可以是终端设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
70.本领域技术人员可以理解，图3示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的通讯设备的限定，具体的通讯设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
71.在一个实施例中，本技术提供的一种图像生成系统可以实现为一种计算机程序的形式，计算机程序可在如图3所示的计算机设备上运行。计算机设备的存储器中可存储组成该一种图像生成系统的各个程序模块，比如，图2所示的分割模块、判断模块、求解模块、合成模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本技术各个实施例的一种图像生成方法中的步骤。
72.例如，如图3所示的移动终端可以通过如图2所示的一种电子设备的应用启动系统中的分割模块，执行用于获得第一图像帧和第二图像帧，并分别对所述第一图像帧和第二图像帧进行图像分割，以得到所述第一图像帧和第二图像帧的前景区域。判断模块，执行用于判断所述第一图像帧的前景区域和第二图像帧的前景区域是否存在匹配的特征点。求解模块，执行用于如果存在匹配的特征点，则基于匹配的特征点求解旋转平移矩阵，否则基于默认方法求解旋转平移矩阵。合成模块，执行用于基于所述旋转平移矩阵对所述第二图像帧的前景区域进行矫正，并根据所述第一图像帧和矫正后的第二图像帧生成合成图像。
73.在一个实施例中，提供了一种电子设备，包括存储器和处理器，该存储器存储有计
算机程序，该处理器执行计算机程序时实现以下步骤：获得第一图像帧和第二图像帧，并分别对所述第一图像帧和第二图像帧进行图像分割，以得到所述第一图像帧和第二图像帧的前景区域；判断所述第一图像帧的前景区域和第二图像帧的前景区域是否存在匹配的特征点；如果存在匹配的特征点，则基于匹配的特征点求解旋转平移矩阵，否则基于默认方法求解旋转平移矩阵；基于所述旋转平移矩阵对所述第二图像帧的前景区域进行矫正，并根据所述第一图像帧和矫正后的第二图像帧生成合成图像。
74.在一个实施例中，处理器执行计算机程序时还实现以下步骤：如果存在匹配的特征点，则利用ransac方法对所述匹配的特征点求解以得到所述旋转平移矩阵，否则利用ecc方法迭代计算所述第一图像帧和第二图像帧的前景区域的最小误差，以得到所述旋转平移矩阵。
75.综上，本技术提供的电子设备，通过分离出前景和后景，针对性对图像进行合成，便可以合成出清晰度高的图像。相比于现有技术中的传统合成方式相比，减少因为图像前景和后景的清晰度差别过大，导致无法正常成合成或合成后清晰度较低的问题，具有提成用户使用体验的优点。
76.在一个实施例中，一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获得第一图像帧和第二图像帧，并分别对所述第一图像帧和第二图像帧进行图像分割，以得到所述第一图像帧和第二图像帧的前景区域；判断所述第一图像帧的前景区域和第二图像帧的前景区域是否存在匹配的特征点；如果存在匹配的特征点，则基于匹配的特征点求解旋转平移矩阵，否则基于默认方法求解旋转平移矩阵；基于所述旋转平移矩阵对所述第二图像帧的前景区域进行矫正，并根据所述第一图像帧和矫正后的第二图像帧生成合成图像。
77.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：如果存在匹配的特征点，则利用ransac方法对所述匹配的特征点求解以得到所述旋转平移矩阵，否则利用ecc方法迭代计算所述第一图像帧和第二图像帧的前景区域的最小误差，以得到所述旋转平移矩阵。
78.综上，本技术提供的一种非临时性计算机可读存储介质，通过分离出前景和后景，针对性对图像进行合成，便可以合成出清晰度高的图像。相比于现有技术中的传统合成方式相比，减少因为图像前景和后景的清晰度差别过大，导致无法正常成合成或合成后清晰度较低的问题，具有提成用户使用体验的优点。
79.在一个实施例中，提供了一种计算机程序产品，当计算机程序产品中的指令由移动终端的处理器执行时，使得通讯设备能够执行以下步骤：获得第一图像帧和第二图像帧，并分别对所述第一图像帧和第二图像帧进行图像分割，以得到所述第一图像帧和第二图像帧的前景区域；判断所述第一图像帧的前景区域和第二图像帧的前景区域是否存在匹配的特征点；如果存在匹配的特征点，则基于匹配的特征点求解旋转平移矩阵，否则基于默认方法求解旋转平移矩阵；基于所述旋转平移矩阵对所述第二图像帧的前景区域进行矫正，并根据所述第一图像帧和矫正后的第二图像帧生成合成图像。
80.在一个实施例中，如果存在匹配的特征点，则利用ransac方法对所述匹配的特征点求解以得到所述旋转平移矩阵，否则利用ecc方法迭代计算所述第一图像帧和第二图像帧的前景区域的最小误差，以得到所述旋转平移矩阵。
81.综上，通过分离出前景和后景，针对性对图像进行合成，便可以合成出清晰度高的图像。相比于现有技术中的传统合成方式相比，减少因为图像前景和后景的清晰度差别过大，导致无法正常成合成或合成后清晰度较低的问题，具有提成用户使用体验的优点。
82.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，比如静态随机存取存储器(static random access memory，sram)和动态随机存取存储器(dynamic random access memory，dram)等。
83.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。