一种图像增强方法及电子设备与流程

本技术涉及图像处理，尤其涉及一种图像增强方法及电子设备。

背景技术：

1、通过人工智能(artificial intelligence，ai)模型对原始图像进行处理，能够提升图像的显示效果。由于不同模式下采集得到的图像在显示效果上具有不同的特点。如夜景模式下采集的图像中普遍分布噪点，大光圈模式下采集的图像中通常会出现模糊的背景。为了提升图像增强效果，需对不同模式下的图像进行针对性处理。

2、相关技术中，对同一模型分别进行预训练，得到各个模式分别对应的模型。设备中部署有各个模式分别对应的模型。在获取到原始图像之后，可基于原始图像所属的模式，获取该模式对应的模型。随后，设备通过该模型处对原始图像进行画面增强，以提升图像的质量。

3、然而，设备中同时部署多个模型，占用了大量的存储空间，导致设备的存储压力较大。

技术实现思路

1、为了解决上述技术问题，本技术提供了一种图像增强方法及电子设备。通过不同模式对应的模型中存在共用的模型参数，减少处理各种模式下的图像使用的模型参数总量，有助于降低设备的存储压力。而且，不会对各种模式下图像的图像增强效果产生较大影响，具有较好的普适性。

2、第一方面，提供一种图像增强方法，可应用于电子设备或者服务器。本技术以图像增强方法应用于电子设备为例进行示例说明，图像增强方法还能够应用于服务器，具体参考电子设备侧的说明，不予赘述。

3、图像增强方法包括：电子设备获取第一模式下的第一图像。其中，模式是指采集图像时所使用的功能模式、场景模式，不同模式下的图像分别通过不同的采集参数(如光圈、焦段等)采集得到。电子设备基于第一模型处理第一图像，得到第二图像；其中，第一模型基于基座模型和第一分支网络得到；基座模型为多种模式下用于图像增强的通用模型，第一分支网络适用于第一模式下的图像的特征提取。电子设备输出第二图像。

4、综上所述，本实施例为不同模式分别设置了对应的分支网络，多个分支网络共用一个基座模型。不同的分支网络分别加载到基座模型，能够得到不同模式分别对应的模型。通过将模式对应的模型解耦为基座模型和各个模式分别对应的分支网络，减少了需存储的模型参数，有助于减轻设备的存储压力。而且，不同模型对应的分支网络不同，使得针对不同模式下的图像均能获取到较好的图像增强效果。

5、在一种可能的实施方式中，基座模型为人工智能模型。可选地，基座模型为深度学习模型，如基座模属于生成式模型。示例性地，基座模型包括编码器、中间网络层和解码器。其中，编码器用于对第一图像进行编码，得到中间网络层的输入数据；中间网络层用于对第一图像进行特征处理，解码器用于基于中间网络层的输出数据解码得到第二图像。

6、示例性地，中间网络层为多个网络层组成的网络层集合，多个网络层串行连接。中间网络层用于在隐式空间进行特征提取，以学习到第一图像的像素分布特点(如纹理、轮廓、边缘等)，从而更好地完成图像增强。

7、在一种可能的实施方式中，电子设备基于第一模型处理第一图像，得到第二图像之前的，方法还包括：电子设备基于第一分支网络替换基座模型中的原始分支网络，得到第一模型。

8、示例性地，电子设备基于第一分支网络替换原始分支网络之后：在第一模式下的图像增强过程中，第一分支网络基于原始分支网络的输入数据进行特征提取，生成第一分支网络的输出数据；第一分支网络的输出数据用于替代原始分支网络的输出数据，作为第一模型中其它网络层的输入数据。

9、在一些实施例中，在确定第一图像所属的第一模式之后，电子设备获取第一模式对应的配置信息；随后，电子设备基于第一模式对应的配置信息，获取第一分支网络。

10、可选地，第一图像所属的第一模式可以与第一图像同步获取。

11、例如，拍摄场景中在基于图像采集器获取到第一图像时，采集设备将第一图像和第一图像所属的模式同步发送给电子设备。采集设备可以是电子设备的外接图像采集器。

12、又例如，第一图像的详细信息中包括第一模式；电子设备接收到其它设备发送的第一图像之后，读取第一图像的详细信息，得到第一模式。

13、可选地，模式和模式对应的配置信息之间存在映射关系，在确定第一模式后，电子设备基于第一模式对应的配置信息，确定第一分支网络的存储位置和被替换的原始分支网络的第一标识，第一标识用于标识等待被替换的原始分支网络。如第一标识为等待被替换的原始分支网络的名称，序号等。示例性地，第一分支网络的存储位置为第一分支网络在电子设备中的存储地址。

14、通过模型对应的分支网络替换基座模型中的原始分支网络，改变基座模型的网络结构，得到模式对应的模型，通过这种方式使得不同的模式能对应不同的模型，有助于提升图像增强方法对不同模式下的图像的处理能力。另外，由于多个模式对应的模型基于同一个基座模型获取，因此，多个模式分别对应的模型中存在共用的模型参数，如此有助于减少参数总量。

15、在一种可能的实施方式中，电子设备基于第一分支网络替换基座模型中的原始分支网络，得到第一模型，包括：电子设备加载基座模型；电子设备基于第一模式，加载第一分支网络；电子设备通过第一分支网络替换基座模型中的原始分支网络，得到第一模型。

16、示例性地，第一分支网络的输入端连接到原始分支网络的输入端，第一分支网络的输出端连接到原始分支网络的输出端，使得第一分支网络的输入数据与原始分支网络的输入数据一致，第一分支网络的输出数据替代原始分支网络的输出数据，参与第一模型中的后续计算过程。

17、在一种可能的实施方式中，电子设备将基座模型和m个模式分别对应的分支网络加载到内存，并将m个模式对应的分支网络预先挂载到基座模型，m为正整数。这样有助于实时获取第一模型，缩短第一图像等待进行图像增强的等待时长。

18、可选地，基座模型与各个模式对应的分支网络之间分别设置有第一开关。其中，第一开关用于分支网络是否挂载到基座模型。示例性地，挂在到基座模型之后，分支网络参与图像增强的特征提取。示例性地，第一开关处于开启状态，则原始分支网络的输入数据会传输到第一分支网络，第一分支网络的输出数据替代原始分支网络的输出数据。

19、在一个示例中，第一开关基于逻辑判断语句实现，每个第一开关中包括一条逻辑判断语句，用于判断当前图像增强过程是否针对目标模式下的图像进行。其中，目标模式为第一开关连接的分支网络所对应的模式。如，对于连接第一分支网络的第一开关1来说，目标模式为第一模式。

20、在另一个示例中，在确定第一模式后，电子设备向各个第一开关分别发送第一控制消息，每个第一开关对应一个控制消息。

21、在一种可能的实施方式中，基座模型的中间网络层包括第一部分和第二部分；中间网络层用于提取第一图像的特征信息，中间网络层的输入数据基于第一图像编码得到，中间网络层的输出数据用于解码得到第二图像；加载基座模型，包括：加载第一部分；在处理第一图像的过程中，针对第一部分的特征提取任务执行完成后，加载第二部分。

22、在一种可能的实施方式中，基座模型包括中间网络层；中间网络层用于进行特征提取，中间网络层的输入数据基于第一图像编码得到，中间网络层的输出数据用于解码得到第二图像；其中，中间网络层中包括第一网络层，第一模型为将第一网络层中的第一原始分支网络替换为第一分支网络得到。

23、在一种可能的实施方式中，基座模型为生成式模型，第一分支网络用于替换基座模型中残差块内的原始分支网络。也就是，被替换的原始分支网络来自中间网络层。如，中间网络层中包括多个残差块，多个残差块串行连接。每个残差块中包括n个原始分支网络，第一网络层用于替换n个原始分支网络中的至少一个，n为小于或者等于中间网络层中残差块总数的正整数。

24、示例性地，多个残差块分别对应的第一分支网络不同；多个残差块分别对应的第一分支网络通过对应模式下的图像预训练得到。

25、在一种可能的实施方式中，第一网络层中包括第一原始分支网络和第二原始分支网络；在第一模型处理第一图像的过程中，第一网络层的输出数据基于第二原始分支网络的输出数据和第一分支网络的输出数据得到的；第一网络层的输出数据用于作为中间网络层中下一网络层的输入数据，或者，用于解码获取第二图像。

26、在一个示例中，中间网络层为u形卷积网络(u-net)，第一网络层为u-net中的残差块，第一原始分支网络为残差块中用于进行特征提取的网络结构，第二原始分支网络用于将残差块的输入数据直接作为输出数据，以实现各个残差块之间的跳跃连接，减少梯度衰减问题。

27、通过这种方式保持第一网络层中的第二原始分支网络不变，使用第一分支网络替换第一原始分支网络，在提升了对第一模式下的图像的特征提取能力的同时，保持替换后的第一网络层的结构不发生较大变化，有助于减少在基座模型上挂载第一分支网络对基座模型的整体模型结构造成的影响。

28、在一种可能的实施方式中，第一分支网络中包括至少两个线性网络层，对于相邻的两个线性层，一个线性层的输出数据的维度等于另一个线性层输入数据的维度。可选地，第一分支网络中包括两个线性层。

29、可选地，第一分支网络相比与原始分支网络，网络结构更加简单；第一分支网络中包括的模型参数更少。一方面，第一分支网络中的模型参数更少，有助于缩减存储第一分支网络所占用的存储空间，降低设备的存储压力。

30、另一方面，更少的模型参数意味着电子设备需要进行更少的计算，有助于降低第一分支网络进行特征提取的计算复杂度，降低电子设备的计算压力，并缩短第一模型处理第一图像的耗时。

31、在一种可能的实施方式中，方法还包括：基于第一模式，确定第一模型中的第二网络层，第二网络层不参与第一模式下的图像的图像增强；将第一模型中的第二网络层替换为第三网络层，得到第二模型；其中，第三网络层的功能与第二网络层的功能相同，且第三网络层中包括的模型参数的总数，小于第二网络层中包括的模型参数的总数；基于第一模型处理第一图像，得到第二图像，包括：基于第二模型处理第一图像，得到第二图像。

32、这样一来，使用第三网络层替换第二网络层后，第二模型的模型参数总数小于第一模型的模型参数总数，有助于降低图像增强过程中的计算复杂度。

33、在一种可能的实施方式中，方法还包括：基于第一图像，获取图像属性；其中，图像属性包括以下至少之一：第一图像的拍摄焦段或第一对象的类型；基于第一模型处理第一图像，得到第二图像，包括：在图像属性满足处理条件的情况下，基于第一模型处理第一图像，得到第二图像。

34、在一个示例中，图像属性中包括第一图像的拍摄焦段，处理条件包括：第一图像的拍摄焦段处于预设焦段内。示例性地，若第一图像的拍摄焦段处于预设焦段内，则电子设备执行进行图像增强；若第一图像的拍摄焦段处于预设焦段以外，则电子设备不执行图像增强方法。

35、通过第一图像的拍摄焦段反映第一图像的模糊程度，以便判断出是否对第一图像进行图像增强处理。对于模糊程度较低的第一图像，图像增强后的第二图像的显示效果与第一图像的显示效果之间的差别不大。在这种情况下，跳过图像增强过程有助于减少电子设备需进行图像增强的图像总数，从而降低电子设备的计算量。在第一应用为拍照应用的情况下，这种方式既能保证拍摄得到的图像的显示效果，又无需用户花费较长时间等待图像增强，有助于提升用户的拍照体验。

36、在另一个示例中，图像属性中包括第一对象的类型，处理条件包括：预设类型中不包括第一对象的类型。其中，预设类型是预先设置的，如预设类型包括以下至少之一：敏感图标等。

37、在又一个示例中，在图像属性包括第一对象的拍摄焦段和第一对象的类型的情况下，处理条件包括：第一图像的拍摄焦段处于预设焦段之内，且，预设类型中包括第一对象的类型。

38、如此，有助于避免对显示有敏感内容的图像进行画面增强，减少不必要的图像增强。

39、在一种可能的实施方式中，方法还包括：基于第一图像和第二图像进行融合，生成第三图像；输出第二图像，包括：输出第三图像。

40、如此，有助于在提升图像清晰度的同时，保留第一图像的图像风格，有助于满足实景拍摄等场景中的图像增强需求。

41、在一种可能的实施方式中，基于第一图像和第二图像进行融合，生成第三图像，包括：获取第一图像的第一信息；其中，第一信息用于指示第一图像中第一区域的像素值，第一区域中的像素值平滑变化；获取第二图像的第二信息；其中，第二信息用于指示第二图像中第一区域中的像素值；基于第一信息和第二信息，调整第一图像中第一区域中的像素值，得到第三图像。

42、在本实施例仅基于图像增强，改变原始图像(第一图像)中部分像素的像素值，减少图像增强对第一图像中较为清晰的区域的图像风格产生影响，有助于弥补图像增强导致的色彩失真。

43、第二方面，本技术提供一种电子设备，电子设备包括处理器和存储器；该至少一个计算设备的处理器用于执行存储器中存储的指令，以使得电子执行上述第一方面和第一方面中任一种可能实现方式中的方法。具体地，电子设备获取第一模式下的第一图像；电子设备基于第一模型处理第一图像，得到第二图像；其中，第一模型基于基座模型和第一分支网络得到；基座模型为多种模式下用于图像增强的通用模型，第一分支网络适用于第一模式下的图像的特征提取；电子设备输出第二图像。

44、在一种可能的实施方式中，当处理器从存储器中读取计算机指令，还使得电子设备执行：基于第一分支网络替换基座模型中的原始分支网络，得到第一模型。

45、在一种可能的实施方式中，电子设备基于第一分支网络替换基座模型中的原始分支网络，得到第一模型，包括：电子设备加载基座模型；电子设备基于第一模式，加载第一分支网络；电子设备通过第一分支网络替换基座模型中的原始分支网络，得到第一模型。

46、在一种可能的实施方式中，电子设备并行对第一图像和第二模式下的第二图像进行图像增强，其中，第一模式和第二模式不同。电子设备加载第一分支网络和第二分支网络。此时在内存加载有第一模型和第三模型，其中，第三模型基于基座模型和第二分支网络获取。假设第一分支网络和第二分支网络用于替代相同第一网络层中的第一分支结构，则第一网络层中同时连通有第一分支网络和第二分支网络。

47、在一种可能的实施方式中，基座模型的中间网络层包括第一部分和第二部分；中间网络层用于提取第一图像的特征信息，中间网络层的输入数据基于第一图像编码得到，中间网络层的输出数据用于解码得到第二图像；当处理器从存储器中读取计算机指令，还使得电子设备执行：加载第一部分；在处理第一图像的过程中，针对第一部分的特征提取任务执行完成后，加载第二部分。

48、可选地，第一部分和第二部分之间存在执行顺序。在图像增强过程中，第一部分的特征提取任务在第二部分的特征提取任务之前执行；其中，特征提取任务为某一部分中包括的网络层串行进行特征提取，以获取第一图像在更深层次的特征信息。

49、在基座模型中，中间网络层的模型参数总数较大，运行时需要占用大量的内存。为了减少运行时内存占用，本实施例支持将中间网络层拆分成多个独立的部分，以便将中间网络层中包括的网络层分批加载到内存，从而减少运行模型过程中的内存占用。如此，有助于避免电子设备进行图像增强过程中出现卡顿。

50、在一种可能的实施方式中，基座模型包括中间网络层；中间网络层用于提取第一图像的特征信息，中间网络层的输入数据基于第一图像编码得到，中间网络层的输出数据用于解码得到第二图像；其中，中间网络层中包括第一网络层，第一模型为将第一网络层中的第一原始分支网络替换为第一分支网络得到。

51、在一种可能的实施方式中，第一网络层中包括第一原始分支网络和第二原始分支网络；在第一模型处理第一图像的过程中，第一网络层的输出数据为合并第二原始分支网络的输出数据和第一分支网络的输出数据得到的；第一网络层的输出数据用于作为中间网络层中下一网络层的输入数据，或者，用于解码获取第二图像。

52、通过这种方式保持第一网络层中的第二原始分支网络不变，使用第一分支网络替换第一原始分支网络，在提升了对第一模式下的图像的特征提取能力的同时，保持替换后的第一网络层的结构不发生较大变化，有助于减少在基座模型上挂载第一分支网络对基座模型的整体模型结构造成的影响。

53、在一种可能的实施方式中，第一分支网络中包括至少两个线性网络层，对于相邻的两个线性层，一个线性层的输出数据的维度等于另一个线性层输入数据的维度。

54、可选地，第一分支网络相比与原始分支网络，网络结构更加简单；第一分支网络中包括的模型参数更少。一方面，第一分支网络中的模型参数更少，有助于缩减存储第一分支网络所占用的存储空间，降低设备的存储压力。

55、另一方面，更少的模型参数意味着电子设备需要进行更少的计算，有助于降低第一分支网络进行特征提取的计算复杂度，降低电子设备的计算压力，并缩短第一模型处理第一图像的耗时。

56、在一种可能的实施方式中，基座模型为生成式模型，第一分支网络用于替换基座模型中残差块内的原始分支网络。

57、在一种可能的实施方式中，当处理器从存储器中读取计算机指令，还使得电子设备执行：基于第一模式，确定第一模型中的第二网络层，第二网络层不参与第一模式下的图像的图像增强；将第一模型中的第二网络层替换为第三网络层，得到第二模型；其中，第三网络层的功能与第二网络层的功能相同，且第三网络层中包括的模型参数的总数，小于第二网络层中包括的模型参数的总数。在这种情况下，电子设备基于第一模型处理第一图像，得到第二图像，包括：基于第二模型处理第一图像，得到第二图像。

58、在一种可能的实施方式中，当处理器从存储器中读取计算机指令，还使得电子设备执行：基于第一图像，获取图像属性；其中，图像属性包括以下至少之一：第一图像的拍摄焦段或第一对象的类型。在这种情况下，电子设备基于第一模型处理第一图像，得到第二图像，包括：在图像属性满足处理条件的情况下，基于第一模型处理第一图像，得到第二图像。

59、在一种可能的实施方式中，当处理器从存储器中读取计算机指令，还使得电子设备执行：基于第一图像和第二图像进行融合，生成第三图像。在这种情况下，电子设备输出第二图像可以实现为：输出第三图像。

60、在一种可能的实施方式中，电子设备基于第一图像和第二图像进行融合，生成第三图像，包括：电子设备获取第一图像的第一信息；其中，第一信息用于指示第一图像中第一区域的像素值，第一区域中的像素值平滑变化；电子设备获取第二图像的第二信息；其中，第二信息用于指示第二图像中第一区域中的像素值；电子设备基于第一信息和第二信息，调整第一图像中第一区域中的像素值，得到第三图像。

61、第三方面，提供一种服务器，服务器用于执行第一方面及第一方面中任意一种实现方式所述的方法。

62、第四方面，提供一种图像增强系统，所述图像增强系统中包括服务器和电子设备。其中，电子设备用于向服务器发送第一模式下的第一图像；服务器用于基于第一模型处理第一图像，得到第二图像。服务器还用于向电子设备发送第一图像。

63、第五方面，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令，计算机指令被处理电路执行时实现如第一方面中任意一种可能的实施方式所述的方法。

64、第六方面，提供一种芯片系统，芯片系统包括处理电路、存储介质，存储介质中存储有计算机指令；计算机指令被处理电路执行时实现如第一方面中任意一种可能的实施方式所述的方法。

65、第七方面，提供一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面中任意一种可能的实施方式所述的方法。

66、第二方面至第七方面中任意一种实现方式所对应的技术效果，可参见上述第一方面及第一方面中任意一种实现方式所对应的技术效果，此处不再赘述。本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。