一种暗光图像的处理方法、电子设备与服务器与流程

本技术涉及图像处理，尤其涉及一种暗光图像的处理方法、电子设备与服务器。

背景技术：

1、随着电子设备的摄像头的性能逐渐提高，用户在日常生活中，越来越习惯通过摄像头进行拍摄，来随时随地记录一些美丽的景色或美好的事物。然而，由于电子设备上相机使用的传感器尺寸通常较小、镜头光圈大小也会受到物理尺寸的限制等硬件限制，导致电子设备在暗光环境下依然存在成像质量低、曝光不足等问题，影响用户的拍摄体验。

技术实现思路

1、本技术实施例提供一种暗光图像的处理方法、电子设备与服务器，用以提供一种可以提升暗光图像的图像质量的技术方案，从而提升用户的拍摄体验。

2、第一方面，提供一种暗光图像的处理方法。该方法中，电子设备拍摄得到第一暗光图像，所述第一暗光图像在拍摄时的光线亮度小于预设阈值；所述电子设备向服务器发送所述第一暗光图像和所述第一暗光图像第一类别标签；所述服务器对所述第一暗光图像进行虚化，得到第一虚化结果，所述第一虚化结果用于指示无需进行图像增强的区域；所述服务器基于所述第一虚化结果、所述第一类别标签、所述第一暗光图像得到人工智能ai模型的输入参数，通过所述ai模型进行图像增强，得到第一图像；所述服务器将所述第一图像发送给所述电子设备；所述电子设备显示所述第一图像。

3、其中，第一类别标签为电子设备对第一暗光图像进行图像识别得到的。示例性的，所述电子设备显示所述第一图像的预览图，可以为在相机应用中显示所述第一图像的预览图，或者也可以为在相册应用中存储和显示所述第一图像，或在其他可以调用相册的应用中显示所述第一图像等。

4、该方法中，通过采用端云结合的系统架构，可以实现充分利用电子设备的初步处理能力和云端的强大计算资源，从而可以提高暗光图像的处理效果，对暗光图像的质量进行优化。另外，通过基于第一虚化结果、第一类别标签、和第一暗光图像作为ai模型的输入参数，还可以提升第一图像的层次性和自然性，突出暗光图像中的主体。

5、在一种可能的实现方式中，所述第一暗光图像为所述电子设备对raw格式的暗光图像进行处理后得到的。

6、该实现方式中，本技术采用的图像增强方式无需限定采用raw格式的暗光图像，可以通过ai模型的训练和学习，进行对第一暗光图像的图像增强，并且可以提升图像增强的效果和自然度。

7、在一种可能的实现方式中，所述方法还包括：所述电子设备采用卷积神经网络对所述raw格式的暗光图像进行处理。例如，电子设备可以采用轻量化的卷积神经网络或标准的卷积神经网络对raw格式的暗光图像进行处理。

8、该实现方式中，可以通过电子设备的初步处理能力，得到进行了初步处理的第一暗光图像，可以提升得到的第一图像的图像增强的效果和自然度。

9、在一种可能的实现方式中，所述通过所述ai模型进行图像增强，包括：通过所述ai模型对第一区域进行第一图像增强，所述第一区域为基于所述第一类别标签确定的；通过所述ai模型对第二区域进行第二图像增强，所述第二区域为基于所述第一虚化结果确定的；其中，所述第一图像增强的程度强于所述第二图像增强的程度。

10、该实现方式中，通过对第一暗光图像划分目标区域和非目标区域，进行不同程度的图像增强，可以提升第一图像的层次感，使得暗光图像中的主体更突出。

11、在一种可能的实现方式中，所述方法还包括：所述服务器根据所述第一类别标签，生成提示词prompt。所述服务器基于所述第一类别标签得到所述ai模型的输入参数，包括：所述服务器根据所述prompt，得到所述输入参数。

12、该实现方式中，服务器通过基于第一类别标签，实现为ai模型注入语义，可以实现通过提示词更好的引导ai模型如何进行图像增强，提升图像增强的效率和针对性。

13、在一种可能的实现方式中，所述基于所述第一虚化结果、所述第一类别标签、所述第一暗光图像得到ai模型的输入参数，包括：根据所述第一虚化结果，生成掩码mask；使用图像编码器对所述第一暗光图像进行编码，生成第一潜空间；使用文本编码器对所述prompt进行编码，生成文本嵌入；将所述mask、所述第一潜空间、所述文本嵌入，作为所述ai模型的输入参数。

14、该实现方式中，通过基于第一类别标签生成提示词并输入ai模型中，可以实现服务器根据电子设备得到的第一类别标签进行针对性处理，例如对与第一类别标签对应的目标区域进行第一图像增强，从而可以实现对目标区域的深度优化；以及，通过将第一虚化结果输入到ai模型中，可以实现服务器根据第一虚化结果进行比第一图像增强处理程度更弱的第二图像增强处理，这样可以提升得到的第二图像的层次性。

15、在一种可能的实现方式中，所述通过所述ai模型进行图像增强，得到第一图像，包括：通过所述ai模型进行图像增强，得到第二潜空间；使用图像解码器对所述第二潜空间进行解码，得到所述第一图像。

16、该实现方式中，通过对ai模型输出的第二潜空间的解码，可以还原出进行图像增强后的第一图像，提升对第一暗光图像的优化效果。

17、在一种可能的实现方式中，所述图像增强包括以下中的至少一种：去模糊处理、超分辨率处理、图像锐化、虚化优化、亮度优化或对比度优化。

18、该实现方式中，去模糊处理可用于消除第一暗光图像中的模糊现象，提升暗光图像的清晰度；超分辨率处理可用于提高第一暗光图像的分辨率，提升暗光图像的图像质量；图像锐化可用于提升第一暗光图像中主体的清晰度和细节表现力，主体可以基于第一类别标签确定；虚化优化可用于提升暗光图像中的层次性，使得暗光图像中的主体更突出；亮度优化和对比度优化可用于提升暗光图像的图像质量。因此，通过图像增强，可以得到图像质量更佳的第一图像。

19、在一种可能的实现方式中，所述电子设备向服务器发送对所述第一暗光图像和所述第一暗光图像的第一类别标签之前，所述方法还包括：所述电子设备确定所述第一类别标签属于所述ai模型能够处理的类别标签。

20、该实现方式中，通过电子设备的筛选，可以减少一些服务器图像增强效果不佳的场景的处理，可以减少资源的浪费。

21、第二方面，还提供一种图像处理方法，应用于电子设备。该方法包括：拍摄得到第一暗光图像，所述第一暗光图像在拍摄时的光线亮度小于预设阈值；对所述第一暗光图像进行虚化，得到第一虚化结果，所述第一虚化结果用于指示无需进行图像增强的区域；基于所述第一虚化结果、所述第一暗光图像的第一类别标签、所述第一暗光图像得到ai模型的输入参数，通过所述ai模型进行图像增强，得到第一图像；显示所述第一图像。其中，第一类别标签为电子设备对第一暗光图像进行图像识别得到的。

22、示例性的，所述电子设备显示所述第一图像的预览图，可以为在相机应用中显示所述第一图像的预览图，或者也可以为在相册应用中存储和显示所述第一图像，或在其他可以调用相册的应用中显示所述第一图像等。

23、该实现方式中，通过基于第一虚化结果、第一类别标签、和第一暗光图像作为ai模型的输入参数，还可以提升第一图像的层次性和自然性，突出暗光图像中的主体。

24、在一种可能的实现方式中，所述第一暗光图像为所述电子设备对原始raw格式的暗光图像进行处理后得到的。

25、在一种可能的实现方式中，所述方法还包括：采用卷积神经网络对所述raw格式的暗光图像进行处理。例如，电子设备可以采用轻量化的卷积神经网络或标准的卷积神经网络对raw格式的暗光图像进行处理。

26、在一种可能的实现方式中，所述通过所述ai模型进行图像增强，包括：通过所述ai模型对第一区域进行第一图像增强，所述第一区域为基于所述第一类别标签确定的；通过所述ai模型对第二区域进行第二图像增强，所述第二区域为基于所述第一虚化结果确定的；其中，所述第一图像增强的程度强于所述第二图像增强的程度。

27、在一种可能的实现方式中，所述方法还包括：根据所述第一类别标签，生成提示词prompt；基于所述第一类别标签得到所述ai模型的输入参数，包括：根据所述prompt，得到所述输入参数。

28、在一种可能的实现方式中，所述基于所述第一虚化结果、所述第一类别标签、所述第一暗光图像得到ai模型的输入参数，包括：根据所述第一虚化结果，生成掩码mask；使用图像编码器对所述第一暗光图像进行编码，生成第一潜空间；使用文本编码器对所述prompt进行编码，生成文本嵌入；将所述mask、所述第一潜空间、所述文本嵌入，作为所述ai模型的输入参数。

29、在一种可能的实现方式中，所述通过所述ai模型进行图像增强，得到第一图像，包括：通过所述ai模型进行图像增强，得到第二潜空间；使用图像解码器对所述第二潜空间进行解码，得到所述第一图像。

30、在一种可能的实现方式中，所述图像增强包括以下中的至少一种：

31、去模糊处理、超分辨率处理、图像锐化、虚化优化、亮度优化或对比度优化。

32、第三方面，还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面或第二方面中所述的方法中电子设备执行的步骤。

33、第四方面，还提供一种电子设备，包括执行上述第一方面或第二方面中任一种可能的实现方式中所对应的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

34、第五方面，还提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法中服务器执行的步骤。

35、第六方面，还提供一种服务器，包括执行上述第一方面中任一项设计所对应的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

36、第七方面，还提供一种芯片，包括处理器和接口；所述处理器用于通过接口读取指令以执行如上述第一方面或第二方面所述的方法。

37、第八方面，还提供一种芯片系统，所述芯片系统包括处理电路、存储介质，所述存储介质中存储有指令；所述指令被所述处理电路执行时，实现如上述第一方面或第二方面所述的方法。

38、第九方面，还提供一种通信系统，包括：

39、电子设备，用于执行如上述第一方面中任一种可能的实现方式中所述的方法中电子设备执行的步骤；

40、服务器，用于执行如上述第一方面中任一种可能的实现方式中所述的方法中服务器执行的步骤。

41、第十方面，还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被至少一个处理器执行时，实现如上述第一方面或第二方面所述的方法。

42、第十一方面，还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当该计算机程序在计算机上运行时，使得所述计算机可以执行如上述第一方面或第二方面所述的方法。

43、上述第二方面至第十一方面中任一方面中的设计的有益效果，可以参照上述第一方面中相应实现方式的有益效果，本技术对此不再一一赘述。