图像处理方法、装置、设备、介质、程序产品及芯片与流程

本公开涉及图像处理领域，具体涉及一种图像处理方法、装置、设备、介质、程序产品及芯片。

背景技术：

1、图像噪声作为图像数据中的干扰信息，其存在会导致图像的清晰度或对比度等指标降低，严重影响图像的成像质量和显示效果，需要通过降噪处理减少或消除图像中的噪声。随着人工智能技术的快速发展与应用，降噪方式已逐渐由传统降噪向人工智能降噪的方向转变。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供了一种图像处理方法、装置、设备、介质、程序产品及芯片。

2、根据本公开实施例的第一方面，提供了一种图像处理方法，所述图像处理方法包括：

3、对噪声图像执行预设正变换处理，得到待降噪图像，所述待降噪图像的通道数量大于所述噪声图像的通道数量；

4、基于预设降噪网络模型，对所述待降噪图像执行降噪处理，得到降噪图像，所述预设降噪网络模型的通道数量大于或等于所述待降噪图像的通道数量；

5、对所述降噪图像执行预设逆变换处理，得到目标图像，所述目标图像的通道数量等于所述噪声图像的通道数量。

6、本实施例中，通过对噪声图像执行预设正变换处理得到待降噪图像，并根据预设降噪网络模型对待降噪图像执行降噪处理，得到降噪图像，再对降噪图像执行预设逆变换处理得到目标图像，能够利用预设降噪网络模型实现对噪声图像的人工智能降噪，以保证图像的成像质量和显示效果。通过预设正变换处理和预设逆变换处理分别增大和还原噪声图像的通道数量，以实现空间尺度至通道维度的转换，使得预设降噪网络模型能够对应充足的通道数量以执行降噪处理过程，有利于简化预设降噪网络模型的设计难度，提升预设降噪网络模型在端侧的部署效率，并实现性能与功耗的平衡，从而提升图像处理过程的降噪效果、效率和通用性。

7、本公开的一些实施例中，所述对噪声图像执行预设正变换处理，得到待降噪图像，包括：

8、将单通道的所述噪声图像转换为多个色彩通道的待变换图像；

9、对所述待变换图像的每一个所述色彩通道执行所述预设正变换处理，以将每一个所述色彩通道转换为多个子带通道，得到所述待降噪图像。

10、本实施例中，通过将单通道的噪声图像转换为多个色彩通道的待变换图像，并对待变换图像的每一个色彩通道执行预设正变换处理，以将每一个色彩通道转换为多个子带通道，得到待降噪图像，实现了待降噪图像的生成，为降噪图像的生成提供了依据。通过色彩通道的分离和预设正变换处理两次提升图像的通道数量，保证预设降噪网络模型能够以充足的通道数量对待降噪图像执行降噪处理，有利于发挥人工智能芯片的并行计算能力，并提升预设降噪网络模型的部署效率。

11、本公开的一些实施例中，所述基于预设降噪网络模型，对所述待降噪图像执行降噪处理，得到降噪图像，包括：

12、将所述待降噪图像输入至所述预设降噪网络模型，得到所述预设降噪网络模型的输出结果，所述输出结果包括所述待降噪图像对应的降噪残差；

13、基于所述待降噪图像和所述降噪残差，确定所述降噪图像。

14、本实施例中，通过将待降噪图像输入至预设降噪网络模型，得到预设降噪网络模型的输出结果，并根据待降噪图像和输出结果中的降噪残差，确定降噪图像，实现了降噪图像的生成，为目标图像的生成提供了依据。将降噪残差作为预设降噪网络模型的输出结果，使得预设降噪网络模型并非直接输出待降噪图像对应的噪声图像，有利于预设降噪网络模型在端侧的低比特量化部署。

15、本公开的一些实施例中，所述基于所述待降噪图像和所述降噪残差，确定所述降噪图像，包括：

16、对所述待降噪图像和所述降噪残差执行第一融合处理，得到第一融合图像，作为所述降噪图像；或者，

17、所述输出结果还包括融合系数，所述基于所述待降噪图像和所述降噪残差，确定所述降噪图像，包括：

18、对待降噪图像和所述降噪残差执行第一融合处理，得到第一融合图像；

19、基于所述融合系数，对第n帧所述第一融合图像和第n-1帧所述第一融合图像执行第二融合处理，得到第二融合图像，作为第n帧所述降噪图像，n为大于2的正整数。

20、本实施例中，通过对待降噪图像和降噪残差执行第一融合处理，得到第一融合图像，并直接作为降噪图像，或根据融合系数，对第n帧第一融合图像和第n-1帧第一融合图像执行第二融合处理，得到第二融合图像，作为第n帧降噪图像，能够通过待降噪图像和降噪残差的融合，消除待降噪图像消除图像噪声前后的差异，并通过相邻两帧第一融合图像的融合，对第一融合图像进行时域上的平滑，为预设降噪网络模型在端侧的低比特量化部署提供了保障，有利于发挥人工智能芯片的并行计算能力，并且能够进一步提升图像的成像质量和显示效果，便于根据目标图像生成高分辨率和高连续性的视频。

21、本公开的一些实施例中，在所述输出结果还包括所述融合系数的情况下，所述预设降噪网络模型的通道数量大于所述待降噪图像的通道数量。

22、本实施例中，在输出结果还包括融合系数的情况下，将预设降噪网络模型的通道数量配置为大于待降噪图像的通道数量，以保证融合系数与噪声残差的同步输出，从而为第一融合图像的时域平滑提供了保障，使得预设降噪网络模型能够以更加充足的通道数量执行降噪处理，有利于进一步发挥人工智能芯片的并行计算能力，并进一步提升预设降噪网络模型的部署效率。

23、本公开的一些实施例中，所述图像处理方法还包括：

24、响应于得到第n帧所述第一融合图像，将第n帧所述第一融合图像存储至预设内存空间，并读取所述预设内存空间中的第n-1帧所述第一融合图像。

25、本实施例中，在得到第n帧第一融合图像时，将第n帧第一融合图像存储至预设内存空间，并读取预设内存空间中的第n-1帧第一融合图像，以通过预设内存空间实现第一融合图像的存储与读取，为第一融合图像的第二融合处理提供了依据，以实现降噪图像的生成，有利于进一步降低图像处理方法的成本、耗时和硬件部署难度，提升图像处理过程的降噪效果、效率和通用性。

26、本公开的一些实施例中，所述预设降噪网络模型包括多个依次相连的降噪组件，各所述降噪组件包括依次相连的动态激活函数、第一卷积算子、简易门激活函数和第二卷积算子，各所述降噪组件的输入与输出之和作为下一个所述降噪组件的输入。

27、本实施例中，将依次相连的动态激活函数、第一卷积算子、简易门激活函数和第二卷积算子作为降噪组件，并将依次相连的降噪组件作为预设降噪网络模型，通过对预设降噪网络模型的结构设计为预设降噪网络模型的功能实现提供了依据，并利用动态激活函数和简易门激活函数实现了降噪组件的优化，有利于保证预设降噪网络模型在端侧的人工智能芯片获得更加优异的性能和功耗表现。

28、本公开的一些实施例中，所述第一卷积算子包括一个深度分离卷积算子和一个逐点卷积算子，或者，所述第一卷积算子包括一个标准卷积算子。

29、本实施例中，将一个深度分离卷积算子和一个逐点卷积算子作为第一卷积算子，实现了功耗型的降噪组件的设计，以在带宽宽裕时追求更高的功耗收益，将一个标准卷积算子作为第一卷积算子，实现了性能型的降噪组件的设计，以追求更高的性能收益，便于根据部署条件和需求选择相匹配的降噪组件组成的预设降噪网络模型执行降噪处理，有利于进一步提升预设降噪网络模型在端侧的部署效率，并实现性能与功耗的平衡。

30、本公开的一些实施例中，所述对噪声图像执行预设正变换处理，包括：

31、以预设专用集成电路对所述噪声图像执行所述预设正变换处理；

32、所述对所述降噪图像执行预设逆变换处理，包括：

33、以所述预设专用集成电路对所述降噪图像执行所述预设逆变换处理；

34、所述预设专用集成电路设置在图像信号处理器。

35、本实施例中，通过在图像信号处理器中设置预设专用集成电路，并通过预设专用集成电路分别对噪声图像和降噪图像执行预设正变换处理和预设逆变换处理，实现了预设正变换处理和预设逆变换处理在图像信号处理器中的专用集成电路硬化，为待降噪图像和目标图像的生成提供了硬件支持，有利于进一步降低图像处理方法的成本、耗时和硬件部署难度，提升图像处理过程的降噪效果、效率和通用性。

36、本公开的一些实施例中，所述基于预设降噪网络模型，对所述待降噪图像执行降噪处理，包括：

37、以神经网络处理器基于所述预设降噪网络模型，对所述待降噪图像执行所述降噪处理。

38、本实施例中，通过将预设降噪网络模型部署在神经网络处理器中，并通过神经网络处理器根据预设降噪网络模型，对待降噪图像执行降噪处理，实现了预设降噪网络模型和降噪处理在电子设备即端侧的部署，为降噪图像的生成提供了硬件支持，有利于进一步降低图像处理方法的成本、耗时和硬件部署难度，提升图像处理过程的降噪效果、效率和通用性。

39、本公开的一些实施例中，所述图像处理方法还包括：

40、响应于得到所述待降噪图像，将所述待降噪图像存储至预设缓存空间；

41、响应于得到所述降噪图像，将所述降噪图像存储至所述预设缓存空间。

42、本实施例中，在得到待降噪图像时，将待降噪图像存储至预设缓存空间，在得到降噪图像时，将降噪图像存储至预设缓存空间，以通过预设缓存空间实现待降噪图像和降噪图像的存储与读取，为待降噪图像和降噪图像在预设专用集成电路与神经网络处理器之间的传输提供了依据，以实现降噪图像和目标图像的生成，有利于进一步降低图像处理方法的成本、耗时和硬件部署难度，提升图像处理过程的降噪效果、效率和通用性。

43、本公开的一些实施例中，所述预设正变换处理包括小波正变换处理，所述预设逆变换处理包括小波逆变换处理。

44、本实施例中，将小波正变换处理作为预设正变换处理，并将小波逆变换处理作为预设逆变换处理，使得预设正变换处理和预设逆变换处理能够实现空间尺度与通道尺度的转换，以及图像通道数量的增大和还原，并利用小波变换多分辨率分析、兼顾全局与细节、可逆压缩与重构以及能量集中等特点，进一步提升了图像处理过程的降噪效果、效率和通用性。

45、根据本公开实施例的第二方面，提供了一种图像处理装置，所述图像处理装置包括：

46、正变换模块，所述正变换模块用于对噪声图像执行预设正变换处理，得到待降噪图像，所述待降噪图像的通道数量大于所述噪声图像的通道数量；

47、降噪模块，所述降噪模块用于基于预设降噪网络模型，对所述待降噪图像执行降噪处理，得到降噪图像，所述预设降噪网络模型的通道数量大于或等于所述待降噪图像的通道数量；

48、逆变换模块，所述逆变换模块用于对所述降噪图像执行预设逆变换处理，得到目标图像，所述目标图像的通道数量等于所述噪声图像的通道数量。

49、本公开的一些实施例中，所述正变换模块还用于：

50、将单通道的所述噪声图像转换为多个色彩通道的待变换图像；

51、对所述待变换图像的每一个所述色彩通道执行所述预设正变换处理，以将每一个所述色彩通道转换为多个子带通道，得到所述待降噪图像。

52、本公开的一些实施例中，所述降噪模块还用于：

53、将所述待降噪图像输入至所述预设降噪网络模型，得到所述预设降噪网络模型的输出结果，所述输出结果包括所述待降噪图像对应的降噪残差；

54、基于所述待降噪图像和所述降噪残差，确定所述降噪图像。

55、本公开的一些实施例中，所述预设降噪网络模型包括多个依次相连的降噪组件，各所述降噪组件包括依次相连的动态激活函数、第一卷积算子、简易门激活函数和第二卷积算子，各所述降噪组件的输入与输出之和作为下一个所述降噪组件的输入。

56、本公开的一些实施例中，所述正变换模块还用于：

57、以预设专用集成电路对所述噪声图像执行所述预设正变换处理；

58、所述逆变换模块还用于：

59、以所述预设专用集成电路对所述降噪图像执行所述预设逆变换处理；

60、所述预设专用集成电路设置在图像信号处理器。

61、本公开的一些实施例中，所述预设正变换处理包括小波正变换处理，所述预设逆变换处理包括小波逆变换处理。

62、根据本公开实施例的第三方面，提供了一种电子设备，所述电子设备包括：

63、处理器；

64、用于存储处理器可执行指令的存储器；

65、其中，所述处理器被配置为执行如第一方面所述的图像处理方法。

66、根据本公开实施例的第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的图像处理方法。

67、根据本公开实施例的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像处理方法。

68、根据本公开实施例的第六方面，提供了一种芯片，所述芯片被配置为执行如第一方面所述的图像处理方法。

69、本公开的实施例提供的技术方案可以包括以下有益效果：通过预设正变换处理和预设逆变换处理分别增大和还原噪声图像的通道数量，以实现空间尺度至通道维度的转换，使得预设降噪网络模型能够对应充足的通道数量以执行降噪处理过程，有利于简化预设降噪网络模型的设计难度，提升预设降噪网络模型在端侧的部署效率，并实现性能与功耗的平衡，从而提升图像处理过程的降噪效果、效率和通用性。

70、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。