1.本技术涉及图像处理技术，尤其涉及一种用于图像处理的方法、电子设备、装置及计算系统。
背景技术：
：：2.当前，移动终端的拍照功能越来越完善，拍照性能越来越接近单反相机，这主要是由于在移动终端系统内内置的图像信号处理器(imagesignalprocessor，isp)发挥了重要作用。3.传统的isp成像处理流程由多个级联的图像处理模块分阶段逐步完成，它们分别是：图像去马赛克、图像降噪、白平衡与颜色空间变换、色彩增强、色调映射。这些级联的步骤能够将原始raw图像映射到srgb(standardredgreenblue)通用色彩标准，帮助人们获得了更加符合人眼视觉特性的彩色图像。4.近几年来，在人工智能(artificialintelligence，ai)技术快速发展的背景下，随着图像的大数据优势日益凸显，研究人员开始考虑采用卷积神经网络(convolutionalneuralnetwork，cnn)等ai技术代替传统的多阶段分级isp成像处理构架。5.然而，现有基于ai技术的isp成像处理模型的性能较低且模型复杂度较高，训练出的模型很难满足实际应用需求，亟待优化。技术实现要素：6.为解决上述技术问题，本技术实施例期望提供一种用于图像处理的方法、电子设备、装置及计算系统。7.本技术的技术方案是这样实现的：8.第一方面，提供了一种用于图像处理的方法，包括：9.构建图像处理神经网络，所述图像处理神经网络包括时域unet子网络和频域unet子网络；10.获取原始raw图像；11.将所述原始raw图像输入到所述图像处理神经网络；12.利用所述图像处理神经网络对所述原始raw图像进行处理，所述处理包括：利用所述时域unet子网络对所述原始raw图像进行时域特征提取，得到时域特征图；利用所述频域unet子网络对所述原始raw图像进行频域特征提取，得到频域特征图；对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。13.第二方面，提供了一种电子设备，包括：14.图像处理神经网络，所述图像处理神经网络包括时域unet子网络、频域unet子网络和融合子网络；以及15.处理器，用于利用所述图像处理神经网络对原始raw图像进行处理，所述处理包括：利用所述时域unet子网络对所述原始raw图像进行时域特征提取得到时域特征图；利用所述频域unet子网络对所述原始raw图像进行频域特征提取得到频域特征图；以及利用所述融合子网络对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。16.第三方面，一种用于图像处理的装置，包括：17.构建模块，用于构建图像处理神经网络，所述图像处理神经网络包括时域unet子网络和频域unet子网络；18.获取模块，用于获取原始raw图像；19.输入模块，用于将所述原始raw图像输入到所述图像处理神经网络；20.处理模块，用于利用所述图像处理神经网络对所述原始raw图像进行处理，所述处理包括：利用所述时域unet子网络对所述原始raw图像进行时域特征提取，得到时域特征图；利用所述频域unet子网络对所述原始raw图像进行频域特征提取，得到频域特征图；对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。21.第四方面，提供了一种计算系统，所述计算系统包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，22.其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。23.第五方面，还提供了一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。24.本技术实施例中提供了一种用于图像处理的方法、电子设备、装置及计算系统，该方法包括：将原始raw图像输入到图像处理神经网络；分别利用时域unet子网络对原始raw图像进行时域特征提取，得到时域特征图；利用频域unet子网络对原始raw图像进行频域特征提取，得到频域特征图；再对时域特征图和频域特征图进行融合，以输出srgb图像。这样，在将原始raw图像映射到srgb图像时，通过并联的时域unet子网络和频域unet子网络，分别进行时域特征图提取和频域特征图提取，得到频域特征图能够弥补时域特征图的信息缺陷，综合利用图像的时域信息和频域信息，进一步优化了图像处理器性能，提高了图像处理效果。附图说明25.图1为本技术实施例中用于图像处理的方法的第一流程示意图；26.图2为本技术实施例中图像处理神经网络的第一组成结构示意图；27.图3为本技术实施例中unet子网络的组成结构示意图；28.图4为本技术实施例中用于图像处理的方法的第二流程示意图；29.图5为本技术实施例中图像处理神经网络构建方法的流程示意图；30.图6为本技术实施例中nas搜索流程示意图；31.图7为本技术实施例中第二下采样模块的结构示意图；32.图8为本技术实施例中第二上采样模块的结构示意图；33.图9为本技术实施例中图像处理神经网络的第二组成结构示意图；34.图10为本技术实施例中电子设备的组成结构示意图；35.图11为本技术实施例中用于图像处理的装置的组成结构示意图；36.图12为本技术实施例中一种计算系统的组成结构示意图。具体实施方式37.为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。38.图1为本技术实施例中用于图像处理的方法的第一流程示意图，如图1所示，该方法具体可以包括：39.步骤101：构建图像处理神经网络，所述图像处理神经网络包括时域unet子网络和频域unet子网络；40.为了充分挖掘图像的时域信息和频域信息，本技术实施例提供了一种新的图像处理神经网络，用于将raw图像转换为srgb图像。41.这里，图像处理神经网络中时频域子网络均是基于unet网络结构设计的。unet是一种深度学习框架，通常包含编码过程和解码过程，输入和输出的尺寸保持不变。42.图2为本技术实施例中图像处理神经网络的第一组成结构示意图，如图2所示，图像处理神经网络20包括：时域unet子网络201、频域unet子网络202和融合子网络203。时域unet子网络201用于对所述raw图像进行时域特征提取得到时域特征，频域unet子网络202用于对所述raw图像进行频域特征提取得到频域特征，融合子网络203用于将时域特征和频域特征进行特征融合得到srgb图像。43.图3为本技术实施例中unet子网络的组成结构示意图，如图3所示，unet子网络分为两部分：unet子网络左边为编码器(encoder)，右边为解码器(decoder)，编码器包含下采样(downsampling)模块，解码器包含上采样(upsampling)模块，每层下采样模块和上采样模块之间跳跃连接，raw图像经过编码器通过卷积层(比如conv bn lrelu)和下采样层(比如convwithstride＝2/bn/lrelu)来降低图像尺寸，提取一些浅显的特征。下采样得到的特征图经过卷积层(比如conv bn lrelu)进行恒等映射(identitymapping)，之后经过解码器通过反卷积层(比如transpose_conv bn lrelu)和上采样层(包含上采样算子)来获取一些深层次的特征，每层下采样模块和上采样模块中间通过跳跃连接的方式，将编码阶段获得的特征图同解码阶段获得的特征图结合在一起，结合深层次和浅层次的特征，细化图像。44.需要说明的是，图3中unet子网络经过三次下采样和三次上采样，实际应用中下采样和上采样次数可以根据图像处理需求灵活设定，本技术实施例不做具体限定。45.示例性的，在一些实施例中，构建图像处理神经网络具体可以包括：预先构建时域unet子网络和频域unet子网络，生成初始图像处理神经网络；获取训练图像集；利用所述训练图像集对图像处理神经网络进行训练直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。46.可以理解为，先分别构建时域unet子网络和频域unet子网络，两个子网络并联得到图像处理神经网络，再对图像处理神经网络训练，得到最终可用于图像处理的网络模型。47.示例性的，在一些实施例中，所述图像处理神经网络的损失函数为：argmin(l1 lcd)；其中，l1为范数损失项，lcd为颜色色度差异损失项。48.步骤102：获取原始raw图像；49.这里，原始raw图像就是互补金属氧化物半导体(complementarymetal-oxide-semiconductor，cmos)图像传感器或者电荷耦合器件(chargecoupleddevice，ccd)图像传感器将捕捉到的光源信号转化为数字信号的原始数据。50.需要说明的是，本技术提供的图像处理神经网络可以针对单帧raw图像进行映射，也可以针对视频的多帧raw图像进行映射。51.步骤103：将所述原始raw图像输入到所述图像处理神经网络；52.步骤104：利用所述图像处理神经网络对所述原始raw图像进行处理；53.这里，所述处理包括：54.步骤1041：利用所述时域unet子网络对所述原始raw图像进行时域特征提取，得到时域特征图；55.示例性的，在一些实施例中，时域unet子网络可以使用传统unet网络结构(如图3所示)来实现时域特征提取，也可以利用神经网络结构搜索(neuralarchitecturesearch，nas)得到的第一下采样模块和第二上采样模块，来代替传统unet网络模型中的下采样模块和上采样模块。56.步骤1042：利用所述频域unet子网络对所述原始raw图像进行频域特征提取，得到频域特征图；57.示例性的，在一些实施例中，频域unet子网络和时域unet子网络的结构类似，区别在于下采样模块和上采样模块分别用基于小波变换构建的第二下采样模块和基于逆小波变换构建的第二上采样模块代替。58.在一些实施例中，频域unet子网络中下采样模块和上采样模块还可以用基于傅里叶变换构建的第二下采样模块和基于傅里叶逆变换构建的第二上采样模块代替。59.步骤1043：对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。60.示例性的，对时域特征图和频域特征图进行特征平均，得到srgb图像。61.本技术实施例提供的用于图像处理的方法可以应用于图像信号处理器(imagesignalprocessor，isp)，isp配置在具备拍摄功能的电子设备，isp对cmos或者ccd图像传感器采集的原始raw图像映射为srgb图像，降低了isp图像处理过程中人工的干预。62.采用上述技术方案，将原始raw图像映射到srgb图像时，通过并联的时域unet子网络和频域unet子网络，分别进行时域特征提取和频域特征提取，得到频域特征能够弥补时域特征的信息缺陷，充分利用图像的频域信息，进一步优化了图像处理器性能，提高了图像处理效果。63.图4为本技术实施例中用于图像处理的方法的第二流程示意图，如图4所示，该方法具体可以包括：64.步骤401：构建图像处理神经网络，图像处理神经网络包括时域unet子网络和频域unet子网络；65.步骤402：获取原始raw图像；66.步骤403：将原始raw图像输入到时域unet子网络，利用时域unet子网络对原始raw图像进行时域特征提取，得到时域特征图；67.示例性的，在一些实施例中，时域unet子网络是基于nas搜索到的，用于提取图像时域特征图。68.示例性的，在一些实施例中，基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；利用至少一个所述第一下采样模块构建所述时域unet子网络的编码器，利用至少一个所述第一上采样模块构建所述时域unet子网络的解码器，得到所述时域unet子网络。69.可以理解为，利用神经网络结构搜索(neuralarchitecturesearch，nas)得到的第一下采样模块和第一上采样模块，来代替传统unet网络模型(如图3所示)中的下采样模块和上采样模块。70.步骤404：将原始raw图像输入到频域unet子网络，利用频域unet子网络对原始raw图像进行频域特征提取，得到频域特征图；71.示例性的，在一些实施例中，频域unet子网络是基于小波变换算法和逆小波变换算法构建的，用于提取图像频域特征图。72.示例性的，在一些实施例中，基于小波变换算法构建第二下采样模块；基于逆小波变换算法构建第二上采样模块；利用至少一个所述第二下采样模块构建所述频域unet子网络的编码器，利用至少一个所述第二上采样模块构建所述频域unet子网络的解码器，得到所述频域unet子网络。73.步骤405：对所述时域特征图和所述频域特征图进行特征平均；74.步骤406：输出srgb图像。75.在上述实施例的基础上，图像处理神经网络构建和训练进行进一步的举例说明。图5为本技术实施例中图像处理神经网络构建方法的流程示意图，如图5所示，该方法具体包括：76.步骤501：基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；77.神经网络结构搜索(neuralarchitecturesearch，nas)的核心思想是使用搜索算法来发现用于解决特定问题所需要的神经网络结构。78.图6为本技术实施例中nas搜索流程示意图，如图6所示，nas主要由搜索空间、搜索策略、性能评估策略三部分组成。nas的原理是给定一个搜索空间的候选神经网络结构集合，用某种搜索策略从中搜索出网络结构。对搜索到的网络结构进行性能评估，比如精度、速度等来度量性能，直到确定性能最最优的网络结构。79.搜索策略包括：随机搜索、贝叶斯优化、进化算法、强化学习、基于梯度的算法。80.具体地，所述基于神经网络结构搜索自动搜索到第一下采样模块和第一上采样模块，包括：81.预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；82.在所述第一搜索空间进行网络搜索得到所述第一下采样模块；83.在所述第二搜索空间进行网络搜索得到所述第一上采样模块；84.其中，所述第一搜索空间包括：m个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：n个网络节点、上采样算子和第二恒等映射算子；m和n均取大于或者等于2的整数。85.也就是说，在搜索下采样模块和上采样模块时，需要预先定义不同的搜索空间，包括网络节点数量和算子种类。示例性的，针对第一下采样模块，第一搜索空间包括可以选择4网络节点、下采样算子和非线性算子。针对第一上采样模块，第一搜索空间包括可以选择4网络节点、上采样算子和非线性算子。86.在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；87.所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3，88.其中，参数数量是指所述时域unet子网络的所有网络参数的数量，时延是指在所述时域unet子网络在推理过程中所产生的时延，浮点运算量为每秒浮点运算次数(floating-pointoperationspersecond，flops)，是所述时域unet子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。89.这里，nas在搜索第一下采样模块和第一上采样模块时，为了使得最终所得到的网络模型更加轻量化，本技术在损失函数中引入了一些硬件相关的约束，即约束了约束有限的网络参数、算子延时和/或浮点运算量，使得搜索出的网络模型更加轻量化，也同时兼顾了精度和效率，从而使得网络模型更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。90.示例性的，损失函数为argmin(l1 lcd)，其中，l1为范数损失项，lcd为颜色色度差异损失项。91.这里，nas在搜索第一下采样模块和第一上采样模块时，为了使得最终所得到的网络模型更加轻量化，本技术在损失函数的定义上采用了一些硬件相关的约束，即约束了网络参数数量、算子延时、浮点运算量，使得搜索出的网络模型更加轻量化，从而使得模型更容易部署到手机等移动设备上进行推理运算。92.步骤502：利用至少一个所述第一下采样模块构建所述时域unet子网络的编码器，利用至少一个所述第一上采样模块构建所述时域unet子网络的解码器，得到所述时域unet子网络；93.这里，利用搜索到的第一下采样模块替换图3中编码器中的传统下采样模块，利用搜索到的第一上采样模块替换图3中解码器中的传统上采样模块，得到时域unet子网络。94.步骤503：基于小波变换算法构建所述第二下采样模块，基于逆小波变换算法构建所述第二上采样模块；95.示例性的，所述第二下采样模块包括：第一卷积层、离散小波变换层和拼接层；其中，所述第二下采样模块的输入特征图输入到第一卷积层得到第一中间特征图；将所述第一中间特征图输入到离散小波变换层得到第二中间特征图；所述第一中间特征图和所述第二中间特征图输入到所述拼接层得到所述第二下采样模块的输出特征图。96.这里，第一卷积层用于对输入特征图进行下采样，离散小波变换层用于提取第一中间特征图的频域特征，拼接层用于对相同尺寸的第一中间特征图和第二中间特征图进行拼接。97.图7为本技术实施例中第二下采样模块的结构示意图，如图7所示，特征图输入到第一卷积层(比如convwithstride＝2/bn/lrelu)进行下采样，输出特征图经过两路，一路是离散小波变换层(discretewavelettransform，dwt)，另一路与离散小波变换层输出的特征图进行拼接，得到第二下采样模块的输出特征图。98.具体地，所述第二上采样模块包括：时频通道分离层、第二卷积层、第三卷积层、逆离散小波变换层和拼接层；其中，所述第二上采样模块的输入特征图输入到所述时频通道分离层得到第一时域特征图和第一频域特征图；所述第一时域特征图输入到所述第二卷积层得到第三中间特征图，所述第一频域特征图依次经过所述第三卷积层、所述逆离散小波变换层和所述第三卷积层得到第四中间特征图；所述第三中间特征图和所述第四中间特征图输入到所述拼接层得到所述第二上采样模块的输出特征图。99.这里，时频通道分离层用于对输入特征图的时域通道和频域通道进行分离，第二卷积层用于对第一时域特征图进行上采样，第三卷积层、逆离散小波变换层和第三卷积层组合起来用于对第一频域特征进行逆小波变换获取更多频域特征，拼接层用于对相同尺寸的第三中间特征图和第四中间特征图进行拼接。100.图8为本技术实施例中第二上采样模块的结构示意图，如图8所示，输入特征图先经过时频通道分离层(separatespatial/frequencychannel)，将时域通道和频域通道进行分离，将分离出时域特征图经过第二卷积层(比如convwithstride＝2/bn/lrelu)处理，频域特征图依次经过第三卷积层(比如convwithstride＝1)、逆离散小波变换层(inversediscretewavelettransform，idwt)和第三卷积层，两路处理后的特征图进行拼接，得到第二上采样模块的输出特征图。101.在一些实施例中步骤503还可以替换为：基于傅里叶变换算法构建所述第二下采样模块，基于逆傅里叶变换算法构建所述第二上采样模块；102.相应的，所述第二下采样模块包括：第一卷积层、离散傅里叶变换层和拼接层。所述第二上采样模块包括：时频通道分离层、第二卷积层、第三卷积层、逆离散傅里叶变换层和拼接层。103.步骤504：利用至少一个所述第二下采样模块构建所述频域unet子网络的编码器，利用至少一个所述第二上采样模块构建所述频域unet子网络的解码器，得到所述频域unet子网络；104.这里，利用搜索到的第二下采样模块替换图3中编码器中的传统下采样模块，利用搜索到的第二上采样模块替换图3中解码器中的传统上采样模块，得到频域unet子网络。105.步骤505：利用构建完成的时域unet子网络和频域unet子网络，构建所述图像处理神经网络；106.具体地，将时域unet子网络和频域unet子网络并联，两个子网络输出端经过特征融合模块进行融合，得到图像处理神经网络。107.图9为本技术实施例中图像处理神经网络的第二组成结构示意图，如图9所示，在时域unet子网络中，第一下采样模块由传统conv bn lrelu算子和conv_stride＝2 bn lrelu算子组成，第一上采样模块由传统的depth2space算子和upsampling算子组成，频域unet子网络与时域unet子网络类似，区别在于第二下采样模块由conv bn lrelu算子和dwt_下采样(dwt_downsampling)算子组成，第二上采样模块由transpose_conv bn lrelu算子和idwt_上采样(idwt_upsampling)算子组成。最后，将时域unet子网络的输出结果和频域unet子网络的输出结果通过特征平均(featureaverage)的方式进行融合，输出最终的srgb图像。108.也就是说，时域unet子网络可以使用传统unet网络结构(如图3所示)来实现时域特征提取。在另一些实施例中，时域unet子网络中，第一下采样模块和第一上采样模块还可以在前期通过神经网络结构搜索得到。109.步骤506：获取训练图像集；110.步骤507：利用训练图像集对图像处理神经网络进行训练直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。111.上述图像处理神经网络，结合了nas充分利用这些前沿人工智能方法的优势，提高处理器的图像处理性能。增加的频域unet子网络，能够得到更多的频域信息，时频信息融合，频域信息的使用弥补了经典深度网络只利用时域信息而忽略了频域信息的缺陷，优化了图像处理器性能，提高了图像处理效果。112.本技术实施例还提供了一种电子设备，如图10所示，所述电子设备100包括：图像处理神经网络1001，所述图像处理神经网络包括时域unet子网络10011、频域unet子网络10012和融合子网络10013；以及113.处理器1002，用于利用所述图像处理神经网络对原始raw图像进行处理，所述处理包括：114.利用所述时域unet子网络10011对所述原始raw图像进行时域特征提取得到时域特征图；115.利用所述频域unet子网络10012对所述原始raw图像进行频域特征提取得到频域特征图；以及116.利用所述融合子网络10013对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。117.在一些实施例中，所述时域unet子网络10011的编码器包括至少一个第一下采样模块，所述时域unet子网络10011的解码器包括至少一个第一上采样模块，118.所述第一下采样模块和所述第一上采样模块是基于神经网络结构搜索自动搜索到的。119.在一些实施例中，所述基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块时包括：120.预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；121.在所述第一搜索空间进行网络搜索得到所述第一下采样模块；122.在所述第二搜索空间进行网络搜索得到所述第一上采样模块；123.其中，所述第一搜索空间包括：m个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：n个网络节点、上采样算子和第二恒等映射算子；m和n均取大于或者等于2的整数。124.在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；125.所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3，126.其中，参数数量是指所述时域unet子网络的所有网络参数的数量，时延是指在所述时域unet子网络在推理过程中所产生的时延，浮点运算量是所述时域unet子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。127.在一些实施例中，所述频域unet子网络的编码器包括至少一个第二下采样模块，所述频域unet子网络的解码器包括至少一个第二上采样模块，128.所述第二下采样模块包括第一卷积层、离散小波变换层和拼接层；129.其中，所述第二下采样模块的输入特征图输入到第一卷积层得到第一中间特征图；将所述第一中间特征图输入到离散小波变换层得到第二中间特征图；所述第一中间特征图和所述第二中间特征图输入到所述拼接层得到所述第二下采样模块的输出特征图；130.所述第二上采样模块包括：时频通道分离层、第二卷积层、第三卷积层、逆离散小波变换层和拼接层；131.其中，所述第二上采样模块的输入特征图输入到所述时频通道分离层得到第一时域特征图和第一频域特征图；所述第一时域特征图输入到所述第二卷积层得到第三中间特征图，所述第一频域特征图依次经过所述第三卷积层、所述逆离散小波变换层和所述第三卷积层得到第四中间特征图；所述第三中间特征图和所述第四中间特征图输入到所述拼接层得到所述第二上采样模块的输出特征图。132.在一些实施例中，基于傅里叶变换算法构建所述第二下采样模块，基于逆傅里叶变换算法构建所述第二上采样模块；133.相应的，所述第二下采样模块包括：第一卷积层、离散傅里叶变换层和拼接层。所述第二上采样模块包括：时频通道分离层、第二卷积层、第三卷积层、逆离散傅里叶变换层和拼接层。134.需要说明的是，利用构建完成的所述时域unet子网络和所述频域unet子网络，构建所述图像处理神经网络之后，还需要利用训练图像集对所述图像处理神经网络进行训练直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。135.在一些实施例中，所述处理器包括以下的至少一者：中央处理器(centralprocessingunit，cpu)；图形处理器(graphicsprocessingunit，gpu)；数字信号处理器(digitalsignalprocessor，dsp)；图像信号处理器(imagesignalprocessor，isp)；以及神经网络处理器(neural-networkprocessingunit，npu)。136.需要说明的是，本技术实施例上述图像处理神经网络还可以部署在任意一种硬件计算单元上来实现。137.本技术实施例还提供了一种用于图像处理的装置，如图11所示，该装置110包括：138.构建模块1101，用于构建图像处理神经网络，所述图像处理神经网络包括时域unet子网络和频域unet子网络；139.获取模块1102，用于获取原始raw图像；140.输入模块1103，用于将所述原始raw图像输入到所述图像处理神经网络；141.处理模块1104，用于利用所述图像处理神经网络对所述原始raw图像进行处理，所述处理包括：142.利用所述时域unet子网络对所述原始raw图像进行时域特征提取，得到时域特征图；143.利用所述频域unet子网络对所述原始raw图像进行频域特征提取，得到频域特征图；144.对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。145.在一些实施例中，所述构建模块1101进一步用于：基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；利用至少一个所述第一下采样模块构建所述时域unet子网络的编码器，利用至少一个所述第一上采样模块构建所述时域unet子网络的解码器，得到所述时域unet子网络。146.在一些实施例中，所述构建模块1101进一步用于：预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；在所述第一搜索空间进行网络搜索得到所述第一下采样模块；在所述第二搜索空间进行网络搜索得到所述第一上采样模块；147.其中，所述第一搜索空间包括：m个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：n个网络节点、上采样算子和第二恒等映射算子；m和n均取大于或者等于2的整数。148.在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；149.所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3，150.其中，参数数量是指所述时域unet子网络的所有网络参数的数量，时延是指在所述时域unet子网络在推理过程中所产生的时延，浮点运算量是所述时域unet子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。151.在一些实施例中，所述构建模块1101进一步用于：基于小波变换算法构建第二下采样模块；基于逆小波变换算法构建第二上采样模块；利用至少一个所述第二下采样模块构建所述频域unet子网络的编码器，利用至少一个所述第二上采样模块构建所述频域unet子网络的解码器，得到所述频域unet子网络。152.在一些实施例中，所述第二下采样模块包括：第一卷积层、离散小波变换层和拼接层；其中，所述第二下采样模块的输入特征图输入到第一卷积层得到第一中间特征图；将所述第一中间特征图输入到离散小波变换层得到第二中间特征图；所述第一中间特征图和所述第二中间特征图输入到所述拼接层得到所述第二下采样模块的输出特征图；153.所述第二上采样模块包括：时频通道分离层、第二卷积层、第三卷积层、逆离散小波变换层和拼接层；其中，所述第二上采样模块的输入特征图输入到所述时频通道分离层得到第一时域特征图和第一频域特征图；所述第一时域特征图输入到所述第二卷积层得到第三中间特征图，所述第一频域特征图依次经过所述第三卷积层、所述逆离散小波变换层和所述第三卷积层得到第四中间特征图；所述第三中间特征图和所述第四中间特征图输入到所述拼接层得到所述第二上采样模块的输出特征图。154.在一些实施例中，所述构建模块1101进一步用于：在构建所述图像处理神经网络之后训练所述图像处理神经网络，所述训练包括：155.获取训练图像集；利用所述训练图像集对所述图像处理神经网络进行训练直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。156.示例性的，在一些实施例中，所述图像处理神经网络的损失函数为：argmin(l1 lcd)；其中，l1为范数损失项，lcd为颜色色度差异损失项。157.采用上述装置，在将原始raw图像映射到srgb图像时，通过并联的时域unet子网络和频域unet子网络，分别进行时域特征图提取和频域特征图提取，得到频域特征图能够弥补时域特征图的信息缺陷，综合利用图像的时域信息和频域信息，进一步优化了图像处理器性能，提高了图像处理效果。158.本技术实施例中还提供了一种计算系统，如图12所示，该计算系统120包括：处理器1201和配置为存储能够在处理器1201上运行的计算机程序的存储器1202，159.其中，处理器1201配置为运行计算机程序时，执行前述实施例中的方法步骤。160.所述处理器1201包括以下的至少一者：中央处理器cpu；图形处理器gpu；数字信号处理器dsp；图像信号处理器isp；以及神经网络处理器npu。161.当然，实际应用时，如图12所示，该计算系统中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。162.上述存储器可以是易失性存储器(volatilememory)，例如随机存取存储器(ram，random-accessmemory)；或者非易失性存储器(non-volatilememory)，例如只读存储器(rom，read-onlymemory)，快闪存储器(flashmemory)，硬盘(hdd，harddiskdrive)或固态硬盘(ssd，solid-statedrive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。163.本技术中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personaldigitalassistant，pda)、便捷式媒体播放器(portablemediaplayer，pmp)、可穿戴设备、智能手环、相机等。164.在示例性实施例中，本技术实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由电子设备的处理器执行，以完成前述方法的步骤。165.应当理解，在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本技术中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。166.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。167.本技术实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。168.在本技术所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。169.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。170.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。171.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。当前第1页12当前第1页12
背景技术：
：：2.当前，移动终端的拍照功能越来越完善，拍照性能越来越接近单反相机，这主要是由于在移动终端系统内内置的图像信号处理器(imagesignalprocessor，isp)发挥了重要作用。3.传统的isp成像处理流程由多个级联的图像处理模块分阶段逐步完成，它们分别是：图像去马赛克、图像降噪、白平衡与颜色空间变换、色彩增强、色调映射。这些级联的步骤能够将原始raw图像映射到srgb(standardredgreenblue)通用色彩标准，帮助人们获得了更加符合人眼视觉特性的彩色图像。4.近几年来，在人工智能(artificialintelligence，ai)技术快速发展的背景下，随着图像的大数据优势日益凸显，研究人员开始考虑采用卷积神经网络(convolutionalneuralnetwork，cnn)等ai技术代替传统的多阶段分级isp成像处理构架。5.然而，现有基于ai技术的isp成像处理模型的性能较低且模型复杂度较高，训练出的模型很难满足实际应用需求，亟待优化。技术实现要素：6.为解决上述技术问题，本技术实施例期望提供一种用于图像处理的方法、电子设备、装置及计算系统。7.本技术的技术方案是这样实现的：8.第一方面，提供了一种用于图像处理的方法，包括：9.构建图像处理神经网络，所述图像处理神经网络包括时域unet子网络和频域unet子网络；10.获取原始raw图像；11.将所述原始raw图像输入到所述图像处理神经网络；12.利用所述图像处理神经网络对所述原始raw图像进行处理，所述处理包括：利用所述时域unet子网络对所述原始raw图像进行时域特征提取，得到时域特征图；利用所述频域unet子网络对所述原始raw图像进行频域特征提取，得到频域特征图；对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。13.第二方面，提供了一种电子设备，包括：14.图像处理神经网络，所述图像处理神经网络包括时域unet子网络、频域unet子网络和融合子网络；以及15.处理器，用于利用所述图像处理神经网络对原始raw图像进行处理，所述处理包括：利用所述时域unet子网络对所述原始raw图像进行时域特征提取得到时域特征图；利用所述频域unet子网络对所述原始raw图像进行频域特征提取得到频域特征图；以及利用所述融合子网络对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。16.第三方面，一种用于图像处理的装置，包括：17.构建模块，用于构建图像处理神经网络，所述图像处理神经网络包括时域unet子网络和频域unet子网络；18.获取模块，用于获取原始raw图像；19.输入模块，用于将所述原始raw图像输入到所述图像处理神经网络；20.处理模块，用于利用所述图像处理神经网络对所述原始raw图像进行处理，所述处理包括：利用所述时域unet子网络对所述原始raw图像进行时域特征提取，得到时域特征图；利用所述频域unet子网络对所述原始raw图像进行频域特征提取，得到频域特征图；对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。21.第四方面，提供了一种计算系统，所述计算系统包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，22.其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。23.第五方面，还提供了一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。24.本技术实施例中提供了一种用于图像处理的方法、电子设备、装置及计算系统，该方法包括：将原始raw图像输入到图像处理神经网络；分别利用时域unet子网络对原始raw图像进行时域特征提取，得到时域特征图；利用频域unet子网络对原始raw图像进行频域特征提取，得到频域特征图；再对时域特征图和频域特征图进行融合，以输出srgb图像。这样，在将原始raw图像映射到srgb图像时，通过并联的时域unet子网络和频域unet子网络，分别进行时域特征图提取和频域特征图提取，得到频域特征图能够弥补时域特征图的信息缺陷，综合利用图像的时域信息和频域信息，进一步优化了图像处理器性能，提高了图像处理效果。附图说明25.图1为本技术实施例中用于图像处理的方法的第一流程示意图；26.图2为本技术实施例中图像处理神经网络的第一组成结构示意图；27.图3为本技术实施例中unet子网络的组成结构示意图；28.图4为本技术实施例中用于图像处理的方法的第二流程示意图；29.图5为本技术实施例中图像处理神经网络构建方法的流程示意图；30.图6为本技术实施例中nas搜索流程示意图；31.图7为本技术实施例中第二下采样模块的结构示意图；32.图8为本技术实施例中第二上采样模块的结构示意图；33.图9为本技术实施例中图像处理神经网络的第二组成结构示意图；34.图10为本技术实施例中电子设备的组成结构示意图；35.图11为本技术实施例中用于图像处理的装置的组成结构示意图；36.图12为本技术实施例中一种计算系统的组成结构示意图。具体实施方式37.为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。38.图1为本技术实施例中用于图像处理的方法的第一流程示意图，如图1所示，该方法具体可以包括：39.步骤101：构建图像处理神经网络，所述图像处理神经网络包括时域unet子网络和频域unet子网络；40.为了充分挖掘图像的时域信息和频域信息，本技术实施例提供了一种新的图像处理神经网络，用于将raw图像转换为srgb图像。41.这里，图像处理神经网络中时频域子网络均是基于unet网络结构设计的。unet是一种深度学习框架，通常包含编码过程和解码过程，输入和输出的尺寸保持不变。42.图2为本技术实施例中图像处理神经网络的第一组成结构示意图，如图2所示，图像处理神经网络20包括：时域unet子网络201、频域unet子网络202和融合子网络203。时域unet子网络201用于对所述raw图像进行时域特征提取得到时域特征，频域unet子网络202用于对所述raw图像进行频域特征提取得到频域特征，融合子网络203用于将时域特征和频域特征进行特征融合得到srgb图像。43.图3为本技术实施例中unet子网络的组成结构示意图，如图3所示，unet子网络分为两部分：unet子网络左边为编码器(encoder)，右边为解码器(decoder)，编码器包含下采样(downsampling)模块，解码器包含上采样(upsampling)模块，每层下采样模块和上采样模块之间跳跃连接，raw图像经过编码器通过卷积层(比如conv bn lrelu)和下采样层(比如convwithstride＝2/bn/lrelu)来降低图像尺寸，提取一些浅显的特征。下采样得到的特征图经过卷积层(比如conv bn lrelu)进行恒等映射(identitymapping)，之后经过解码器通过反卷积层(比如transpose_conv bn lrelu)和上采样层(包含上采样算子)来获取一些深层次的特征，每层下采样模块和上采样模块中间通过跳跃连接的方式，将编码阶段获得的特征图同解码阶段获得的特征图结合在一起，结合深层次和浅层次的特征，细化图像。44.需要说明的是，图3中unet子网络经过三次下采样和三次上采样，实际应用中下采样和上采样次数可以根据图像处理需求灵活设定，本技术实施例不做具体限定。45.示例性的，在一些实施例中，构建图像处理神经网络具体可以包括：预先构建时域unet子网络和频域unet子网络，生成初始图像处理神经网络；获取训练图像集；利用所述训练图像集对图像处理神经网络进行训练直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。46.可以理解为，先分别构建时域unet子网络和频域unet子网络，两个子网络并联得到图像处理神经网络，再对图像处理神经网络训练，得到最终可用于图像处理的网络模型。47.示例性的，在一些实施例中，所述图像处理神经网络的损失函数为：argmin(l1 lcd)；其中，l1为范数损失项，lcd为颜色色度差异损失项。48.步骤102：获取原始raw图像；49.这里，原始raw图像就是互补金属氧化物半导体(complementarymetal-oxide-semiconductor，cmos)图像传感器或者电荷耦合器件(chargecoupleddevice，ccd)图像传感器将捕捉到的光源信号转化为数字信号的原始数据。50.需要说明的是，本技术提供的图像处理神经网络可以针对单帧raw图像进行映射，也可以针对视频的多帧raw图像进行映射。51.步骤103：将所述原始raw图像输入到所述图像处理神经网络；52.步骤104：利用所述图像处理神经网络对所述原始raw图像进行处理；53.这里，所述处理包括：54.步骤1041：利用所述时域unet子网络对所述原始raw图像进行时域特征提取，得到时域特征图；55.示例性的，在一些实施例中，时域unet子网络可以使用传统unet网络结构(如图3所示)来实现时域特征提取，也可以利用神经网络结构搜索(neuralarchitecturesearch，nas)得到的第一下采样模块和第二上采样模块，来代替传统unet网络模型中的下采样模块和上采样模块。56.步骤1042：利用所述频域unet子网络对所述原始raw图像进行频域特征提取，得到频域特征图；57.示例性的，在一些实施例中，频域unet子网络和时域unet子网络的结构类似，区别在于下采样模块和上采样模块分别用基于小波变换构建的第二下采样模块和基于逆小波变换构建的第二上采样模块代替。58.在一些实施例中，频域unet子网络中下采样模块和上采样模块还可以用基于傅里叶变换构建的第二下采样模块和基于傅里叶逆变换构建的第二上采样模块代替。59.步骤1043：对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。60.示例性的，对时域特征图和频域特征图进行特征平均，得到srgb图像。61.本技术实施例提供的用于图像处理的方法可以应用于图像信号处理器(imagesignalprocessor，isp)，isp配置在具备拍摄功能的电子设备，isp对cmos或者ccd图像传感器采集的原始raw图像映射为srgb图像，降低了isp图像处理过程中人工的干预。62.采用上述技术方案，将原始raw图像映射到srgb图像时，通过并联的时域unet子网络和频域unet子网络，分别进行时域特征提取和频域特征提取，得到频域特征能够弥补时域特征的信息缺陷，充分利用图像的频域信息，进一步优化了图像处理器性能，提高了图像处理效果。63.图4为本技术实施例中用于图像处理的方法的第二流程示意图，如图4所示，该方法具体可以包括：64.步骤401：构建图像处理神经网络，图像处理神经网络包括时域unet子网络和频域unet子网络；65.步骤402：获取原始raw图像；66.步骤403：将原始raw图像输入到时域unet子网络，利用时域unet子网络对原始raw图像进行时域特征提取，得到时域特征图；67.示例性的，在一些实施例中，时域unet子网络是基于nas搜索到的，用于提取图像时域特征图。68.示例性的，在一些实施例中，基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；利用至少一个所述第一下采样模块构建所述时域unet子网络的编码器，利用至少一个所述第一上采样模块构建所述时域unet子网络的解码器，得到所述时域unet子网络。69.可以理解为，利用神经网络结构搜索(neuralarchitecturesearch，nas)得到的第一下采样模块和第一上采样模块，来代替传统unet网络模型(如图3所示)中的下采样模块和上采样模块。70.步骤404：将原始raw图像输入到频域unet子网络，利用频域unet子网络对原始raw图像进行频域特征提取，得到频域特征图；71.示例性的，在一些实施例中，频域unet子网络是基于小波变换算法和逆小波变换算法构建的，用于提取图像频域特征图。72.示例性的，在一些实施例中，基于小波变换算法构建第二下采样模块；基于逆小波变换算法构建第二上采样模块；利用至少一个所述第二下采样模块构建所述频域unet子网络的编码器，利用至少一个所述第二上采样模块构建所述频域unet子网络的解码器，得到所述频域unet子网络。73.步骤405：对所述时域特征图和所述频域特征图进行特征平均；74.步骤406：输出srgb图像。75.在上述实施例的基础上，图像处理神经网络构建和训练进行进一步的举例说明。图5为本技术实施例中图像处理神经网络构建方法的流程示意图，如图5所示，该方法具体包括：76.步骤501：基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；77.神经网络结构搜索(neuralarchitecturesearch，nas)的核心思想是使用搜索算法来发现用于解决特定问题所需要的神经网络结构。78.图6为本技术实施例中nas搜索流程示意图，如图6所示，nas主要由搜索空间、搜索策略、性能评估策略三部分组成。nas的原理是给定一个搜索空间的候选神经网络结构集合，用某种搜索策略从中搜索出网络结构。对搜索到的网络结构进行性能评估，比如精度、速度等来度量性能，直到确定性能最最优的网络结构。79.搜索策略包括：随机搜索、贝叶斯优化、进化算法、强化学习、基于梯度的算法。80.具体地，所述基于神经网络结构搜索自动搜索到第一下采样模块和第一上采样模块，包括：81.预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；82.在所述第一搜索空间进行网络搜索得到所述第一下采样模块；83.在所述第二搜索空间进行网络搜索得到所述第一上采样模块；84.其中，所述第一搜索空间包括：m个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：n个网络节点、上采样算子和第二恒等映射算子；m和n均取大于或者等于2的整数。85.也就是说，在搜索下采样模块和上采样模块时，需要预先定义不同的搜索空间，包括网络节点数量和算子种类。示例性的，针对第一下采样模块，第一搜索空间包括可以选择4网络节点、下采样算子和非线性算子。针对第一上采样模块，第一搜索空间包括可以选择4网络节点、上采样算子和非线性算子。86.在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；87.所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3，88.其中，参数数量是指所述时域unet子网络的所有网络参数的数量，时延是指在所述时域unet子网络在推理过程中所产生的时延，浮点运算量为每秒浮点运算次数(floating-pointoperationspersecond，flops)，是所述时域unet子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。89.这里，nas在搜索第一下采样模块和第一上采样模块时，为了使得最终所得到的网络模型更加轻量化，本技术在损失函数中引入了一些硬件相关的约束，即约束了约束有限的网络参数、算子延时和/或浮点运算量，使得搜索出的网络模型更加轻量化，也同时兼顾了精度和效率，从而使得网络模型更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。90.示例性的，损失函数为argmin(l1 lcd)，其中，l1为范数损失项，lcd为颜色色度差异损失项。91.这里，nas在搜索第一下采样模块和第一上采样模块时，为了使得最终所得到的网络模型更加轻量化，本技术在损失函数的定义上采用了一些硬件相关的约束，即约束了网络参数数量、算子延时、浮点运算量，使得搜索出的网络模型更加轻量化，从而使得模型更容易部署到手机等移动设备上进行推理运算。92.步骤502：利用至少一个所述第一下采样模块构建所述时域unet子网络的编码器，利用至少一个所述第一上采样模块构建所述时域unet子网络的解码器，得到所述时域unet子网络；93.这里，利用搜索到的第一下采样模块替换图3中编码器中的传统下采样模块，利用搜索到的第一上采样模块替换图3中解码器中的传统上采样模块，得到时域unet子网络。94.步骤503：基于小波变换算法构建所述第二下采样模块，基于逆小波变换算法构建所述第二上采样模块；95.示例性的，所述第二下采样模块包括：第一卷积层、离散小波变换层和拼接层；其中，所述第二下采样模块的输入特征图输入到第一卷积层得到第一中间特征图；将所述第一中间特征图输入到离散小波变换层得到第二中间特征图；所述第一中间特征图和所述第二中间特征图输入到所述拼接层得到所述第二下采样模块的输出特征图。96.这里，第一卷积层用于对输入特征图进行下采样，离散小波变换层用于提取第一中间特征图的频域特征，拼接层用于对相同尺寸的第一中间特征图和第二中间特征图进行拼接。97.图7为本技术实施例中第二下采样模块的结构示意图，如图7所示，特征图输入到第一卷积层(比如convwithstride＝2/bn/lrelu)进行下采样，输出特征图经过两路，一路是离散小波变换层(discretewavelettransform，dwt)，另一路与离散小波变换层输出的特征图进行拼接，得到第二下采样模块的输出特征图。98.具体地，所述第二上采样模块包括：时频通道分离层、第二卷积层、第三卷积层、逆离散小波变换层和拼接层；其中，所述第二上采样模块的输入特征图输入到所述时频通道分离层得到第一时域特征图和第一频域特征图；所述第一时域特征图输入到所述第二卷积层得到第三中间特征图，所述第一频域特征图依次经过所述第三卷积层、所述逆离散小波变换层和所述第三卷积层得到第四中间特征图；所述第三中间特征图和所述第四中间特征图输入到所述拼接层得到所述第二上采样模块的输出特征图。99.这里，时频通道分离层用于对输入特征图的时域通道和频域通道进行分离，第二卷积层用于对第一时域特征图进行上采样，第三卷积层、逆离散小波变换层和第三卷积层组合起来用于对第一频域特征进行逆小波变换获取更多频域特征，拼接层用于对相同尺寸的第三中间特征图和第四中间特征图进行拼接。100.图8为本技术实施例中第二上采样模块的结构示意图，如图8所示，输入特征图先经过时频通道分离层(separatespatial/frequencychannel)，将时域通道和频域通道进行分离，将分离出时域特征图经过第二卷积层(比如convwithstride＝2/bn/lrelu)处理，频域特征图依次经过第三卷积层(比如convwithstride＝1)、逆离散小波变换层(inversediscretewavelettransform，idwt)和第三卷积层，两路处理后的特征图进行拼接，得到第二上采样模块的输出特征图。101.在一些实施例中步骤503还可以替换为：基于傅里叶变换算法构建所述第二下采样模块，基于逆傅里叶变换算法构建所述第二上采样模块；102.相应的，所述第二下采样模块包括：第一卷积层、离散傅里叶变换层和拼接层。所述第二上采样模块包括：时频通道分离层、第二卷积层、第三卷积层、逆离散傅里叶变换层和拼接层。103.步骤504：利用至少一个所述第二下采样模块构建所述频域unet子网络的编码器，利用至少一个所述第二上采样模块构建所述频域unet子网络的解码器，得到所述频域unet子网络；104.这里，利用搜索到的第二下采样模块替换图3中编码器中的传统下采样模块，利用搜索到的第二上采样模块替换图3中解码器中的传统上采样模块，得到频域unet子网络。105.步骤505：利用构建完成的时域unet子网络和频域unet子网络，构建所述图像处理神经网络；106.具体地，将时域unet子网络和频域unet子网络并联，两个子网络输出端经过特征融合模块进行融合，得到图像处理神经网络。107.图9为本技术实施例中图像处理神经网络的第二组成结构示意图，如图9所示，在时域unet子网络中，第一下采样模块由传统conv bn lrelu算子和conv_stride＝2 bn lrelu算子组成，第一上采样模块由传统的depth2space算子和upsampling算子组成，频域unet子网络与时域unet子网络类似，区别在于第二下采样模块由conv bn lrelu算子和dwt_下采样(dwt_downsampling)算子组成，第二上采样模块由transpose_conv bn lrelu算子和idwt_上采样(idwt_upsampling)算子组成。最后，将时域unet子网络的输出结果和频域unet子网络的输出结果通过特征平均(featureaverage)的方式进行融合，输出最终的srgb图像。108.也就是说，时域unet子网络可以使用传统unet网络结构(如图3所示)来实现时域特征提取。在另一些实施例中，时域unet子网络中，第一下采样模块和第一上采样模块还可以在前期通过神经网络结构搜索得到。109.步骤506：获取训练图像集；110.步骤507：利用训练图像集对图像处理神经网络进行训练直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。111.上述图像处理神经网络，结合了nas充分利用这些前沿人工智能方法的优势，提高处理器的图像处理性能。增加的频域unet子网络，能够得到更多的频域信息，时频信息融合，频域信息的使用弥补了经典深度网络只利用时域信息而忽略了频域信息的缺陷，优化了图像处理器性能，提高了图像处理效果。112.本技术实施例还提供了一种电子设备，如图10所示，所述电子设备100包括：图像处理神经网络1001，所述图像处理神经网络包括时域unet子网络10011、频域unet子网络10012和融合子网络10013；以及113.处理器1002，用于利用所述图像处理神经网络对原始raw图像进行处理，所述处理包括：114.利用所述时域unet子网络10011对所述原始raw图像进行时域特征提取得到时域特征图；115.利用所述频域unet子网络10012对所述原始raw图像进行频域特征提取得到频域特征图；以及116.利用所述融合子网络10013对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。117.在一些实施例中，所述时域unet子网络10011的编码器包括至少一个第一下采样模块，所述时域unet子网络10011的解码器包括至少一个第一上采样模块，118.所述第一下采样模块和所述第一上采样模块是基于神经网络结构搜索自动搜索到的。119.在一些实施例中，所述基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块时包括：120.预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；121.在所述第一搜索空间进行网络搜索得到所述第一下采样模块；122.在所述第二搜索空间进行网络搜索得到所述第一上采样模块；123.其中，所述第一搜索空间包括：m个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：n个网络节点、上采样算子和第二恒等映射算子；m和n均取大于或者等于2的整数。124.在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；125.所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3，126.其中，参数数量是指所述时域unet子网络的所有网络参数的数量，时延是指在所述时域unet子网络在推理过程中所产生的时延，浮点运算量是所述时域unet子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。127.在一些实施例中，所述频域unet子网络的编码器包括至少一个第二下采样模块，所述频域unet子网络的解码器包括至少一个第二上采样模块，128.所述第二下采样模块包括第一卷积层、离散小波变换层和拼接层；129.其中，所述第二下采样模块的输入特征图输入到第一卷积层得到第一中间特征图；将所述第一中间特征图输入到离散小波变换层得到第二中间特征图；所述第一中间特征图和所述第二中间特征图输入到所述拼接层得到所述第二下采样模块的输出特征图；130.所述第二上采样模块包括：时频通道分离层、第二卷积层、第三卷积层、逆离散小波变换层和拼接层；131.其中，所述第二上采样模块的输入特征图输入到所述时频通道分离层得到第一时域特征图和第一频域特征图；所述第一时域特征图输入到所述第二卷积层得到第三中间特征图，所述第一频域特征图依次经过所述第三卷积层、所述逆离散小波变换层和所述第三卷积层得到第四中间特征图；所述第三中间特征图和所述第四中间特征图输入到所述拼接层得到所述第二上采样模块的输出特征图。132.在一些实施例中，基于傅里叶变换算法构建所述第二下采样模块，基于逆傅里叶变换算法构建所述第二上采样模块；133.相应的，所述第二下采样模块包括：第一卷积层、离散傅里叶变换层和拼接层。所述第二上采样模块包括：时频通道分离层、第二卷积层、第三卷积层、逆离散傅里叶变换层和拼接层。134.需要说明的是，利用构建完成的所述时域unet子网络和所述频域unet子网络，构建所述图像处理神经网络之后，还需要利用训练图像集对所述图像处理神经网络进行训练直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。135.在一些实施例中，所述处理器包括以下的至少一者：中央处理器(centralprocessingunit，cpu)；图形处理器(graphicsprocessingunit，gpu)；数字信号处理器(digitalsignalprocessor，dsp)；图像信号处理器(imagesignalprocessor，isp)；以及神经网络处理器(neural-networkprocessingunit，npu)。136.需要说明的是，本技术实施例上述图像处理神经网络还可以部署在任意一种硬件计算单元上来实现。137.本技术实施例还提供了一种用于图像处理的装置，如图11所示，该装置110包括：138.构建模块1101，用于构建图像处理神经网络，所述图像处理神经网络包括时域unet子网络和频域unet子网络；139.获取模块1102，用于获取原始raw图像；140.输入模块1103，用于将所述原始raw图像输入到所述图像处理神经网络；141.处理模块1104，用于利用所述图像处理神经网络对所述原始raw图像进行处理，所述处理包括：142.利用所述时域unet子网络对所述原始raw图像进行时域特征提取，得到时域特征图；143.利用所述频域unet子网络对所述原始raw图像进行频域特征提取，得到频域特征图；144.对所述时域特征图和所述频域特征图进行融合，以输出srgb图像。145.在一些实施例中，所述构建模块1101进一步用于：基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；利用至少一个所述第一下采样模块构建所述时域unet子网络的编码器，利用至少一个所述第一上采样模块构建所述时域unet子网络的解码器，得到所述时域unet子网络。146.在一些实施例中，所述构建模块1101进一步用于：预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；在所述第一搜索空间进行网络搜索得到所述第一下采样模块；在所述第二搜索空间进行网络搜索得到所述第一上采样模块；147.其中，所述第一搜索空间包括：m个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：n个网络节点、上采样算子和第二恒等映射算子；m和n均取大于或者等于2的整数。148.在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；149.所述约束条件包括：参数数量＜r1、时延＜r2以及浮点运算量＜r3，150.其中，参数数量是指所述时域unet子网络的所有网络参数的数量，时延是指在所述时域unet子网络在推理过程中所产生的时延，浮点运算量是所述时域unet子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。151.在一些实施例中，所述构建模块1101进一步用于：基于小波变换算法构建第二下采样模块；基于逆小波变换算法构建第二上采样模块；利用至少一个所述第二下采样模块构建所述频域unet子网络的编码器，利用至少一个所述第二上采样模块构建所述频域unet子网络的解码器，得到所述频域unet子网络。152.在一些实施例中，所述第二下采样模块包括：第一卷积层、离散小波变换层和拼接层；其中，所述第二下采样模块的输入特征图输入到第一卷积层得到第一中间特征图；将所述第一中间特征图输入到离散小波变换层得到第二中间特征图；所述第一中间特征图和所述第二中间特征图输入到所述拼接层得到所述第二下采样模块的输出特征图；153.所述第二上采样模块包括：时频通道分离层、第二卷积层、第三卷积层、逆离散小波变换层和拼接层；其中，所述第二上采样模块的输入特征图输入到所述时频通道分离层得到第一时域特征图和第一频域特征图；所述第一时域特征图输入到所述第二卷积层得到第三中间特征图，所述第一频域特征图依次经过所述第三卷积层、所述逆离散小波变换层和所述第三卷积层得到第四中间特征图；所述第三中间特征图和所述第四中间特征图输入到所述拼接层得到所述第二上采样模块的输出特征图。154.在一些实施例中，所述构建模块1101进一步用于：在构建所述图像处理神经网络之后训练所述图像处理神经网络，所述训练包括：155.获取训练图像集；利用所述训练图像集对所述图像处理神经网络进行训练直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。156.示例性的，在一些实施例中，所述图像处理神经网络的损失函数为：argmin(l1 lcd)；其中，l1为范数损失项，lcd为颜色色度差异损失项。157.采用上述装置，在将原始raw图像映射到srgb图像时，通过并联的时域unet子网络和频域unet子网络，分别进行时域特征图提取和频域特征图提取，得到频域特征图能够弥补时域特征图的信息缺陷，综合利用图像的时域信息和频域信息，进一步优化了图像处理器性能，提高了图像处理效果。158.本技术实施例中还提供了一种计算系统，如图12所示，该计算系统120包括：处理器1201和配置为存储能够在处理器1201上运行的计算机程序的存储器1202，159.其中，处理器1201配置为运行计算机程序时，执行前述实施例中的方法步骤。160.所述处理器1201包括以下的至少一者：中央处理器cpu；图形处理器gpu；数字信号处理器dsp；图像信号处理器isp；以及神经网络处理器npu。161.当然，实际应用时，如图12所示，该计算系统中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。162.上述存储器可以是易失性存储器(volatilememory)，例如随机存取存储器(ram，random-accessmemory)；或者非易失性存储器(non-volatilememory)，例如只读存储器(rom，read-onlymemory)，快闪存储器(flashmemory)，硬盘(hdd，harddiskdrive)或固态硬盘(ssd，solid-statedrive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。163.本技术中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personaldigitalassistant，pda)、便捷式媒体播放器(portablemediaplayer，pmp)、可穿戴设备、智能手环、相机等。164.在示例性实施例中，本技术实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由电子设备的处理器执行，以完成前述方法的步骤。165.应当理解，在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本技术中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。166.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。167.本技术实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。168.在本技术所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。169.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。170.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。171.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
