图像智能处理方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像智能处理方法、装置、设备及存储介质。


背景技术：

2.目前，图像增强被广泛用于进一步提高数码相机拍摄的照片的感知质量。许多专业软件产品(如photoshop、lightroom、3d lut creator)和移动应用程序(如snapseed、vsco、pollar)都是为此目的而设计的。三维查找表被广泛应用于操作照片的颜色和色调，但它们通常是在相机成像管道或照片编辑工具中手动调整和固定的。但是目前市面上三维查找表大多是手工设计的，既繁琐又昂贵，且一个三维查找表只能提供固定的变换，难以适应不同场景。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供了一种图像智能处理方法、装置、设备及存储介质，旨在解决现有技术中一个三维查找表只能提供固定的变换，难以适应不同场景的技术问题。
5.为实现上述目的，本发明提供了一种图像智能处理方法，所述方法包括以下步骤：获取待处理图像；通过卷积神经网络获得所述待处理图像的类别权重；根据所述类别权重确定智能三维查找表；根据所述智能三维查表对所述待处理图像进行图像增强处理，获得目标图像。
6.可选地，所述通过卷积神经网络获得所述待处理图像的类别权重的步骤，包括：根据所述神经网络获取所述待处理图像的参考信息，其中，所述参考信息包括所述待处理图像的亮度、颜色以及色调；根据所述参考信息确定所述待处理图像与多个预设场景的相似度；根据所述相似度确定多个所述待处理图像的类别权重。
7.可选地，所述根据所述类别权重确定智能三维查找表，还包括：获取分别与多个所述类别权重对应的预设三维查找表；根据所述预设三维查找表获得所述待处理图像的特征图；根据所述类别权重和所述特征图得到智能三维查找表。
8.可选地，所述根据所述预设三维查找表获得所述待处理图像的特征图，还包括：获取所述待处理图像的多个像素值；获取所述像素值在所述预设三维查找表中查找对应的三维坐标；获取所述三维坐标周围多个坐标点；根据所述三维坐标和所述坐标点进行插值处理，得到多个目标像素值；
根据所述多个目标像素值确定特征图。
9.可选地，所述根据所述类别权重和所述特征图得到智能三维查找表，包括：获取所述特征图的目标像素值；根据所述目标像素值和多个所述类别权重进行计算，获得多个计算结果；根据所述多个计算结果进行整合，得到智能三维查找表。
10.可选地，所述获取待处理图像，包括：获取初始图像中像素点的像素值；将所述像素点的像素值进行归一化处理，以压缩至预设数值之间获得初始像素值；根据所述初始像素值得到待处理图像。
11.可选地，所述根据所述智能三维查表对所述待处理图像进行处理获得目标图像之后，还包括：获取参考图像；获取所述参考图像的第一像素值；获取所述目标图像的目标像素值；根据所述第一像素值和所述目标像素值计算损失函数；根据所述损失函数计算权重；根据所述权重更新所述类别权重，通过更新后的类别权重更新所述智能三维查表。
12.此外，为实现上述目的，本发明还提供一种图像智能处理装置，所述装置包括：获取模块，用于获取待处理图像；所述获取模块，还用于通过卷积神经网络获得所述待处理图像类别权重；所述获取模块，还用于根据所述类别权重确定智能三维查找表；处理模块，用于根据所述智能三维查表对所述待处理图像进行处理获得目标图像。
13.此外，为实现上述目的，本发明还提出一种图像智能处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像智能处理程序，所述图像智能处理程序配置为实现如上文所述的图像智能处理方法的步骤。
14.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像智能处理程序，所述图像智能处理程序被处理器执行时实现如上文所述的图像智能处理方法的步骤。
15.本发明通过卷积神经网络对图像进行处理获得所述图像的权重类别，将多个图像的权重类别进行计算获得智能三维查找表，根据所述智能三维查表对所述待处理图像进行图像增强处理，获得目标图像，从而可根据所述待处理图像的种类通过集合各种种类的智能三维查找表进行图像增强处理，提高通过三维查进行图像增强处理的适用范围，并提高图像处理的效率。
附图说明
16.图1是本发明实施例方案涉及的硬件运行环境的图像智能处理设备的结构示意
图；图2为本发明图像智能处理方法第一实施例的流程示意图；图3为本发明图像智能处理方法一实施例卷积神经网络示意图；图4为本发明图像智能处理方法一实施例智能三维查找表算法结构图；图5为本发明图像智能处理方法第二实施例的流程示意图；图6为本发明图像智能处理方法第三实施例的流程示意图；图7为本发明图像智能处理方法一实施例三维查找表映射图；图8为本发明图像智能处理方法第四实施例的流程示意图；图9为本发明图像智能处理方法一实施例图像智能处理对比图；图10为本发明图像智能处理装置第一实施例的结构框图。
17.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
18.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
19.参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像智能处理设备结构示意图。
20.如图1所示，该图像智能处理设备可以包括：处理器1001，例如中央处理器（central processing unit，cpu），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器1005可以是高速的随机存取存储器（random access memory，ram），也可以是稳定的非易失性存储器（non-volatile memory，nvm），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
21.本领域技术人员可以理解，图1中示出的结构并不构成对图像智能处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
22.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像智能处理程序。
23.在图1所示的图像智能处理设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明图像智能处理设备中的处理器1001、存储器1005可以设置在图像智能处理设备中，所述图像智能处理设备通过处理器1001调用存储器1005中存储的图像智能处理程序，并执行本发明实施例提供的图像智能处理方法。
24.基于上述图像智能处理设备，本发明实施例提供了一种图像智能处理方法，参照图2，图2为本发明图像智能处理方法第一实施例的流程示意图。
25.本实施例中，所述图像智能处理方法包括以下步骤：步骤s10：获取待处理图像。
26.需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、平板电脑、个人电脑等，或者是一种能够实现上述
功能的电子设备或图像智能处理设备。以下以所述图像智能处理设备为例，对本实施例及下述各实施例进行说明。
27.应理解的是，待处理图像是将接收到的需要进行图像增强调整的原始图像进行归一化处理之后得到的图像；归一化处理是指将目标数值转化为0~1之间的数值，再进行数据处理的过程中更加快捷方便。
28.在具体实施中，获得的图像像素点一般都在0~255之间，将各个像素点的像素值压缩直0~1之间，再进行数据处理，例如当前所述像素点的像素值为224、10、155、184，将224、10、155、184压缩直0~1之间的数值为0.875、0.039、0.605、0.718进行数据处理。
29.步骤s20：通过卷积神经网络获得所述待处理图像的类别权重。
30.需要说明的是，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，此处所述卷积神经网络是指具有根据图像信息进行图像分类，得到类别权重算法的一种卷积神经网络，所述卷积神经网络的模型结构如下表：基于卷积神经网络的权重预测器旨在理解图像的亮度、颜色和色调等全局上下文信息，以输出与内容相关的权重，达到精准对图片场景进行分类；所述卷积神经网络由六部分构成：block 0、block 1 、block 2、 block 3、block 4、classifier，block0使用双线性插值将图片分辨率缩小到256*256，目的是减少参数量，提高算法效率，block1、block2、block3、block4中的卷积块个数分别为3、3、9、3。卷积块是由7*7的可分离卷积、layernorm、1*1的点卷积、gelu激活函数、1*1的点卷积构成深度可分离卷积块，输入一个高为h，宽为w，通道数为c的特征图，通过卷积块得到一个输出（h,w,c）可参考如图3，图3中block中的下采样模块是由一层卷积层和一层layernorm构成，进行下采样使特征图尺寸减少4倍或者2倍，classifier是由一个dropout层和8*8卷积构成，输出权重个数与三维搜查表的个数对应。
31.应理解的是，所述卷积神经网络预设有不同场景类别，将所述待处理图像信息与预设场景的信息进行对比从而达到对待处理图像分类进行分类。
32.在具体实施中，例如获得一张宠物图像，通过卷积神经网络获得该宠物图像的颜
色、主体、色调等信息，根据宠物图像信息可以将该图像分为宠物类或者是场景类或者是夜景类，根据该图像的类别得到图像的类别权重。
33.步骤s30：根据所述类别权重确定智能三维查找表。
34.需要说明的是，三维查找表是一个对应数值的列表，可以通过该列表查询任何输入值以及其所对应的输出值，是色彩转换技术中常用的一种技术。通过将源色彩空间进行分割划分为一个个规则的立方体，每个立方体的八个定点的数据是已知的，将所有源空间的已知点构成一张三维查找表，原理本质上就是一个映射关系，例如输入颜色(r, g, b)，通过查找表去查找，得到一个新的颜色 (r, g, b)，则完成了一次映射操作。
35.应理解的是，所述类别权重包括多个类别权重，且每个类别权重有相对应的三维查找表，根据类别权重以及相对应的三维查找表计算即可得到智能三维查找表可参考图4，通过算法使用卷积神经网络对输入图片进行分类，得到类别权重，使用类别权重与多个三维查找表相乘，再将多个三维查找表相加得到智能三维查找表，然后将输入图利用智能三维查找表计算输出得到目标图像。
36.步骤s40：根据所述智能三维查表对所述待处理图像进行图像增强处理，获得目标图像。
37.可理解的是，所述目标图像是待处理图像经过智能三维查找表进行图像增强处理后得到的图像。
38.在具体实施中，例如一张宠物图像中某一个像素点的像素值经过卷积神经网络后输入智能三维查找表数据为（4，2，9），根据输入数据找到智能三维表中对应的数值为（0.6，4，7.2），输出数据（0，4，7）得到该像素点增强调整后的像素值。
39.本实施例通过对待处理图像分类得到类别权重，根据图像类别权重确定智能三维查找表，通过智能三维查找表对图像进行视觉效果增强调整，解决了对单一图像进行图像增强需要手动设计三维查找表费时费力且利用率低的问题，实现了对不同场景类别的图像也可以进行更快速有效调整的效果。
40.参考图5，图5为本发明图像智能处理方法第二实施例的流程示意图。
41.基于上述第一实施例，在本实施例中，所述步骤s20包括：步骤s21：根据所述神经网络获取所述待处理图像的参考信息，所述参考信息包括所述待处理图像的亮度、颜色以及色调。
42.应要理解的是，所述色调是指图像相对明暗程度，在彩色图像上表现为颜色；颜色可理解为色相是指色彩的相貌，例如红、黄、绿蓝灯；色调可理解为图像背景可以是指拍摄环境，例如夜景、曝光、黄昏、白天等。
43.需说明的是，所述待处理图像的参考信息可以是亮度、颜色、色调、色相、饱和度、对比度等参数信息。
44.步骤s22：根据所述参考信息确定所述待处理图像与多个预设场景的相似度。
45.需要说明的是，所述预设场景是在卷积神经网络中预先保存的图像，所述图像经过卷积神经网络获取图像信息，并确定所述图像对应的类别，例如景色类、动物类、运动类等。
46.应理解的是，将所述待处理图像信息与多个预设场景信息进行对比，根据对比结果得到待处理图像和预设场景的相似度，根据相似度可以得到与该场景类别对应的类别权
重。
47.在具体实施中，一张宠物奔跑图像通过卷积神经网络可以得到该图像信息为一只在阳光中奔跑的宠物狗，将该图像信息与多个预设场景相对比，得到对比结果为与宠物类别场景的相似度是百分之40，与运动类场景相似度是百分之80。
48.步骤s23：根据所述相似度确定多个所述待处理图像的类别权重。
49.应理解的是，通过计算待处理图像与多个预设场景得到不同相似度，不同的相似度对应不同的类别权重，可以得到多个场景的类别权重。
50.本实施例根据神经网络获取待处理图像的参考信息，通过待处理图像的参考信息对待处理图像进行分类，得到类别权重，实现了对于不同类别图像的差别化处理进而达到对不同类别场景的待处理图像进行图像增强处理。
51.参考图6，图6为本发明图像智能处理方法第三实施例的流程示意图。
52.基于上述各实施例，在本实施例中，所述步骤s30，包括：步骤s31：获取多个与所述类别权重对应的预设三维查找表。
53.需要说明的是，所述预设三维查找表是针对所述预设场景设计的三维查找表，每个预设场景都有相对应的预设三维查找表，通过待处理图像与预设场景的相似度可以得到待处理图像的类别以及所述预设图象类别对应的预设三维查找表，如图5所示可以理解，根据卷积神经网络得到所述待处理图像的类别权重w1、w2、w3、w4、w5等等，与w1、w2、w3、w4、w5有相对应的三维查找表1、三维查找表2、三维查找表3、三维查找表4、三维查找表5等等。
54.在具体实施中，通过卷积神经网络确定待处理图像是运动类白天场景类别的图像，可根据运动类白天场景类别的图像对应的预设三维查找表对所述待处理图像进行查找处理。
55.步骤s32：根据所述预设三维查找表获得所述待处理图像的特征图。
56.需要说明的是，将所述待处理图像像素点的像素值在预设三维查找表中进行对应像素值查找，对所述对应像素值周围8个坐标点进行三线性插值计算得到目标像素值，将所述目标像素值整合得到特征图，可参考图7，三维查找表定义了一个三维的格子，它由个元素构成，m（图2中m为4）代表每个颜色通道的格子数。三维查找表中的输入到输出的颜色变换 (r, g, b) = f(r, g, b）是通过两个基本操作来实现的:查找和三线性插值。输入一个像素值，然后找到对应的三维查找表中的坐标，最后根据坐标邻近的8个元素进行三线性插值得到输出的像素值。我们将三维查找表中每个格子所映射的像素值作为可学习参数，通过训练模型来优化三维查找表的性能。
57.步骤s33：根据所述类别权重和所述特征图得到智能三维查找表。
58.需要说明的是，根据特征图的到特征图对应的像素点集合，获得各像素点的目标像素值，将目标像素值和多个类别权重相乘的到多个相乘之后的结果，将多个结果相加之后的到智能三维查找表。
59.在具体实施中，待处理图像经过卷积神经网络确定待处理图像对应的类别权重是x、y、z、n，x对应的特征图像素值为x1、x2、x3、x4、x5，y对应的特征图像素值为y1、y2、y3、y4、y5，z对应的特征图像素值为z1、z2、z3、z4、z5，n对应的特征图像素值为n1、n2、n3、n4、n5；将x与x1、x2、x3、x4、x5相乘得到结果x1，将y与y1、y2、y3、y4、y5相乘得到结果y1，将z与z1、z2、z3、z4、z5相乘得到结果n1，将z与n1、n2、n3、n4、n5相乘得到结果n1，再将x1、y1、z1、n1相加
得到智能三维查找表。
60.本实施例根据不同类别对应的类别权重以及对应的预设三维查找表进行计算获得智能三维查找表，通过智能三维查找表可以直接对不同类别图像分类区别性的对待处理图像进行图像处理，实现了快速的准确地对不同类别图像进行图像处理的效果。
61.基于上述各实施例，提出本发明图像智能处理方法第四实施例。
62.参考图8，图8为本发明图像智能处理方法第四实施例的流程示意图。
63.在本实施例中，所述步骤s40之后还包括以下步骤：步骤s51，获取参考图像。
64.需说明的是，根据待处理图像的类别专门设计一款三维查找表，根据该三维查找表对所述待处理图像进行手动处理后得到的图像就是参考图像。
65.应理解的是，所述参考图像与待处理图像是在对智能三维查找表模型进行训练的一组对照图像，可参考图9，图9中从左往右第一张图为待处理图像，从左往右第二张图为智能三维查找表处理后图像，从左往右第三张图为手动处理后的参考图像。
66.步骤s52，获取所述参考图像的参考素值。
67.需说明的是，参考素值时将参考图像中参考像素点的像素值。
68.可理解的是，此处的参考素值是对待处理图像进行手动处理后得到的图像的像素值，是作为目标图像像素值的对照值。
69.步骤s53，获取所述目标图像的目标像素值。
70.需说明的是，所述目标像素值是待处理图像经过智能三维查找表进行图像处理后输出得到的目标图像的像素值。
71.步骤s54，根据所述参考像素值和所述目标像素值计算损失函数。
72.可理解的是，参考图像中有多个参考像素值以及对应目标图像中有多个目标像素值。
73.需说明的是，根据多个对应的参考像素值和目标像素值建立损失函数模型得到损失函数。
74.步骤s55，根据所述损失函数计算权重。
75.可理解的是，已知损失函数，根据损失函数进行优化计算可以得到出更加合理的权重。
76.步骤s56，根据所述权重更新所述类别权重，通过更新后的类别权重更新所述智能三维查表。
77.可理解的是，根据损失函数计算出的权重可以根据卷积神经网络计算出各预设场景对应的更新后的类别权重，在通过对所述类别权重的替换更新达到对智能三维查找表的优化。
78.再具体实施中，基于平台pytorch在一张rtx3090gpu上进行的，利用随机梯度下降算法（stochastic gradient descent，sgd），momentum设置为0.9, weight_decay设置为0.01，使用“ploy”学习率策略，基础学习率设置lr为0.001，power设置为2.0，一般情况下，所述损失函数在200次迭代后几乎收敛，因此可设置最大迭代次数为300次。
79.本实施例通过待处理图像经过智能三维查找表处理后得到的目标图像和待处理图像经过人工处理后得到的参考图像进行对比建立损失函数，计算更合理的类别权重，进
而优化智能三维查找表，让智能三维查找表处理后的目标图像更加趋近于参考图像，实现了让智能三维查找表更加快速、高效、准确地对待处理图像进行图像增强处理。
80.参照图10，图10为本发明图像智能处理装置第一实施例的结构框图。
81.如图10所示，本发明实施例提出的图像智能处理装置包括：获取模块10，用于获取待处理图像。
82.所述获取模块10，还用于通过卷积神经网络获得所述待处理图像类别权重。
83.所述获取模块10，还用于根据所述类别权重确定智能三维查找表。
84.处理模块20，用于根据所述智能三维查表对所述待处理图像进行处理获得目标图像。
85.本实施例通过卷积神经网络对图像进行处理获得所述图像的权重类别，将多个图像的权重类别进行计算获得智能三维查找表，根据所述智能三维查表对所述待处理图像进行图像增强处理，获得目标图像，从而可根据所述待处理图像的种类通过集合各种种类的智能三维查找表进行图像增强处理，提高通过三维查进行图像增强处理的适用范围，并提高图像处理的效率。
86.在一实施例中，所述获取模块10，还用于根据所述神经网络获取所述待处理图像的参考信息，所述参考信息包括所述待处理图像的亮度、颜色以及色调；根据所述参考信息确定所述待处理图像与多个预设场景的相似度；根据所述相似度确定多个所述待处理图像的类别权重；在一实施例中，所述获取模块10，还用于获取多个与所述类别权重对应的预设三维查找表；根据所述预设三维查找表获得所述待处理图像的特征图；根据所述类别权重和所述特征图得到智能三维查找表。
87.在一实施例中，所述获取模块10，还用于获取所述待处理图像的多个像素值；获取所述像素值在所述预设三维查找表中查找对应的三维坐标；获取所述三维坐标周围多个坐标点；根据所述三维坐标和所述坐标点进行插值处理，得到多个目标像素值；根据所述多个目标像素值确定特征图。
88.在一实施例中，所述获取模块10，还用于获取所述特征图的目标像素值；根据所述目标像素值和多个所述类别权重进行计算，获得多个计算结果；根据所述多个计算结果进行整合，得到智能三维查找表。
89.在一实施例中，所述获取模块10，还用于获取初始图像中像素点的像素值；将所述像素点的像素值进行归一化处理，得到压缩至预设数值之间的初始像素值；根据所述初始像素值得到待处理图像。
90.在一实施例中，所述获取模块10，还用于获取参考图像；获取所述参考图像的参考像素值；获取所述目标图像的目标像素值；根据所述参考像素值和所述目标像素值计算损失函数；根据所述损失函数计算权重；
根据所述权重更新所述类别权重，通过更新后的类别权重更新所述智能三维查表。
91.本发明智能图像处理装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
92.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有智能图像处理程序，所述智能图像处理程序被处理器执行时实现如上文所述的智能图像处理方法的步骤。
93.本发明存储介质的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
94.在本实施例中，需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
95.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的图像智能处理方法，此处不再赘述。
96.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
97.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
98.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
99.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。