生成图像质量评价模型的方法、图像质量评价方法及装置与流程

1.本公开涉及计算机视觉技术领域，尤其涉及生成生成图像质量评价模型的方法、图像质量评价方法及装置。


背景技术：

2.随着业务对图像质量以及用户使用体验感要求的不断提高，图像质量评价方法的研究显得越来越重要。图像质量评价主要分为客观评价以及主观感受评价。其中，客观评价方式主要是通过算法来评估图像的质量，主观评价方式是通过人眼直接给出观感得分，最贴近用户感受。但在实际场景中，主观评价方式时间成本极高，并且主观评价方式易受到显示设备、评价者主观情绪等外部因素影响。因此，图像质量评价方法的目标就是设计出一种能够贴近主观评价结果的客观评价算法。
3.图像质量评价方法根据使用原始图像信息的程度分为全参考图像质量评价、半参考图像质量图像评价、无参考图像质量评价。在实际业务场景中，一般无法获取到未失真的参考图像，因此无参考图像质量评价受到关注。但是由于没有可供参考的图像，且图像内容十分丰富，无参考图像质量评价具有较高的挑战。
4.现有技术中常基于传统图像处理方法进行无参考图像质量评价，主要是手工设计图像质量特征，再使用分类器完成对图像质量的评价。但是，使用手工设计的特征作为无参考图像的特征输入分类回归模型，模型泛化性不足，无法保证在大数据量业务场景下的稳定性；此外还存在误差累计的问题，精度较为不足。
5.因此，需要一种新的图像质量评价方案。


技术实现要素：

6.本公开提供了一种图像质量评价方案，以力图解决或者至少缓解上面存在的至少一个问题。
7.根据本公开的一个方面，提供了一种生成图像质量评价模型的方法，包括：构建用于生成图像质量评价模型的训练模型，训练模型包括：特征提取组件、池化组件和分值预测组件；将训练图像输入训练模型进行处理，包括：训练图像经特征提取组件进行特征提取，得到特征图；特征图经池化组件进行融合，得到特征融合图；特征融合图经所述分值预测组件处理，得到指示训练图像质量的预测分值；通过计算预测分值与训练图像的主观分值的损失值，来调整训练模型的模型参数，直至训练结束，得到训练好的训练模型；以及对训练好的训练模型进行等效变换，以生成图像质量评价模型。
8.可选地，根据本公开的方法还包括：将训练好的训练模型中的特征提取组件进行等效变换，得到等效后的特征提取组件。
9.可选地，在根据本公开的方法中，特征提取组件包括至少一个特征提取阶段，且特征提取阶段中包括不同数量个卷积处理块，其中，卷积处理块包括耦接的多分支模块和注意力模块，多分支模块适于提取图像的特征，注意力模块适于通过所生成的注意力权值对
特征进行增强处理。
10.可选地，在根据本公开的方法中，池化组件包括3个池化层和特征融合层，其中池化层对输入的特征图进行池化，得到对应的池化特征图，特征融合层将各池化特征图与所述特征图进行融合，得到固定尺寸的特征融合图。
11.可选地，在根据本公开的方法中，分值预测组件包含4个全连接层。
12.可选地，在根据本公开的方法中，多分支模块包括3x3卷积分支、1x1卷积分支以及恒等映射分支。
13.可选地，在根据本公开的方法中，将训练好的训练模型中的特征提取组件进行等效变换，得到等效后的特征提取组件的步骤包括：基于多分支模块，转换得到单分支结构；利用单分支结构替换所述特征提取组件中的多分支模块，得到等效后的特征提取组件。
14.可选地，在根据本公开的方法中，基于多分支模块转换得到单分支结构的步骤包括：针对各分支，结合学习到的参数，融合卷积层和批量归一化层，得到融合后的卷积层；将各分支融合后的卷积层叠加，得到单分支结构。
15.可选地，在根据本公开的方法中，注意力模块还适于通过计算最小能量的倒数来生成注意力权值。
16.可选地，在根据本公开的方法中，损失值通过如下公式计算：
[0017][0018]
式中，q表示训练模型输出的预测分值，表示主观分值。
[0019]
根据本公开的另一方面，提供了一种图像质量评价方法，包括：将待评价图像输入图像质量评价模型进行处理，得到图像质量评价分数，其中图像质量评价模型通过执行如上所述的方法来生成。
[0020]
根据本公开的另一方面，提供了一种图像质量评价装置，包括：模型训练单元，适于构建训练模型，并通过训练训练模型来生成图像质量评价模型；图像质量评价单元，适于利用图像质量评价模型，对待评价图像进行处理，以得到图像质量评价分数。
[0021]
根据本公开的再一方面，提供了一种计算设备，包括：一个或多个处理器存储器；一个或多个程序，其中所述一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上任一方法的指令。
[0022]
根据本公开的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令在被计算设备执行时，使得计算设备执行如上所述的任一方法。
[0023]
综上所述，根据本公开的方案，在构建训练模型时，特征提取组件部分(尤其是多分支模块)，在训练阶段，使用多分支网络学习图像特征；在预测阶段，通过结构重参数化技术将多分支网络结构等价为单分支网络结构，提升模型推理速度，降低模型对于峰值内存的占用，便于模型部署。
[0024]
此外，在特征提取组件中，使用simattention模块作为注意力模块，在不增加参数、不改变模块结构的同时，提升了模型对于图像质量有效特征的提取能力。
[0025]
此外，使用池化组件，解决了后续分值预测组件的全连接层要求输入必须固定的问题，更适合实际业务场景下的使用。
[0026]
上述说明仅是本公开技术方案的概述，为了能够更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。
附图说明
[0027]
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
[0028]
图1示出了根据本公开一些实施例的图像质量评价装置100的示意图；
[0029]
图2示出了根据本公开一些实施例的计算设备200的示意图；
[0030]
图3示出了根据本公开一些实施例的生成图像质量评价模型的方法300的流程示意图；
[0031]
图4示出了根据本公开一些实施例的训练模型400的示意框图；
[0032]
图5示出了根据本公开一些实施例的卷积处理块的结构示意图；
[0033]
图6示出了根据本公开一些实施例的注意力模块的结构示意图；
[0034]
图7示出了根据本公开一些实施例的池化组件的结构示意图；
[0035]
图8示出了根据本公开一些实施例的图像质量评价方法800的流程示意图。
具体实施方式
[0036]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0037]
随着计算机视觉方法的不断进步，现有技术中也出现了基于深度学习的图像质量评价方法。例如，中国专利申请cn113066065a提出了一种无参考图像质量评价模型，该模型首先使用特征提取网络提取输入图像的图像质量特征，再使用双通道卷积计算网络输出对应图像质量特征。双通道卷积计算网络包括密集哈达玛卷积以及多层卷积通道，其中密集哈达玛卷积输出第一特征向量，多层卷积通道输出第二特征向量，最后将第一特征向量与第二特征向量相结合，并使用该融合特征向量共同映射出图像质量分数。该方法完全端到端，相比于传统方法，能够提高图像质量评价的准确率，但是，由于该方法引入两次特征提取网络，使得模型复杂度较高，对于运算资源要求较高，不利于模型的部署。
[0038]
针对现有无参考图像质量评价模型实时性不足且评价准确率不高的问题，本公开提出了一种图像质量评价方案。
[0039]
图1示出了根据本公开一些实施例的图像质量评价装置100的示意图。图像质量评价装置100包括耦接的模型训练单元110和图像质量评价单元120。
[0040]
模型训练单元110用于构建训练模型，并通过训练该训练模型来生成图像质量评价模型。根据一些实施例，该训练模型包括耦接的特征提取组件、池化组件和分值预测组
件。关于训练模型的结构，在下文中会做具体描述。
[0041]
图像质量评价单元120用于利用图像质量评价模型，对待评价图像进行处理，以得到图像质量评价分数。
[0042]
进一步地，模型训练单元110执行生成图像质量评价模型的方法300，先对训练模型进行训练，得到训练好的训练模型；之后，对训练好的训练模型进行等效变换，来生成图像质量评价模型。在一些实施例中，保持训练好的训练模型中各组件的网络参数不变，只对特征提取组件中的部分网络结构进行等效变换，以提升模型推理速度，降低模型对于峰值内存的占用，便于模型部署。
[0043]
图像质量评价单元120执行图像质量评价方法800，利用图像质量评价模型，对待评价图像进行处理，以得到图像质量评价分数。
[0044]
关于图像质量评价装置100，可参考下文对生成图像质量评价模型的方法300和图像质量评价方法800的具体描述。
[0045]
根据本公开，图像质量评价装置100可以通过1个或多个计算设备来显示。
[0046]
图2示出了根据本公开一个实施例的计算设备200的结构框图。
[0047]
如图2所示，在基本配置202中，计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。
[0048]
取决于期望的配置，处理器204可以是任何类型的处理器，包括但不限于：微处理器(μp)、微控制器(μc)、数字信息处理器(dsp)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(alu)、浮点数单元(fpu)、数字信号处理(dsp)核心或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。
[0049]
取决于期望的配置，系统存储器206可以是任意类型的存储器，包括但不限于：易失性存储器(诸如ram)、非易失性存储器(诸如rom、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器ram，磁盘中的数据需要加载至物理内存中才能够被处理器204读取。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中，应用222可以布置为在操作系统上由一个或多个处理器204利用程序数据224执行指令。操作系统220例如可以是linux、windows等，其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用222包括用于实现各种用户期望的功能的程序指令，应用222例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境ide、编译器等)等，但不限于此。
[0050]
在计算设备200启动运行时，处理器204会从存储器206中读取操作系统220的程序指令并执行。应用222运行在操作系统220之上，利用操作系统220以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用222时，应用222会加载至存储器206中，处理器204从存储器206中读取并执行应用222的程序指令。
[0051]
计算设备200还包括储存设备232，储存设备232包括可移除储存器236(例如cd、dvd、u盘、可移动硬盘等)和不可移除储存器238(例如硬盘驱动器hdd等)，可移除储存器236和不可移除储存器238均与储存接口总线234连接。
[0052]
计算设备200还可以包括储存接口总线234。储存接口总线234实现了从储存设备
232(例如，可移除储存器236和不可移除储存器238)经由总线/接口控制器230到基本配置202的通信。操作系统220、应用222以及程序数据224的至少一部分可以存储在可移除储存器236和/或不可移除储存器238上，并且在计算设备200上电或者要执行应用222时，经由储存接口总线234而加载到系统存储器206中，并由一个或者多个处理器204来执行。
[0053]
计算设备200还可以包括有助于从各种接口设备(例如，输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个a/v端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个i/o端口258和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。
[0054]
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中以编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(rf)、微波、红外(ir)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
[0055]
计算设备200可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然，计算设备200也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(pda)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。甚至可以被实现为服务器，如文件服务器、数据库服务器、应用程序服务器和web服务器等。本发明的实施例对此均不做限制。
[0056]
在根据本公开的实施例中，计算设备200被配置为执行根据本公开的生成图像质量评价模型的方法300，和/或，图像质量评价方法800。其中，布置在操作系统上的应用222中包含用于执行上述一种或多种方法的多条程序指令，这些程序指令可以指示处理器204执行本公开的上述方法，以实现文本检测。
[0057]
图3示出了根据本公开一个实施例的生成图像质量评价模型的方法300的流程示意图。在一种实施例中，方法300利用前述模型训练单元110来执行。
[0058]
如图3所示，方法300始于310。在310中，构建用于生成图像质量评价模型的训练模型。
[0059]
根据本公开的实施方式，训练模型基于卷积神经网络。在一些实施例中，训练模型包括耦接的特征提取组件、池化组件和分值预测组件。其中，特征提取组件用于提取输入图像的图像特征；池化组件用于在不同感受野下将所提取的特征进行融合；分值预测组件通常采用全连接层，用来预测图像质量分值。在一种实施例中，池化组件还可以适应各种尺寸的输入，并融合成固定尺寸的特征融合图，以确保输入分值预测组件的图像大小一致。
[0060]
以下对训练模型做进一步介绍。
[0061]
图4示出了根据本公开一些实施例的训练模型400的示意框图。如图4所示，训练模型400包括依次耦接的特征提取组件410、池化组件420和分值预测组件430。
[0062]
根据本公开的一些实施例，特征提取组件410包括至少一个特征提取阶段，且各特征提取阶段中分别包括不同数量个卷积处理块。在一种实施例中，特征提取组件410包括5个特征提取阶段，依次记作stage1、stage2、stage3、stage4和stage5，如图4所示。在一种实施例中，stage1包括1个卷积处理块，stage2包括2个卷积处理块，stage3包括4个卷积处理块，stage4包括14个卷积处理块，stage5包括1个卷积处理块。当然不限于此。
[0063]
图5示出了根据本公开一些实施例的卷积处理块(c)的结构示意图。
[0064]
当特征提取阶段中包含不止一个卷积处理块(c)时，多个卷积处理块(c)依次耦接，如图5示出了2个卷积处理块(c)。卷积处理块(c)又包括耦接的多分支模块(r)和注意力模块(a)。其中，多分支模块(r)主要用来提取图像的特征，注意力模块(a)通过所生成的注意力权值对特征进行增强处理。
[0065]
如图5中(a)所示，多分支模块(r)包括1个3x3卷积分支(g(x))、1个1x1卷积分支(f(x))以及1个恒等映射分支(x)，记作：y＝x f(x) g(x)。应当了解，在各卷积分支中，除了卷积层外，还包含bn(批量归一化)层，卷积层中除卷积操作外，还可能包含激活等操作，本公开对此不做过多限制。通过采用多分支网络结构，多分支模块(r)能够提高特征提取的精度，有利于提高训练模型对于图像质量特征提取的性能。
[0066]
此外，为进一步提高训练模型的性能，在卷积处理块(c)中还引入了注意力模块(a)。如图5中(a)所示，在将3个分支的特征进行融合后，引入注意力模块(a)，通过注意力模块(a)所生成的注意力权值对特征进行增强处理。
[0067]
如图6示出了根据本公开一些实施例的注意力模块(a)的结构示意图。注意力模块(a)通过输入的特征图，计算出3d注意力权值。在一些实施例中，注意力模块(a)采用simattention模块，通过计算最小能量的倒数来生成注意力权值。注意力模块(a)对输入的处理过程可参考下述公式所示：
[0068][0069]
其中，x表示输入，表示输出，e表示最小能量。
[0070]
以下结合图6，对simattention模块的推导最小能量的过程做进一步说明。
[0071]
simattention模块通过定义神经元之间的线性可分性找到更重要的神经元。首先，定义神经元能量函数，其形式如下式所示，其中c个通道中含有m＝w*h个能量函数，
[0072][0073][0074][0075]
式中，因此可以得到最小能量et*
如下式，
[0076][0077]
能量越低表明神经元t与周围神经元区别越大，表明其重要性越高，因此可以通过计算最小能量倒数来表示注意力，进而生成(generation)注意力权值。如图6，经simattention模块生成的注意力权值是三维的(3d weights)。之后，在通道和空间位置上对注意力权值进行扩张(expansion)，最终和输入特征(c
×w×
h)相融合(fusion)，得到增强后的特征并输出。
[0078]
由于只需要计算最小能量，未引入其他参数，避免了神经网络结构的变化，使得训练模型的开发更为方便，但同时又提升了训练模型的性能。
[0079]
如图4所示，池化组件420与特征提取组件410相耦接，其包括3个并行的池化层和特征融合层。将特征图输入池化组件420进行融合处理，得到特征融合图，通过引入多层并行池化层实现模型可适应多种输入图像，同时，输出的特征融合图又是固定尺寸，解决了全连接层需要输入图像大小一致的问题。
[0080]
图7示出了根据本公开一些实施例的池化组件420的结构示意图。如图7所示，池化层422、池化层424、池化层426并行连接，分别对输入的特征图进行池化，得到对应的池化特征图。之后，特征融合层428将各池化特征图与原始的特征图进行融合，得到固定尺寸的特征融合图。在一种实施例中，池化层422、池化层424、池化层426均采用最大池化，池化窗尺寸依次为5*5、7*7、13*13，通过不同感受野下的特征融合，可进一步提高模型准确率。
[0081]
继续如图4，分值预测组件430与池化组件420耦接，其包含4个全连接层，用于对特征融合图进行卷积等处理，最终输出指示训练图像质量的预测分值。根据一种实施例，4个全连接层(依次记作fc1、fc2、fc3和fc4)的输出维度依次为2048、1024、256和1。应当了解，在全连接层中，除卷积外，还包含激活等处理，可选地，激活函数选择relu，当然不限于此。
[0082]
应当了解，在构建训练模型时，步骤310还包括采集训练图像，并预先得到训练图像的图像质量主观评价分值(以下简称“主观分值”)。
[0083]
在一些实施例中，使用koniq-10k数据集作为训练图像的数据集，该数据集为目前的图像质量评价数据集，共含有10073张图像样本，其中每一张图像由1459名志愿者给出针对图像质量的五类评分，并将这五类评分映射至[0,100]。
[0084]
此外，针对主观分值，还可以在同样的实验条件下由多个专业摄影师进行主观打分，得到平均主观得分。将志愿者与专业摄影师的平均主观得分分布进行拟合，作为最终的主观分值，以平衡参加主观评价人群的可靠性。
[0085]
随后在320中，将训练图像输入训练模型进行处理。
[0086]
具体地，训练图像输入特征提取组件410，由其进行特征提取，得到特征图。之后，将特征图输入池化组件420，由其进行特征融合，得到特征融合图。之后，特征融合图再经分值预测组件430处理，得到指示训练图像质量的预测分值。
[0087]
关于训练模型400处理训练图像的过程，可参考前文关于训练模型400的网络结构的相关描述，此处不再赘述。
[0088]
随后在330中，通过计算预测分值与训练图像的主观分值的损失值，来调整训练模型400的模型参数，直至训练结束，得到训练好的训练模型。
[0089]
通过实验发现，一阶损失函数相较于二阶损失函数，训练更为稳定。故，在一些实施例中，损失值l
mae
通过如下公式计算：
[0090][0091]
式中，q表示训练模型输出的预测分值，表示主观分值。
[0092]
此外，为防止过拟合，根据本公开的一些实施例，在训练过程中，还会对分值预测组件430中的全连接层设置dropout。具体地，在fc1、fc2、fc3中均设置dropout＝0.25。
[0093]
直至训练结束，得到训练好的训练模型，具体包括：训练好的特征提取组件、训练好的池化组件和训练好的分值预测组件。
[0094]
随后在340中，对训练好的训练模型进行等效变换，以生成图像质量评价模型。
[0095]
根据本公开的一些实施例，将训练好的训练模型中，训练好的特征提取组件进行等效变换，得到等效后的特征提取组件。之后，将等效后的特征提取组件、训练好的池化组件和训练好的分值预测组件耦接，即为图像质量评价模型。
[0096]
在一些实施例中，通过如下步骤来得到等效后的特征提取组件。
[0097]
如前文所述，特征提取组件410利用其中的多分支模块(r)，能够提高精度，有利于模型训练。然而在预测阶段，多分支的网络结构并行程度较低导致mac(memory access cost)较高，并且多分支结构内存利用率不高，这是由于模型输出时需要将各分支进行加和操作，这一位置在此操作前需要将各分支的参数进行保存，模型峰值内存较高，而进行其他操作时内存占用又下降明显。因此，首先对多分支模块(r)进行处理，将其等效转换成单分支结构。之后，利用单分支结构替换特征提取组件410中的所有多分支模块(r)，就得到等效后的特征提取组件。
[0098]
在一种实施例中，将多分支模块(r)等效转换为单分支网络结构，包括如下过程。针对各分支，结合bn层学习到的参数，融合卷积层和bn(批量归一化)层，得到融合后的卷积层，并将三个分支融合后的卷积层相叠加，等价为具有相同尺寸的卷积核，作为单分支结构。如图5中(b)，将3个分支等效变换为单分支的卷积层，单分支卷积层的卷积核尺寸为3*3，经该单分支卷积层输出的特征，被送入注意力模块(a)。
[0099]
根据本公开的实施例，bn层的参数包括：尺度因子γ、偏移因子β、累积的均值μ与标准差σ。
[0100]
如下式所示，定义输入m
(1)
∈r
nxc1xh1xw1
,输出m
(2)
∈r
nxc2xh2xw2
，式中w
(3)
∈r
c2xc1x3x3
表示输入为c1、输出为c2的3x3卷积(即3x3卷积分支)，w
(1)
、w
(0)
分别表示1x1卷积分支以及恒等映射分支，μ,σ,γ,β分别表示推理时bn层的参数，具体如下：
[0101]m(2)
＝bn(m
(1)
*w
(3)
,μ
(3)
,σ
(3)
,γ
(3)
,β
(3)
) bn(m
(1)
*w
(1)
,μ
(1)
,σ
(1)
,γ
(1)
,β
(1)
) bn(m
(1)
*w
(0)
,μ
(0)
,σ
(0)
,γ
(0)
,β
(0)
)
[0102]
进一步地，按照下式所示，结合学习到的参数，将bn层与卷积层相结合等价为一个带偏置的卷积层。其中，将恒等映射分支等效为卷积核为单位矩阵的1x1卷积，再对1x1卷积核进行扩充；将1x1卷积核参数加至3x3卷积核中心。并把三个分支的偏置(bias)相加，即可将三个分支等价为一个3x3卷积核。
[0103]
[0104][0105]
式中，wi′
表示第i个分支等价后的卷积的权重，bi′
表示第i个分支等价后的偏置，w
i,:,:,:
表示等价转换前的卷积层参数。
[0106]
至此，训练生成图像质量评价模型的方法300的流程介绍完毕。
[0107]
根据本公开的一些实施例，在构建训练模型时，特征提取组件部分(尤其是多分支模块)，使用repvgg网络结构设计。在训练阶段，使用多分支网络学习图像特征；在预测阶段，通过结构重参数化技术将多分支网络结构等价为单分支网络结构，提升模型推理速度，降低模型对于峰值内存的占用，便于模型部署。需要说明的是，可以通过替换或改进本公开中的部分网络结构来实现无参考图像质量评价，本公开对此不做过多限制，可以根据实际需要，在模型准确率与实时性之间做平衡。
[0108]
此外，在特征提取组件中，使用simattention模块作为注意力模块，在不增加参数、不改变模块结构的同时，提升了模型对于图像质量有效特征的提取能力。
[0109]
此外，使用池化组件，解决了后续分值预测组件的全连接层要求输入必须固定的问题，更适合实际业务场景下的使用。
[0110]
相应地，图8示出了根据本公开一些实施例的图像质量评价方法800的流程示意图。在一种实施例中，方法800利用前述图像质量评价单元120来执行。
[0111]
如图8所示，方法800包括810，将待评价图像输入图像质量评价模型进行处理，得到图像质量评价分数。
[0112]
根据本公开的实施方式，图像质量评价模型通过执行前述方法300来生成。图像质量评价模型包括耦接的等效后的特征提取组件、训练好的池化组件和训练好的分值预测组件。
[0113]
结合图3和图4的相关描述，将待评价图像输入图像质量评价模型，先经等效后的特征提取组件进行特征提取，生成特征图。之后，特征图输入到训练好的池化组件，得到特征融合图。再将特征融合图输入训练好的分值预测组件处理，最终得到指示待评价图像质量的预测分值。
[0114]
关于图像质量评价模型的具体结构和对输入图像的处理过程，可参考前文中方法300和训练模型400的相关描述，此处不再赘述。
[0115]
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本公开的方法和设备，或者本公开的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、u盘、软盘、cd-rom或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本公开的设备。
[0116]
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本公开的生成图像质量评价模型的方法、图像质量评价方法。
[0117]
以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质
存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
[0118]
在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本公开的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的内容，并且上面对特定语言所做的描述是为了披露本公开的优选实施方式。
[0119]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0120]
类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。
[0121]
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
[0122]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0123]
本公开还包括：
[0124]
a7、如a6所述的方法，其中，所述将训练好的训练模型中的特征提取组件进行等效变换，得到等效后的特征提取组件的步骤包括：基于所述多分支模块，转换得到单分支结构；利用所述单分支结构替换所述特征提取组件中的多分支模块，得到等效后的特征提取组件。
[0125]
a8、如a7所述的方法，其中，所述基于多分支模块转换得到单分支结构的步骤包括：针对各分支，结合学习到的参数，融合卷积层和批量归一化层，得到融合后的卷积层；将各分支融合后的卷积层叠加，得到单分支结构。
[0126]
a9、如a3所述的方法，其中，所述注意力模块还适于通过计算最小能量的倒数来生
成注意力权值。
[0127]
a10、如a1-9中任一项所述的方法，其中，所述损失值通过如下公式计算：
[0128]
式中，q表示训练模型输出的预测分值，表示主观分值。
[0129]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0130]
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该公开的目的的元素所执行的功能。
[0131]
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
[0132]
尽管根据有限数量的实施例描述了本公开，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本公开的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本公开的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本公开的范围，对本公开所做的公开是说明性的，而非限制性的，本公开的范围由所附权利要求书限定。