1.本发明涉及图像处理
技术领域：
：，尤其涉及一种屏幕内容图像质量评估方法。
背景技术：
：：2.目前，随着互联网与多媒体技术的发展，实时图像通信系统和屏幕分享技术也越来越成熟，因此在互联网上充斥着大量的屏幕内容图像，如何对这些图像进行质量评价已成为一个棘手的问题。屏幕内容图像的质量评价在图像通信传输以及实时多客户端通信系统中发挥着巨大的作用，通过评价算法能够得到当前图像的质量进而优化图像传输系统的各项参数以提升性能。屏幕内容图像的评价方法为了能够与人类的视觉感知效果更加一致，要对图像提取与质量相关的特征进行评价。图像的特征提取方法主要分为两类，一类是传统的手工提取，人们根据先验知识提取图像中若干特征(如自然场景统计、边缘结构特征等)进行计算；另一类是基于深度学习的方法，通过训练自动获取有效的质量特征，进而得到质量分数。不同的特征提取方法在一定程度上决定算法的效率和时间复杂度。评价方法也根据是否存在原始的参考图像分为三类：全参考、半参考、无参考质量评价方法。不同类型的评价方法会使得应用场景受到限制。屏幕内容图像包含了文本和图像区域，以往的评价方法大多是从图像的整体区域入手，而未考虑不同区域对于人眼的视觉感受存在较大的差异。3.现有以下几种方法，第一种，基于图形和文本区域的堆叠式自动编码器(sae，stackedautoencoders)方法，其为了将屏幕内容图像分为文本和图像区域，使用了基于卷积神经网络(cnn，convolutionalneuralnetworks)的快速文档布局分析算法将图像中的内容划分为块，输入1‑dcnn模型，然后将其分类为文本、表格和图像，接着分别从文本区域和图像区域中提取质量感知特征，然后，通过无监督的方法针对从这两个区域提取质量感知特征来训练两个不同的sae，随后，将特征及其相应的主观分数输入两个回归器进行训练，每个回归器可以获得一个输出预测分数，最后，通过加权模型由这两个预测分数计算出测试sci的最终感知质量分数。该方法中使用了cnn卷积模型来对图像内容进行分类，这大大增加了算法的复杂度，并且人眼主要还是对于文本区域以及图像区域比较感兴趣。分成文本表格图像几类后又将它们合并为文本和图像区域，使得以上分类步骤略显多余。4.第二种，cnn‑sqe方法则通过将屏幕内容图像的模糊分类分为纯文本，计算机图形/卡通和自然图像区域并分别对不同区域执行质量估计以改进质量预测性能。主要通过三个阶段进行操作：(1)图像分割；(2)每个分割区域的质量评估；(3)质量组合。该方法分类为计算机图形/卡通、纯文本、和自然图像区域，而屏幕内容图像的所有内容都是由电脑数字化产生的，无需过多分类。5.第三种，基于图像结构特征和不确定性加权(sfuw,structurefeaturesanduncertaintyweighting)的方法，首先将屏幕内容图像(sci,screencontentimage)划分文本和图像区域，接着提取文本区域的梯度信息用作结构特征以及亮度特征，并通过计算图像块的结构相似性来获取文本区域的视觉质量，然后使用一种基于感知理论的不确定性加权方法，将文本和图像区域的视觉质量有效融合起来获得最终的质量分数。该方法需要获取原始的参考图像，但现实情况中的原始图像难以获取，算法存在局限性，而且权重如何设置还有待考量。6.综上，由于信息存储和传输过程中受传输设备的限制以及外部电子的干扰，导致传输的图像在一定程度上会受到污染，因此我们在大多数情况下都无法获取无损的原始参考图像，因此全参考的方法在应用层面受限。同时，屏幕内容图像主要是由文字和图像区域组成，区域划分太多容易导致算法复杂度增加，使得计算效率降低，因此设计选择何种图像分割方法尤为重要。技术实现要素：7.为了解决上述现有技术存在的缺陷，本发明的目的在于提出了一种屏幕内容图像质量评估方法，该方法首先对屏幕内容图像进行区域分割，得到文本和图像区域，并且根据不同的区域特点分别提取代表图像质量的特征向量，最后采用具有径向基(rbf,radialbasisfunction)内核的支持向量回归(svr,supportvectorregression)训练从质量感知功能到sci视觉质量的预测模型。通过这种高效便捷的评估算法可以感知图像的好坏程度，并且能够根据图像的质量分数可以动态的检测和调节图像处理系统输出优质图像，为实时客户端通信系统的参数优化提供更加有效的依据。8.为实现上述目的，本发明提供如下技术方案：一种屏幕内容图像质量评估方法，包括以下步骤：9.(1)构建屏幕内容图像数据库；10.(2)对屏幕内容图像执行文本分割函数，将屏幕内容图像分割为文本区域和图像区域；11.(3)对图像区域执行图像区域质量评估函数，提取图像区域的纹理特征和图像结构特征；12.(4)对文本区域执行文本区域质量评估函数，提取文本区域的清晰度和文本结构特征；13.(5)随机选取一千个屏幕内容图像数据库的屏幕内容图像，将一千个屏幕内容图像的纹理特征、图像结构特征、清晰度、文本结构特征和主观质量分数输入libsvm软件中进行训练，获取质量评估模型；14.(6)输入待评估的屏幕内容图像，经过步骤(2)、(3)和(4)处理后，将所述待评估的屏幕内容图像的纹理特征、图像结构特征、清晰度、文本结构特征和主观质量分数输入质量评估模型中，获取质量分数。15.进一步地，所述所述步骤(2)具体包括以下步骤：首先，动态的设置第一阈值，通过找出所有最大稳定极值区域，其中，qi表示第一阈值为i时的某一连通区域，δ表示微小的第一阈值变化，v(i)为第一阈值是i时的区域qi的变化率，当v(i)小于给定第一阈值时认为该区域qi为最大稳定极值区域；其次，设定与区域具有相同标准二阶中心矩的椭圆的离心率的第二阈值、欧拉数的第三阈值、区域中像素数与边界框中总像素的比率的第四阈值和第五阈值、凸包中区域内像素所占的比例的第六阈值，计算最大稳定极值区域的与区域具有相同标准二阶中心矩的椭圆的离心率、欧拉数、区域中像素数与边界框中总像素的比率、凸包中区域内像素所占的比例，当计算得出的与区域具有相同标准二阶中心矩的椭圆的离心率大于第二与之、欧拉数小于第三阈值、区域中像素数与边界框中总像素的比率在下于第四阈值或大于第五阈值、凸包中区域内像素所占的比例限于第六阈值时，可确定第一文本区域；然后，设定笔画宽度变化率的第七阈值，计算第一文本区域的笔画宽度变化率，当变化率大于第七阈值时，可确认第二文本区域，最后，提取并合并所有最大稳定极值区域中的第二文本区域作为文本区域，将屏幕内容图像的剩余区域合并作为图像区域。16.进一步地，所述步骤(3)具体包括以下步骤：17.s1：提取图像区域的纹理特征，首先，通过scharr算子计算出图像区域的梯度图g(i,j)，并对梯度图进行归一化：其中[]为取整运算，gmax为原梯度值的最大值，l为归一化后的最大灰度级数；接着，对图像区域的灰度图f(i,j)进行归一化：fmax是原灰度图中的灰度最大值；然后，构建灰度‑梯度共生矩阵m，水平递增为梯度值，垂直递增为灰度值，原点位于矩阵的坐上顶点处。m定义为m(i,j)＝#{(m,n)|g(m,n)＝i,f(m,n)＝j,m＝0,1,2...m‑1,n＝0,1,2...n‑1}，其中m×n为梯度和灰度图的大小，#{}表示为集合中元素的个数，最后，提取灰度‑梯度共生矩阵的统计特征包括：梯度熵灰度熵能量灰度均值梯度均值梯度标准差灰度标准差作为图像区域的纹理特征，其中，(i,j)出现的总次数归一化为出现的概率p(i,j)；[0018]s2：提取图像区域的图像结构特征，首先，对图像区域进行分块，分为大小相等的n×n个局部图像块，并对每个图像块进行局部二维离散余弦变换以得到dct系数，接着使用广义高斯分布模型对dct系数进行拟合，拟合后会得到图像块的形状参数γ，将最低的10％的γ值的平均值作为第一结构特征，所有γ值的均值作为第二结构特征，然后，计算频率变化系数其中σ|x|是块的方差，μ|x|是块的均值，取的最大的10％的均值作为第三结构特征，以及将的均值作为第四结构特征，之后，为从局部图像块中获取方向信息，将dct系数块分为低、中、高3个频带，然后计算每个频带中的平均能量：其中n为正整数，σn为频带n的方差，计算子带能量之比：取rn的最高的10％的均值作为第五结构特征，取rn的均值作为第六结构特征，最后，为了提取方向信息，根据径向频率变化的垂直方向沿3个方向将dct系数分为3个部分，接着计算在3个部分的频率变化系数计算的方差，取方差最高的10％均值作为第七结构特征，以及将的方差的均值作为第八结构特征。[0019]进一步地，所述步骤(4)具体包括以下步骤：[0020]s1：提取文本区域的清晰度，首先，在x和y方向进行滤波，并对滤波后的图像比上滤波图像中的最大值进行归一化操作，归一化后的像素点值大于预先设定的阈值(如0.0001)时，则该像素点作为可能的边缘像素，接着分别在水平方向和垂直方向计算中值滤波图像差的差δdom，水平方向：δdomx(i,j)＝[im(i 2,j)‑im(i,j)]‑[im(i,j)‑im(i‑2,j)]，垂直方向：δdomy(i,j)＝[im(i,j 2)‑im(i,j)]‑[im(i,j)‑im(i,j‑2)]，其中，im(i,j)是中值滤波图像在像素(i,j)处的灰度值，使用偏差为2的差异，在像素(i，j)处的x方向的清晰度定义为：在y方向的清晰度计算方式同理，其中，∑i‑w≤k≤i w|δdomx(k,j)|表明在大小为2w 1的窗口上求和δdom，对边缘处的对比度进行归一化，∑i‑w≤k≤i w|i(k,j)‑i(k‑1,j)|为在窗口大小为2w 1上的对比度，当sx(i,j)大于预设阈值时则(i,j)处的像素点为清晰的，最后，该区域的图像的清晰度定义为：其中：#sharppixels为清晰的像素点数，#edgepixels为边缘像素点数；[0021]s2：提取文本区域的文本结构特征，首先，计算文本区域的梯度图gm，图像像素点(i,j)处的梯度计算如下：其中其中h代表梯度算子，代表卷积运算。接着在梯度图gm上计算旋转不变均匀的局部二值模式lbp，其中，δ表示统一度量，u代表相邻像素数，s代表领域的半径值，ρ定义为阈值函数，gk，gc表示为中心坐标及其邻域的gm值，接着计算gmlbp直方图，观察到gmlbp可以包含u 2个不同的模式，这些模式可以组合到直方图的一个bin中，将u设置为8，因此直方图共有10个bin，并在三个尺度下分别计算，所述三个尺度为原始图像，下采样因子为2采样后的图像，下采样因子为4采样后的图像，因此共提取30个文本结构特征。[0022]本发明的有益效果在于：使用了一种基于数字文本的分割方法来划分屏幕内容图像的文本区域和图像区域，对文本区域提取了有效的表征文本区域的清晰度以及梯度域的文本结构特征作为文本区域的特征向量，对图像区域则基于灰度‑梯度共生矩阵提取的统计特征作为纹理特征，以及在dct域提取的结构特征用来表征图像区域的特征向量，通过svm的方法训练回归模型，得到较为准确的质量分数，可以对互联网上存在的屏幕内容图像进行快速高效的评估，根据评估的效果对后续的图像质量优化以及去噪、融合等方向提供较为可靠的方法依据。附图说明[0023]图1为本发明一种屏幕内容图像质量评估方法的屏幕内容图像评估流程。[0024]图2为本发明一种屏幕内容图像质量评估方法的文本分割流程。[0025]图3为本发明一种屏幕内容图像质量评估方法的dct系数块频带划分图。[0026]图4为本发明一种屏幕内容图像质量评估方法的根据径向频率变化的dct系数划分图。具体实施方式[0027]为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。[0028]如图1～2所示，一种屏幕内容图像质量评估方法，包括以下步骤：[0029](1)构建屏幕内容图像数据库，安装matlabr2016a，创建.mat测试文件；[0030](2)对屏幕内容图像执行文本分割函数；为了有效分割文本区域，使用一种针对原生数字(bd,born‑digital)文本的文本定位方法，由于这种方法是针对数字文本图像进行文本提取，而我们的屏幕内容图像中的文本多数是数字化的文本，这种文本与文档文本以及场景文本存在较大的差异性，使用该方法对文本区域定位将更具针对性且文本区域的定位则会更加精准，首先，动态的设置第一阈值，通过找出所有最大稳定极值区域(mser，maximallystableextremalregions)，其中，qi表示第一阈值为i时的某一连通区域，δ表示微小的第一阈值变化，v(i)为第一阈值是i时的区域qi的变化率，当v(i)小于给定第一阈值时认为该区域qi为最大稳定极值区域；其次，设定与区域具有相同标准二阶中心矩的椭圆的离心率的第二阈值为0.995、欧拉数的第三阈值为‑4、区域中像素数与边界框中总像素的比率的第四阈值为0.2和第五阈值为0.9、凸包中区域内像素所占的比例的第六阈值为0.3，计算最大稳定极值区域的与区域具有相同标准二阶中心矩的椭圆的离心率、欧拉数、区域中像素数与边界框中总像素的比率、凸包中区域内像素所占的比例，当计算得出的与区域具有相同标准二阶中心矩的椭圆的离心率大于第二与之、欧拉数小于第三阈值、区域中像素数与边界框中总像素的比率在下于第四阈值或大于第五阈值、凸包中区域内像素所占的比例限于第六阈值时，可确定第一文本区域；然后，设定笔画宽度变化率的第七阈值为0.3，计算第一文本区域的笔画宽度变化率，当变化率大于第七阈值时，可确认第二文本区域，最后，提取并合并所有最大稳定极值区域的第二文本区域作为文本区域，将屏幕内容图像的剩余区域合并作为图像区域；[0031](3)对图像区域执行图像区域质量评估函数，包括以下步骤：[0032]s1：提取图像区域的纹理特征；图像区域包含着大量的纹理和结构，因此我们使用灰度‑梯度共生矩阵的统计特征作为图像区域的纹理特征，首先，通过scharr算子计算出图像区域的梯度图，并对梯度图进行归一化：其中[]为取整运算，gmax为原梯度值的最大值，l为归一化后的最大灰度级数；接着，对图像区域的灰度图进行归一化：fmax是原灰度图中的灰度最大值；然后，构建灰度‑梯度共生矩阵m，水平递增为梯度值，垂直递增为灰度值，原点位于矩阵的坐上顶点处。m定义为m(i,j)＝#{(m,n)|g(m,n)＝i,f(m,n)＝j,m＝0,1,2...m‑1,n＝0,1,2...n‑1}，其中m×n为梯度和灰度图的大小，#{}表示为集合中元素的个数，最后，提取灰度‑梯度共生矩阵的统计特征包括：梯度熵灰度熵能量灰度均值梯度均值梯度标准差灰度标准差作为图像区域的纹理特征，其中，(i,j)出现的总次数归一化为出现的概率p(i,j)；[0033]s2：提取图像区域的图像结构特征；图像区域除了纹理信息还存在大量的结构信息，因此需要提取图像区域的图像结构特征用于质量评估特征，首先，对图像区域进行分块，分为大小相等的n×n个局部图像块，并对每个图像块进行局部二维离散余弦变换(dct,discretecosinetansform)以得到dct系数，接着使用广义高斯分布(ggd，generalizedgaussiandistribution)模型对dct系数进行拟合，拟合后会得到图像块的形状参数γ，将最低的10％的γ值的平均值作为第一结构特征，所有γ值的均值作为第二结构特征，这是一种池化，已有研究表明该池化能够改善与主观质量感知的相关性，以下的操作同理，然后，计算频率变化系数其中σ|x|是块的方差，μ|x|是块的均值，取的最大的10％的均值作为第三结构特征，以及将的均值作为第四结构特征，之后，为从局部图像块中获取方向信息，将dct系数块分为低、中、高3个频带，如图3所示阴影代表了三个频带的划分，然后计算每个频带中的平均能量：其中n为正整数，σn为频带n的方差，计算子带能量之比：取rn的最高的10％的均值作为第五结构特征，取rn的均值作为第六结构特征，最后，为了提取方向信息，根据径向频率变化的垂直方向沿3个方向将dct系数分为3个部分，如图4所示阴影所示进行划分，接着计算在3个方向的频率变化系数计算的方差，取方差最高的10％均值作为第七结构特征，以及将的方差的均值作为第八结构特征；[0034](4)对文本区域执行文本区域质量评估函数，包括以下步骤：[0035]s1：提取文本区域的清晰度；由于文本区域的清晰度会影响人眼的视觉感知质量因此我们要对文本区域的清晰度作一个度量，我们使用中值滤波图像差的差δdom(differenceofdifferencesingrayscalevaluesofamedian‑filteredimage)作为边缘是否清晰的一个度量特征，该特征可以通过斜率是否快速变化判断边缘是否清晰，首先，在x和y方向进行滤波，并对滤波后的图像比上滤波图像中的最大值进行归一化操作，归一化后的像素点值大于预先设定的阈值0.0001时，则该像素点作为可能的边缘像素，接着分别在水平方向和垂直方向计算中值滤波图像差的差δdom，水平方向：δdomx(i,j)＝[im(i 2,j)‑im(i,j)]‑[im(i,j)‑im(i‑2,j)]，垂直方向：δdomy(i,j)＝[im(i,j 2)‑im(i,j)]‑[im(i,j)‑im(i,j‑2)]，其中，im(i,j)是中值滤波图像在像素(i,j)处的灰度值，为了使得边缘强度的变化更为稳定因此使用偏差为2的差异，在像素(i，j)处的x方向的清晰度定义为：在y方向的清晰度计算方式同理，其中，∑i‑w≤k≤i w|δdomx(k,j)|表明在大小为2w 1的窗口上求和δdom，对边缘处的对比度进行归一化，∑i‑w≤k≤i w|i(k,j)‑i(k‑1,j)|为在窗口大小为2w 1上的对比度，当sx(i,j)大于预设阈值时则(i,j)处的像素点为清晰的，最后，该区域的图像的清晰度定义为：其中：#sharppixels为清晰的像素点数，#edgepixels为边缘像素点数；[0036]s2：提取文本区域的文本结构特征，首先，计算文本区域的梯度图gm，图像像素点(i,j)处的梯度计算如下：其中其中h代表梯度算子，代表卷积运算。接着在梯度图上计算旋转不变均匀的局部二值模式lbp，其中，δ表示统一度量，u代表相邻像素数，s代表领域的半径值，ρ定义为阈值函数，gk，gc表示为中心坐标及其邻域的gm值，接着计算gmlbp直方图，观察到gmlbp可以包含u 2个不同的模式，这些模式可以组合到直方图的一个bin中，将u设置为8，因此直方图共有10个bin，并在三个尺度下分别计算，所述三个尺度为原始图像，下采样因子为2采样后的图像，下采样因子为4采样后的图像，因此共提取30个文本结构特征；[0037](5)下载libsvm软件包，对svm模型进行参数设置，其中，设置模型为svr回归模型，核函数类型为rbf核函数，随机选取一千个屏幕内容图像数据库的屏幕内容图像，将一千个屏幕内容图像的纹理特征、图像结构特征、清晰度、文本结构特征和主观质量分数输入libsvm软件中进行训练：随机一千次选取屏幕内容图像数据库中80％的图像用作训练集，20％的图像作为测试集，在使用训练集数据回归训练后，得到质量评估模型，使用用测试集验证该质量评估模型，并计算每次质量评估模型评估训练集图像的分数与主观质量分数之间的相关系数，所述相关系数包括srocc、plcc、krcc和rmse，所述相关系数能够反应质量评估模型得到的分数和主观质量分数的误差和相关性，能够作为算法优劣的评估指标，在随机千次的训练后，将每个系数值分别取中值作为最终的相关系数值；[0038](6)输入待评估的屏幕内容图像，经过步骤(2)、(3)和(4)处理后，将所述待评估的屏幕内容图像的纹理特征、图像结构特征、清晰度、文本结构特征和主观质量分数输入质量评估模型中，获取质量分数。[0039]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12
技术领域：
：，尤其涉及一种屏幕内容图像质量评估方法。
背景技术：
：：2.目前，随着互联网与多媒体技术的发展，实时图像通信系统和屏幕分享技术也越来越成熟，因此在互联网上充斥着大量的屏幕内容图像，如何对这些图像进行质量评价已成为一个棘手的问题。屏幕内容图像的质量评价在图像通信传输以及实时多客户端通信系统中发挥着巨大的作用，通过评价算法能够得到当前图像的质量进而优化图像传输系统的各项参数以提升性能。屏幕内容图像的评价方法为了能够与人类的视觉感知效果更加一致，要对图像提取与质量相关的特征进行评价。图像的特征提取方法主要分为两类，一类是传统的手工提取，人们根据先验知识提取图像中若干特征(如自然场景统计、边缘结构特征等)进行计算；另一类是基于深度学习的方法，通过训练自动获取有效的质量特征，进而得到质量分数。不同的特征提取方法在一定程度上决定算法的效率和时间复杂度。评价方法也根据是否存在原始的参考图像分为三类：全参考、半参考、无参考质量评价方法。不同类型的评价方法会使得应用场景受到限制。屏幕内容图像包含了文本和图像区域，以往的评价方法大多是从图像的整体区域入手，而未考虑不同区域对于人眼的视觉感受存在较大的差异。3.现有以下几种方法，第一种，基于图形和文本区域的堆叠式自动编码器(sae，stackedautoencoders)方法，其为了将屏幕内容图像分为文本和图像区域，使用了基于卷积神经网络(cnn，convolutionalneuralnetworks)的快速文档布局分析算法将图像中的内容划分为块，输入1‑dcnn模型，然后将其分类为文本、表格和图像，接着分别从文本区域和图像区域中提取质量感知特征，然后，通过无监督的方法针对从这两个区域提取质量感知特征来训练两个不同的sae，随后，将特征及其相应的主观分数输入两个回归器进行训练，每个回归器可以获得一个输出预测分数，最后，通过加权模型由这两个预测分数计算出测试sci的最终感知质量分数。该方法中使用了cnn卷积模型来对图像内容进行分类，这大大增加了算法的复杂度，并且人眼主要还是对于文本区域以及图像区域比较感兴趣。分成文本表格图像几类后又将它们合并为文本和图像区域，使得以上分类步骤略显多余。4.第二种，cnn‑sqe方法则通过将屏幕内容图像的模糊分类分为纯文本，计算机图形/卡通和自然图像区域并分别对不同区域执行质量估计以改进质量预测性能。主要通过三个阶段进行操作：(1)图像分割；(2)每个分割区域的质量评估；(3)质量组合。该方法分类为计算机图形/卡通、纯文本、和自然图像区域，而屏幕内容图像的所有内容都是由电脑数字化产生的，无需过多分类。5.第三种，基于图像结构特征和不确定性加权(sfuw,structurefeaturesanduncertaintyweighting)的方法，首先将屏幕内容图像(sci,screencontentimage)划分文本和图像区域，接着提取文本区域的梯度信息用作结构特征以及亮度特征，并通过计算图像块的结构相似性来获取文本区域的视觉质量，然后使用一种基于感知理论的不确定性加权方法，将文本和图像区域的视觉质量有效融合起来获得最终的质量分数。该方法需要获取原始的参考图像，但现实情况中的原始图像难以获取，算法存在局限性，而且权重如何设置还有待考量。6.综上，由于信息存储和传输过程中受传输设备的限制以及外部电子的干扰，导致传输的图像在一定程度上会受到污染，因此我们在大多数情况下都无法获取无损的原始参考图像，因此全参考的方法在应用层面受限。同时，屏幕内容图像主要是由文字和图像区域组成，区域划分太多容易导致算法复杂度增加，使得计算效率降低，因此设计选择何种图像分割方法尤为重要。技术实现要素：7.为了解决上述现有技术存在的缺陷，本发明的目的在于提出了一种屏幕内容图像质量评估方法，该方法首先对屏幕内容图像进行区域分割，得到文本和图像区域，并且根据不同的区域特点分别提取代表图像质量的特征向量，最后采用具有径向基(rbf,radialbasisfunction)内核的支持向量回归(svr,supportvectorregression)训练从质量感知功能到sci视觉质量的预测模型。通过这种高效便捷的评估算法可以感知图像的好坏程度，并且能够根据图像的质量分数可以动态的检测和调节图像处理系统输出优质图像，为实时客户端通信系统的参数优化提供更加有效的依据。8.为实现上述目的，本发明提供如下技术方案：一种屏幕内容图像质量评估方法，包括以下步骤：9.(1)构建屏幕内容图像数据库；10.(2)对屏幕内容图像执行文本分割函数，将屏幕内容图像分割为文本区域和图像区域；11.(3)对图像区域执行图像区域质量评估函数，提取图像区域的纹理特征和图像结构特征；12.(4)对文本区域执行文本区域质量评估函数，提取文本区域的清晰度和文本结构特征；13.(5)随机选取一千个屏幕内容图像数据库的屏幕内容图像，将一千个屏幕内容图像的纹理特征、图像结构特征、清晰度、文本结构特征和主观质量分数输入libsvm软件中进行训练，获取质量评估模型；14.(6)输入待评估的屏幕内容图像，经过步骤(2)、(3)和(4)处理后，将所述待评估的屏幕内容图像的纹理特征、图像结构特征、清晰度、文本结构特征和主观质量分数输入质量评估模型中，获取质量分数。15.进一步地，所述所述步骤(2)具体包括以下步骤：首先，动态的设置第一阈值，通过找出所有最大稳定极值区域，其中，qi表示第一阈值为i时的某一连通区域，δ表示微小的第一阈值变化，v(i)为第一阈值是i时的区域qi的变化率，当v(i)小于给定第一阈值时认为该区域qi为最大稳定极值区域；其次，设定与区域具有相同标准二阶中心矩的椭圆的离心率的第二阈值、欧拉数的第三阈值、区域中像素数与边界框中总像素的比率的第四阈值和第五阈值、凸包中区域内像素所占的比例的第六阈值，计算最大稳定极值区域的与区域具有相同标准二阶中心矩的椭圆的离心率、欧拉数、区域中像素数与边界框中总像素的比率、凸包中区域内像素所占的比例，当计算得出的与区域具有相同标准二阶中心矩的椭圆的离心率大于第二与之、欧拉数小于第三阈值、区域中像素数与边界框中总像素的比率在下于第四阈值或大于第五阈值、凸包中区域内像素所占的比例限于第六阈值时，可确定第一文本区域；然后，设定笔画宽度变化率的第七阈值，计算第一文本区域的笔画宽度变化率，当变化率大于第七阈值时，可确认第二文本区域，最后，提取并合并所有最大稳定极值区域中的第二文本区域作为文本区域，将屏幕内容图像的剩余区域合并作为图像区域。16.进一步地，所述步骤(3)具体包括以下步骤：17.s1：提取图像区域的纹理特征，首先，通过scharr算子计算出图像区域的梯度图g(i,j)，并对梯度图进行归一化：其中[]为取整运算，gmax为原梯度值的最大值，l为归一化后的最大灰度级数；接着，对图像区域的灰度图f(i,j)进行归一化：fmax是原灰度图中的灰度最大值；然后，构建灰度‑梯度共生矩阵m，水平递增为梯度值，垂直递增为灰度值，原点位于矩阵的坐上顶点处。m定义为m(i,j)＝#{(m,n)|g(m,n)＝i,f(m,n)＝j,m＝0,1,2...m‑1,n＝0,1,2...n‑1}，其中m×n为梯度和灰度图的大小，#{}表示为集合中元素的个数，最后，提取灰度‑梯度共生矩阵的统计特征包括：梯度熵灰度熵能量灰度均值梯度均值梯度标准差灰度标准差作为图像区域的纹理特征，其中，(i,j)出现的总次数归一化为出现的概率p(i,j)；[0018]s2：提取图像区域的图像结构特征，首先，对图像区域进行分块，分为大小相等的n×n个局部图像块，并对每个图像块进行局部二维离散余弦变换以得到dct系数，接着使用广义高斯分布模型对dct系数进行拟合，拟合后会得到图像块的形状参数γ，将最低的10％的γ值的平均值作为第一结构特征，所有γ值的均值作为第二结构特征，然后，计算频率变化系数其中σ|x|是块的方差，μ|x|是块的均值，取的最大的10％的均值作为第三结构特征，以及将的均值作为第四结构特征，之后，为从局部图像块中获取方向信息，将dct系数块分为低、中、高3个频带，然后计算每个频带中的平均能量：其中n为正整数，σn为频带n的方差，计算子带能量之比：取rn的最高的10％的均值作为第五结构特征，取rn的均值作为第六结构特征，最后，为了提取方向信息，根据径向频率变化的垂直方向沿3个方向将dct系数分为3个部分，接着计算在3个部分的频率变化系数计算的方差，取方差最高的10％均值作为第七结构特征，以及将的方差的均值作为第八结构特征。[0019]进一步地，所述步骤(4)具体包括以下步骤：[0020]s1：提取文本区域的清晰度，首先，在x和y方向进行滤波，并对滤波后的图像比上滤波图像中的最大值进行归一化操作，归一化后的像素点值大于预先设定的阈值(如0.0001)时，则该像素点作为可能的边缘像素，接着分别在水平方向和垂直方向计算中值滤波图像差的差δdom，水平方向：δdomx(i,j)＝[im(i 2,j)‑im(i,j)]‑[im(i,j)‑im(i‑2,j)]，垂直方向：δdomy(i,j)＝[im(i,j 2)‑im(i,j)]‑[im(i,j)‑im(i,j‑2)]，其中，im(i,j)是中值滤波图像在像素(i,j)处的灰度值，使用偏差为2的差异，在像素(i，j)处的x方向的清晰度定义为：在y方向的清晰度计算方式同理，其中，∑i‑w≤k≤i w|δdomx(k,j)|表明在大小为2w 1的窗口上求和δdom，对边缘处的对比度进行归一化，∑i‑w≤k≤i w|i(k,j)‑i(k‑1,j)|为在窗口大小为2w 1上的对比度，当sx(i,j)大于预设阈值时则(i,j)处的像素点为清晰的，最后，该区域的图像的清晰度定义为：其中：#sharppixels为清晰的像素点数，#edgepixels为边缘像素点数；[0021]s2：提取文本区域的文本结构特征，首先，计算文本区域的梯度图gm，图像像素点(i,j)处的梯度计算如下：其中其中h代表梯度算子，代表卷积运算。接着在梯度图gm上计算旋转不变均匀的局部二值模式lbp，其中，δ表示统一度量，u代表相邻像素数，s代表领域的半径值，ρ定义为阈值函数，gk，gc表示为中心坐标及其邻域的gm值，接着计算gmlbp直方图，观察到gmlbp可以包含u 2个不同的模式，这些模式可以组合到直方图的一个bin中，将u设置为8，因此直方图共有10个bin，并在三个尺度下分别计算，所述三个尺度为原始图像，下采样因子为2采样后的图像，下采样因子为4采样后的图像，因此共提取30个文本结构特征。[0022]本发明的有益效果在于：使用了一种基于数字文本的分割方法来划分屏幕内容图像的文本区域和图像区域，对文本区域提取了有效的表征文本区域的清晰度以及梯度域的文本结构特征作为文本区域的特征向量，对图像区域则基于灰度‑梯度共生矩阵提取的统计特征作为纹理特征，以及在dct域提取的结构特征用来表征图像区域的特征向量，通过svm的方法训练回归模型，得到较为准确的质量分数，可以对互联网上存在的屏幕内容图像进行快速高效的评估，根据评估的效果对后续的图像质量优化以及去噪、融合等方向提供较为可靠的方法依据。附图说明[0023]图1为本发明一种屏幕内容图像质量评估方法的屏幕内容图像评估流程。[0024]图2为本发明一种屏幕内容图像质量评估方法的文本分割流程。[0025]图3为本发明一种屏幕内容图像质量评估方法的dct系数块频带划分图。[0026]图4为本发明一种屏幕内容图像质量评估方法的根据径向频率变化的dct系数划分图。具体实施方式[0027]为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。[0028]如图1～2所示，一种屏幕内容图像质量评估方法，包括以下步骤：[0029](1)构建屏幕内容图像数据库，安装matlabr2016a，创建.mat测试文件；[0030](2)对屏幕内容图像执行文本分割函数；为了有效分割文本区域，使用一种针对原生数字(bd,born‑digital)文本的文本定位方法，由于这种方法是针对数字文本图像进行文本提取，而我们的屏幕内容图像中的文本多数是数字化的文本，这种文本与文档文本以及场景文本存在较大的差异性，使用该方法对文本区域定位将更具针对性且文本区域的定位则会更加精准，首先，动态的设置第一阈值，通过找出所有最大稳定极值区域(mser，maximallystableextremalregions)，其中，qi表示第一阈值为i时的某一连通区域，δ表示微小的第一阈值变化，v(i)为第一阈值是i时的区域qi的变化率，当v(i)小于给定第一阈值时认为该区域qi为最大稳定极值区域；其次，设定与区域具有相同标准二阶中心矩的椭圆的离心率的第二阈值为0.995、欧拉数的第三阈值为‑4、区域中像素数与边界框中总像素的比率的第四阈值为0.2和第五阈值为0.9、凸包中区域内像素所占的比例的第六阈值为0.3，计算最大稳定极值区域的与区域具有相同标准二阶中心矩的椭圆的离心率、欧拉数、区域中像素数与边界框中总像素的比率、凸包中区域内像素所占的比例，当计算得出的与区域具有相同标准二阶中心矩的椭圆的离心率大于第二与之、欧拉数小于第三阈值、区域中像素数与边界框中总像素的比率在下于第四阈值或大于第五阈值、凸包中区域内像素所占的比例限于第六阈值时，可确定第一文本区域；然后，设定笔画宽度变化率的第七阈值为0.3，计算第一文本区域的笔画宽度变化率，当变化率大于第七阈值时，可确认第二文本区域，最后，提取并合并所有最大稳定极值区域的第二文本区域作为文本区域，将屏幕内容图像的剩余区域合并作为图像区域；[0031](3)对图像区域执行图像区域质量评估函数，包括以下步骤：[0032]s1：提取图像区域的纹理特征；图像区域包含着大量的纹理和结构，因此我们使用灰度‑梯度共生矩阵的统计特征作为图像区域的纹理特征，首先，通过scharr算子计算出图像区域的梯度图，并对梯度图进行归一化：其中[]为取整运算，gmax为原梯度值的最大值，l为归一化后的最大灰度级数；接着，对图像区域的灰度图进行归一化：fmax是原灰度图中的灰度最大值；然后，构建灰度‑梯度共生矩阵m，水平递增为梯度值，垂直递增为灰度值，原点位于矩阵的坐上顶点处。m定义为m(i,j)＝#{(m,n)|g(m,n)＝i,f(m,n)＝j,m＝0,1,2...m‑1,n＝0,1,2...n‑1}，其中m×n为梯度和灰度图的大小，#{}表示为集合中元素的个数，最后，提取灰度‑梯度共生矩阵的统计特征包括：梯度熵灰度熵能量灰度均值梯度均值梯度标准差灰度标准差作为图像区域的纹理特征，其中，(i,j)出现的总次数归一化为出现的概率p(i,j)；[0033]s2：提取图像区域的图像结构特征；图像区域除了纹理信息还存在大量的结构信息，因此需要提取图像区域的图像结构特征用于质量评估特征，首先，对图像区域进行分块，分为大小相等的n×n个局部图像块，并对每个图像块进行局部二维离散余弦变换(dct,discretecosinetansform)以得到dct系数，接着使用广义高斯分布(ggd，generalizedgaussiandistribution)模型对dct系数进行拟合，拟合后会得到图像块的形状参数γ，将最低的10％的γ值的平均值作为第一结构特征，所有γ值的均值作为第二结构特征，这是一种池化，已有研究表明该池化能够改善与主观质量感知的相关性，以下的操作同理，然后，计算频率变化系数其中σ|x|是块的方差，μ|x|是块的均值，取的最大的10％的均值作为第三结构特征，以及将的均值作为第四结构特征，之后，为从局部图像块中获取方向信息，将dct系数块分为低、中、高3个频带，如图3所示阴影代表了三个频带的划分，然后计算每个频带中的平均能量：其中n为正整数，σn为频带n的方差，计算子带能量之比：取rn的最高的10％的均值作为第五结构特征，取rn的均值作为第六结构特征，最后，为了提取方向信息，根据径向频率变化的垂直方向沿3个方向将dct系数分为3个部分，如图4所示阴影所示进行划分，接着计算在3个方向的频率变化系数计算的方差，取方差最高的10％均值作为第七结构特征，以及将的方差的均值作为第八结构特征；[0034](4)对文本区域执行文本区域质量评估函数，包括以下步骤：[0035]s1：提取文本区域的清晰度；由于文本区域的清晰度会影响人眼的视觉感知质量因此我们要对文本区域的清晰度作一个度量，我们使用中值滤波图像差的差δdom(differenceofdifferencesingrayscalevaluesofamedian‑filteredimage)作为边缘是否清晰的一个度量特征，该特征可以通过斜率是否快速变化判断边缘是否清晰，首先，在x和y方向进行滤波，并对滤波后的图像比上滤波图像中的最大值进行归一化操作，归一化后的像素点值大于预先设定的阈值0.0001时，则该像素点作为可能的边缘像素，接着分别在水平方向和垂直方向计算中值滤波图像差的差δdom，水平方向：δdomx(i,j)＝[im(i 2,j)‑im(i,j)]‑[im(i,j)‑im(i‑2,j)]，垂直方向：δdomy(i,j)＝[im(i,j 2)‑im(i,j)]‑[im(i,j)‑im(i,j‑2)]，其中，im(i,j)是中值滤波图像在像素(i,j)处的灰度值，为了使得边缘强度的变化更为稳定因此使用偏差为2的差异，在像素(i，j)处的x方向的清晰度定义为：在y方向的清晰度计算方式同理，其中，∑i‑w≤k≤i w|δdomx(k,j)|表明在大小为2w 1的窗口上求和δdom，对边缘处的对比度进行归一化，∑i‑w≤k≤i w|i(k,j)‑i(k‑1,j)|为在窗口大小为2w 1上的对比度，当sx(i,j)大于预设阈值时则(i,j)处的像素点为清晰的，最后，该区域的图像的清晰度定义为：其中：#sharppixels为清晰的像素点数，#edgepixels为边缘像素点数；[0036]s2：提取文本区域的文本结构特征，首先，计算文本区域的梯度图gm，图像像素点(i,j)处的梯度计算如下：其中其中h代表梯度算子，代表卷积运算。接着在梯度图上计算旋转不变均匀的局部二值模式lbp，其中，δ表示统一度量，u代表相邻像素数，s代表领域的半径值，ρ定义为阈值函数，gk，gc表示为中心坐标及其邻域的gm值，接着计算gmlbp直方图，观察到gmlbp可以包含u 2个不同的模式，这些模式可以组合到直方图的一个bin中，将u设置为8，因此直方图共有10个bin，并在三个尺度下分别计算，所述三个尺度为原始图像，下采样因子为2采样后的图像，下采样因子为4采样后的图像，因此共提取30个文本结构特征；[0037](5)下载libsvm软件包，对svm模型进行参数设置，其中，设置模型为svr回归模型，核函数类型为rbf核函数，随机选取一千个屏幕内容图像数据库的屏幕内容图像，将一千个屏幕内容图像的纹理特征、图像结构特征、清晰度、文本结构特征和主观质量分数输入libsvm软件中进行训练：随机一千次选取屏幕内容图像数据库中80％的图像用作训练集，20％的图像作为测试集，在使用训练集数据回归训练后，得到质量评估模型，使用用测试集验证该质量评估模型，并计算每次质量评估模型评估训练集图像的分数与主观质量分数之间的相关系数，所述相关系数包括srocc、plcc、krcc和rmse，所述相关系数能够反应质量评估模型得到的分数和主观质量分数的误差和相关性，能够作为算法优劣的评估指标，在随机千次的训练后，将每个系数值分别取中值作为最终的相关系数值；[0038](6)输入待评估的屏幕内容图像，经过步骤(2)、(3)和(4)处理后，将所述待评估的屏幕内容图像的纹理特征、图像结构特征、清晰度、文本结构特征和主观质量分数输入质量评估模型中，获取质量分数。[0039]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
