一种基于鲁棒性矩阵特征学习的噪声图像处理方法

1.本发明涉及图像处理的技术领域，更具体的，涉及一种基于鲁棒性矩阵特征学习的噪声图像处理方法。


背景技术：

2.近些年来，随着图像信息技术和图像信息采集工具(摄像头、传感器)的飞速发展，人们已经可以通过各种信息渠道，无论地域和时间，都能方便地获取自己想要的图像数据。例如在电力作业场景中，作业人员能在不同时间、地域获取大量的图像来执行作业环境分类、设备故障检测等学习任务。然而，虽然图像数据可以轻而易举地获取到，但是在面对海量的图像数据时，人们仅凭借人力的作用是无法满足图像数据处理的实时性和有效性的，所以需要利用人工智能和机器学习代替人力来学习并处理海量的图像数据。
3.对于图像分类任务，常用的方法是先将图像拉成一个向量，再利用经典的分类算法处理，但是将图像数据拉成向量会存在生成图像数据维度过高、以及破坏了图像数据本身空间位置信息的问题。基于这些问题，基于矩阵表达的维数约简方法被提出。维数约简的目的是除去数据中的冗余信息，保留最有效的特征数据。由于直接使用矩阵来表达图像，使图像数据的维度显著减少，不仅提高了学习效率，而且保留了图像本质的空间结构，可以获得更好的学习效果。特征学习是维数约简方法中的一种，该方法通过将原始高维数据空间投影到一个理想的低维特征空间实现维数约简。然而，在实际场景的应用过程中，许多现场获得的图像会因噪声、光照、遮挡、角度等原因存在噪声信息，难以得到高质量的图像数据。如果直接利用噪声图像进行场景分类、设备故障检测等学习任务，将难以在学习任务中获得高质量的学习效果。


技术实现要素：

4.本发明为克服在实际场景获得的图像会存在噪声信息，难以得到高质量的图像数据的技术缺陷，提供一种基于鲁棒性矩阵特征学习的噪声图像处理方法。
5.为解决上述技术问题，本发明的技术方案如下：
6.一种基于鲁棒性矩阵特征学习的噪声图像处理方法，包括以下步骤：
7.s1：获取待处理的噪声图像，并将噪声图像转换为矩阵形式，得到样本矩阵，形成样本矩阵集合；
8.s2：将样本矩阵集合进行矩阵归一化处理，得到归一化样本矩阵集合；
9.s3：根据归一化样本矩阵集合中矩阵的相似性关系构造权重图矩阵；
10.s4：根据权重图矩阵构建矩阵特征学习模型，并引入矩阵恢复项和约束误差项，得到联合学习模型；
11.s5：优化联合学习模型，输出降维后的最优恢复矩阵集合作为噪声图像处理结果。
12.上述方案中，先将噪声图像转换为矩阵形式，通过权重图矩阵有效地反映了矩阵间的相关性信息，然后联合矩阵特征学习，引入矩阵恢复项和约束误差项，从而将图像恢复
和维数约简融合，最终输出的降维后的最优恢复矩阵集合去除了噪声图像中的噪声信息和冗余信息，只保留最本质的图像特征，并且降低数据维度，实现了对噪声图像的降噪降维。
13.优选的，在步骤s1中，通过以下方式将噪声图像转换为矩阵形式：
14.根据噪声图像中每个像素点的位置分别对应一个矩阵元素来构造矩阵，并根据像素点的颜色对相应的矩阵元素进行赋值。
15.上述方案中，噪声图像包括拍摄自不同的光照情况(包括阴天情况、晴天情况、白天情况、夜晚情况等)、不同的拍摄角度(包括俯视角度、仰视角度、平视角度、侧视角度等)下的作业现场图像数据，拍摄对象可以是作业人员、电气设备、作业环境等。噪声包括局部遮挡、脉冲噪声、高斯噪声等方式产生的图像噪声。
16.优选的，步骤s2中矩阵归一化处理具体为：
17.对样本矩阵集合x
′
＝[(x1)
′
,(x2)
′
,
…
(xi)
′
,
…
,(xn)
′
]中的n个样本矩阵分别除以自身的f范数，得到归一化样本矩阵集合x＝[x1,x2,
…
xi,
…
,xn]即：
[0018][0019]
其中，(xi)
′
表示第i个样本矩阵，样本矩阵的维度为m
×
l，‖(xi)
′
‖f表示(xi)
′
的f范数，xi表示第i个归一化样本矩阵。
[0020]
上述方案中，通过矩阵归一化处理可以将样本矩阵中的每个元素映射到(-1,1)之间的区间，使不同的样本矩阵处在同一量纲下。
[0021]
优选的，通过以下方式对权重图矩阵中的元素进行赋值：
[0022][0023]
其中，s
ij
表示权重图矩阵s的第i行第j列的元素，权重图矩阵s中每个元素均表示两两归一化样本矩阵的相似性关系；a＝[a1,a2,
…ai
,
…
,an]表示恢复矩阵集合，ai表示归一化样本矩阵xi的恢复矩阵；nk(aj)表示第j个恢复矩阵aj的k近邻集合；表示两矩阵间的距离；t表示高斯核函数的带宽；
[0024]
归一化样本矩阵集合x与恢复矩阵集合a存在以下关系：
[0025]
x＝a e
[0026]
其中，e＝[e1,e2,...,ei,...,en]表示误差矩阵集合，ei表示归一化样本矩阵xi和恢复矩阵ai间的偏差。
[0027]
上述方案中，通过高斯核函数方法对权重图矩阵中的元素进行赋值。
[0028]
优选的，通过以下方式对权重图矩阵中的元素进行赋值：
[0029][0030][0031]
其中，s
ij
表示权重图矩阵s的第i行第j列的元素，权重图矩阵s中每个元素均表示两两归一化样本矩阵的相似性关系，a＝[a1,a2,
…ai
,
…
,an]表示恢复矩阵集合，ai表示归一
化样本矩阵xi的恢复矩阵，nk(aj)表示第j个恢复矩阵aj的k近邻集合，t表示高斯核函数的带宽；
[0032]
归一化样本矩阵集合x与恢复矩阵集合a存在以下关系：
[0033]
x＝a e
[0034]
其中，e＝[e1,e2,...,ei,...,en]表示误差矩阵集合，ei表示归一化样本矩阵xi和恢复矩阵ai间的偏差。
[0035]
上述方案中，通过局部线性重构方法对权重图矩阵中的元素进行赋值。
[0036]
优选的，在步骤s4中，所述矩阵特征学习模型的数学公式为：
[0037][0038]
s.t.p
t
ama
t
p＝i
[0039]
其中，p是维度为m
×
d的线性投影矩阵，d是设定的低维空间的维度，d＜m；(
·
)
t
表示矩阵的转置；表示第i个恢复矩阵ai和第j
[0040]
个恢复矩阵aj间的距离信息，p
t
a表示恢复矩阵集合a降维后得到的集合，m是一个对角线矩阵，i表示单位矩阵；
[0041]
为了方便求解，将矩阵特征学习模型的数学公式推导为：
[0042][0043]
s.t.p
t
ama
t
p＝i
[0044]
tr(
·
)表示矩阵的迹，拉普拉斯矩阵l＝m-s。
[0045]
优选的，
[0046]
采用||p
tai-p
taj
||
2，1
或||p
tai-p
taj
||
*
来计算矩阵的距离，
[0047]
其中，表示矩阵的f范数的平方，||
·
||
2，1
表示矩阵的l2,1范数，||
·
||
*
表示矩阵的核范数。
[0048]
优选的，引入的矩阵恢复项和约束误差项的数学公式为：
[0049][0050]
s.t.x＝a e
[0051]
其中，φ(e)是对误差矩阵集合e的先验约束，如||e||1、||e||
2，1
、||e||
*
，||
·
||1表示矩阵的l1范数，||
·
||
2，1
表示矩阵的l2,1范数，||
·
||
*
表示矩阵的核范数；α和β分别表示不同的范数项权重平衡变量，x表示归一化样本矩阵集合，a表示恢复矩阵集合。
[0052]
上述方案中，通过引入不同的偏差约束，探索误差对特征学习的影响。其中，l1范数和l2,1范数在此可以对误差提供稀疏性约束，而核范数在此可以对误差提供低秩约束。
[0053]
优选的，所述联合学习模型的数学公式如下：
[0054][0055]
s.t.x＝a e，p
t
ama
t
p＝i
[0056]
其中，p是维度为m
×
d的线性投影矩阵，表示第i个恢复矩阵ai和第
j个恢复矩阵aj间的距离信息，p
t
a表示恢复矩阵集合a降维后得到的集合，s
ij
表示权重图矩阵s的第i行第j列的元素，α和β分别表示不同的范数项权重平衡变量，x表示归一化样本矩阵集合，||
·
||
*
表示矩阵的核范数，φ(e)是对误差矩阵集合e的先验约束，m是一个对角线矩阵，i表示单位矩阵。
[0057]
上述方案中，通过将二维特征学习和矩阵恢复过程融为整体进行联合学习，进一步获取本质的图像特征。
[0058]
优选的，步骤s5具体包括以下步骤：
[0059]
s5.1：根据增广拉格朗日乘子法，将所述联合学习模型重新表达：
[0060][0061]
s.t.p
t
ama
t
p＝i
[0062][0063]
s.t.p
t
ama
t
p＝i
[0064]
其中，q和b分别表示不同的拉格朗日乘子，h表示中间变量，μ表示步长系数，表示矩阵的f范数的平方；
[0065]
s5.2：固定步骤s5.1的公式中与e无关的变量得到：
[0066][0067]
根据φ(e)具体的先验约束求出e；
[0068]
固定步骤s5.1的公式中与a无关的变量得到：
[0069][0070]
利用矩阵微分直接对a求导；
[0071]
固定步骤s5.1的公式中与h无关的变量得到：
[0072][0073]
利用奇异值阈值(singular value thresholding，svt)分解求出h；
[0074]
固定步骤s5.1的公式中与p无关的变量得到：
[0075][0076]
s.t.p
t
ama
t
p＝i
[0077]
利用广义特征值分解求出p；
[0078]
s5.3：更新模型参数q、b、μ：
[0079][0080]
其中，ρ用于调整迭代优化过程的收敛速度，1《ρ《2；
[0081]
s5.4：判断优化联合学习模型相邻两次输出值间的差值是否小于预设的阈值，
[0082]
若是，则满足收敛条件，得到最优恢复矩阵集合，将最优恢复矩阵集合降维后输出作为噪声图像处理结果；
[0083]
若否，则返回步骤s5.2迭代更新优化联合学习模型。
[0084]
上述方案中，通过增广拉格朗日乘子法(admm)将无法直接求解的联合学习模型拆分成几个容易求解的子优化问题，采用依次迭代更新不同变量的方法，逐步优化联合学习模型，求得最优恢复矩阵集合，并利用p
t
将最优恢复矩阵集合投影至低维空间，获取最本质的图像特征，即输出的降维后的最优恢复矩阵集合。
[0085]
与现有技术相比，本发明技术方案的有益效果是：
[0086]
本发明提供了一种基于鲁棒性矩阵特征学习的噪声图像处理方法，先将噪声图像转换为矩阵形式，通过权重图矩阵有效地反映了矩阵间的相关性信息，然后联合矩阵特征学习，引入矩阵恢复项和约束误差项，从而将图像恢复和维数约简融合，最终输出的降维后的最优恢复矩阵集合去除了噪声图像中的噪声信息和冗余信息，只保留最本质的图像特征，并且降低数据维度，实现了对噪声图像的降噪降维。
附图说明
[0087]
图1为本发明的技术方案实施步骤流程图；
[0088]
图2为本发明中优化联合学习模型的步骤流程图。
具体实施方式
[0089]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0090]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0091]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0092]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0093]
实施例1
[0094]
如图1所示，一种基于鲁棒性矩阵特征学习的噪声图像处理方法，包括以下步骤：
[0095]
s1：获取待处理的噪声图像，并将噪声图像转换为矩阵形式，得到样本矩阵，形成样本矩阵集合；
[0096]
s2：将样本矩阵集合进行矩阵归一化处理，得到归一化样本矩阵集合；
[0097]
s3：根据归一化样本矩阵集合中矩阵的相似性关系构造权重图矩阵；
[0098]
s4：根据权重图矩阵构建矩阵特征学习模型，并引入矩阵恢复项和约束误差项，得到联合学习模型；
[0099]
s5：优化联合学习模型，输出降维后的最优恢复矩阵集合作为噪声图像处理结果。
[0100]
在具体实施过程中，先将噪声图像转换为矩阵形式，通过权重图矩阵有效地反映了矩阵间的相关性信息，然后联合矩阵特征学习，引入矩阵恢复项和约束误差项，从而将图像恢复和维数约简融合，最终输出的降维后的最优恢复矩阵集合去除了噪声图像中的噪声信息和冗余信息，只保留最本质的图像特征，并且降低数据维度，实现了对噪声图像的降噪降维。
[0101]
实施例2
[0102]
一种基于鲁棒性矩阵特征学习的噪声图像处理方法，包括以下步骤：
[0103]
s1：获取待处理的噪声图像，并将噪声图像转换为矩阵形式，得到样本矩阵，形成样本矩阵集合；
[0104]
s2：将样本矩阵集合进行矩阵归一化处理，得到归一化样本矩阵集合；
[0105]
s3：根据归一化样本矩阵集合中矩阵的相似性关系构造权重图矩阵；
[0106]
s4：根据权重图矩阵构建矩阵特征学习模型，并引入矩阵恢复项和约束误差项，得到联合学习模型；
[0107]
s5：优化联合学习模型，输出降维后的最优恢复矩阵集合作为噪声图像处理结果。
[0108]
更具体的，在步骤s1中，通过以下方式将噪声图像转换为矩阵形式：
[0109]
根据噪声图像中每个像素点的位置分别对应一个矩阵元素来构造矩阵，并根据像素点的颜色对相应的矩阵元素进行赋值。
[0110]
在具体实施过程中，噪声图像包括拍摄自不同的光照情况(包括阴天情况、晴天情况、白天情况、夜晚情况等)、不同的拍摄角度(包括俯视角度、仰视角度、平视角度、侧视角度等)下的作业现场图像数据，拍摄对象可以是作业人员、电气设备、作业环境等。噪声包括局部遮挡、脉冲噪声、高斯噪声等方式产生的图像噪声。
[0111]
更具体的，步骤s2中矩阵归一化处理具体为：
[0112]
对样本矩阵集合x
′
＝[(x1)
′
,(x2)
′
,
…
(xi)
′
,
…
,(xn)
′
]中的n个样本矩阵分别除以自身的f范数，得到归一化样本矩阵集合x＝[x1,x2,
…
xi,
…
,xn]即：
[0113][0114]
其中，(xi)
′
表示第i个样本矩阵，样本矩阵的维度为m
×
l，‖(xi)
′
‖f表示(xi)
′
的f范数，xi表示第i个归一化样本矩阵。
[0115]
在具体实施过程中，通过矩阵归一化处理可以将样本矩阵中的每个元素映射到(-1,1)之间的区间，使不同的样本矩阵处在同一量纲下。
[0116]
更具体的，通过以下方式对权重图矩阵中的元素进行赋值：
[0117][0118]
其中，s
ij
表示权重图矩阵s的第i行第j列的元素，权重图矩阵s中每个元素均表示两两归一化样本矩阵的相似性关系；a＝[a1,a2,
…ai
,
…
,an]表示恢复矩阵集合，ai表示归一化样本矩阵xi的恢复矩阵；nk(aj)表示第j个恢复矩阵aj的k近邻集合；表示两矩阵间的距离；t表示高斯核函数的带宽，可通过调整其大小控制高斯核函数的局部作用范
围；
[0119]
归一化样本矩阵集合x与恢复矩阵集合a存在以下关系：
[0120]
x＝a e
[0121]
其中，e＝[e1,e2,...,ei,...,en]表示误差矩阵集合，ei表示归一化样本矩阵xi和恢复矩阵ai间的偏差。
[0122]
在具体实施过程中，通过高斯核函数方法对权重图矩阵中的元素进行赋值。
[0123]
更具体的，在步骤s4中，所述矩阵特征学习模型的数学公式为：
[0124][0125]
s.t.p
t
ama
t
p＝i
[0126]
其中，p是维度为m
×
d的线性投影矩阵，d是设定的低维空间的维度，d＜m；(
·
)
t
表示矩阵的转置；表示第i个恢复矩阵ai和第j
[0127]
个恢复矩阵aj间的距离信息，p
t
a表示恢复矩阵集合a降维后得到的集合，m是一个对角线矩阵，其对角线元素为m
ii
＝∑js
ij
，i表示单位矩阵；
[0128]
为了方便求解，将矩阵特征学习模型的数学公式推导为：
[0129][0130]
s.t.p
t
ama
t
p＝i
[0131]
tr(
·
)表示矩阵的迹，拉普拉斯矩阵l＝m-s。
[0132]
更具体的，
[0133]
采用||p
tai-p
taj
||
2，1
或||p
tai-p
taj
||
*
来计算矩阵的距离，
[0134]
其中，表示矩阵的f范数的平方，||
·
||
2，1
表示矩阵的l2,1范数，||
·
||
*
表示矩阵的核范数。
[0135]
在具体实施过程中，通过引入三种不同的度量方式：f范数的平方、l2,1范数、核范数，以不同的范数计算损失函数可以避免模型在训练过程中出现过拟合的情况，提高模型的鲁棒性，同时在不同角度反映样本相关性信息。通过选择模型框架下的最优方案，学习出一个最优的线性投影矩阵。
[0136]
更具体的，引入的矩阵恢复项和约束误差项的数学公式为：
[0137][0138]
s.t.x＝a e
[0139]
其中，φ(e)是对误差矩阵集合e的先验约束，如||e||1、||e||2，1、||e||*，||
·
||1表示矩阵的l1范数，||
·
||
2，1
表示矩阵的l2,1范数，||
·
||
*
表示矩阵的核范数；α和β分别表示不同的范数项权重平衡变量，通过改变两个变量的大小可探究各范数项对模型的影响，达到更好的学习效果，x表示归一化样本矩阵集合，a表示恢复矩阵集合。
[0140]
在具体实施过程中，通过引入不同的偏差约束，探索误差对特征学习的影响。其中，l1范数和l2,1范数在此可以对误差提供稀疏性约束，而核范数在此可以对误差提供低秩约束，提高学习得到的恢复矩阵的鲁棒性。
[0141]
更具体的，所述联合学习模型的数学公式如下：
[0142][0143]
s.t.x＝a e，p
t
ama
t
p＝i
[0144]
其中，p是维度为m
×
d的线性投影矩阵，表示第i个恢复矩阵ai和第j个恢复矩阵aj间的距离信息，p
t
a表示恢复矩阵集合a降维后得到的集合，s
ij
表示权重图矩阵s的第i行第j列的元素，α和β分别表示不同的范数项权重平衡变量，x表示归一化样本矩阵集合，||
·
||
*
表示矩阵的核范数，φ(e)是对误差矩阵集合e的先验约束，m是一个对角线矩阵，i表示单位矩阵。
[0145]
在具体实施过程中，通过将二维特征学习和矩阵恢复过程融为整体进行联合学习，进一步获取本质的图像特征。
[0146]
更具体的，如图2所示，步骤s5具体包括以下步骤：
[0147]
s5.1：根据增广拉格朗日乘子法，将所述联合学习模型重新表达：
[0148][0149]
s.t.p
t
ama
t
p＝i
[0150][0151]
s.t.p
t
ama
t
p＝i
[0152]
其中，q和b分别表示不同的拉格朗日乘子；由于核范数的求解难度较大，引入中间变量h，利用h＝a相互逼近实现求解；μ表示步长系数，表示矩阵的f范数的平方；
[0153]
s5.2：固定步骤s5.1的公式中与e无关的变量得到：
[0154][0155]
根据φ(e)具体的先验约束求出e；
[0156]
固定步骤s5.1的公式中与a无关的变量得到：
[0157][0158]
利用矩阵微分直接对a求导；
[0159]
固定步骤s5.1的公式中与h无关的变量得到：
[0160][0161]
利用奇异值阈值(singular value thresholding，svt)分解求出h；
[0162]
固定步骤s5.1的公式中与p无关的变量得到：
[0163][0164]
s.t.p
t
ama
t
p＝i
[0165]
利用广义特征值分解求出p；
[0166]
s5.3：更新模型参数q、b、μ：
[0167][0168]
其中，ρ用于调整迭代优化过程的收敛速度，1《ρ《2；
[0169]
s5.4：判断优化联合学习模型相邻两次输出值间的差值是否小于预设的阈值，
[0170]
若是，则满足收敛条件，得到最优恢复矩阵集合，将最优恢复矩阵集合降维后输出作为噪声图像处理结果；
[0171]
若否，则返回步骤s5.2迭代更新优化联合学习模型。
[0172]
在具体实施过程中，通过增广拉格朗日乘子法(admm)将无法直接求解的联合学习模型拆分成几个容易求解的子优化问题，采用依次迭代更新不同变量的方法，逐步优化联合学习模型，求得最优恢复矩阵集合，并利用p
t
将最优恢复矩阵集合投影至低维空间，获取最本质的图像特征，即输出的降维后的最优恢复矩阵集合。
[0173]
将输出的降维后的最优恢复矩阵集合作为后续学习任务的样本数据，如对电力作业现场的环境进行分类、对电力设备的故障进行检测分析等图像学习任务，可以有效提高算法的学习效果和效率。
[0174]
实施例3
[0175]
一种基于鲁棒性矩阵特征学习的噪声图像处理方法，与实施例2中的一种基于鲁棒性矩阵特征学习的噪声图像处理方法基本相同，其区别在于对权重图矩阵中的元素进行赋值的方式不同，本实施例通过以下方式对权重图矩阵中的元素进行赋值：
[0176][0177][0178]
其中，s
ij
表示权重图矩阵s的第i行第j列的元素，权重图矩阵s中每个元素均表示两两归一化样本矩阵的相似性关系，a＝[a1,a2,
…ai
,
…
,an]表示恢复矩阵集合，ai表示归一化样本矩阵xi的恢复矩阵，nk(aj)表示第j个恢复矩阵aj的k近邻集合，t表示高斯核函数的带宽；
[0179]
归一化样本矩阵集合x与恢复矩阵集合a存在以下关系：
[0180]
x＝a e
[0181]
其中，e＝[e1,e2,...,ei,...,en]表示误差矩阵集合，ei表示归一化样本矩阵xi和恢复矩阵ai间的偏差。
[0182]
在具体实施过程中，通过局部线性重构方法对权重图矩阵中的元素进行赋值。
[0183]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。