从原始图像学习的图卷积聚类方法及装置

1.本发明涉及图像处理的技术领域，尤其涉及一种从原始图像学习的图卷积聚类方法，以及一种从原始图像学习的图卷积聚类装置。


背景技术：

2.聚类是探索样本间相关性的一项基本而重要的任务。其目的是根据数据表示的内在相似性关系将样本分组为不相交的聚类。由于区分表示的学习能力强，许多基于自编码器的深度聚类和基于图卷积网络的聚类方法得到了广泛的研究，并取得了很好的性能。
3.(1)基于自编码器的深度聚类
4.由于卷积网络具有较强的表示学习能力，深度聚类方法引起了广泛的关注，并取得了显著的性能。深度聚类方法的核心是学习原始数据的一种判别性表示。自动编码器(ae)是一种用于无监督聚类任务的基本和常用的聚类学习框架。例如，基于ae框架，深度嵌入式聚类(dec)和改进的dec(idec)设计了一个聚类目标kl散度损失来指导数据表示学习，提高了表示的可分性。然后，一些基于dec/idec的方法被提出用于解决目前方法中存在的缺点。此外，为了处理多视数据，许多基于ae的多视深度聚类方法被设计，充分利用互补的多视信息来提高聚类性能。不幸的是，这些方法仅仅关注从数据属性特征中学习有效的表示，而忽略了固有的拓扑图信息。
5.(2)基于图卷积网络的聚类
6.最近，基于图卷积操作，一些基于图卷积网络(gcn)的深度聚类方法被提出，为了学习能够编码图结构信息的表示。具体来说，图自编码器(gae)将图的卷积操作嵌入到ae框架中，其目的是学习无监督任务的图结构表示。基于变分ae，变分图自动编码器(vgae)自然地被提出。此外，对抗性正则化的gae(argae)被提出来，它在gae中设计了一个对抗性的约束，以增强表征的鲁棒性。进一步地，提出了结构深度聚类网络(sdcn)，通过统一gcn和dec框架来合并属性信息和结构信息。而且，sdcn获得了迄今为止最显著的聚类性能。但是，图卷积操作平等地对待每个节点的不同邻居，而忽略了节点的差异性。
7.为了更好地区分邻居节点对目标节点的重要性，图注意力卷积网络(gat)被提出来。在此基础上，研究人员提出了一些基于gat的聚类方法，并取得了优越的性能。例如，深度图注意嵌入聚类(daegc)方法将图注意机制与自动编码器集成，并引入自监督模块，直接获得聚类标签。然后，通过考虑了学习节点表示和原始数据表示之间的分布一致性，设计sgcpd模型来改进图卷积聚类方法。
8.基于图的聚类通过使用拓扑图结构来学习底层数据的表示。近年来，基于图卷积网络(gcn)的聚类方法得到了广泛的关注，并取得了良好的性能。但是，它的性能严重地取决于预先提供的图的质量，这通常是由预定义的模型(如k-最近邻)决定。因此，由于噪声和固定的图限制了模型学习的灵活性，图可能不准确。


技术实现要素：

9.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种从原始图像学习的图卷积聚类方法，其对预先提供的图的质量要求不高，模型学习的灵活性更强，对各种复杂的聚类应用的鲁棒性更好。
10.本发明的技术方案是：这种从原始图像学习的图卷积聚类方法，包括以下步骤：
11.(1)采用深度自动编码器dae学习原始图像中判别力强的数据表示，探索数据的潜在属性信息；
12.(2)从原始图中学习具有低秩和稀疏结构的自适应图；引入图的拉普拉斯约束，同时学习最优的图关系和数据的判别表示；
13.(3)进行自监督的聚类，自监督节点表示的学习，在聚类中使用软赋值分布qz作为聚类标签。
14.本发明在优化过程中学习具有低秩和稀疏结构的自适应图，它比固定图能更好地编码数据的结构信息；然后，为了探索数据的局部连通性，引入了图的拉普拉斯约束，因此可以同时学习最优的图关系和数据的判别表示，从而提高了本模型的灵活性；通过设计一个自监督的聚类模块，可以自监督节点表示的学习，从而探索更好的聚类结构；因此本方法对预先提供的图的质量要求不高，模型学习的灵活性更强，对各种复杂的聚类应用的鲁棒性更好。
15.还提供了一种从原始图像学习的图卷积聚类装置，该装置包括：
16.深度自动编码器模块dae，其配置来学习判别力强的数据表示，探索数据的潜在属性信息；
17.动态图嵌入模块age，其配置来从原始图中学习具有低秩和稀疏结构的自适应图；引入了图的拉普拉斯约束，同时学习最优的图关系和数据的判别表示；
18.自监督聚类模块，其配置来进行自监督的聚类，自监督节点表示的学习，在聚类中使用软赋值分布qz作为聚类标签。
附图说明
19.图1示出了根据本发明的从原始图像学习的图卷积聚类方法的流程图。
20.图2示出了根据本发明的从原始图像学习的图卷积聚类装置的框架图。
具体实施方式
21.如图1所示，这种从原始图像学习的图卷积聚类方法，包括以下步骤：
22.(1)采用深度自动编码器dae学习原始图像中判别力强的数据表示，探索数据的潜在属性信息；
23.(2)从原始图中学习具有低秩和稀疏结构的自适应图；引入图的拉普拉斯约束，同时学习最优的图关系和数据的判别表示；
24.(3)进行自监督的聚类，自监督节点表示的学习，在聚类中使用软赋值分布qz作为聚类标签。
25.本发明在优化过程中学习具有低秩和稀疏结构的自适应图，它比固定图能更好地编码数据的结构信息；然后，为了探索数据的局部连通性，引入了图的拉普拉斯约束，因此
可以同时学习最优的图关系和数据的判别表示，从而提高了本模型的灵活性；通过设计一个自监督的聚类模块，可以自监督节点表示的学习，从而探索更好的聚类结构；因此本方法对预先提供的图的质量要求不高，模型学习的灵活性更强，对各种复杂的聚类应用的鲁棒性更好。
26.优选地，所述步骤(1)中，假设dae包含个编码器层，假设给定第(l-1)-th层表示第l层编码器通过以下非线性操作学习新的表示：
[0027][0028]
其中为变换矩阵，为相应的偏差，φ为非线性激活函数；h
(0)
表示原始特征x；
[0029]
经过l编码器学习过程，学习潜在和判别表示dae的解码器对的原始数据进行对称重构，解码器操作被定义为：
[0030][0031]
其中和分别为变换矩阵和解码器学习过程中的偏差，
[0032]
目标函数的自然定义如下：
[0033][0034]
其中为重建的数据特征。
[0035]
优选地，所述步骤(2)中，自适应地学习一个邻接图矩阵s具体的结构和性质接近于原始的图结构a：
[0036][0037]
s.t.s＝s
t
，s∈[0，1]n×nꢀꢀꢀ
(5)
[0038]
其中，λ＞0是一个平衡的参数，第一项保证新的邻接连接矩阵s不偏离原始图矩阵a。
[0039]
优选地，所述步骤(2)中，将统一的自适应图学习模型的目标函数表示为：
[0040][0041]
s.t.s＝s
t
，s∈[0，1]n×nꢀꢀꢀ
(6)
[0042]
其中，α和β为超参数，平衡稀疏项和低秩项的贡献。表示学习一个邻接图矩阵s的结构和性质接近于原始的图结构a，α||s||1表示通过最小化矩阵s的l1范数来追求稀疏结构。β||s||
*
表示最小化矩阵s的核范数来追求低秩结构。
[0043]
优选地，所述步骤(2)中，将统一的自适应图学习模型的目标函数表示为：
[0044][0045]
s.t.s＝s
t
，s∈[0，1]n×nꢀꢀꢀ
(10)
[0046]
其中，a为原始的图结构，s为学习到的邻接矩阵，n为节点数，x为节点属性特征。α，β和λ为超参数，平衡了稀疏项，低秩项和平滑项的贡献。ls＝d-s是s的图拉普拉斯矩阵。进一步，我们使用归一化的拉普拉斯矩阵代替ls。
[0047]
优选地，所述步骤(2)中，当学习邻接矩阵s时，定义动态图嵌入模块：
[0048][0049]
其中，s为学习到的邻接矩阵，i是n
×
n的单位矩阵，n的单位矩阵，是节点度矩阵，其中并且，w
(l)
是可学习的参数。第(l-1)-th层图卷积学习表示作为第l层的输入，得到新的表示形式z
(l)
。
[0050]
优选地，所述步骤(3)中，总体目标函数为：
[0051][0052]
s.t.s＝s
t
，s∈[0，1]n×nꢀꢀꢀ
(19)
[0053]
其中s为学习到的邻接矩阵，n为节点数，γ为超参数，来平衡动态图学习与图卷积嵌入学习表示的贡献，和
[0054]
优选地，所述步骤(3)中，将目标聚类分布ph与原始聚类表示分布qh之间的kl差异最小化：
[0055][0056]
其中ph＝[p
h|ij
]表示目标聚类分布，qh＝[q
h|ij
]表示h的聚类分布。
[0057]
最小化分布ph和qz之间的kl散度
[0058][0059]
其中，ph＝[p
h|ij
]表示目标聚类分布，qz＝[q
z|ij
]为表示z的聚类分布，q
z|ij
的计算方法为
[0060][0061]
其中，{μ1，μ2，
…
，μc}是表示z＝[z1，z2，
…
，zn]的簇中心，对z执行k-means进行初始化。qz＝[q
z|ij
]为表示z的聚类分布。
[0062]
优选地，所述步骤(3)中，在聚类中使用软赋值分布qz作为聚类标签，对于样本i的标签，通过以下公式获得：
[0063][0064]
其中qz＝[q
z|ij
]为表示z的聚类分布。ri为样本i的聚类标签。
[0065]
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种从原始图像学习的图卷积聚类装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
[0066]
深度自动编码器模块dae，其配置来学习判别力强的数据表示，探索数据的潜在属性信息；
[0067]
动态图嵌入模块age，其配置来从原始图中学习具有低秩和稀疏结构的自适应图；引入了图的拉普拉斯约束，同时学习最优的图关系和数据的判别表示；
[0068]
自监督聚类模块，其配置来进行自监督的聚类，自监督节点表示的学习，在聚类中使用软赋值分布qz作为聚类标签。
[0069]
以下更详细地说明本发明的技术方案。
[0070]
虽然现有的基于gcn的深度聚类方法已经取得了令人满意的性能，但它们对预先提供的图关系的质量很敏感。由预定义模型(如低秩自表示、k-近邻)构造的邻接图矩阵可能存在噪声，不能准确地表征节点之间的关系。并且，在训练过程中，图总是固定的，这限制了模型学习的灵活性。因此，为了更准确地探索结构信息，提出了一种鲁棒图卷积聚类(rgcc)方法，该方法将动态图学习和图嵌入表示学习结合到一个统一的模型中。如图2所示，rgcc由深度自动编码器(dae)模块、动态图嵌入(age)模块和自监督聚类模块三个模块组成。接下来，给出每个模块的相应细节，并得到rgcc模型的最终目标函数。
[0071]
1、深度自动编码器模块(dae)
[0072]
原始特征通常是高维的、冗余的，其中包含噪声和不相关的信息。自动编码器(af)可以非线性地将原始数据投影到一个低维的判别特征空间中。因此，采用深度自动编码器(daf)学习判别力强的数据表示，可以探索数据的潜在属性信息。在这里，假设dae包含个编码器层。假设给定第(l-1)-th层表示第l层编码器通过以下非线性操作学习新的表示：
[0073][0074]
其中为变换矩阵，为相应的偏差，φ为非线性激活函数。具体来说，h
(0)
表示原始特征x。
[0075]
经过l编码器学习过程，学习潜在和判别表示为了提高表示的判别性和重构能力，dae的解码器对的原始数据进行了对称重构。同样地，解码器操作被定义为：
[0076]
[0077]
其中和分别为变换矩阵和解码器学习过程中的偏差。具体来说，
[0078]
解码器重构的表示应与原始数据相似，因此目标函数的自然定义如下：
[0079][0080]
其中为重建的数据特征。
[0081]
2、动态图嵌入模块(age)
[0082]
为了学习结构表示，gcn通过多层图卷积来探索高阶结构相关性。在gcn中，图卷积根据图结构a和节点属性特征x学习嵌入表示，其中图卷积编码器的第l层为
[0083][0084]
其中w
(l)
是学习到的参数，φ也是非线性激活函数。通常，数据特征x被设置为z
(0)
。
[0085]
然而，z
(l)
的判别能力严重依赖于图结构a的质量，并且，gcn对输入图矩阵很敏感，由于图矩阵受到噪声的干扰，这可能会降低下游任务的性能。此外，在模型学习过程中，图总是固定的，这限制了模型的灵活性。因此，为了解决这个问题，一种自然的策略是学习稳健和干净的图结构，它准确地表征了节点之间的连接关系。在此，提出了一个动态图嵌入(age)模块，它在节点表示学习过程中动态地学习图的结构。
[0086]
在这里，设计了一个统一的动态图学习模型。为了从原始图中学习鲁棒性和最优的图结构，自适应地学习了一个邻接图矩阵s具体的结构和性质接近于原始的图结构a。将统一的自适应图学习模型的目标函数表示为：
[0087][0088]
s.t.s＝s
t
，s∈[0，1]n×nꢀꢀꢀ
(5)
[0089]
其中，λ＞0是一个平衡的参数。第一项保证了新的邻接连接矩阵s不偏离原始图矩阵a。并且，类似于a，新的邻接矩阵s应该是对称的，即s＝s
t
。具体来说，一般函数f(s)表示对s的结构约束，这提高了学习到的邻接图矩阵的质量。
[0090]
受一些工作的启发，理想的邻接图矩阵通常是低秩的，它从全局的角度探讨其内在结构。另一方面，邻接矩阵反映了节点的局部连通性，即分配少量的邻居。因此，学习到的邻接矩阵s应该是稀疏的。众所周知，可以通过最小化矩阵s的核范数和l1范数来追求低秩和稀疏结构。因此，目标函数可以重新表述为：
[0091][0092]
s.t.s＝s
t
，s∈[0，1]n×nꢀꢀꢀ
(6)
[0093]
其中，α和β为超参数，平衡了稀疏项和低秩项的贡献。
[0094]
实际上，干净邻接矩阵s反映了节点之间的相似性。而且，当数据样本的距离较小时，它们应该有更大的概率被聚集成同一组。具体来说，将距离较小的相似样本对划分为邻
域，即距离度量越小，邻域概率s
ij
越大。可以通过优化以下模型来实现这个目标：
[0095][0096]
其中s为学习到的邻接矩阵，其中元素s
ij
表示邻域分配的概率。因此，可学习邻接矩阵s促进邻域分配是一个动态过程，可以在模型训练过程中将最优邻域分配给每个目标节点。并且，可以学习到目标节点的合适的邻居来进行聚类任务。上述式对应如下
[0097][0098]
其中ls＝d-s是s的图拉普拉斯矩阵。进一步，使用归一化的拉普拉斯矩阵代替ls，即，
[0099][0100]
其中di是图中节点vi的度。因此，自适应图学习模型的目标函数为
[0101][0102]
s.t.s＝s
t
，s∈[0，1]n×nꢀꢀꢀ
(10)
[0103]
当学习邻接矩阵s时，可以定义动态图嵌入模块：
[0104][0105]
其中和
[0106]
在动态图嵌入模块中，只采用(l-1)-th层的输出作为第l层的输入。但是，有两种具有不同属性的表示，即用图信息编码的结构表示z
(l-1)
，和用基本属性信息编码的潜在表示h
(l-1)
。因此，在图的卷积过程中，可以利用两种属性的信息。具体来说，将表示h
(l-1)
和表示z
(l-1)
进行融合，作为第l个图卷积层的输入，即，
[0107][0108]
其中，∈为权重系数。然后采用作为gcn中第l层的输入，得到新的表示形式z
(l)
：
[0109][0110]
因此，学习到的z
(l)
是一个同时包含结构化信息和潜在属性信息的综合表示。
[0111]
3、自监督聚类模块
[0112]
对于无监督聚类任务，标签信息是未知的，这不能为表示学习提供有用的指导。因此，dae模块和age模块学习到的表示不具有可分性。在此，采用自监督聚类模块来帮助模型学习判别性强的表示。自监督聚类模块的目的是提高数据聚类分布的置信度。而自监督聚类模块将dae模块和age模块结合成一个统一的框架，实现了自监督约束下的端到端训练。不妨假设，dae和age的最后一层的输出分别为h和z。采用学生的t-分布来度量表示h与其聚
类中心之间的相似性，即，
[0113][0114]
其中，{μ1，μ2，
…
，μc}是表示h＝[h1，h2，
…
，hn]的簇中心，通过对h执行k-means进行初始化。使用qh＝[q
h|ij
]表示h的聚类分布，为了提高聚类可信度，提供更高的可信度，使样本更接近聚类中心。具体地说，将qh平方并将其标准化，即，
[0115][0116]
其中fj＝∑iq
h|ij
。由于ph具有明显的聚类分布，因此将其作为目标聚类分布。因此，为了监督表示学习，将目标聚类分布ph与原始聚类表示分布qh之间的kl差异最小化，即，
[0117][0118]
在这里，还可以利用目标分布ph来指导z在age模块上的学习，从而提高了z的判别能力。同样，最小化分布ph和qz之间的kl散度，即，
[0119][0120]
式中，qz＝[q
z|ij
]为表示z的聚类分布。其中q
z|ij
的计算方法为
[0121][0122]
自监督聚类目标函数和不仅提高了判别能力，而且保证了表示h和z的聚类分布一致。综上所述，总体目标函数为：
[0123][0124]
s.t.s＝s
t
，s∈[0，1]n×nꢀꢀꢀ
(19)
[0125]
其中在上述统一框架下，结构更好的动态图将提高表示的判别能力。相反，来自自监督聚类模块的信息也可以指导动态图的学习过程来拟合聚类任务。在对上述目标函数进行优化后，得到了判别表示z
(l 1)
。并且，age模块学习到的表示z
(l 1)
融合了两种信息，为原始数据提供了全面的表示。因此，在聚类中使用软赋值分布qz作为聚类标签。具体来说，对于样本i的标签，可通过以下方式获得：
[0126][0127]
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。