一种多视角强化图像聚类方法与流程

技术特征：
1.一种多视角强化图像聚类方法，其特征在于，包括以下步骤：步骤1、预训练各视角独立的特征提取网络，获取各视角的潜在特征表示；特征提取网络由n个自编码器网络堆叠而成，而自编码器网络由对称网络结构的编码层和解码层构成；在训练过程中，将编码层的最后一层作为隐藏层，并最小化输入和重构间的误差，获取蕴含数据潜在结构的低维特征表示；假设为第v个视角的第j个输入图像数据，当n为1时，自编码器的输入为计算过程如下：过程如下：其中，为该隐藏层输出的潜在特征表示，为该自编码器的重构数据；和分别为该自编码器的编码层和解码层的激活函数，为编码层和解码层的参数，该自编码器的训练采用重构损失当n大于1时，第一个自编码器的输入为计算过程如(1)(2)所示，其余自编码器的输入为第n
‑
1个编码层的隐藏层特征计算过程如下：计算过程如下：其中，与第一个自编码器相同，为该隐藏层输出的潜在特征表示，为该自编码器的重构特征表示；和分别为该自编码器的编码层和解码层的激活函数，为编码层和解码层的参数；该自编码器的训练采用重构损失最终，将第v个视角的n个自编码器拆分为n个编码层和n个解码层并按照对称的方式重新排列为构建该视角的特征提取网络，部分为编码器，部分为解码器；然后，最小化重构损失和随机梯度下降算法对该特征提取网络进行训练；步骤2、预训练多视角特征融合网络，获取融合特征表示；将步骤1训练各视角对应的特征提取网络，生成输入样本x
j
的各个视角的潜在特征表示h
v
并根据多个视角的互补特性进行串联拼接：h
f
＝cat(h1...h
v
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，v为视角的数量，h1,
…
,h
v
为各个视角的潜在特征表示，cat(
·
)表示拼接运算，h
f
为融合特征表示；多视角特征融合网络由n个自编码器网络堆叠而成；在训练过程中，该网络将融合特征
表示h
f
作为输入，其最外侧自编码器计算过程如下：作为输入，其最外侧自编码器计算过程如下：其中，为外侧编码层输出的潜在特征，该特征维度小于h
f
的维度；ho
f
为内侧解码器输出的重构特征，该特征维度等同于的维度；为外侧解码层输出的重构表示，该特征维度等同于h
f
的维度；当该网络仅由一个自编码器构成时，ho
f
即为g
e,f
(
·
)和g
d,f
(
·
)分别是编码层和解码层的激活函数，为模型参数；对于构建好的多视角融合网络，采用端到端的学习方式，通过随机梯度下降算法和最小化重构损失预训练网络；然后，将各个视角的特征提取网络的解码器输入维度设置为拼接后的潜在特征h
f
的维度，输入数据为步骤3、初始化聚类环境，分配伯努利单元；利用步骤2训练好的多视角特征融合网络，生成j个多视角图像数据的多视角融合特征并从中随机选取k个点作为初始的聚类质心集合采用k
‑
means算法在融合特征表示h上更新聚类质心集合c，得到k个优化后的聚类质心；利用k
‑
means算法优化后的聚类质心集合作为虚拟原型初始化聚类环境，并构建对应的伯努利单元bunit＝{w,p,dist,f}，存储当前聚类环境的信息，其中，w为该虚拟原型的权重，p为该虚拟原型的指示变量，dist为当前数据点到该虚拟原型的距离，f为状态参数；初始条件下，w设置为k
‑
means算法更新后的质心权重，p、dist、f设置为0；步骤4、多视角强化聚类；步骤4
‑
1，计算输入图像数据的多视角融合特征与虚拟原型间的状态参数，度量输入图像数据对当前聚类环境中虚拟原型的指示程度，并选取临近虚拟原型作为强化对象；首先，在输入图像的融合特征集合h中随机选取特征向量h
j
，采用欧氏距离计算h
j
与虚拟原型c
k
间的距离d
k
＝dist(h
j
,c
k
)；其次，通过sigmoid函数计算二者之间的状态系数，计算过程如下：在获得状态系数后，使用代价函数度量多视角图像潜在特征对虚拟原型的指示程度；计算公式如下：p
k
＝j(d
k
)＝2
×
(1
‑
f(d
k
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)其中，p
k
为指示变量，用于表示输入图像与虚拟原型c
k
的间指示程度；理想情况下，p
k
值大，意味着融合特征与聚类原型的距离越小，二者相似度越高，输入图像对虚拟原型的指示性越强；反之则越弱；选取指示性较强的虚拟原型作为强化对象；同时，设置随机种子p
s
同已选定的虚拟原型的指示变量p
k
进行比较，获得校准变量y，修正无效虚拟原型对整个聚类结果的负面影响；计算过程如下：
在执行步骤4
‑
1过程中，实时更新聚类环境中对应单元的相关信息，步骤4
‑
2，执行在线奖赏策略，为临近虚拟原型分配奖赏信号r；首先，根据校准变量y为选定的强化对象分配奖惩因子r
j
：其中，当校准变量y
j*
为1时，选定的强化对象为有效对象，且该单元对应的虚拟原型接近输入图像并符合理想情况，应对施加正向决策，即为其分配奖赏因子，则反之，选定的强化对象为无效对象，且该单元对应的虚拟原型远离输入图像而违背理想情况，应对施加反向决策，即为其分配惩罚因子；通过步骤4
‑
1和步骤4
‑
2，更新聚类环境，迭代收敛至获得最优的虚拟原型作为聚类中心；步骤5、更新参数，优化聚类结果；采用策略梯度算法更新选定的强化对象的权重参数，如下公式所示；其中，α表示学习率，其值应大于0；r为多视角强化聚类步骤中获得的奖惩因子，b
j,k
为强化基线；g
j
＝g
j
(y
j
；w
j
,h
j
)为概率密度函数，该值受输入图像的多视角融合特征h
j
及其权重为w
j
的选定强化对象在当前聚类环境下校准变量的影响；用于衡量策略梯度更新过程中的特征变换度，随概率密度函数g
j
的值发生改变；根据多视角强化聚类的指示程度，联合校准变量和奖赏因子，在设置强化基线b
j,k
＝0的条件下，得到最终的虚拟原型的权重更新公式：在迭代优化的过程中，虚拟原型通过公式(16)进行更新，当聚类结果达到预设训练次数时，完成多视角强化图像聚类任务。2.根据权利要求1所述的多视角强化图像聚类方法，其特征在于，步骤3所述的k
‑
means聚类算法是根据距离越小，相似度越大；距离越大，相似度越小的标准，将数据点划分到k个集群中；采用欧氏距离计算各数据点间的距离，计算公式如下：其中，h
i
和h
j
表示两个不同的数据点的多视角融合特征，dist(
·
)表示两者之间的距离；在集群的划分过程中，每次迭代需要重新计算同一集群中的特征的平均值，并将其作为质心c＝{c
k
|k＝1,2,...,k}，计算公式为：
其中，c
k
表示第k个集群的质心，h
i
表示位于该集群的数据点的特征；首先从样本集中随机选取k个点作为初始的聚类质心集合采用公式(8)计算各数据点与各聚类质心的距离，并将各数据点分配给距离最近的聚类质心，通过启发式的迭代方法更新聚类质心至收敛，得到k个优化后的聚类质心作为数据点聚类质心集合

技术总结
本发明提出一种多视角强化图像聚类方法，属于图像聚类与强化学习领域，包括：1)预训练各视角独立的特征提取网络，初始化各视角的潜在特征空间；2)预训练多视角特征融合网络，初始化各视角的融合特征空间；3)采用K


技术研发人员：高静 刘晨欣 金珊 陈志奎 李朋
受保护的技术使用者：大连理工大学
技术研发日：2021.08.02
技术公布日：2021/11/4