基于多专家混合的图像分割释义方法、电子设备和存储介质

技术特征：
1.基于多专家混合的图像分割释义方法，其特征在于，具体包括以下步骤；步骤1，构建多专家混合网络；步骤2，将原图像数据集中的标签按部件进行分割重构形成部件标签数据，将多元分割任务简化单分割任务；步骤3，分别使用各个专家网络的编码器即特征提取模块对原始图像数据的特征进行提取，各个专家在反向传播中通过损失函数计算模块和传入损失函数计算模块的仅自己可见的部件标签数据以及各自输出的预测图进行参数优化，优化过程中各个专家都将不断提取自己所需的特征，丢弃无用特征，以最小化多专家混合网络和网络聚合模块的损失；步骤4，分别使用各个专家网络的解码器即图像生成模块对专家各自提取的特征进行分割部件图像的生成，最终对各个专家网络的输出进行聚合，得到多专家混合网络的分割结果，也即是最终的分割预测图。2.根据权利要求1所述的基于多专家混合的图像分割释义方法，其特征在于，所述多专家混合网络包括多个同构或者异构的图像分割网络，即专家网络、门控网络或路由网络构成的网络聚合模块、损失函数计算模块；所述图像分割网络，就是把图像分成若干个特定的、具有独特性质的区域的基于深度学习算法的网络模型；所述多专家混合网络，用于提取原图像数据集中不同部件的特征，并针对性的生成不同部件的分割图；原图像数据集，是由rgb或argb多通道彩色图片构成的所需分割对象的数据集合和单通道灰度图片构成的所需分割对象对应标签的数据集合共同组成的。部件标签数据集，是将原图像数据集对应的标签按照一定规则划分为多个不同部件标签得到的；所述部件，是原图像数据集中分割对象对应标签的某一部分，所有部件标签共同构成一个对象标签。3.根据权利要求2所述的基于多专家混合的图像分割释义方法，其特征在于，所述网络聚合模块，由门控网络或路由网络构成，前者用于根据将原图片数据或者各个专家编码器输出的特征图作为输入生成的专家权重，对多专家混合网络中的多个专家输出的预测图进行加权聚合得到原图像分割对象的整体预测图；后者用于对原图片按一定比例分块并采取overlap方法得到的多个分块子图进行分类路由，并给出每个分块子图对应部件的路由分数作为路由算法的路由依据，多专家混合网络的各个专家根据分块子图对应各个部件的路由分数和一定的路由算法，得到各自的分块子图作为输入，并输出对应块的预测图，线性合并所有专家输出的预测图得到原图像分割对象的整体预测图；所述分块子图是指，按一定比例和overlap方法对原图片进行分块得到的子图，如原图为224x224大小，按比例1/4对原图进行分块，得到16个56x56的子块，而overlap方法指的是按特定大小保留分块的周边区域，让相邻子块有重叠信息；所述损失函数计算模块，用于计算多专家混合网络对于输入图像数据的分割损失，以及各个专家网络对于各个部件的分割损失，并将计算结果反馈至多专家混合网络和网络聚合模块，对其参数进行优化更新。4.根据权利要求1所述的基于多专家混合的图像分割释义方法，其特征在于，所述多专
家混合网络的损失函数loss如下：其中weight
moe
表示对所有组件构成的最终分割结果的损失权重，moe表示所有组件构成输出的最终分割结果，表示多专家混合网络总输出对于样本的loss，n表示专家网络的数量，e
i
表示第i个专家网络的分割结果输出，表示每个专家对于样本的损失。5.根据权利要求4所述的基于多专家混合的图像分割释义方法，其特征在于，所述损失函数的计算如下：其中为mse(均方误差)函数；h,w分别为输出的单通道分割图像的行和列的像素数量；y_pred
(x,y)
表示输出的分割图像在横坐标为x，纵坐标为y处的像素值；y_true
(x,y)
表示部件的标签在横坐标为x，纵坐标为y处的像素值。6.根据权利要求1所述的基于多专家混合的图像分割释义方法，其特征在于，所述步骤3中图像分割过程如下：步骤31，将原始图片分成n份(使用路由网络则将原图片按一定比例进行分块和overlap)，并分别送入多专家混合网络中的各个专家网络的编码器中，各个专家在反向传播中通过损失函数计算模块和传入损失函数计算模块的仅自己可见的部件标签数据以及各自输出的预测图进行参数优化，优化过程中各个专家都将不断提取自己所需的特征encoder
i
(x)，丢弃无用特征，以最小化多专家混合网络和网络聚合模块的损失。7.根据权利要求1所述的基于多专家混合的图像分割释义方法，其特征在于，所述步骤4中图像分割过程如下：步骤41，多专家混合网络中的各个专家网络对各自编码器的输出，即encoder
i
(x)进行分割部件图的生成即e
i
＝decoder
i
(encoder
i
(x))；步骤42，将多专家混合网络中的各个专家的编码器的输出以一定方式融合，构成门控网络的输入，并经由门控网络的全局池化层、卷积层以及全连接层输出得到各个专家的权重向量，即w
e
＝gate(concat(encoder
i
(x)i∈(0,n)))；步骤43，最后，将多专家混合网络中的各个专家网络的输出进行加权合并，得到最终的多专家混合网络的分割输出结果，即8.根据权利要求7所述的基于多专家混合的图像分割释义方法，其特征在于，所述gate为简单门控网络，由gap模块、conv2d
1x1
和fc构成。9.一种电子设备，其特征在于，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。

技术总结
本发明公开了基于多专家混合的图像分割释义方法、电子设备和存储介质，方法包括独立的多专家分割网络、基于门控网络或者路由网络的专家混合机制。该模型使用多个同构或者异构的图像分割网络构成多专家混合模型，并将标签按部件进行分割，从而对专家进行有针对性的训练学习，使得各专家网络之间相对独立，相比于黑盒和训练后的基于训练结果的模型解释，本方法可实现不同专家网络的解耦和分支网络层面的分割可解释。的分割可解释。的分割可解释。


技术研发人员：张亮 熊诺晔 王宁 华聪 朱光明 宋建锋 冯明涛 沈沛意
受保护的技术使用者：西安电子科技大学
技术研发日：2022.11.14
技术公布日：2023/2/3