基于深度学习的特征混合可分解性增强的图像描述方法

技术特征：
1.基于深度学习的特征混合可分解性增强的图像描述方法，其特征在于，特征提取器的训练步骤如下:特征提取步骤：特征提取器接收输入的n对目标标签对组成的数据集，为每个带标签y
i
的目标图像x
i
生成特征f
i
，，是标签集合；混合步骤：混合模块将特征f
i
作为主特征，以其它目标图像的特征作为副特征生成目标图像x
i
的混合特征m
ij
：其中，f
i
为目标图像x
i
的特征，f
j
为其他目标图像x
j
的特征，j＝1,
…
,n，i≠j；代表对应位置元素相加，∈是超参数；l(i,j):是从主副目标索引对到主副标签对的映射，u
l(i,j)
为映射l(i,j)的加权系数，u
l(i,j)
∈[0,1]；分解步骤：分解模块利用预设的目标特征字典d从混合特征m
ij
中重构出能体现特征可分解性的主特征o
i
：其中，目标特征字典d由c个类别的目标图像的均值特征组成，p(c)表示类别c的目标占整个有标签目标的比例，c＝1,
…
,c；p(
·
)表示某个类别的目标占整个数据集中有标签目标的比例；w1(
·
)和w2(
·
)代表输出维度是σ的全连接层；
t
表示转置，
⊙
表示对应元素相乘，表示矩阵乘法，softmax表示softmax函数；训练过程中特征提取模块通过分类损失进行约束；混合模块通过混合损失进行约束；分解模块通过分解损失进行约束；使用训练好的特征提取器来提取用于描述图像的目标特征。2.如权利要求1所述方法，其特征在于，特征提取器在训练过程中持续更新参数，混合模块和分解模块在训练过程中交替更新参数。3.如权利要求2所述方法，其特征在于，当特征提取器和混合模块参数更新时，分解模块参数不变，使用分类损失和混合损失直接相加的结果来反向传播和梯度更新特征提取器和混合模块的参数；而当特征提取器和分解模块参数更新时，混合模块参数不变，使用分类损失和分解损失直接相加的结果来反向传播和梯度更新特征提取器和分解模块的参数。4.如权利要求1所述方法，其特征在于，分类损失的具体计算方式如下：其中，是目标特征f
i
的真实标签，p1(
·
)代表接在特征提取器顶部的分类器。5.如权利要求1所述方法，其特征在于，分解损失的具体计算方式如下：
其中，是主特征o
i
的真实标签，p2(
·
)代表接在分解模块顶部的分类器。6.如权利要求1所述方法，其特征在于，混合损失的具体计算方式如下：其中，是混合特征m
ik(i,j)
的真实标签，p3(
·
)代表接在混合模块顶部的分类器；n(i)代表目标图像x
i
所在图片中余下的有标记目标的数量，k(i,j)即代表目标图像x
i
所在图片中局部索引为j的目标在整个数据集中的全局索引，λ是用来平衡该损失的两个部分的超参数。

技术总结
本发明提出一种基于深度学习的特征混合可分解性增强的图像描述方法，旨在直接变换图片内各个目标的深层视觉特征，来为视觉特征赋予混合可分解性，通过混合模块来生成混合特征，通过特征提取器提取初始特征，利用混合模块读取一个主特征一个副特征来生成混合特征，再通过分解模块来重构主特征。进一步的，根据特征提取器提取的特征的分类损失、混合模块的混合损失和分解模块重构出的特征的分类损失，利用反向传播和梯度下降算法来更新模型参数，以增强特征提取器提取的特征的混合可分解性。本发明提取的特征具有更强的可分解性，能广泛地应用于视觉问答和图片标注等一系列下游任务，来提升下游任务模型的表现。来提升下游任务模型的表现。来提升下游任务模型的表现。


技术研发人员：李宏亮 邱奔流 高翔宇
受保护的技术使用者：电子科技大学
技术研发日：2022.03.22
技术公布日：2022/7/1