一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法与流程

本发明涉及铜冶炼工业，尤其涉及一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法。

背景技术：

1、铜冶炼生产包含配料、熔炼、吹炼、精炼、电解、烟气脱硫六大核心工序，生产过程会持续产生海量多模态数据：一方面是高温炉窑视频帧、炉口火焰图像、铜水液面成像、极板缺陷图像等视觉图像数据；另一方面是工艺操作规程、实时 dcs 参数文本、故障处置台账、质检报告、安全管控文本等文本数据。工业运维、故障溯源场景下，运维人员常需要以冶炼异常图像检索对应故障处置文本、以工艺参数文本检索同类工况图像。

2、但是，现有方法通常将各类别作为孤立监督信号，未充分利用类别之间天然存在的语义先验结构，导致语义相近类别在哈希空间中相互割裂，影响语义聚类和跨模态检索效果。

3、上述问题亟待解决。

技术实现思路

1、本发明公开了一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，旨在解决现有技术中存在的技术问题。

2、本发明采用下述技术方案，其包括：采集铜冶炼图像、工艺文本样本并划分数据集，对所述数据集进行预处理，利用数据集中的工序故障标签构建多标签矩阵；基于所述多标签矩阵计算类别共现矩阵，采用jaccard系数计算类别邻接强度，经top-k稀疏、对称化、度归一化得到类别语义图；以冶炼类别独热向量生成初始类别原型，采用所述类别语义图多层图扩散平滑，归一化后输出图平滑类别原型；搭建参数独立、输出维度一致的初始图文编码器，使预处理后的数据集输入所述初始图文编码器映射出统一连续的哈希空间，将所述哈希空间与所述图平滑类别原型内积得到双模态原型响应矩阵；利用所述多标签矩阵和所述双模态原型响应矩阵构建两模态原型分类损失，并约束所述类别语义图中图像端与文本端的类别响应保持一致；结合两模态原型分类损失与类别语义图构建多正样本双向对比损失，向所述多正样本双向对比损失中引入渐进系数叠加哈希损失，以哈希损失最小为目标迭代优化所述初始图文编码器，生成目标图文编码器，其中，所述目标图文编码器输出映射为二值哈希码，形成双向检索。

3、可选的，采集铜冶炼图像、工艺文本样本并划分数据集，对所述数据集进行预处理，利用数据集工序故障标签构建多标签矩阵，包括：采集铜冶炼炉窑工况图像、工艺故障文本成对样本，划分训练集、查询集、工业数据库集；分别对图像视觉特征、工艺文本特征执行l2归一化，其中，l2归一化用于指示将特征缩放至单位长度的特征向量；采用训练集中的冶炼工序、故障多标签向量构建多标签矩阵，所述查询集以及所述工业数据库集中的标签用于所述目标图文编码器的检索精度评价。

4、可选的，基于所述多标签矩阵计算类别共现矩阵，采用jaccard系数计算类别邻接强度，包括：所述类别共现矩阵为：

5、

6、其中，m为类别共现矩阵；y为训练集多标签矩阵；为y的转置；

7、所述类别邻接强度为：

8、

9、其中，为类别a与类别b在训练集中的共现矩阵，为类别a在训练集中的共现矩阵，为类别b在训练集中的共现矩阵，为类别a与类别b之间的jaccard邻接强度，a为a类别索引，b为b类别索引，ε为极小正数。

10、可选的，以冶炼类别独热向量生成初始类别原型，采用所述类别语义图多层图扩散平滑，归一化后输出图平滑类别原型，包括：基于数据集中的工序故障标签确定冶炼类别原型；基于类别语义图确定与所述冶炼类别原型强耦合的语义邻居类别原型，其中，所述类别语义图用于提供强耦合的权重；将所述冶炼类别原型与所述语义邻居类别原型进行加权融合得到初始类别原型；以所述类别语义图为权重，以数据集中的工序故障类别为节点，在类别语义图上执行多层传播，得到图平滑类别原型。

11、可选的，搭建参数独立、输出维度一致的初始图文编码器，包括：所述初始图文编码器包括图像编码器以及文本编码器，所述图像编码器与所述文本编码器的层数以及输出维度相同，参数互不共享；所述图像编码器与所述文本编码器的末层输出保留连续表示，用于计算双模态原型响应矩阵。

12、可选的，将所述哈希空间与所述图平滑类别原型内积得到双模态原型响应矩阵，包括：图像端类别原型响应矩阵为：

13、

14、其中，为图像端类别原型响应矩阵，为一个批次内全部图像连续哈希表示组成的矩阵，w为图平滑类别原型，表示w的转置；

15、文本端类别原型响应矩阵为：

16、

17、其中，为文本端类别原型响应矩阵，为一个批次内全部文本连续哈希表示组成的矩阵，w为图平滑类别原型，表示w的转置。

18、可选的，利用所述多标签矩阵和所述双模态原型响应矩阵构建两模态原型分类损失，包括：两模态原型分类损失为：

19、

20、其中，为两模态原型分类损失，bce(·)为二元交叉熵损失，y为训练样本标签矩阵，为图像端类别原型响应矩阵，为文本端类别原型响应矩阵。

21、可选的，结合两模态原型分类损失与类别语义图构建多正样本双向对比损失之前，方法还包括：使用相似度top-k门控，保留类别语义图中类别邻接强度大于预设值的正对；当类别语义图中的任意一行没有正对的情况下，保留同一样本的图文作为基本正对。

22、可选的，向所述多正样本双向对比损失中引入渐进系数叠加哈希损失，包括：所述哈希损失为：

23、

24、其中，表示两模态原型分类损失，表示跨模态原型响应一致性损失，表示图结构保持损失，表示双向跨模态对比损失，表示量化损失，表示比特均衡损失，表示去相关损失，r为渐进系数，、、均为模态损失系数，、、均为多正样本损失系数。

25、可选的，向所述多正样本双向对比损失中引入渐进系数叠加哈希损失，包括：所述渐进系数为：

26、

27、其中，r为渐进系数，e为当前训练轮次；为预热轮数；min(·)为取最小值运算。

28、本发明采用的技术方案能够达到以下有益效果中的至少一个：

29、在本发明实施例中，依托冶炼生产真实多标签统计构建 jaccard 工业语义图，将原本孤立工序标签导致的工况、故障语义相关联，从全局多标签分布中提取类别结构，图平滑工业类别原型融合关联工序、故障语义，作为冶炼图像、工艺文本共用参照，并使双模态在原型响应空间完成工业语义对齐，实现跨模态语义对齐，大幅削弱视觉图像与工艺文本的分布差异，从而缓解异构模态语义鸿沟，提高语义聚类和跨模态检索效果。

1.一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，其特征在于，包括：

2.根据权利要求1所述的一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，其特征在于，采集铜冶炼图像、工艺文本样本并划分数据集，对所述数据集进行预处理，利用数据集工序故障标签构建多标签矩阵，包括：

3.根据权利要求1所述的一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，其特征在于，基于所述多标签矩阵计算类别共现矩阵，采用jaccard系数计算类别邻接强度，包括：

4.根据权利要求1所述的一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，其特征在于，以冶炼类别独热向量生成初始类别原型，采用所述类别语义图多层图扩散平滑，归一化后输出图平滑类别原型，包括：

5.根据权利要求1所述的一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，其特征在于，搭建参数独立、输出维度一致的初始图文编码器，包括：

6.根据权利要求5所述的一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，其特征在于，将所述哈希空间与所述图平滑类别原型内积得到双模态原型响应矩阵，包括：

7.根据权利要求5所述的一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，其特征在于，利用所述多标签矩阵和所述双模态原型响应矩阵构建两模态原型分类损失，包括：

8.根据权利要求1所述的一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，其特征在于，结合两模态原型分类损失与类别语义图构建多正样本双向对比损失之前，方法还包括：

9.根据权利要求1所述的一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，其特征在于，向所述多正样本双向对比损失中引入渐进系数叠加哈希损失，包括：

10.根据权利要求9所述的一种面向铜冶炼工业的类别原型增强跨模态哈希检索方法，其特征在于，向所述多正样本双向对比损失中引入渐进系数叠加哈希损失，包括：