一种基于可学习原型聚合与视觉模式关联挖掘的泡沫图像表征学习方法

本发明涉及矿物浮选过程监测，具体涉及一种基于可学习原型聚合与视觉模式关联挖掘的泡沫图像表征学习方法。

背景技术：

1、选矿是矿产资源加工中的重要环节，其目的在于根据不同矿物之间的差异，实现目标矿物与脉石矿物的分离，从而提升矿产资源的利用率。泡沫浮选因分选效率高、适用矿种广泛等优点，成为矿物加工过程中应用最广泛的选矿方法之一。

2、泡沫浮选的基本原理是利用不同矿物表面物理化学性质差异，在浮选药剂作用下，使目标矿物颗粒附着于气泡表面并随气泡上浮，从而实现目标矿物与脉石矿物的分离。首先，采集的原矿经过破碎、球磨等工艺处理后，形成适合浮选的矿物颗粒。随后，矿物颗粒与水在搅拌机的作用下混合形成矿浆，根据工艺需求在矿浆中加入起泡剂、捕收剂和活化剂等浮选药剂，并在搅拌槽中充分搅拌混合。其中，起泡剂促进气泡的形成与分散，捕收剂和活化剂则增强目标矿物表面的疏水性。最后，混合后的矿浆输送进浮选槽，之后旋转的叶轮将空气打进浮选槽内形成气泡。气泡与矿物颗粒碰撞后，疏水性的目标矿物附着在气泡表面，并随气泡上升至矿浆形成泡沫层，随后由被刮板刮出，实现目标矿物的收集；而亲水性的矿物则会留在矿浆中，最终被排出浮选槽，形成尾矿。

3、近年来，机器视觉技术被逐步应用于泡沫浮选过程监测。该方法通过摄像设备实时采集浮选槽内的泡沫图像，并利用图像处理算法分析泡沫的颜色、尺寸及纹理等视觉特征，从而实现对浮选过程的自动监测。

4、泡沫图像中普遍存在泡沫粘连、边界模糊等现象，使得局部区域的形态边界难以被准确划分。传统基于确定性区域划分的方法通常依赖明确的边界信息，当泡沫边缘不清晰或多个泡沫区域相互粘连时，容易产生过分割或欠分割问题，进而影响后续特征提取的可靠性。在实际泡沫图像中，某一工况往往不是由单一泡沫视觉特征决定，而是由多种局部视觉模式共同出现并形成特定组合状态。例如，在不同浮选工况下，泡沫形态、纹理粗糙度以及粘连区域等局部特征往往具有不同的共现规律和结构关联。

5、针对泡沫图像中局部泡沫区域泡沫粘连、边界模糊及局部状态混杂导致的视觉表征不足，以及不同局部视觉模式现象之间关联关系建模不足等问题，本发明提出一种基于可学习原型聚合与视觉模式关联挖掘的浮选工况识别方法。本方法能够通过可学习典型视觉模式原型对泡沫图像中的局部视觉特征进行归纳表征，并利用软分配机制刻画局部区域与不同视觉模式之间的关联程度；同时，基于视觉模式分配结果构建视觉模式关联图，进一步挖掘不同视觉模式之间的共现关系和结构关联，从而获得更具判别性的泡沫图像表征，提高浮选工况识别的准确性和稳定性。

技术实现思路

1、为了克服上述技术问题，本发明提供了一种基于可学习原型聚合与视觉模式关联挖掘的泡沫图像表征学习方法。

2、为了实现上述技术，包括以下步骤：

3、将预处理后的浮选过程泡沫图像输入泡沫图像表征学习模型以获取增强的泡沫图像表征；所述泡沫图像表征学习模型中依次执行：

4、使用卷积神经网络对预处理后的泡沫图像执行编码操作；

5、构建随训练过程中网络参数共同更新的可学习视觉模式原型；

6、对编码操作结果和可学习视觉模式原型计算相似度以构建软分配矩阵；

7、对软分配矩阵和编码操作结果执行加权聚合操作得到视觉模式表征矩阵并计算不同模式下的模式关系矩阵，并对模式关系矩阵加入自环并进行对称归一化构建视觉模式关系矩阵；

8、将视觉模式关系矩阵输入图卷积网络得到整幅泡沫图像的全局增强表征。

9、进一步的，所述编码操作包括：

10、将预处理后的泡沫图像输入泡沫图像特征编码模块得到特征图；

11、将特征图按空间位置展开为局部特征向量集合。

12、进一步的，所述构建随训练过程中网络参数共同更新的可学习视觉模式原型，表示为，∈，其中，表示视觉模式原型的数量，表示特征维度；

13、所述可学习视觉模式原型用于表征泡沫图像特征图的局部表观状态；

14、所述特征维度与特征图的维度相同。

15、进一步的，所述对编码操作结果和可学习视觉模式原型计算相似度以构建软分配矩阵的步骤包括：

16、基于构建的可学习视觉模式原型后，计算每个局部特征与各视觉模式原型之间的相似度，所有构成软分配矩阵，表示为，其中，表示局部特征总数。

17、进一步的，所述对软分配矩阵和编码操作结果执行加权聚合操作得到视觉模式表征矩阵的步骤包括：

18、在获得软分配矩阵后，对于第个视觉模式原型，计算所有局部特征对应的视觉模式原型的软分配权重进行加权求和，得到视觉模式表征；

19、通过组合拼接所有视觉模式表征得到视觉模式表征矩阵，表示为，∈。

20、进一步的，所述计算不同模式下的模式关系矩阵的步骤包括：

21、计算不同模式下的共现关系，表达式如下：

22、

23、式中，表示第个视觉模式下软分配列向量；表示第个视觉模式下软分配列向量；

24、所有的共现关系组成了模式关系矩阵，表示为，。

25、进一步的，所述对模式关系矩阵加入自环并进行对称归一化构建视觉模式关系矩阵的表达式如下：

26、

27、式中，表示最终输入图卷积网络的视觉模式关系矩阵；为度矩阵，其对角元素为，其中，为kronecker delta，当时取1，否则取0；表示单位矩阵。

28、进一步的，所述将视觉模式关系矩阵输入图卷积网络得到整幅泡沫图像的全局增强表征中，所述图卷积网络设置为两层图卷积结构。

29、进一步的，所述将视觉模式关系矩阵输入图卷积网络得到整幅泡沫图像的全局增强表征的方式为：

30、将视觉模式表征矩阵与归一化后的视觉模式关系矩阵输入两层卷积网络，其中，第一层图卷积的表达式如下：

31、

32、第二层图卷积的表达式如下：

33、

34、式中，和为第一和二层输出特征；为非线性激活函数；和中为第一、二层图卷积的可学习参数矩阵；

35、经过图卷积关联挖掘后，模型得到更新后的视觉模式表征，采用平均聚合方式对所有视觉模式表征进行聚合，表达式如下：

36、

37、式中，表示经过图卷积更新后的第个视觉模式表征，表示视觉模式原型的数量。

38、进一步的，所述方法还包括：

39、通过总损失来训练所述泡沫图像表征学习模型；

40、所述总损失的表达式如下：

41、

42、式中，表示分类损失函数；表示原型多样性损失，为调节分类损失与原型多样性损失之间权重的平衡系数；其中，分类损失函数的表达式如下：

43、

44、式中，表示工况类别总数，表示工况类别总数的索引；表示第类工况的真实标签；为模型输出结果，，其中和分别表示分类器的权重矩阵和偏置项；

45、原型多样性损失的表达式如下：

46、

47、式中，表示frobenius范数；为原型矩阵的gram矩阵，其中，表示可学习视觉模式原型；表示单位矩阵。

48、本发明的有益效果

49、1、本发明引入可学习视觉模式原型，对泡沫图像中出现频次较高且具有工况判别意义的局部典型状态进行建模。每个视觉模式原型可以在训练过程中自动学习一种典型视觉模式，并将泡沫图像中分散在不同空间位置但具有相似形态特征的局部区域归纳到同一典型视觉模式下。通过这种方式，模型不再仅依赖局部卷积特征或单一的整图特征，而是能够以典型视觉模式为中间表征单元，对泡沫图像中的关键局部状态进行表征，从而提高泡沫图像细粒度特征的表征能力和可解释性。

50、2、针对在实际浮选过程中，泡沫图像中普遍存在泡沫相互粘连、边界模糊、局部区域状态混杂等问题，本发明采用可学习原型软分配机制，计算每个局部特征对不同视觉模式原型的隶属程度，得到软分配矩阵，相比传统的硬分配方式，本发明软分配能够减少局部区域单一归属假设对后续表征的影响，降低边界模糊和局部混杂带来的信息损失，从而为后续构建视觉模式关系图和获得整幅泡沫图像增强表征提供更加可靠的基础。

51、3、本发明根据软分配矩阵中不同视觉模式在图像空间中的响应分布相似性构建视觉模式关系图，并利用图卷积网络在该关系图上进行信息传播和特征更新。通过该过程，模型不仅能够获得单个视觉模式的表征，还能够挖掘不同视觉模式之间的共现关系和结构关联，从而获得更全面的泡沫图像表征。