一种基于生成对抗网络的矿物图像数据扩充方法及装置

1.本发明涉及一种基于生成对抗网络的矿物图像数据扩充方法，涉及地质勘探、选矿的数据处理领域。


背景技术：

2.矿物产业在经济建设中有着举足轻重的作用，迄今为止矿物已广泛应用于工农业生产和人民生活的各个领域。
3.在矿藏的勘探过程中，快速、准确对造岩矿物进行识别，对判明矿产资源的品质和储量，决定开采规模具有重大意义。矿物鉴定按是否使用仪器可分为肉眼鉴定和仪器鉴定，而肉眼鉴定是仪器设备鉴定的基础。因为通过肉眼鉴定，可以初步估计出矿物的种或族，由此决定选用什么方法进行精确的鉴定和研究。随着计算机技术的发展，运用机器学习技术的模型判定法逐渐代替肉眼鉴定成为未来发展主流，基于深度学习的方法大多对标注数据的数量有着较高的要求，而现实场景中往往很难满足。在矿物智能识别领域中，考虑到标注数据的时间和昂贵的经济成本，研究人员尝试运用新技术来解决样本不足和类不平衡的问题。


技术实现要素：

4.本发明提供了一种基于生成对抗网络的矿物图像数据扩充方法及装置，以用于生成矿物图像实现矿物图像的数据扩充。
5.本发明的技术方案是：一种基于生成对抗网络的矿物图像数据扩充方法，包括：
6.依据文本描述，获得文本向量；
7.依据文本向量，获得矿物图像。
8.所述依据文本描述，获得文本向量，包括：
9.获取已有矿物图像，根据已有矿物图像特征对已有矿物图像进行文本描述；
10.对已有文本描述进行特征修改，将修改好的文本描述作为待转换文本信息；
11.将待转换文本信息输入rnn网络，获得包含矿物特征信息的文本向量。
12.所述特征表示直接观察特征，直接观察特征包括以下至少之一：颜色特征、纹理特征、形态特征、空间关系特征、矿物结晶程度。
13.所述特征修改，包括：对已有文本描述的直接观察特征进行增加、删除、变更。
14.所述rnn网络包含输入层、若干隐含层、输出层，层与层之间的神经元建立权值连接，最后通过激活函数控制输出；输入的是自然语言文本，输出是包含矿物特征信息的文本向量。
15.所述依据文本向量，获得矿物图像，包括：将输入的噪声和文本向量进行融合输入cgan网络，获得矿物图像。
16.所述cgan网络包含生成网络和判别网络两大结构；生成网络所使用的转置卷积层，卷积核大小为3*3，步长为2，填充方式为same填充；判别网络使用的卷积层，卷积核大小
为3*3，步长为2，填充方式为same填充。
17.一种基于生成对抗网络的矿物图像数据扩充装置，包括：
18.文本信息向量化模块，用于依据文本描述，获得文本向量；
19.文本生成图像模块，用于依据文本向量，获得矿物图像。
20.所述文本信息向量化模块，包括：
21.第一预处理单元，用于获取已有矿物图像，根据已有矿物图像特征对已有矿物图像进行文本描述；
22.第二预处理单元，用于对已有文本描述进行特征修改，将修改好的文本描述作为待转换文本信息；
23.获得单元，用于将待转换文本信息输入rnn网络，获得包含矿物特征信息的文本向量。
24.一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述中中任意一项所述的基于生成对抗网络的矿物图像数据扩充方法。
25.本发明的有益效果是：
26.本发明方便部署、易于操作，具体而言，本发明的图像在原有图像的基础上生成，能模拟一些矿物可能存在的共生情况，再进一步使用cgan网络，较比采用裁剪、翻转、旋转等手段存在的“不会改变原始数据分布，而且对图像的清晰度也有一定影响，对样本分布不平衡的数据集不能起到平衡作用”的特性，显然本发明采用的手段不受规则限制，在一定程度上可以改变原始数据的分布，同时不影响图像的清晰度，而且对一些样本数较少的数据可以起到扩充作用，使整体数据分布达到平衡。基于本发明获得的矿物图像，可以弥补一些矿物图像数据过少，导致网络模型难以训练问题。
附图说明
27.图1为本发明的结构框图；
28.图2为本发明中rnn网络结构图；
29.图3为本发明中条件生成对抗网络结构图。
具体实施方式
30.下面结合附图和实施例，对发明做进一步的说明，但本发明的内容并不限于所述范围。
31.实施例1：如图1-3所示，一种基于生成对抗网络的矿物图像数据扩充方法，包括：依据文本描述，获得文本向量；依据文本向量，获得矿物图像。
32.进一步地，可以设置所述依据文本描述，获得文本向量，包括：
33.获取已有矿物图像，根据已有矿物图像特征对已有矿物图像进行文本描述；
34.对已有文本描述进行特征修改，将修改好的文本描述作为待转换文本信息；
35.将待转换文本信息输入rnn网络，获得包含矿物特征信息的文本向量。
36.进一步地，可以设置所述特征表示直接观察特征，直接观察特征包括以下至少之一：颜色特征、纹理特征、形态特征、空间关系特征、矿物结晶程度。
37.进一步地，可以设置所述特征修改，包括：对已有文本描述的直接观察特征进行增加、删除、变更。
38.进一步地，可以设置所述rnn网络包含输入层、若干隐含层、输出层，层与层之间的神经元建立权值连接，最后通过激活函数控制输出；输入的是自然语言文本，输出是包含矿物特征信息的文本向量。
39.进一步地，可以设置所述依据文本向量，获得矿物图像，包括：将输入的噪声和文本向量进行融合输入cgan网络，获得矿物图像。
40.进一步地，可以设置所述cgan网络包含生成网络和判别网络两大结构；生成网络所使用的转置卷积层，卷积核大小为3*3，步长为2，填充方式为same填充；判别网络使用的卷积层，卷积核大小为3*3，步长为2，填充方式为same填充。
41.下面对本发明进行详细说明。
42.针对矿物共生情景较多，图像数据难以收集齐全导致检测不同种类矿物的模型泛化性较差问题，本发明公开了一种基于生成对抗网络的矿物图像数据扩充方法及装置，该方法的整体模型结构如图1所示，主要包括用于将文本描述转换为文本向量的循环神经网络(rnn)和用于根据文本向量生成矿物图像的条件生成对抗网络(cgan)。所述rnn如图2所示，由输入层、若干隐含层、输出层组成负责将自然语言文本转化为文本向量。所述cgan如图3所示，由生成网络和判别网络组成，生成网络负责根据文本向量和随机噪声生成一幅图像，判别网络负责判断生成网络生成图像是否符合文本描述，并给予生成网络反馈以让生成网络生成的图像越来越真实。rnn所有权值、cgan所有权值都是网络在训练中得到。下面对具体实施方法进行说明。
43.具体而言，rnn主要功能是从描述矿物的自然语言文本中提取到描述矿物特征语句，并将这些语句转化为特征向量，作为条件对抗生成网络中的条件之一，cgan网络是包含生成网络和判别网络两大结构，两个结构由若干转置卷积层和卷积层组成。生成网络负责生成矿物图像，判别网络负责对生成的矿物图像真实性进行判别。与传统条件生成对抗网络不同的是，本发明使用的生成网络的输入，是噪声和文本特征向量融合后的输入，可以根据指定条件去生成矿物图像，整个的具体步骤可以如下：
44.step1.1：获取已有矿物图像，根据已有矿物图像特征对已有矿物图像进行文本描述；其中，特征表示直接观察特征，可直接观察特征包括颜色特征、纹理特征、形态特征、空间关系特征、矿物结晶程度中的一个或者多个；
45.step1.2：对已有文本描述进行特征修改，将修改好的文本描述作为待转换文本信息；特征修改具体可以为：对已有文本描述的直接观察特征进行增加、删除、变更；
46.step1.3：将待转换文本信息输入rnn网络，经过若干隐含层后输出为一个包含矿物特征信息的文本向量；
47.具体地，设输入的待转换文本信息为wi,i＝(1,2,3.....)，输出的文本向量ci,i＝(1,2,3.....)，则经过rnn转换后文本向量特征表达式如下：
48.49.式中，w表示输入的权重，u表示此刻输入的样本权重，v表示输出的样本权重；f()为tanh激活函数，g()为softmax激活函数；s
t
表示文本在时间t处的记忆，其中t＝1时，s
t
＝0；h
t
为t时刻隐含层表示。
50.至此，step1.1至step1.3构成了本发明所提出的文本信息向量化模块，如图2所示，通过使用rnn便能将一段描述矿物特征的文本信息转换为文本向量，此向量是后续生成矿物图像的基础条件之一，后续只需按实际应用需要，重复step1.1-step1.3即可将文本信息转换为文本向量。
51.step2.1：将输入的噪声和文本向量进行融合，得到一个特征向量作为图像生成条件；
52.step2.2：将特征向量送入生成网络中，使用卷积核大小为3*3，步长为2，填充方式为same填充的转置卷积层进行上采样操作，之后使用批标准化层和relu激活函数进行标准化和激活操作，经过多次上采样后得到一幅预测矿物图像；
53.具体地，生成网络目标是使自己制造的图像尽可能接近真实图像，以致判别网络无法判别，其优化过程如公式(2)所示：
[0054][0055]
式中，z表示输入生成样本噪声，g(z|w)表示生成网络由噪声和文本特征向量生成的样本。d(g(z|w))表示生成样本通过判别网络后，判断其为真实样本的概率。
[0056]
step2.3：将已有矿物图像进行预处理和归一化操作；
[0057]
step2.4：将step2.3中归一化后的已有矿物图像和生成的预测矿物图像输入判别网络中；
[0058]
step2.5：对已有矿物图像和预测矿物图像，使用卷积核大小为3*3，步长为2进行下采样操作，之后使用批标准化层和leakyrelu激活函数对输出特征图进行处理，经过多次下采样后在网络最后使用softmax激活函数进行激活；
[0059]
具体地，判别网络的目标是，对于已有矿物图像，输出概率值要接近1；对于预测矿物图像，输出概率值要接近0，其优化过程如公式(3)所示：
[0060][0061]
式中，x表示真实样本，d(x|w)表示符合文本描述的真实样本通过判别网络后，判断其为真实样本的概率。为了统一运算，对于生成网络样本判别概率采用1-logd(g(z|w)形式。
[0062]
step2.6：将判别网络的判别结果反馈给生成网络。
[0063]
至此，step2.1至step2.6构成了本发明所提出的文本生成图像模块设计，如图3所示，通过使用cgan可以将一段描述矿物特征的文本向量转换为矿物图像，经过若干次对抗训练也就是重复step2.1至step2.6，所生成的矿物图像将越来越逼真达到增加矿物图像数据目的。
[0064]
实施例2：根据本发明实施例的另一方面，提供了一种基于生成对抗网络的矿物图像数据扩充装置，包括：
[0065]
文本信息向量化模块，用于依据文本描述，获得文本向量；
[0066]
文本生成图像模块，用于依据文本向量，获得矿物图像。
[0067]
进一步地，可以设置所述文本信息向量化模块，包括：
[0068]
第一预处理单元，用于获取已有矿物图像，根据已有矿物图像特征对已有矿物图像进行文本描述；
[0069]
第二预处理单元，用于对已有文本描述进行特征修改，将修改好的文本描述作为待转换文本信息；
[0070]
获得单元，用于将待转换文本信息输入rnn网络，获得包含矿物特征信息的文本向量。
[0071]
实施例3：根据本发明实施例的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的基于生成对抗网络的矿物图像数据扩充方法。
[0072]
实施例4：根据本发明实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上述中任意一项所述的基于生成对抗网络的矿物图像数据扩充方法。
[0073]
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。