一种基于中草药图文模态数据的图片标注方法

1.本发明涉及图像标注技术领域，具体来说，涉及一种基于中草药图文模态数据的图片标注方法。


背景技术：

2.中草药作为中华传统文化的重要组成部分蕴含着丰富的文化符号和文化内涵，随着文化大数据时代的来临，中草药数据也具有了丰富的数字化资源，融合科技与文化去探索中草药中所蕴含的文化内容是被广泛提及的课题，利用标注的方法对中草药的类别和功能进行分析是一种能够实现文化识别、文化解读、文化传承的科学技术方法。
3.中药主要由植物药、动物药和矿物药组成。因植物药占中药的大多数，所以中药也称中草药。中国各地使用的中药已达5000种左右，把各种药材相配伍而形成的方剂，更是数不胜数。经过几千年的研究，形成了一门独立的科学——本草学。研究中草药关联标注算法的意义在于可以使中草药植物工作者从繁琐的重复性的工作中解放出来，降低人力的成本，让中草药植物工作者把更多时间与精力花在有价值的中草药研究中。
4.中草药的图片数据存在着两种模态，第一种为中草药的原始形态，一般表现为野外植物，动物等，第二种为中草药的药用形态，即经过人为的加工处理等工业化流程后的可直接使用的中药，我们称之为成药形态。一般的标注算法中由于两种模态的差异性较大，且关联性较弱，应当作为不同的分类标注任务进行处理，但是这样就丢失了两种模态都具有同一标签属性(语义一致性)且在一些特殊类别中具有一定的联系(比如蜂巢或者龟甲数据的两种形态之间相似度较高)，这种情况下若是我们分离的使用两种形态的图片数据就会导致在算法模型中的信息丢失问题，产生准确率下降，物体识别不准确等问题；同时若是我们将两种模态混淆识别就会产生更严重的识别精度问题，由此可知这两种方式都有一定的可行性，但是在特定情况下也存在着一些问题。
5.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

6.针对相关技术中的问题，本发明提出一种基于中草药图文模态数据的图片标注方法，以克服现有相关技术所存在的上述技术问题。
7.为此，本发明采用的具体技术方案如下：
8.一种基于中草药图文模态数据的图片标注方法，该方法包括以下步骤：
9.s1、从中草药图文图像数据中提取图文标注对；
10.s2、将类别标签与图像进行单独提取制作中草药图文标注数据集；
11.s3、搭建语义一致性约束的中草药关联标注算法模型，并进行训练。
12.进一步的，所述从图文图像数据中提取图文标注对，包括以下步骤：
13.s11、对图文图像数据中图片进行提取与二值化处理；
14.s12、连接临近的连通域，获取子图掩膜，对剩余文字进行提取；
15.s13、通过光学字符识别技术识别提取出的文字，输出识别结果；
16.s14、利用自然语言处理技术关键词提取技术进行语义解析和语义拆分，获取图文结果。
17.进一步的，所述对图文图像数据中图片进行提取与二值化处理，包括以下步骤：
18.s111、利用边缘检测算子提取图片的边缘二值图；
19.s112、利用最大类间方差法算法提取图片的前背景阈值，并对图片进行二值化处理；
20.s113、将所述边缘二值图与前背景二值化图像进行叠加得到掩膜。
21.进一步的，所述连接临近的连通域，获取子图掩膜，对剩余文字进行提取，包括以下步骤：
22.s121、利用图形学膨胀的方式打通临近的连通域；
23.s122、通过所述连通域大小过滤文字部分，保留子图部分；
24.s123、利用水漫法填充子图连通域，获取子图掩膜；
25.s124、通过所述掩膜提取子图部分，并提取剩余的文字部分。
26.进一步的，所述通过光学字符识别技术识别提取出的文字，输出识别结果，包括以下步骤：
27.s131、选用卷积递归神经网络 文字识别网络结构网络模型，通过循环神经网络中的双层长短期记忆网络结构同时捕捉前向与后向信息；
28.s132、文字识别网络转录层通过统计学原理对模型输出的结果做出判断，选择可能性最高的结果输出，得到最终识别结果。
29.进一步的，所述利用自然语言处理技术关键词提取技术进行语义解析和语义拆分，获取图文结果，包括以下步骤：
30.s141、利用文本分词技术将段落打散成多级词向量；
31.s142、通过停用词表去除停用词；
32.s143、利用改进的文本排序算法通过图向量的形式提取文本中的核心词汇，再针对不同关键词从文本中提取关键词对应的文本内容，实现语义标签的解析与提取；
33.s144、将标签赋予分离出的对应子图，获取最终的图文结果。
34.进一步的，所述搭建语义一致性约束的中草药关联标注算法模型，并进行训练，包括以下步骤：
35.s31、将所述中草药图文标注数据集作为算法模型的训练集；
36.s32、以极端版本的开端特征提取网络模型为基础搭建模型算法；
37.s33、利用迁移学习的思想对单一形态算法模型进行训练；
38.s34、对双层算法模型进行训练，提高训练速度与模型效果。
39.进一步的，所述以极端版本的开端特征提取网络模型为基础搭建模型算法，包括以下步骤：
40.s321、在极端版本的开端特征提取网络模型的基础上，通过双流进行输入并识别结果的模型结构；
41.s322、串接一组池化层与全连接层，利用拼接的方式将两个输入流的输入拼接到同一特征维度下，再后接入全连接层进行标注识别。
42.进一步的，所述利用迁移学习的思想对单一形态算法模型进行训练，包括以下步骤：
43.s331、利用迁移学习的思想对单一形态算法模型加载在可视化数据库数据集上训练好的在所述极端版本的开端特征提取网络模型参数，并加入全连接层；
44.s332、利用预处理后的所述训练集，锁定除全连接层以外的所有层进行训练；
45.s333、解锁模型的后八层并重新进行训练，保存最终的模型数据。
46.进一步的，所述对双层算法模型进行训练，提高训练速度与模型效果，包括以下步骤：
47.s341、对每层模型进行训练，并将训练好的权重参数导入双层模型中继续训练；
48.s342、搭建双层算法模型并加载训练好的所述单一形态算法模型中除全连接层以外的参数，将模型导入后锁定除最后一层全连接层以外的层级进行训练；
49.s343、采用随机抽样的方式抽取不同模态的数据图片作为训练数据，并随机加入空白图片作为噪声；
50.s344、解锁模型的后六层重新对模型进行训练，保存模型结果。
51.本发明的有益效果为：通过图文模态数据中提取出图片和标签对，利用sobel算子提取图片的边缘二值图以及otsu算法提取图片的前背景阈值，叠加两者结果，利用图形学的膨胀方式打通临近的连通域，并通过连通域大小过滤文字部分，同时水漫法填充连通域获取子图掩膜，之后通过ocr技术识别文字部分，并通过nlp技术拆解语义完成标签提取工作，得到图文标注对，通过这种方式得到中草药原始形态和药用形态的两组数据集。从而能够通过机器自动打标的方式代替人工打标制作数据集，提高效率的同时减少因为人工打标的不确定性而导致的误差。
52.在获取与构建完整的中草药数据集将其后作为模型的训练集，通过搭建的语义一致性约束模型，将图文对作为训练集输入模型中进行训练，经过加载imagenet预训练过的xception网络模型参数并在其后加入全连接层进行单一形态下的网络训练，共两次训练两组参数，之后搭建语义一致性约束模型，将训练好的参数预加载进模型进行第三次训练直到收敛，直至完成识别模型的构建与训练。通过上述搭建算法模型系统并利用该系统，提供与实现中草药图文数据的加工，处理，展示，收集等功能，并且利用收集到的数据不断优化算法的准确率，大大提高识别效果。
附图说明
53.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1是根据本发明实施例的一种基于中草药图文模态数据的图片标注方法的流程图；
55.图2是根据本发明实施例的一种基于中草药图文模态数据的图片标注方法的整体操作步骤图；
56.图3是根据本发明实施例的一种基于中草药图文模态数据的图片标注方法语义一
致性约束模型构建与训练流程示意图。
具体实施方式
57.根据本发明的实施例，提供了一种基于中草药图文模态数据的图片标注方法。
58.现结合附图和具体实施方式对本发明进一步说明，如图1-3所示，根据本发明实施例的基于中草药图文模态数据的图片标注方法，该方法包括以下步骤：
59.s1、从中草药图文图像数据中提取图文标注对，包括以下步骤：
60.s11、对图文图像数据中图片进行提取与二值化处理；
61.其中，步骤s11包括以下步骤：
62.s111、利用边缘检测(sobel)算子提取图片的边缘二值图；
63.s112、利用最大类间方差法(otsu)算法提取图片的前背景阈值，并对图片进行二值化处理；
64.s113、将所述边缘二值图与前背景二值化图像进行叠加得到掩膜，不仅能够区分前背景信息，同时也保留了原有的边缘信息。
65.s12、连接临近的连通域，获取子图掩膜，对剩余文字进行提取；
66.其中，步骤s12包括以下步骤：
67.s121、利用图形学膨胀的方式打通临近的连通域；
68.s122、通过所述连通域大小过滤文字部分，保留子图部分；
69.s123、利用水漫法填充子图连通域，获取子图掩膜；
70.s124、通过所述掩膜提取子图部分，并提取剩余的文字部分。
71.s13、通过光学字符识别(ocr)技术识别提取出的文字，输出识别结果；
72.其中，步骤s13包括以下步骤：
73.s131、选用卷积递归神经网络 文字识别网络(crnn ctc)结构网络模型，通过循环神经网络(rnn)中的双层长短期记忆网络(lstm)结构同时捕捉前向与后向信息，从而提高模型捕获上下文信息的能力提高模型效果，；
74.s132、文字识别网络(ctc)转录层通过统计学原理对模型输出的结果做出判断，选择可能性最高的结果输出，得到最终识别结果。
75.s14、利用自然语言处理技术(nlp)关键词提取技术进行语义解析和语义拆分，获取图文结果。
76.其中，步骤s14包括以下步骤：
77.s141、利用文本分词技术将段落打散成多级词向量；
78.s142、通过停用词表去除停用词；
79.s143、利用改进的文本排序(textrank)算法通过图向量的形式提取文本中的核心词汇，再针对不同关键词从文本中提取关键词对应的文本内容，实现语义标签的解析与提取；
80.s144、将标签赋予分离出的对应子图，获取最终的图文结果。
81.s2、将类别标签与图像进行单独提取制作中草药图文标注数据集；
82.由于每张图像已经具有一组子标签和一个类别主标签，因此将类别标签和图像单独提取出来制作成中草药图文标注数据集，并将其作为下述算法模型的训练集进行使用，
步骤s1的主要目的是通过机器自动打标的方式代替人工打标制作数据集，提高效率的同时减少因为人工打标的不确定性而导致的误差。
83.s3、搭建语义一致性约束的中草药关联标注算法模型，并进行训练，包括以下步骤：
84.s31、将所述中草药图文标注数据集作为算法模型的训练集；
85.s32、以极端版本的开端特征提取网络(xception网络)模型为基础搭建模型算法；
86.其中，步骤s32包括以下步骤：
87.s321、在极端版本的开端特征提取网络(xception网络)模型的基础上，通过双流进行输入并识别结果的模型结构；
88.s322、串接一组池化层与全连接层，利用拼接的方式将两个输入流的输入拼接到同一特征维度下，再后接入全连接层进行标注识别。
89.s33、利用迁移学习的思想对单一形态算法模型进行训练；
90.其中，步骤s33包括以下步骤：
91.s331、利用迁移学习的思想对单一形态算法模型加载在可视化数据库(imagenet)数据集上训练好的在所述极端版本的开端特征提取网络(xception网络)模型参数，并加入全连接层；
92.s332、利用预处理后的所述训练集(预处理包括训练数据预先进行随机的旋转和仿射变换等扩充数据集)，锁定除全连接层以外的所有层进行训练；
93.s333、解锁模型的后八层并重新进行训练，保存最终的模型数据。
94.例如，early-stop的monitor设置为val-loss，进行训练，最终在val-accuracy上的收敛结果为0.482和0.431，之后再解锁模型的后八层(实验得出效果最好)重新进行训练，最终的收敛结果为0.772和0.731，可知在单形态分类问题上取得了较好的效果，并保存模型数据。
95.s34、对双层算法模型进行训练，提高训练速度与模型效果。
96.其中，步骤s34包括以下步骤：
97.s341、对每层模型进行训练，并将训练好的权重参数导入双层模型中继续训练；
98.s342、搭建双层算法模型并加载训练好的所述单一形态算法模型中除全连接层以外的参数，将模型导入后锁定除最后一层全连接层以外的层级进行训练；
99.s343、采用随机抽样的方式抽取不同模态的数据图片作为训练数据(也要进行随机的旋转和仿射变换等)，并随机加入空白图片作为噪声；
100.s344、解锁模型的后六层重新对模型进行训练，保存模型结果。
101.在实验中，概率取0.2，最终收敛结果为0.492，之后解锁模型的后6层重新对模型进行训练，最终的收敛结果为val-accuracy＝0.801，val-loss＝0.23，共30个epoch。
102.因此，本发明的原理可归纳为：首先通过图形学方法将图片中的子图部分和文字部分拆解出来；随后对文字部分进行ocr识别并通过nlp技术将段落打散成词，并且提取出其中的关键词和关键内容，将结果赋给对应子图；之后通过将图文数据输入图3所示的语义一致性约束模型中进行训练得到训练好的标注模型；最后搭建算法模型系统，利用系统进行中草药图片数据的标注识别，并且通过前端系统收集数据扩充数据集不断优化算法。
103.综上所述，借助于本发明的上述技术方案，通过图文模态数据中提取出图片和标
签对，利用sobel算子提取图片的边缘二值图以及otsu算法提取图片的前背景阈值，叠加两者结果，利用图形学的膨胀方式打通临近的连通域，并通过连通域大小过滤文字部分，同时水漫法填充连通域获取子图掩膜，之后通过ocr技术识别文字部分，并通过nlp技术拆解语义完成标签提取工作，得到图文标注对，通过这种方式得到中草药原始形态和药用形态的两组数据集。从而能够通过机器自动打标的方式代替人工打标制作数据集，提高效率的同时减少因为人工打标的不确定性而导致的误差。
104.在获取与构建完整的中草药数据集将其后作为模型的训练集，通过搭建的语义一致性约束模型，将图文对作为训练集输入模型中进行训练，经过加载imagenet预训练过的xception网络模型参数并在其后加入全连接层进行单一形态下的网络训练，共两次训练两组参数，之后搭建语义一致性约束模型，将训练好的参数预加载进模型进行第三次训练直到收敛，直至完成识别模型的构建与训练。通过上述搭建算法模型系统并利用该系统，提供与实现中草药图文数据的加工，处理，展示，收集等功能，并且利用收集到的数据不断优化算法的准确率，大大提高识别效果。
105.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。