一种基于图像标注深度学习算法模型的药材和饮片的识别方法与流程

1.本发明属于中药材鉴别技术领域，具体涉及一种基于图像标注深度学习算法模型的药材和饮片的识别方法。


背景技术：

2.中药是中医临床治疗的重要手段，我国的中药品类繁多，鉴别其真伪优劣是确保临床疗效的基础。随着中药需求总量的不断上升，部分道地药材供不应求，不法分子时常使用不合格的药材假冒名贵药材或以次品药材充当优质药材，从而使得中药材市场充斥着大量的伪劣产品。因此对药材和饮片的识别、分类和鉴定在中药材的使用和销售过程中显得尤为重要。
3.性状鉴别是中药品质评价的重要方面，“辨状论质”是中药材、饮片鉴别的重要方法，目前中药性状评价多以人工进行掌控，主要通过眼观、手握、鼻嗅、口尝等方式进行，虽简便易行，但易受到人的感官因素和检测环境等影响，客观性和一致性难以保证，中药饮片的传承与创新发展面临一定挑战。而进一步化学检测或仪器分析的方法，更需要专业的仪器和知识，样品处理复杂，实验本身耗时，且中药质量不能“唯成分论”，因此把握性状鉴别是评价中药品质评价的第一步。
4.在通过图像识别提取特征深度学习后进行人工智能分类的方法则能够很好地解决上述问题。例如，中国专利“cn201910168812.x一种基于人工智能的真伪混杂中药材的鉴别方法”公开了一种鉴别药材的方法，以川贝为例，通过提取川贝颗粒的图片中的1024维特征值，并将其用于训练模型，得到svm(支持向量机)分类器，该svm分类器可进一步用于真伪川贝的鉴别。
5.但是，上述人工智能识别的方法直接采用图片中像素的hsv值作为特征建模，并未考虑到药材视觉特征对人眼判断时的关联性；且该方法对所有药材采用统一标准进行建模分析，忽略了不同药材图像特征的特异性，不便于人们日常学习与使用，使得人为选择模型的种类时可能出现偏差，从而影响最终得到模型的判断结果的准确率。


技术实现要素：

6.针对现有人工智能识别川贝母药材技术中的缺陷，本发明提供一种基于图像标注深度学习算法模型的川贝母药材识别方法。
7.一种基于图像标注深度学习算法模型的药材或饮片的识别方法，包括如下步骤：
8.(1)图像编码：获取待测药材或饮片的图片，对图片进行特征检测，提取得到特征数据；
9.(2)图像解码：将步骤(1)得到的特征数据通过循环神经网络模型转化为特征描述词向量；
10.(3)识别：通过步骤(2)得到的特征描述词向量识别待测药材或饮片的种类。
11.优选的，所述药材或饮片为川贝母。
12.优选的，所述特征描述词向量由特征描述词构成，所述特征描述词选自炉贝/表面/浅棕黄色/，/棕色/斑点/，/外层鳞叶/2瓣/，/大小相近/，/顶部/开裂/略尖/，/基部/稍尖/，/松贝/外鳞叶/2瓣/，/大小悬殊/大瓣/紧抱/小瓣/，/未抱/习称/“怀中抱月”/，/青贝/类扁球形/，/外鳞叶/2瓣/，/大小相近/，/相对抱合/，/顶部开裂/，/内有/心芽/和/小鳞叶/2
‑
3枚/及/细圆柱形/残茎/中的至少一组。
13.优选的，步骤(1)中，所述特征数据的提取通过faster rcnn算法进行。
14.优选的，步骤(1)中，所述faster rcnn算法包括如下步骤：
15.(1.1)通过conv relu pooling层提取图片的feature maps；
16.(1.2)在feature maps上生成region proposals；
17.(1.3)收集feature maps和region proposals，进行roi pooling，得到proposal feature maps；
18.(1.4)进行classification步骤，根据proposal feature maps获得最终的精确检测框；
19.(1.5)所述精确检测框即为局部特征和全局特征，由局部特征和全局特征共同构成特征数据。
20.优选的，步骤(1.4)中，所述局部特征的数量为n，所述n为大于等于1的整数，所述全局特征的数量为1，从每一个局部特征或全局特征为1024维特征，所述特征数据的维数为(n 1)
×
1024。
21.优选的，步骤(2)中，所述循环神经网络模型为lstm。
22.优选的，步骤(2)中，所述lstm中包含attention机制。
23.优选的，步骤(2)中，所述特征描述词向量中的描述词按照《中国药典》对药材或饮片的性状描述进行分词确定。
24.优选的，步骤(3)中，特征描述词向量为维度1
×
k的向量，所述k为特征描述词的数量，所述特征描述词向量中，符合特征描述词的情况赋值为1，不符合特征描述词的情况赋值为0。
25.优选的，步骤(3)具体包括如下步骤：
26.(3.1)按照步骤(1)和步骤(2)的方式处理各药材或饮片的标准样品的图片或根据《中国药典》对药材或饮片的性状描述，获取药材或饮片的标准样品的特征描述词向量；
27.(3.2)计算待测药材或饮片的样品的特征描述词向量与药材或饮片的标准样品的特征描述词向量之间的欧式距离，所述欧式距离最小的药材或饮片的标准样品的品种即为待测药材或饮片的样品的品种。
28.本发明的识别方法通过对中药材外观特征的智能分析实现中药材的品质鉴定，达到快速、准确、客观评价中药材质量的目的，为中药行业创新发展提供新思路。此外本发明还具有如下优点：在图片的特征提取的过程中，能够对特征图进行可视化，发现模型学习了哪些局部特征和全局特征；且最终用于判断的特征不是图片中的像素信息，而是转化为特征描述词，便于人直观地理解并与药典(《中国药典》)中的形状描述对应，从而有助于模型选择的准确性。
29.显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离
本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。
30.以下通过实施例形式的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。
附图说明
31.图1为实施例1各步骤的流程示意图；
32.图2为实施例1中faster rcnn的基本结构示意图；
33.图3为实施例1中lstm的局部流程示意图；
34.图4为实施例1中全局特征及局部特征的可视化。
具体实施方式
35.下面通过具体的实施例对本发明的方案做进一步的说明。
36.实施例1
37.本实施例对川贝样品进行类别的识别，如图1所示，包括如下过程：
38.1、数据预处理
39.(1)图像数据标记
40.1)对川贝图片中的数据进行标记，标记出n 1处框，所述框包括n处局部框和1处全局框；所述n为大于等于0的整数；
41.2)根据标记的框，从照片中提取出n张局部图和1张全局图；
42.3)从提取出的局部图和全局图中提取得到特征数据；
43.4)根据川贝母的种类与特征数据进行faster rcnn的模型训练，得到性能最佳的faster rcnn模型。
44.(2)文本语言分词
45.人为按照药典对饮片性状描述且进行分词，对词进行统计并编码，将其转化为用于转化特征数据与特征描述词向量的词向量embedding；将词向量embedding用于作为网络输入计算loss，来判断图像解码步骤中lstm模型的性能，得到性能最佳的lstm模型。根据文字特性对语言进行分词，转换为模型所需的特征描述词向量。
46.数据预处理目的是人工采集数据构成用于下述encoder
‑
decoder模型训练的训练集合测试集。完成模型训练后，可直接根据模型进行川贝母种类的识别。
47.2、图像标注(image caption)
48.采用encoder
‑
decoder模型，即对信息进行编码，再通过解码转化为目标语言。本实施例中编码过程即为通过图片提取特征数据，解码过程即为将特征数据转化为特征描述词向量。
49.(1)图像编码(image encoder)
50.对于中药外部特征的描述，很多来源于局部特征，为了加强局部特征的关注引入了图像检测。通过对川贝母局部特征和全局特征的检测，提取得到这两类的特征，用于后续图像解码。
51.本实施例采用faster rcnn进行该过程，实验中，由于我们的特征类别数目并不太
大，所以本实施例将采用resnet50网络。其流程如图2所示，主要包括以下步骤：
52.1)卷积层：作为一种cnn网络目标检测方法，faster rcnn首先使用一组基础的conv relu pooling层提取图片的feature maps。该feature maps被共享用于后续rpn层和全连接层(全连接层在整个卷积神经网络中起到“分类器”的作用，全连接层起到将学到的“分布式特征表示”映射到样本标记空间的作用，在本实施例中全连接层即为classification层)。
53.(2)region proposal networks(rpn)：rpn网络用于生成region proposals。该层通过softmax判断anchors属于foreground或者background，再利用bounding box regression修正anchors获得精确的proposals。
54.(3)roi pooling：该层收集输入的feature maps和proposals，通过利用建议框对公用特征层进行截取得到proposal feature maps。
55.(4)classification。再次bounding box regression获得检测框最终的精确位置。抽取检测框对应的classification层即为全局特征和局部特征。通常classification还需要计算proposal的特征类别，但是在本实施例中，预训练好faster
‑
rcnn之后，我们并不关注其目标的特征类别，通过抽取该层得到的全局特征和局部特征。
56.(2)图像解码(image decoder)
57.图像解码也是通过全局特征和局部特征进行特征描述的过程，本实施例采用lstm将全局特征和局部特征转化为特征描述词向量。lstm模型通过步骤1中数据预处理得到的数据训练集进行训练得到。lstm是一种特殊的rnn，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。相比普通的rnn，lstm能够在更长的序列中有更好的表现，所以我们将采用lstm网络结构。为了对我们提取得到的特征进行更好的描述，我们引入attention机制。
58.本实施例中，lstm如图3所示，算法流程为：首先将文字编码的词向量embedding与获得的特征数据以及上一时刻language lstm的输出一起作为当前时刻的输入向量，进入到attention lstm网络层，经过该层计算后获得当前时刻的输出，根据top
‑
down attention机制对输入的图像特征向量进行权重分配，然后根据计算的特征权重 当前时刻attention lstm层的输出一起作为下一层language lstm层的输入，如此循环，最后经softmax计算预测出特征词文本，实现图像特征到文本特征的关联。
59.3、识别
60.在完成了特征描述后，由于本实施例中不同类的川贝母药材的特征描述词差异比较大，可以通过计算特征描述词向量与标准类描述词向量距离的方法快速确定类别。
61.每一个描述语句都可用一个1
×
k的特征描述词向量表示(k表示其特征词总数)，其中0表示无此特征，1表示有特征。本实施例中川贝母标准样品的特征描述词向量将采用测试集中同一种类川贝母的平均词向量代替。得到待测川贝母的图片的特征描述词向量后，计算其与各种类的川贝母标准样品特征描述词向量之间的欧式距离，快速确定类别。
62.下面通过试验例对实施例1的方法进行考查。
63.试验例1、不同川贝母图像全局特征及局部特征的可视化
64.图4显示了三张待检测川贝图片中的预测检测区域框(该区域框为proposal feature maps经过全连接层classification后，所得到的精准检测框)和区域框内特征数
据的可视化。通过可视化结果，可直观地对比区域框内的特征数据和图片中的视觉信息。
65.三张图中已选择三个或四个关注区域以反映每个图像生成的句子的主要成分，维数为3
×
1024或4
×
1024。特征图的可视化用于发现faster rcnn学习哪些不同的局部特征和全局特征。
66.试验例2、图像标注(image caption)模型生成特征描述词向量的性能
67.采用验证集对上述图像标注过程得到的特征描述词向量的准确性进行验证。考察词匹配完整率(wmc)、平均错词率(aww)和特征词匹配完整率(fmc)。wmc表明预测的正确特征描述词向量的数量，通过比较预测特征描述词向量中的正确数量与实际词文本间的比例来衡量模型。aww表示预测出的冗余词的数量与错误词向量的数量。fmc是指预测出的正确特征描述词向量占预测出的所有特征描述词向量中的比率，用来全面评估生成词向量的完整度。
68.从下表中可以看出，wmc的值分别为87.25％、89.26％和95.42％。该模型可以很好地描述川贝的描述性文本，wmc的平均值超过90％。aww的值分别为1.18、1.36和0.48，这对于不同种类的川贝母而言是完全不同的，松北的fmc值最高为94.88％，而青贝的fmc最低为88.81％。总体而言，松贝的外部特征比其他两个更为明显，因此具有较高的准确性和完整性。分析原因可知，由于对青贝的形状和位置特征的突出要求，图像的特征区域被遮挡，难以检测和获得，因此，描述文本的错误率很高。
69.表1特征描述词向量的准确性
[0070][0071][0072]
试验例3、分类结果
[0073]
通过计算模型预测出的正确词数量与原始文本间的距离来进行聚类计算模型的准确度，通过曼哈顿距离和欧几里得距离计算准确度得到的结果如表2所示。
[0074]
结果表明，由于不同种类的描述信息之间存在较大的距离，且特征描述词向量之间的距离较大，因此可以根据生成的特征描述词向量很好地区分不同种类的川贝母。相比之下，我们的模型生成的特征描述词向量对于炉贝，青贝和松贝的识别准确度最高，曼哈顿距离和欧几里得距离分别为90.82％、92.53％和96.02％；原因是本实施例的模型可以获得具有较高完整性和匹配性的描述语句(即特征描述词向量)。
[0075]
表2特征描述词向量对炉贝、青贝和松贝的识别准确度
[0076][0077]
从试验例1
‑
3中可以看到，本发明方法可通过可视化对提取得到的特征数据与图片中的视觉信息进行对比，帮助人更好地选择模型。且本发明方法生成特征描述词向量的性能良好，得到的预测结果准确度高。