基于视觉特征的三七切片分级方法、系统、设备及介质

摘要: 本发明涉及计算机视觉与中药材质量评价领域,特别涉及一种基于视觉特征的三七切片分级方法、系统、设备及介质。背景技术:1、三七为常用名贵中药材,其切片是三七在市场流...
基于视觉特征的三七切片分级方法、系统、设备及介质

本发明涉及计算机视觉与中药材质量评价领域,特别涉及一种基于视觉特征的三七切片分级方法、系统、设备及介质。

背景技术:

1、三七为常用名贵中药材,其切片是三七在市场流通、加工和应用过程中的重要形态之一。随着产地初加工和鲜切加工模式的发展,三七主根经清洗、切片和干燥后形成三七切片,其整体主根结构被破坏,传统依据单位重量头数进行等级判定的方法难以直接适用于切片形态。因此,建立适用于三七切片的快速、低成本、无损化和规模化质量分级方法,对于三七切片生产加工、流通交易和质量控制具有重要意义。

2、传统三七质量评价中,常依据切面“径向纹理”的颜色深浅、纹理分布和整体外观特征进行经验判断。通常情况下,三七切面中“径向纹理”颜色较深、径向纹理较明显的样品被认为质量较优,而颜色较浅、纹理较弱的样品质量相对较低。该类基于外观性状的质量评价方式能够在市场交易中提供快速直观的判断依据,但其高度依赖人工经验,存在主观性强、评价一致性差、效率低和难以规模化应用等问题。

3、现有的三七切片质量检测方法还包括化学成分检测、光谱检测、电子鼻、电子舌以及近红外分析等技术。化学检测方法虽然能够实现对特定成分的定量分析,但通常存在样品破坏、检测周期长、设备成本高和难以实现逐片在线检测等问题。近红外、电子鼻和电子舌等方法虽具有一定快速检测能力,但多适用于粉末样品或特定检测场景,对三七切片外观结构信息的利用不足,且检测准确性和工业适配性仍受限制。

4、近年来,深度学习和计算机视觉技术为中药材外观识别和智能分级提供了新的技术路径。卷积神经网络、transformer 模型等深度学习模型可从图像中自动提取颜色、纹理、形状及空间结构特征,并用于中药材质量分类。然而,现有图像分级模型大多依赖监督学习范式,需要大量高质量标注数据进行训练。对于三七切片而言,可靠等级标签通常需要专家经验或实验检测支持,标注成本高、样本规模受限,难以构建大规模标注数据集。若仅采用少量标注图像直接训练监督模型,容易产生过拟合,导致模型泛化能力较弱。

5、此外,三七切片“径向纹理”并非简单的局部颜色点或孤立纹理,而是一种由切面中心向外延展的宏观径向拓扑结构及渐变纹理。传统基于像素重建误差的图像自监督方法通常更关注局部像素差异,难以充分约束图像整体结构一致性,容易忽略多尺度径向纹理和全局视觉感知特征。因此,如何将传统经验中对“径向纹理”视觉特征的判断转化为可计算的深度学习约束,并在少量标注样本条件下实现三七切片准确分级,是当前三七切片智能质量评价中亟待解决的问题。

技术实现思路

1、本发明旨在解决现有三七切片分级方法中人工评价主观性强、检测效率低、化学检测成本高、监督学习模型依赖大量标注样本,以及传统自监督图像重建方法难以有效学习“径向纹理”整体径向结构特征的问题,提供一种基于视觉特征的三七切片分级方法、系统、设备及介质。

2、第一方面,本发明公开了一种基于视觉特征的三七切片分级方法,包括如下步骤:

3、获取待处理的三七切片横截面图像集合,并将所述三七切片横截面图像集合划分为未标注图像集和标注图像集;

4、对所述未标注图像集中的三七切片横截面图像进行频域混合增强处理,得到增强图像;

5、对所述增强图像进行图像切块与随机掩码处理,得到可见图像块和掩码图像块;

6、将所述可见图像块输入至非对称视觉编码解码网络中的视觉编码器进行特征提取,得到语义特征矩阵;

7、将所述语义特征矩阵输入至所述非对称视觉编码解码网络中的轻量级解码器进行图像重建,得到重建图像;

8、根据所述重建图像与所述增强图像构建感知先验损失函数,并基于所述感知先验损失函数对所述非对称视觉编码解码网络进行自监督预训练;

9、在所述自监督预训练完成后,冻结所述视觉编码器的网络参数,并利用所述标注图像集中的标注样本计算不同等级类别的原型向量;

10、将待测三七切片横截面图像输入冻结网络参数后的所述视觉编码器提取待测样本的特征向量,根据所述待测样本的特征向量与各个所述等级类别的原型向量之间的距离确定所述待测三七切片横截面图像的目标等级。

11、作为本技术第一方面的一种可选实施方式,对所述未标注图像集中的三七切片横截面图像进行频域混合增强处理,得到增强图像,包括:从所述未标注图像集中选取第一三七切片图像和第二三七切片图像;对所述第一三七切片图像和所述第二三七切片图像分别进行二维快速傅里叶变换,得到第一频谱和第二频谱;采用以频谱直流分量为中心的二值低频掩码对所述第一频谱和所述第二频谱进行频谱融合,获得混合频谱,其中二值低频掩码在中心半径内取值为1,其他位置取值为0;通过对所述混合频谱进行傅里叶逆变换得到所述增强图像。

12、作为本技术第一方面的一种可选实施方式,对所述增强图像进行图像切块与随机掩码处理,得到可见图像块和掩码图像块,包括:对所述增强图像进行归一化处理,将所述增强图像的像素值映射至[-1,1]区间;将归一化处理后的所述增强图像划分为多个非重叠图像块;按照预设掩码比例随机选取部分所述非重叠图像块作为所述掩码图像块,并将未被遮挡的所述非重叠图像块作为所述可见图像块。

13、作为本技术第一方面的一种可选实施方式,将所述可见图像块输入至非对称视觉编码解码网络中的视觉编码器进行特征提取,得到语义特征矩阵,包括:获取所述可见图像块对应的空间位置编码;将所述可见图像块映射为特征向量后,与所述空间位置编码进行叠加,得到编码器输入序列;将所述编码器输入序列输入至所述视觉编码器,通过所述视觉编码器提取全局视觉语义,输出所述语义特征矩阵。

14、作为本技术第一方面的一种可选实施方式,将所述语义特征矩阵输入至所述非对称视觉编码解码网络中的轻量级解码器进行图像重建,得到重建图像,包括:通过线性投影矩阵将所述语义特征矩阵映射至解码器特征维度,得到映射特征;将所述映射特征与可学习掩码标记按照原始图像块空间索引进行拼接,并叠加解码器位置编码,获得解码器输入序列;将所述解码器输入序列输入至所述轻量级解码器,通过多头自注意力模块和前馈神经网络逐层更新特征,并经像素预测头得到所述重建图像。

15、作为本技术第一方面的一种可选实施方式,根据所述重建图像与所述增强图像构建感知先验损失函数,包括:计算所述重建图像中与所述掩码图像块对应位置的预测图像块,与所述掩码图像块之间的掩码区域均方误差损失;计算所述增强图像与所述重建图像之间的完整图像多尺度结构相似性损失;将所述掩码区域均方误差损失与第一权重系数的乘积,加上所述完整图像多尺度结构相似性损失与第二权重系数的乘积,作为所述感知先验损失函数。

16、作为本技术第一方面的一种可选实施方式,将待测三七切片横截面图像输入冻结网络参数后的所述视觉编码器提取待测样本的特征向量,根据所述待测样本的特征向量与各个所述等级类别的原型向量之间的距离确定所述待测三七切片横截面图像的目标等级,包括:将所述待测三七切片横截面图像输入冻结网络参数后的所述视觉编码器,经前向传播和全局平均池化后得到待测样本的特征向量;计算所述待测样本的特征向量的均值,得到对应等级类别的所述原型向量;分别计算所述待测样本的特征向量与各个所述等级类别的原型向量之间的欧氏距离;将最小的所述欧氏距离对应的等级类别作为所述待测三七切片横截面图像的所述目标等级。

17、第二方面,本技术公开了一种基于视觉特征的三七切片分级系统,包括:

18、图像获取与划分模块,用于获取待处理的三七切片横截面图像集合,并将所述三七切片横截面图像集合划分为未标注图像集和标注图像集;

19、频域增强模块,用于对所述未标注图像集中的三七切片横截面图像进行频域混合增强处理,得到增强图像;

20、掩码处理模块,用于对所述增强图像进行图像切块与随机掩码处理,得到可见图像块和掩码图像块;

21、特征提取模块,用于将所述可见图像块输入至非对称视觉编码解码网络中的视觉编码器进行特征提取,得到语义特征矩阵;

22、图像重建模块,用于将所述语义特征矩阵输入至所述非对称视觉编码解码网络中的轻量级解码器进行图像重建,得到重建图像;

23、预训练模块,用于根据所述重建图像与所述增强图像构建感知先验损失函数,并基于所述感知先验损失函数对所述非对称视觉编码解码网络进行自监督预训练;

24、原型计算模块,用于在所述自监督预训练完成后,冻结所述视觉编码器的网络参数,并利用所述标注图像集中的标注样本计算不同等级类别的原型向量;

25、等级预测模块,用于将待测三七切片横截面图像输入冻结网络参数后的所述视觉编码器提取待测样本特征向量,根据所述待测样本特征向量与各个所述等级类别的原型向量之间的距离确定所述待测三七切片横截面图像的目标等级。

26、第三方面,本技术公开了一种电子设备,包括:

27、存储器,用于保存计算机程序;

28、处理器,用于执行所述计算机程序,以实现如第一方面所述的方法的步骤。

29、第四方面,本技术公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。

30、与现有技术相比,本发明具有以下有益效果:

31、(1)本发明通过引入频域混合增强处理,在保持三七切片径向纹理宏观空间结构不被破坏的前提下,有效提高了图像纹理的多样性,增强了模型对不同拍摄样本和外观差异的鲁棒性。

32、(2)本发明采用非对称视觉编码解码网络,使视觉编码器仅处理未掩码的可见图像块,大幅减少了计算量和显存占用,并利用轻量级解码器完成图像重建,显著提高了自监督预训练的效率。

33、(3)本发明构建了融合掩码区域均方误差和完整图像多尺度结构相似性的感知先验损失函数,将传统三七切片质量评价中对径向纹理颜色深浅和结构的经验判断转化为可优化的视觉感知约束,使模型在关注局部像素重建的同时,能够深刻学习切片横截面中的整体径向拓扑结构和渐变纹理特征。

34、(4)本发明采用少样本原型学习方式,在每个等级仅需少量标注样本的情况下即可完成高精度的等级判定,有效避免了传统监督学习模型在小样本条件下容易过拟合的问题,极大提高了模型在低标注成本场景下的实用性和工业推广价值。