一种Transformer与可解释性注意力的中药材细粒度识别方法及系统
本发明属于计算机视觉与中药鉴定交叉,具体涉及一种transformer与可解释性注意力的中药材细粒度识别方法及系统。
背景技术:
1、中药材鉴定是保障中药临床疗效和用药安全的关键环节。传统鉴定方法主要依赖专业人员的感官经验,以《中国药典》记载的性状特征为判断依据。然而,该方法高度依赖个人经验、专业人才培养周期长,且对精加工饮片的宏观形态特征不完整的情况难以适用。
2、近年来,基于深度学习的计算机视觉技术在中药材识别领域取得显著进展。现有技术方案主要采用卷积神经网络(cnn)作为骨干网络,存在感受野受限、缺乏内在可解释性、以及对易混淆品种的细粒度差异建模能力不足等局限。
3、visiontransformer及其层次化变体凭借自注意力机制对远距离特征关系的建模能力以及注意力权重可提取的特点,为中药材细粒度识别提供了新的实现路径。swin在窗口自注意力中引入可学习的相对位置偏置,其通常针对离散相对位置偏移配置相应参数;convit的门控位置自注意力则通过门控方式融合内容注意力和位置注意力。对于中药材细粒度识别而言,纹理、鳞片边缘、断面组织等鉴别特征往往表现出局部空间连续性,因此仍需要一种能够把图像块间连续空间距离直接引入注意力计算、并能够将模型关注区域与药典性状鉴别部位进行空间对应验证的识别方案。本发明以视觉transformer作为识别骨干,对上述环节进行针对性适配。
技术实现思路
1、本发明旨在解决以下技术问题:(1)中药材整体形态与局部纹理细节可能分布于不同空间粒度,常规单一图像块表示对易混淆品种的细粒度差异表达能力有限;(2)常规视觉transformer的位置建模不能直接体现图像块空间距离连续变化所对应的局部鉴别先验;(3)现有图像识别结果通常只能给出类别或置信度,难以判断模型实际关注区域是否与药典记载的关键鉴别部位一致;(4)自然图像预训练模型与中药材图像之间存在领域差异,需要针对中药材图像进行领域自适应训练。
2、第一方面,提供一种transformer与可解释性注意力的中药材细粒度识别方法。该方法包括:获得标准化药材主体图像并进行图像块切分和块嵌入编码,在一种优选实施方式中按照多个尺度形成多尺度图像块;在视觉transformer自注意力计算中叠加基于图像块空间距离确定且随距离增大而连续衰减的局部偏置;根据编码器输出进行中药材类别识别并根据自注意力权重生成鉴别依据注意力热力图;从中药材药典性状描述知识库中取得对应类别的药典关键鉴别部位区域,并根据高注意力区域与药典关键鉴别部位区域之间的空间重叠度得到药典对齐验证结果;输出中药材类别和药典对齐验证结果。
3、局部注意力增强通过局部偏置实现。在一种优选实施方式中,所述局部偏置采用连续高斯衰减关系确定,不设置基于距离的硬截断。具体地,对于参与同一次自注意力计算的任意两个图像块,先确定两个图像块在标准化药材主体图像坐标系中的空间距离,优选采用两个图像块中心点之间的欧氏距离;再确定所述空间距离的平方与距离衰减参数平方的两倍之间的比值,对该比值取负后进行指数运算,并将所得指数运算结果与偏置强度参数相乘,得到两个图像块对应的局部偏置值。所述偏置强度参数和距离衰减参数均可作为训练过程中更新的参数。通过上述计算,局部偏置值随图像块之间的空间距离增大而连续衰减,从而向自注意力计算引入空间邻近图像块之间更强的局部交互先验。
4、在自注意力计算过程中,先由查询特征与键特征确定图像块之间的内容注意力得分,并按照单个注意力头的特征维度对所述内容注意力得分进行尺度归一化;再按照参与注意力计算的图像块对,将各图像块对对应的局部偏置值叠加至归一化后的内容注意力得分;随后对叠加局部偏置后的注意力得分执行softmax归一化,并利用归一化得到的注意力权重对值特征进行加权,得到自注意力输出。对于采用全局自注意力的视觉transformer,所述局部偏置可针对参与同一次全局自注意力计算的图像块对构建;对于采用窗口自注意力的层次化视觉transformer,所述局部偏置作用于同一窗口内的图像块对,窗口范围由编码器自身的窗口注意力机制限定,局部偏置仅在窗口内部提供基于空间距离的连续衰减偏置。
5、局部偏置矩阵与已有位置偏置机制的区别主要体现在:其一,相较于针对离散相对位置分别配置参数的相对位置偏置,所述局部偏置矩阵通过空间距离的连续函数建立图像块对之间的偏置关系;其二,相较于通过门控混合内容注意力和位置注意力的方式,所述局部偏置矩阵直接叠加于注意力得分并由距离函数控制衰减;其三,所述局部偏置矩阵用于中药材细粒度识别时,可利用药材局部纹理和局部形态具有空间连续性的特点,在不改变主体注意力计算框架的情况下增强邻近图像块之间的特征交互。在采用窗口自注意力的实施方式中,窗口范围构成空间硬约束,局部偏置矩阵构成窗口内部的连续距离软偏置。
6、药典对齐验证通过空间重叠度将鉴别依据注意力热力图与中药材药典性状描述知识库中的药典关键鉴别部位区域进行量化对应。具体地,根据鉴别依据注意力热力图确定高注意力区域;针对当前中药材类别对应的每一个药典关键鉴别部位区域,确定高注意力区域与该药典关键鉴别部位区域的交叠区域,并计算所述交叠区域占该药典关键鉴别部位区域的比例;再按照各药典关键鉴别部位对应的预设权重,对各所述比例进行加权求和,将所得结果作为当前中药材图像的空间重叠度,其中,各药典关键鉴别部位对应的预设权重之和为1。该空间重叠度反映高注意力区域对药典关键鉴别部位区域的加权覆盖程度,而非交并比。当空间重叠度低于预设重叠度阈值时,生成包含偏差等级、缺失药典鉴别部位和人工复核提示中的至少一项的提示信号。
7、第二方面,提供实现上述方法的中药材细粒度识别系统,可部署于云端gpu服务器或边缘端嵌入式npu设备。第三方面,提供三阶段训练策略:阶段一,在自然图像数据集上进行监督预训练;阶段二,在无标注中药材图像数据集上通过掩码自编码器进行自监督领域自适应训练;阶段三,在带类别标签的中药材细粒度图像数据集上进行有监督微调。在一种实施方式中,有监督微调采用联合训练损失,以分类交叉熵损失作为基础分类损失,并采用中心损失作为类内紧凑性损失;为所述类内紧凑性损失设置损失权重,将分类交叉熵损失与经所述损失权重调整后的类内紧凑性损失相加,得到用于模型参数更新的联合训练损失。
8、有益效果
9、(1)识别性能改善;在采用swintransformer-base作为层次化视觉transformer骨干的一具体实验配置中,100类中药材细粒度识别任务的top-1准确率达到89.6%,相较resnet-101基线的82.3%提高7.3个百分点,相较标准vit-b/16基线的78.9%提高10.7个百分点。所述数值用于说明该具体实验配置的性能表现,不构成对保护范围的限定。
10、(2)内在可解释性;可直接利用transformer编码过程中形成的自注意力权重生成鉴别依据注意力热力图,无需额外运行grad-cam等独立事后解释算法,能够在较低附加计算开销下给出模型进行类别决策时重点关注的图像区域。
11、(3)药典鉴别依据一致性验证;将模型形成的高注意力区域与中药材药典性状描述知识库中的药典关键鉴别部位区域进行空间重叠度计算,在分类结果之外给出模型关注位置与专业鉴别依据之间的一致性信息,并可在一致性不足时生成缺失鉴别部位和人工复核提示。
12、(4)参数可分析性;局部偏置矩阵中的偏置强度参数和距离衰减参数具有明确的距离偏置含义,可用于分析训练后模型对局部空间信息的依赖程度。
13、(5)多尺度建模与领域自适应训练;在采用多尺度图像块的实施方式中,可通过不同空间粒度补充纹理、局部形态和整体轮廓信息;结合中药材图像的mae自监督领域预训练,可降低自然图像预训练模型与中药材图像之间的领域差异。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com