一种基于多层级语义标签驱动的鸡只健康状态识别方法

本发明涉及计算机视觉内的一种基于多层级语义标签驱动的鸡只健康状态识别方法。

背景技术：

1、在现代化禽类养殖体系中，个体健康状态、行为异常及早期疾病特征的准确识别，是实现智能巡检、疾病预警和精细化管理的重要前提。当前，机器视觉技术愈发成熟并逐步应用到智慧养殖等领域，受此影响，传统家禽养殖模式正在经历从机械化、自动化生产向信息化、智能化演变。禽类视觉健康诊断作为核心感知入口，能够为疾病早期发现、异常行为识别和健康状态评估提供重要依据。

2、随着计算机算力技术的突破，深度学习得以迅速发展。近年来，深度学习在禽类健康识别领域的研究和应用成为一个重要方向。现有方法通常通过卷积神经网络、视觉transformer或其组合结构，直接从输入图像中输出健康或异常判别结果，或者输出若干病症类别。然而，对于禽病早期症状而言，其往往仅表现为冠色细微变化、局部姿态异常、精神状态下降、嗜睡等微弱且局部化的视觉特征，现有方法难以充分挖掘这类细粒度特征。

3、此外，当前多数模型通常只能给出总体诊断结论，而难以进一步给出形成该结论的细粒度症状依据及对应视觉区域，导致诊断结果缺乏可解释性。与此同时，禽类图像在实际采集过程中具有明显的图像类型差异，不同图像类型下部分细粒度症状属性字段存在不可观测情况，若仍对其统一进行监督，容易引入噪声标签并影响模型训练效果。而且，核心异常类别通常属于少数类样本，现有损失函数难以兼顾正类增强与负类抑制，导致少数异常类别识别性能不足。

技术实现思路

1、本发明的目的是提供一种基于多层级语义标签驱动的鸡只健康状态识别方法，解决现有技术中早期禽病症状微弱且局部、不同图像类型下部分症状属性字段不可观测、少数异常类别识别困难以及诊断结果缺乏细粒度证据支撑的问题。

2、为实现上述目的，本发明提供了一种基于多层级语义标签驱动的鸡只健康状态识别方法，包括以下步骤，

3、s1、采集禽类个体在实际养殖环境下的图像数据；

4、s2、对采集到的图像进行数据清洗、图像预处理、多层级标签标注、可观测性掩码生成和数据集划分，构建禽类视觉健康诊断数据集，多层级标签标注包括第一层级总体健康状态标签、第二层级核心异常类别标签以及第三层级细粒度症状属性标签；

5、s3、构建基于共享视觉主干网络的多层级视觉健康诊断模型，多层级视觉健康诊断模型包括第一层级总体健康状态判别分支、第二层级核心异常多标签识别分支和第三层级细粒度症状属性识别分支；

6、s4、针对第二层级核心异常多标签识别任务，采用spa损失函数作为损失构造方式，通过负类裁剪、正负样本非对称权重调节和动态聚焦调节，增强少数异常类别样本的学习能力，并抑制易分类负样本对损失函数的主导作用；

7、s5、针对第三层级细粒度症状属性识别任务，引入cssfe注意力模块作为语义引导特征增强单元，利用第三层级分类头权重与预测概率构造期望类激活图，并对共享视觉主干网络输出的空间token特征进行加权重聚合，以得到增强后的第三层级细粒度症状属性识别结果；

8、s6、将多层级视觉健康诊断模型在禽类视觉健康诊断数据集上进行训练和测试，并输出总体健康状态、核心异常类别、细粒度症状属性以及对应的可视化视觉证据。

9、作为本发明的进一步改进，s1具体内容如下，

10、s1.1、准备图像采集设备，并在实际养殖环境中完成禽类个体图像采集，图像采集设备包括固定式摄像机、移动式摄像机或者手持式采集终端中的一种或多种；

11、s1.2、按照预设拍摄要求采集禽类个体图像，采集过程中覆盖正面视角、侧面视角、头部特写视角和全身视角中的一种或多种，并根据禽类个体体型和养殖环境设置相机高度、拍摄距离和拍摄角度，使采集图像能够清晰呈现鸡冠、头部、羽毛、身体姿态以及精神状态等视觉区域，同时覆盖不同光照环境和不同个体姿态。

12、作为本发明的进一步改进，s2具体内容如下，

13、s2.1、对原始图像数据进行筛选，剔除模糊样本、遮挡严重样本、目标缺失样本和重复样本中的一种或多种；

14、s2.2、对筛选后的图像进行尺寸统一、归一化和格式转换处理，形成标准化图像数据；

15、s2.3、对标准化后的图像进行多层级标签标注，多层级标签包括第一层级总体健康状态标签、第二层级核心异常类别标签以及第三层级细粒度症状属性标签；

16、第三层级细粒度症状属性标签包括鸡冠颜色、鸡冠形态、羽毛状态、姿态动作和姿态神态五个属性字段，第二层级核心异常类别至少包括鸡冠异常和精神萎靡；

17、s2.4、根据当前输入图像对应的图像类型，为第三层级细粒度症状属性中的各属性字段生成可观测性掩码；当图像类型为全身照时，鸡冠颜色、鸡冠形态、羽毛状态、姿态动作和姿态神态均为可观测字段；当图像类型为头部特写时，鸡冠颜色和鸡冠形态为可观测字段，羽毛状态、姿态动作和姿态神态为不可观测字段；对于可观测字段，将对应掩码赋值为1，对于不可观测字段，将对应掩码赋值为0；

18、s2.5、基于完成清洗、预处理、多层级标签标注和可观测性掩码生成后的图像数据，构建禽类视觉健康诊断数据集，并将禽类视觉健康诊断数据集划分为训练集、验证集和测试集。

19、作为本发明的进一步改进，s3的具体内容如下，

20、s3.1、以预训练 swin transformer 视觉模型作为基座模型，在其层级化窗口自注意力特征提取结构的基础上进行任务适配与输出改进，形成共享视觉主干网络，用于对输入图像进行统一特征提取，并输出空间 token 特征和池化特征；其中，空间 token 特征用于表征图像中不同空间区域的局部视觉信息，池化特征用于表征输入图像的全局语义信息；

21、s 3.2、在共享视觉主干网络的输出基础上构建多层级并行诊断结构，多层级并行诊断结构包括第一层级总体健康状态判别分支、第二层级核心异常多标签识别分支和第三层级细粒度症状属性识别分支，其中，第一层级总体健康状态判别分支用于输出总体健康状态判别结果，第二层级核心异常多标签识别分支用于输出核心异常类别识别结果，第三层级细粒度症状属性识别分支用于输出多个细粒度症状属性字段的分类结果；

22、第三层级细粒度症状属性识别分支由多个并列的属性分类头构成，每一个细粒度症状属性字段对应一个独立属性分类头，使不同细粒度症状属性能够在共享视觉特征基础上分别建模。

23、作为本发明的进一步改进，s4具体内容如下，

24、s4.1、设第二层级中共有个核心异常类别，其中，表示第二层级核心异常类别总数，核心异常类别索引表示为，且，对于第个核心异常类别，其网络输出logit记为，真实标签记为，其中，，表示该核心异常类别存在，表示该核心异常类别不存在；则第个核心异常类别对应的预测概率表示为：；

25、其中，表示sigmoid激活函数，表示第个核心异常类别为正类的预测概率；

26、s4.2、定义第个核心异常类别的正类概率与负类概率分别为：

27、；

28、其中，表示第个核心异常类别为正类的预测概率，表示第个核心异常类别为负类的预测概率；

29、在引入负类裁剪参数的情况下，对负类概率进行修正，得到修正后的负类概率：

30、；

31、其中，表示负类裁剪参数，用于对负类概率进行上移修正，以减弱易分类负样本对损失函数的主导作用；表示修正后的负类概率；

32、s4.3、为实现正负样本非对称调节，分别定义正类权重参数、负类权重参数、正类聚焦参数以及负类聚焦参数；其中，用于调节正类样本在损失中的权重，用于调节负类样本在损失中的权重，用于增强困难正样本的学习强度，用于抑制易分类负样本对损失的影响；

33、对应地，构造第个核心异常类别的基础对数损失项为：

34、；

35、；

36、其中，表示大于的极小常数，用于避免对数运算中出现数值溢出或无定义情况；表示第个核心异常类别对应的正类基础对数损失项；表示第个核心异常类别对应的负类基础对数损失项；

37、s4.4、定义第个核心异常类别的样本难度调节项如下：

38、；

39、；

40、；

41、其中，表示结合真实标签选取后的目标概率；当时，；当时，；表示第个核心异常类别对应的动态聚焦参数；当时，；当时，；表示第个核心异常类别对应的样本难度调节因子，用于根据样本分类难度对损失进行非对称缩放；

42、则第个核心异常类别对应的spa损失为：

43、；

44、其中，表示第个核心异常类别对应的spa损失值；

45、若第二层级中存在缺失标签或无效标签，则引入掩码项，并按有效标签项归一化得到第二层级总损失：

46、；

47、其中，表示第个核心异常类别对应的标签有效性掩码；当第个标签有效时，；当第个标签缺失或无效时，；表示第二层级核心异常多标签识别任务的总spa损失。

48、作为本发明的进一步改进，s5的具体内容如下，

49、s5.1、设共享视觉主干网络输出的空间token特征表示为：

50、；

51、其中，表示空间token数，表示特征维度，对于第三层级第个细粒度症状属性字段，其分类头权重矩阵表示为：；

52、其中，表示第个细粒度症状属性字段的类别数；

53、设该属性字段的基础预测logits为，则其预测概率分布表示为：

54、；

55、其中，为概率温度参数。

56、基于分类头权重和预测概率，构造语义期望权重向量：

57、；

58、s5.2、基于空间token特征与所述分类头权重矩阵构造类激活图，并通过温度缩放和归一化得到注意权重；再根据所述预测概率对各类别对应的注意权重进行加权求和，得到第个细粒度症状属性字段对应的期望注意权重；

59、s5.3、对期望注意权重进行归一化后，对空间token特征进行加权重聚合，得到增强后的细粒度属性特征；然后基于增强后的细粒度属性特征重新计算该属性字段的分类结果，并与基础分类结果按融合系数进行加权融合，得到最终的第三层级输出结果。

60、作为本发明的进一步改进，s6的具体内容如下，

61、s6.1、构建模型训练与推理运行环境，其中，硬件环境采用具备高效计算性能的计算机设备，以提供图像处理、模型训练和推理计算所需的计算资源；软件环境采用 pytorch深度学习框架，用于实现鸡只健康状态识别模型的网络构建、参数训练和性能测试；

62、s6.2、利用训练集和验证集对多层级视觉健康诊断模型进行训练，并保存最优模型参数；

63、s6.3、加载训练得到的模型权重，使用测试集对鸡只健康状态识别模型进行性能评估，并在评估完成后将所述模型权重用于待识别鸡只图像的推理应用，输出总体健康状态、核心异常类别及细粒度症状属性识别结果；

64、s6.4、基于模型输出结果生成对应的视觉热图、异常类别提示和细粒度症状属性证据。

65、与现有技术相比，本发明的有益效果在于：首先，通过构建包含总体健康状态、核心异常类别和细粒度症状属性的多层级禽类视觉健康诊断数据集，并结合面向不同图像类型的可观测性掩码监督机制，避免不可观测属性字段参与损失计算；其次，构建基于共享视觉主干网络的多层级视觉健康诊断模型，使第一层级、第二层级和第三层级在共享视觉特征基础上实现并行建模；再次，在优选实施方式中，第二层级采用spa损失函数以改善少数异常类别样本与多数正常样本之间的不均衡问题，第三层级采用cssfe注意力模块以强化细粒度症状属性识别中的局部空间特征表达能力；最后，本发明能够输出总体健康状态、核心异常类别、细粒度症状属性及对应的可视化视觉证据，从而增强模型诊断结果的可信度和实用价值。