基于多特征融合的牲畜身份识别与健康预警方法及系统与流程

本发明属于人工智能与智慧养殖，具体涉及基于多特征融合的牲畜身份识别与健康预警方法及系统。

背景技术：

1、近年来，计算机视觉技术在智慧养殖领域的应用受到广泛关注，已有研究者利用卷积神经网络提取牲畜面部、鼻镜等生物特征进行个体识别，基于深度学习的牛脸识别技术以其非接触、高精度的特性，为个体识别提供了新的技术思路。

2、在目标跟踪方面，有方案结合ai视觉与多目标跟踪技术生成包含个体唯一标识的全局id映射表，实现牲畜数量的实时统计与异常行为识别，此外，也有专利提出了基于身份特征和空间信息融合匹配的牛个体追踪方法，以及基于多模态决策层融合的牛只身份识别方法，上述研究表明，计算机视觉与深度学习在牲畜个体识别、目标跟踪和行为分析等环节已取得一定的研究成果。

3、尽管现有技术在牲畜个体识别和跟踪方面取得了进展，但仍存在诸多不足，在个体识别层面，现有方案多依赖单一生理特征--如仅依靠面部特征或仅依靠鼻镜特征，单一特征所包含的信息量有限，难以构建全面精确的特征表达，在牲畜面部遮挡频繁、姿态变化大、个体间差异不如人脸明显的自然场景下，识别准确率和稳定性难以满足实际养殖需求，在技术架构层面，已有方案通常仅解决单一环节的问题--或仅关注数量统计、或仅关注身份识别、或仅关注行为检测，缺乏将目标检测、多目标跟踪、个体识别、健康评估和群体统计等多个环节无缝衔接的一体化技术方案，在环境适应性层面，真实牧场中逆光、夜间、尘土、雨雾及密集遮挡等复杂条件普遍存在，普通视觉模型缺少系统性的图像增强与鲁棒性设计，难以稳定运行。

4、此外，传统的耳标与rfid识别方式依赖专用设备和人工操作，工作量大且易引发动物应激反应，无法实现视觉化的群体活动状态实时判断。

技术实现思路

1、为解决现有技术中存在的上述问题，本发明提供了基于多特征融合的牲畜身份识别与健康预警方法及系统，本发明的目的可以通过以下技术方案实现：

2、包括以下步骤：

3、获取目标区域视频图像，经自适应光照校正与背景抑制预处理，输入共享特征提取网络，经并行检测分支同步解耦输出全身与头部检测框及置信度；

4、基于所述置信度与时序空间约束执行跨帧轨迹关联，动态分配并维持轨迹身份编号；

5、将所述轨迹身份编号对应的检测区域输入个体识别模型，提取面部微纹理、耳廓形态、角部结构及体态轮廓特征，经多模态特征对齐与相似度计算输出身份识别结果，并将外观特征模板反馈至跨帧轨迹关联更新匹配权重；

6、基于所述身份识别结果调取历史健康基线，累计时序行为参数与视觉状态特征进行基线偏离检测；根据偏离程度判定健康等级并触发预警，同步输出多视角去重群体数量。

7、具体地，所述输入共享特征提取网络的具体过程为：

8、将预处理视频图像逐帧送入网络，采用多层卷积下采样，底层提取边缘走向、角点分布与纹理基元底层视觉特征，中间层组合底层特征形成耳部轮廓、角部基座与体表斑块次级语义响应，顶层通过全局感受野汇聚上下文信息生成高层语义特征图；

9、高层语义特征图保留空间分辨率与通道深度，作为并行检测分支输入基底。

10、具体地，所述经并行检测分支同步解耦输出全身与头部检测框及置信度的具体过程为：

11、并行连接全身与头部检测分支，各分支含独立分类与回归子网络，全身分支预测覆盖躯干整体的边界框参数及目标置信度，头部分支预测覆盖头部区域的边界框参数及目标置信度；

12、全身分支和头部分支的回归子网络均输出边界框中心横纵坐标、宽度与高度，分类与回归子网络互不干扰，同步输出全身与头部检测框。

13、具体地，所述执行跨帧轨迹关联的具体过程为：

14、根据置信度及预设的一级置信度阈值与二级置信度阈值划分当前帧检测框处理优先级；

15、提取超过一级置信度阈值的检测框坐标与外观特征向量，与活跃轨迹预测位置及累积外观模板计算交叠比例与余弦距离，合并为综合匹配分值并构建代价矩阵求解关联方案，将置信度介于一级与二级置信度阈值之间的检测框暂存于缓存中。

16、具体地，所述动态分配并维持轨迹身份编号的具体过程为：

17、对首次出现、置信度超过轨迹创建置信度阈值且无法关联已有轨迹的目标，生成新编号，初始化状态参数，所述状态参数包含位置坐标、检测框尺度、外观特征模板与跟踪帧数计数器；

18、对成功关联目标沿用原编号并更新状态参数；对连续多帧未关联轨迹标记待撤销状态，持续帧数超过轨迹撤销帧数阈值时释放编号。

19、具体地，所述个体识别模型的具体处理过程为：

20、从已分配轨迹编号对应的检测区域中裁剪获得头部区域与全身区域，由脸部支路提取眼周纹理走向与鼻镜表面纹路面部微纹理特征，由耳部支路提取耳长耳宽比值与耳尖指向角度耳廓形态特征，由体态支路提取体型比例与背线曲率体态轮廓特征；

21、各支路经独立编码网络映射为固定长度特征子向量，经融合层拼接为多模态融合特征向量。

22、具体地，所述输出身份识别结果的具体过程为：

23、个体识别模型输出的多模态融合特征向量经全连接映射网络压缩为身份嵌入向量，身份输出层计算身份嵌入向量与身份模板库内各已注册身份模板嵌入向量之间的余弦相似度；

24、选取余弦相似度数值最大的身份模板作为候选身份，当最大余弦相似度超过预设的身份确认阈值时，输出候选身份对应个体身份信息。

25、具体地，所述将外观特征模板反馈至跨帧轨迹关联更新匹配权重的具体过程为：

26、输出身份识别结果时，将当前帧检测区域提取的身份嵌入向量作为最新外观特征样本，对同轨迹编号累积的历史外观特征模板执行加权滚动更新；

27、更新后模板回传跨帧轨迹关联模块替换原外观匹配模板，下一帧轨迹关联采用更新后模板计算特征余弦距离，外观相似度在综合匹配分值中的加权系数依据轨迹连续成功关联帧数动态调整。

28、具体地，所述进行基线偏离检测的具体过程为：

29、对已确认身份的牲畜累计行为参数时间序列，包含身体位移距离、卧倒时长占比、头部低于躯干线累计时长、检测框面积变化率所反映的呼吸幅度均值及目标中心点与群体中心点归一化距离；

30、将当前时刻之前一段连续历史时间窗口内各参数的统计均值和标准差作为历史健康基线存入个体档案，实时测得参数数值与基线均值求差后除以标准差，得到各行为参数基线偏离度。

31、具体地，所述根据偏离程度判定健康等级并触发预警的具体过程为：

32、行为参数基线偏离度取绝对值后按预设权重加权求和得到综合偏离指数；

33、综合偏离指数低于第一预设阈值判定为健康基准状态，介于第一预设阈值与第二预设阈值之间判定为轻度异常并记录关注标记，介于第二预设阈值与第三预设阈值之间判定为中度异常并触发预警，高于第三预设阈值判定为重度异常并触发紧急预警，同步记录时间戳、身份编号、综合偏离指数与异常参数明细至日志。

34、具体地，所述同步输出多视角去重群体数量的具体过程为：

35、针对多视角独立执行目标检测与跨帧轨迹关联，获取各视角活跃轨迹身份编号集合，计算两两视角间视野重叠区域内轨迹的重叠度；

36、若同一轨迹编号出现在多个视角且重叠度超过视角重叠阈值，判定为同一目标，统计全部视角不重复轨迹编号总数作为群体数量，合并各视角下的最早出现时间和最晚出现时间生成跨视角活动完整时间窗记录，与群体数量一并输出。

37、具体地，基于多特征视觉分析的牲畜身份识别与健康预警系统，包括：

38、检测单元：获取目标区域视频图像，经自适应光照校正与背景抑制预处理，输入共享特征提取网络，经并行检测分支同步解耦输出全身与头部检测框及置信度；

39、跟踪单元：基于所述置信度与时序空间约束执行跨帧轨迹关联，动态分配并维持轨迹身份编号；

40、识别单元：将所述轨迹身份编号对应的检测区域输入个体识别模型，提取面部微纹理、耳廓形态、角部结构及体态轮廓特征，经多模态特征对齐与相似度计算输出身份识别结果，并将外观特征模板反馈至跨帧轨迹关联更新匹配权重；

41、预警单元：基于所述身份识别结果调取历史健康基线，累计时序行为参数与视觉状态特征进行基线偏离检测；根据偏离程度判定健康等级并触发预警，同步输出多视角去重群体数量。

42、本发明的有益效果为：

43、（1）通过共享特征提取网络与并行检测分支同步输出全身与头部检测框，结合跨帧轨迹关联分配唯一轨迹身份编号，个体识别模型提取面部微纹理、耳廓形态、角部结构及体态轮廓多模态特征进行身份识别，并将外观特征模板反馈至跨帧轨迹关联更新匹配权重，形成识别结果反哺跟踪的双向闭环，有效解决了单一特征识别准确率低、遮挡场景下身份跳变频繁及识别与跟踪数据单向传递缺乏协同的问题，显著提升了复杂牧场环境下个体识别准确率和跟踪稳定性；

44、（2）通过基于身份识别结果调取对应个体的历史健康基线，累计时序行为参数与视觉状态特征进行基线偏离检测，根据偏离程度判定健康等级并触发分级预警，同步输出多视角去重群体数量，实现了个体识别、健康评估与群体统计的一体化联动，有效克服了健康评估依赖统一阈值无法个体化、各模块独立运行无法形成管理闭环及多视角下群体数量重复统计的缺陷，显著提升了健康预警精准度和群体管理效率。