复杂养殖环境下基于深度度量学习的牛脸识别方法及系统与流程

本申请涉及图像识别，尤其涉及复杂养殖环境下基于深度度量学习的牛脸识别方法及系统。

背景技术：

1、随着机器视觉技术在规模化养殖场景中的应用，利用牛脸图像进行牛只个体识别逐渐成为非接触式身份识别的一种实现方式，现有牛脸识别方法通常利用设置于采食区域、饮水区域或牛只通行区域的摄像设备获取牛脸图像或连续视频，通过牛脸目标定位和面部结构识别确定待处理的牛脸图像区域，再从相应图像区域提取视觉特征，并根据待识别牛脸与已登记牛脸之间的特征匹配关系确定牛只身份，对于连续视频，还可以利用相邻视频帧中牛脸图像的位置变化和视觉关联关系保持同一牛脸的连续轨迹，并综合轨迹内不同视频帧的牛脸特征进行识别，例如在相邻牛只同时靠近采食槽时，一头牛处于低头采食状态，另一头牛从邻近位置向前伸头，两头牛的头部会在摄像机成像方向上产生局部重叠，此时，单个视频帧中形成的牛脸候选区域仍可能具有连续的牛脸外形，区域内部检测得到的面部结构在图像坐标上也可能保持合理的相对位置，因此该牛脸候选区域可以继续进入后续的视觉特征提取和身份匹配过程。

2、在上述局部重叠持续变化的过程中，牛脸候选区域所覆盖的实际牛只对象可能随两头牛的相对运动发生变化，例如，该区域在初始视频帧中主要对应正在采食的牛只，随着相邻牛只继续伸头，候选区域中的部分面部视觉内容逐渐由相邻牛只提供，而在后续视频帧中又可能主要对应相邻牛只，由于这一过程中牛脸候选区域在图像中的位置、尺度和整体外观仍具有连续变化特征，基于视频连续性的牛脸关联结果仍可能保持为同一轨迹，由此，在进行深度视觉特征提取时，同一候选牛脸中实际来源不同牛只的局部视觉内容可能共同参与身份特征形成，并进一步随连续轨迹进入多帧特征聚合，使轨迹对应的身份特征由不同牛只的视觉信息共同影响，对于面部外观较为接近的牛只，该类特征在度量空间中还可能保持连续变化，从而不必然表现为明显的异常特征，因而，在复杂养殖环境下基于牛脸图像和视频进行个体识别时，还需要进一步解决如何根据牛脸候选区域内部视觉内容之间的对象一致性以及该对象一致性在连续视频帧中的保持关系，确定能够共同参与深度度量特征形成的有效牛脸视觉信息，避免跨牛只视觉内容沿连续牛脸轨迹共同参与身份特征匹配的问题。

技术实现思路

1、本申请提出了复杂养殖环境下基于深度度量学习的牛脸识别方法及系统，以解决背景技术中提出的问题。

2、为达到上述目的，本申请采用如下技术方案：复杂养殖环境下基于深度度量学习的牛脸识别方法，包括：

3、获取连续牛脸视频，建立牛脸候选区域内局部视觉区域的跨帧对应关系，依据局部位置和头部运动幅度确定局部形变允许范围，在该局部形变允许范围下比较单来源运动模型和双来源运动模型，确定两个候选来源分量；

4、采用深度度量学习网络提取局部身份特征并聚合形成牛脸特征，以候选来源分量为特征撤除边界，比较撤除前后牛脸特征分别与两个牛只身份模板的度量距离之差变化，依据已确认身份的单来源校准视频校正变化，确定两个候选来源分量支持不同牛只身份；

5、沿跨帧对应关系追踪两个候选来源分量，身份匹配结果不参与追踪路径形成，追踪至单来源稳定视频区间后确定来源锚定区间；来源锚定区间的识别身份与对应候选来源分量支持的牛只身份一致时，根据候选来源分量的共同存在范围确定跨对象混合区间，并依据跨对象混合区间前后的来源延续关系判定牛脸轨迹是否切分；

6、排除跨对象混合区间及未能沿跨帧对应关系追踪至来源锚定区间的视频帧，根据能够沿跨帧对应关系追踪至同一来源锚定区间的局部视觉区域覆盖程度对牛脸特征加权，形成轨迹代表特征并与牛只身份模板进行深度度量匹配，输出牛只身份。

7、复杂养殖环境下基于深度度量学习的牛脸识别系统，包括：

8、候选来源分量确定模块，获取连续牛脸视频，建立牛脸候选区域内局部视觉区域的跨帧对应关系，依据局部位置和头部运动幅度确定局部形变允许范围，在该局部形变允许范围下比较单来源运动模型和双来源运动模型，确定两个候选来源分量；

9、不同牛只身份验证模块，采用深度度量学习网络提取局部身份特征并聚合形成牛脸特征，以候选来源分量为特征撤除边界，比较撤除前后牛脸特征分别与两个牛只身份模板的度量距离之差变化，依据已确认身份的单来源校准视频校正变化，确定两个候选来源分量支持不同牛只身份；

10、来源追踪与跨对象混合区间确定模块，沿跨帧对应关系追踪两个候选来源分量，身份匹配结果不参与追踪路径形成，追踪至单来源稳定视频区间后确定来源锚定区间；来源锚定区间的识别身份与对应候选来源分量支持的牛只身份一致时，根据候选来源分量的共同存在范围确定跨对象混合区间，并依据跨对象混合区间前后的来源延续关系判定牛脸轨迹是否切分；

11、轨迹代表特征形成与身份匹配模块，排除跨对象混合区间及未能沿跨帧对应关系追踪至来源锚定区间的视频帧，根据能够沿跨帧对应关系追踪至同一来源锚定区间的局部视觉区域覆盖程度对牛脸特征加权，形成轨迹代表特征并与牛只身份模板进行深度度量匹配，输出牛只身份。

12、本发明有益效果如下：

13、1.本发明通过建立牛脸候选区域内局部视觉区域的跨帧对应关系，并在单牛正常局部形变允许范围下比较单来源运动模型和双来源运动模型，确定候选来源分量，从而在牛脸候选区域整体仍保持连续的情况下识别局部视觉内容的不同物理来源。

14、2.本发明以候选来源分量作为局部身份特征的撤除边界，通过撤除前后牛脸特征相对于不同牛只身份模板的度量距离变化，并结合单来源校准数据进行校正，确认不同候选来源分量对不同牛只身份的独立支持；随后仅沿既有跨帧对应关系追踪候选来源分量并形成来源锚定区间和跨对象混合区间，实现牛只身份信息与物理来源关系的交叉验证。

15、3.本发明在轨迹级识别时排除跨对象混合区间及未能追踪至来源锚定区间的视频帧，并按照来源覆盖程度和跨帧连续程度对同一来源牛脸特征进行融合，形成轨迹代表特征进行深度度量匹配，从而限制不同牛只的局部视觉内容共同进入同一轨迹身份特征，降低复杂养殖环境下局部交叠造成的跨牛身份混合和错误关联。

1.复杂养殖环境下基于深度度量学习的牛脸识别方法，其特征在于，包括：

2.根据权利要求1所述的复杂养殖环境下基于深度度量学习的牛脸识别方法，其特征在于，确定两个候选来源分量，具体包括：

3.根据权利要求2所述的复杂养殖环境下基于深度度量学习的牛脸识别方法，其特征在于，将双来源运动模型相对于单来源运动模型的拟合评价差异、持续时间以及双来源运动模型中局部视觉区域占比较低的来源对应占比分别转换为相对于单牛非交叠校准视频中虚假多来源事件的经验秩，形成归一化事件状态；

4.根据权利要求1所述的复杂养殖环境下基于深度度量学习的牛脸识别方法，其特征在于，提取局部身份特征，具体包括：

5.根据权利要求4所述的复杂养殖环境下基于深度度量学习的牛脸识别方法，其特征在于，确定两个候选来源分量支持不同牛只身份，具体包括：

6.根据权利要求1所述的复杂养殖环境下基于深度度量学习的牛脸识别方法，其特征在于，追踪候选来源分量，具体包括：

7.根据权利要求6所述的复杂养殖环境下基于深度度量学习的牛脸识别方法，其特征在于，候选来源分量沿跨帧对应关系追踪至连续满足独立运动模型求解条件、单来源运动模型拟合评价值不高于双来源运动模型、未形成超过联合分布允许边界的候选多来源事件，且同一牛脸候选区域内不存在另一候选来源分量沿有效跨帧对应关系持续存在的稳定视频区间时，在该稳定视频区间的局部身份特征满足已确认身份的单来源校准视频确定的身份识别支持条件后，将该稳定视频区间确定为来源锚定区间，并将来源锚定区间识别得到的牛只身份与对应候选来源分量支持的牛只身份进行一致性验证；

8.根据权利要求1所述的复杂养殖环境下基于深度度量学习的牛脸识别方法，其特征在于，排除跨对象混合区间及未能沿跨帧对应关系追踪至来源锚定区间的视频帧，根据能够沿跨帧对应关系追踪至同一来源锚定区间的局部视觉区域覆盖程度和跨帧对应关系的连续程度确定牛脸特征的融合权重；

9.根据权利要求8所述的复杂养殖环境下基于深度度量学习的牛脸识别方法，其特征在于，利用来源锚定区间的牛脸特征形成来源锚定代表特征，以来源锚定区间内牛脸特征与来源锚定代表特征之间的角距离确定尺度参数；

10.复杂养殖环境下基于深度度量学习的牛脸识别系统，应用如权利要求1-9任一项所述的复杂养殖环境下基于深度度量学习的牛脸识别方法，其特征在于，包括：