基于CLIP模型的牲畜分娩监测预警系统与方法

基于clip模型的牲畜分娩监测预警系统与方法
技术领域
1.本发明涉及畜牧业技术领域，具体涉及基于clip模型的牲畜分娩监测预警系统与方法。


背景技术：

2.clip模型是利用text信息监督视觉任务自训练，本质就是将分类任务转化成了图文匹配任务，效果可与全监督方法相当；比如在猪(如猪)分娩以及待分娩阶段，对猪的监测预警是必不可少的，为了防止猪出现早产、流产、难产以及幼崽畸形或是携带疾病等情况，利用猪的彩色图像、热红外图像信息以及猪的日常文本信息输入到clip模型中进行匹配，结合大数据比对出猪分娩可能存在的问题和状况，为此，现提出基于clip模型的牲畜分娩监测预警系统与方法。


技术实现要素：

3.本发明的目的是提供基于clip模型的牲畜分娩监测预警系统与方法，以解决技术中的上述不足之处。
4.为了实现上述目的，本发明提供如下技术方案：基于clip模型的牲畜分娩监测预警系统与方法，包括有如下的监测预警系统：
5.①
、热红外图像采集单元以及彩色图像采集单元；
6.②
、目标猪的体态变化日志单元、饲食日志单元、行为日志单元和孕检信息单元；
7.③
、含有猪分娩大数据的clip模型。
8.根据权利要求1所述的基于clip模型的牲畜分娩监测预警系统与方法，其特征在于：还包括有如下的监测预警方法：
9.s1：在目标猪活动范围内铺设热红外摄像头和监控摄像头，以1h*600张～1h*1000张的数量分别拍摄目标猪的热红外图像信息以及彩色图像信息，并记录在sd卡中，并且承载sd卡的终端设备设定为超出7*24h自动删除前24h记录的热红外图像信息以及彩色图像信息；
10.s2：与s1同步进行，人工记录目标猪的体态变化、进食和排便(排便量以划定目标猪经常活动的区域和划定时间为准，划定时间是以间隔1h，2h，
……
5h，以此类推，以此时间段内记录目标猪的排便量)、行为以及孕检信息，以一式两份文本格式留存；
11.s3：将s1和s2中获得的热红外图像信息、彩色图像信息以及文本信息打包合并输入到clip模型中，并在clip模型中下载conceptual captions数据集，将下载的数据集进行清洗，将下载的空图片或者不完整的图片数据过滤，同时针对clip模型中的开源代码进行调整；
12.s4：利用clip模型中的命令行工具对输入的目标猪信息进行测试运行，通过猪分娩大数据对测试运行后的数据进行比对，其中利用freak算法，对热红外图像信息以及彩色图像信息进行特征提取，建立矩阵d，d的每一行是一个freak二进制描述符，即每一行有n个
元素，并对矩阵d的每一列计算其均值，每一列都有一个均值，以均值最接近0.5的排在第一位，均值离0.5越远的排在越靠后，对列进行排序；选取前512列作为最终的二进制描述，由于freak描述符自身的圆形对称采样结构使其具有旋转不变性，采样的位置好半径随着尺度的变化使其具有尺度不变性，对每个采样点进行高斯模糊，也具有一定的抗噪性能，像素点的强度对比生成二进制描述子使其具有光照不变性，因此由上述产生的二进制描述可以用来进行特征匹配，同时用o表示局部梯度信息，m表示采样点对个数，g表示采样点对集合，po表示采样点对的位置，则获得如下公式：
[0013][0014]
再由计算机计算公式，得到不同图片512bit的二进制描述符，该描述符的列是高方差到低方差的排列，而高方差表征了模糊信息，低方差表征了细节信息，与人眼视网膜相似，人眼先处理的是模糊信息，再处理细节信息，因此，选取前128bit即16bytes进行匹配(异或)，若两个待匹配的特征点前16bytes距离小于设定的阈值，则再用剩余的位信息进行匹配，这种方法可以剔除掉90％的不相关匹配点，获得目标猪分娩的情状与大数据之间的比对差异情况，从而得到目标猪需要预警注意的分娩信息。
[0015]
作为本发明一种优选的方案，所述
②
中的的体态变化日志主要记录目标猪的乳房是否胀大有光泽，两侧乳头是否外胀呈八字分开，以及临产的目标猪是否腹围变小，阴门松懈，尾根附近塌陷等情况。
[0016]
作为本发明一种优选的方案，所述
①
中的热红外图像采集单元以及彩色图像采集单元，为围绕目标猪活动范围铺设的若干热红外摄像头和监控摄像头。
[0017]
作为本发明一种优选的方案，所述
②
中饲食日志主要针对记录目标猪的进食量变化，排便量变化。
[0018]
作为本发明一种优选的方案，所述
②
中的行为日志主要记录目标猪在待分娩期间是否有起卧不安，在圈舍内来回走动，叼草絮窝，排零星粪便行为，以及目标猪的阴门是否红肿，伴有黏液流出，频频排尿行为。
[0019]
作为本发明一种优选的方案，所述步骤s1中需要融合深度神经网络与条件随机场方法，对动物行为的视频关键帧进行像素级标注，并在视频序列的时空图基础上定义马尔科夫随机场与单变量势函数，利用深度神经网络方法提取运动检测子，结合轨迹分析检测子，对其分布区域进行长时分析，实现动物运动行为检测。
[0020]
作为本发明一种优选的方案，所述步骤s4中目标猪分娩的情状差异包括有：目标猪是否存在流产、早产、难产现象，以及猪腹中幼崽是否存在畸形、携带疾病的情况。
[0021]
在上述技术方案中，本发明提供的技术效果和优点：
[0022]
本发明中通过采集和获取目标猪的彩色图像、热红外图像信息以及目标猪的体态变化日志、饲食日志、行为日志和孕检的文本信息，并将信息打包合并到clip模型中，利用clip模型的训练任务，预测猪的图片与大数据图像相匹配，通过猪分娩大数据对测试运行后的数据进行比对，并将目标猪分娩的情状差异比对出来，得到目标猪需要预警注意的分娩信息。
附图说明
[0023]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0024]
图1为本发明提出的基于clip模型的牲畜分娩监测预警系统与方法的系统框架示意图。
具体实施方式
[0025]
为了对本发明的技术方案和实现方式做出更清楚地解释和说明，以下介绍实现本发明技术方案的几个优选的具体实施例。
[0026]
下文的描述本质上仅是示例性的而并非意图限制本公开、应用及用途。应当理解，在所有这些附图中，相同或相似的附图标记指示相同的或相似的零件及特征。各个附图仅示意性地表示了本公开的实施方式的构思和原理，并不一定示出了本公开各个实施方式的具体尺寸及其比例。在特定的附图中的特定部分可能采用夸张的方式来图示本公开的实施方式的相关细节或结构，本文所引用的各种出版物、专利和公开的专利说明书，其公开内容通过引用整体并入本文，下面将结合本发明实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例。
[0027]
在本发明的描述中，除非另有明确的规定和限定，术语“第一”、“第二”仅用于描述的目的，而不能理解为指示或暗示相对重要性；除非另有规定或说明，术语“多个”是指两个或两个以上；术语“连接”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0028]
本说明书的描述中，需要理解的是，本技术实施例所描述的“上”、“下”、“左”、“右”等方位词是以附图所示的角度来进行描述的，不应理解为对本技术实施例的限定。此外，在上下文中，还需要理解的是，当提到一个元件连接在另一个元件“上”或者“下”时，其不仅能够直接连接在另一个元件“上”或者“下”，也可以通过中间元件间接连接在另一个元件“上”或者“下”。
[0029]
实施例一
[0030]
参照说明书附图1，基于clip模型的牲畜分娩监测预警系统与方法：
[0031]
在目标猪活动范围内铺设热红外摄像头和监控摄像头，以1h*600张～1h*1000张的数量分别拍摄目标猪的热红外图像信息以及彩色图像信息，并记录在sd卡中，并且承载sd卡的终端设备设定为超出7*24h自动删除前24h记录的热红外图像信息以及彩色图像信息；人工记录目标猪的体态变化、进食和排便(排便量以划定目标猪经常活动的区域和划定时间为准，划定时间是以间隔1h，2h，
……
5h，以此类推，以此时间段内记录目标猪的排便量)、行为以及孕检信息，以一式两份文本格式留存；将获得的热红外图像信息、彩色图像信息以及文本信息打包合并输入到clip模型中，并在clip模型中下载conceptual captions数据集，将下载的数据集进行清洗，将下载的空图片或者不完整的图片数据过滤，同时针对clip模型中的开源代码进行调整。
[0032]
利用clip模型中的命令行工具对输入的目标猪信息进行测试运行，通过猪分娩大
数据对测试运行后的数据进行比对，其中利用freak算法，对热红外图像信息以及彩色图像信息进行特征提取，建立矩阵d，d的每一行是一个freak二进制描述符，即每一行有n个元素，并对矩阵d的每一列计算其均值，每一列都有一个均值，以均值最接近0.5的排在第一位，均值离0.5越远的排在越靠后，对列进行排序；选取前512列作为最终的二进制描述，由于freak描述符自身的圆形对称采样结构使其具有旋转不变性，采样的位置好半径随着尺度的变化使其具有尺度不变性，对每个采样点进行高斯模糊，也具有一定的抗噪性能，像素点的强度对比生成二进制描述子使其具有光照不变性，因此由上述产生的二进制描述可以用来进行特征匹配，同时用o表示局部梯度信息，m表示采样点对个数，g表示采样点对集合，po表示采样点对的位置，则获得如下公式：
[0033][0034]
再由计算机计算公式，得到不同图片512bit的二进制描述符，该描述符的列是高方差到低方差的排列，而高方差表征了模糊信息，低方差表征了细节信息，与人眼视网膜相似，人眼先处理的是模糊信息，再处理细节信息，因此，选取前128bit即16bytes进行匹配(异或)，若两个待匹配的特征点前16bytes距离小于设定的阈值，则再用剩余的位信息进行匹配，这种方法可以剔除掉90％的不相关匹配点，获得目标猪分娩的情状与大数据之间的比对差异情况，从而得到目标猪需要预警注意的分娩信息。
[0035]
实施例二
[0036]
基于实施例一的基础上，参照说明书附图1，基于clip模型的牲畜分娩监测预警系统与方法：
[0037]
在目标猪活动范围内铺设热红外摄像头和监控摄像头，以1h*600张～1h*1000张的数量分别拍摄目标猪的热红外图像信息以及彩色图像信息，需要融合深度神经网络与条件随机场方法，对动物行为的视频关键帧进行像素级标注，并在视频序列的时空图基础上定义马尔科夫随机场与单变量势函数，利用深度神经网络方法提取运动检测子，结合轨迹分析检测子，对其分布区域进行长时分析，实现动物运动行为检测，将监测图片记录在sd卡中。
[0038]
与此同步进行人工记录目标猪的乳房是否胀大有光泽，两侧乳头是否外胀呈八字分开、目标猪是否有腹围变小，阴门松懈，尾根附近塌陷等情况；记录目标猪的进食量变化，排便量变化；目标猪在待分娩期间是否有起卧不安，在圈舍内来回走动，叼草絮窝，排零星粪便行为，以及目标猪的阴门是否红肿，伴有黏液流出，频频排尿行为。
[0039]
且在监测猪分娩的过程中，结合各类型传感器监测环境变量，如圈内的湿度、温度、氨、二氧化碳、粉尘含量、料塔称重、监测用水量等传感器，辅助热红外摄像头和监控摄像头帮助实现清点动物、估计体重，以及通过评估运动模式以检测跛行或异常静止的动物等任务，通过识别攻击性行为，如打架、拱腹或咬尾等对目标猪进行监测和预警。
[0040]
将以上的观察情况以一式两份的文本格式留存，将采集获得的热红外图像信息、彩色图像信息以及文本信息打包合并输入到clip模型中，并在clip模型中下载conceptual captions数据集，将下载的数据集进行清洗，将下载的空图片或者不完整的图片数据过滤，同时针对clip模型中的开源代码进行调整，利用clip模型中的命令行工具对输入的目标猪信息进行测试运行，通过计算图像和文本的匹配，优化目标猪的分娩数据，并将猪分娩大数
据对测试运行后的数据进行比对，将目标猪分娩的情状差异比对出来，得到目标猪需要预警注意的分娩信息：目标猪的分娩期以及分娩可能存在的问题，并对可能存在的问题进行预警。
[0041]
实施例三
[0042]
基于实施例二的基础上，参照说明书附图1，基于clip模型的牲畜分娩监测预警系统与方法：
[0043]
在目标猪活动范围内铺设热红外摄像头和监控摄像头，以1h*600张～1h*1000张的数量分别拍摄目标猪的热红外图像信息以及彩色图像信息，并记录在sd卡中，并且承载sd卡的终端设备设定为超出7*24h自动删除前24h记录的热红外图像信息以及彩色图像信息；人工记录目标猪的体态变化、进食和排便(排便量以划定目标猪经常活动的区域和划定时间为准，划定时间是以间隔1h，2h，
……
5h，以此类推，以此时间段内记录目标猪的排便量)、行为以及孕检信息，以一式两份文本格式留存；将获得的热红外图像信息、彩色图像信息以及文本信息打包合并输入到clip模型中，并在clip模型中下载conceptual captions数据集，将下载的数据集进行清洗，将下载的空图片或者不完整的图片数据过滤，同时针对clip模型中的开源代码进行调整。
[0044]
利用clip模型中的命令行工具对输入的目标猪信息进行测试运行，通过猪分娩大数据对测试运行后的数据进行比对，其中利用freak算法，对热红外图像信息以及彩色图像信息进行特征提取，建立矩阵d，d的每一行是一个freak二进制描述符，即每一行有n个元素，并对矩阵d的每一列计算其均值，每一列都有一个均值，以均值最接近0.5的排在第一位，均值离0.5越远的排在越靠后，对列进行排序；选取前512列作为最终的二进制描述，由于freak描述符自身的圆形对称采样结构使其具有旋转不变性，采样的位置好半径随着尺度的变化使其具有尺度不变性，对每个采样点进行高斯模糊，也具有一定的抗噪性能，像素点的强度对比生成二进制描述子使其具有光照不变性，因此由上述产生的二进制描述可以用来进行特征匹配，同时用o表示局部梯度信息，m表示采样点对个数，g表示采样点对集合，po表示采样点对的位置，则获得如下公式：
[0045][0046]
再由计算机计算公式，得到不同图片512bit的二进制描述符，该描述符的列是高方差到低方差的排列，而高方差表征了模糊信息，低方差表征了细节信息，与人眼视网膜相似，人眼先处理的是模糊信息，再处理细节信息，因此，选取前128bit即16bytes进行匹配(异或)，若两个待匹配的特征点前16bytes距离小于设定的阈值，则再用剩余的位信息进行匹配，这种方法可以剔除掉90％的不相关匹配点，获得目标猪分娩的情状与大数据之间的比对差异情况，从而得到目标猪需要预警注意的分娩信息。
[0047]
且在监测猪分娩的过程中，结合各类型传感器监测环境变量，如圈内的湿度、温度、氨、二氧化碳、粉尘含量、料塔称重、监测用水量等传感器，辅助热红外摄像头和监控摄像头帮助实现清点动物、估计体重，以及通过评估运动模式以检测跛行或异常静止的动物等任务，通过识别攻击性行为，如打架、拱腹或咬尾等对目标猪进行监测和预警。
[0048]
通过将猪的耳朵上嵌入耳标，耳标中加速度感应器用于监测动物活动，监测休息和活动时间，并将其与病理和/或生理过程联系起来，通过嵌入耳标的加速度传感器预测分
娩时间，测温设备目的是能够通过持续监测或更简单、更准确的即时获得动物实时体温读数，并配合热红外摄像头和监控摄像头以及人工记录对猪进行监测。
[0049]
将以上的观察情况以一式两份的文本格式留存，将采集获得的热红外图像信息、彩色图像信息以及文本信息打包合并输入到clip模型中，并在clip模型中下载conceptual captions数据集，将下载的数据集进行清洗，将下载的空图片或者不完整的图片数据过滤，同时针对clip模型中的开源代码进行调整，利用clip模型中的命令行工具对输入的目标猪信息进行测试运行，通过计算图像和文本的匹配，优化目标猪的分娩数据，并将猪分娩大数据对测试运行后的数据进行比对，将目标猪分娩的情状差异比对出来，得到目标猪需要预警注意的分娩信息：目标猪的分娩期以及分娩可能存在的问题，并对可能存在的问题进行预警。
[0050]
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。