一种基于图像和声音识别母猪感冒的检测方法与流程

1.本发明涉及视频图像和声音处理技术领域，具体涉及一种基于图像和声音识别母猪感冒的检测方法。


背景技术：

2.目前，母猪感冒诊断主要依赖于人工观察，即人工及时注意母猪的异常表情，如鼻子干、咳嗽、发热等外部表现，同时辅助观察食物剩余量等；这种方法会浪费大量人力物力，同时判断对工作人员要求严格，否则直接影响母猪的质量。


技术实现要素：

3.本发明提供一种基于图像和声音识别母猪感冒的检测方法，利用本发明的方案，快速、准确地检测出母猪是否感冒，减轻了工作人员的劳动强度。
4.为达到上述目的，本发明的技术方案是：一种基于图像和声音识别母猪感冒的检测方法，包括母猪感冒识别系统，母猪感冒识别系统包括、麦克风和控制器，其中摄像头具有热成像功能。
5.所述基于图像和声音识别母猪感冒的检测方法包括以下步骤：（1）通过摄像头拍摄到母猪在感冒时体感温度的图像，由母猪感冒时的温度波动被标记好的体感图像得到体温第一训练集，通过体温第一训练集对深度学习模型进行训练，得到发烧特征判断模型。
6.通过摄像头拍摄到母猪在感冒时的视频，由母猪感冒时鼻子干被标记好的各图像得到鼻子第一训练集，通过鼻子第一训练集对深度学习模型进行训练，得到母猪鼻子干特征判断模型。
7.通过摄像头拍摄到母猪在生活和感冒时的食物盆的图像，通过图像对各只感冒的母猪的食量和食量变化进行跟踪和识别。
8.通过麦克风录到母猪在生活和感冒时的声音，由母猪感冒时咳嗽的特征被标记好的各声音得到声音第一训练集，通过声音第一训练集对深度学习模型进行训练，得到母猪咳嗽特征判断模型。
9.通过发烧特征判断模型判断视频中的母猪是否有感冒发烧行为，并统计各只母猪发烧行为的体温和体温变化；通过母猪鼻子干特征判断模型判断视频中的母猪是否有感冒发烧行为，并统计各只母猪发烧行为的鼻子干湿特征和干湿变化；提取出各只感冒的母猪的食量变化信息；通过母猪咳嗽特征判断模型判断视频中的母猪是否有感冒发烧行为，并统计各只母猪发烧行为的咳嗽的力度和频率变化。
10.（2）将步骤（1）中统计到的感冒母猪的体感温度的图像、鼻子干特征、食量特征以及咳嗽声音特征作为每个训练样本，构成第二训练集；通过第二训练集对神经网络模型进行训练，得到母猪感冒预警模型。
11.（3）当需要进行母猪感冒监测时，通过摄像头拍摄到的母猪视频以及麦克风录到
的声音，从上述视频中对母猪进行跟踪和识别，并且判断母猪是否有温度异常升高的特征，统计各只母猪感冒前后的体温变化；从上述视频中对母猪进行跟踪和识别，并且判断母猪是否有鼻子干的特征，统计各只母猪鼻子干特征的开始时间和持续时间；从视频中获取到母猪在生活和感冒时的食物剩余量的图像；从上述声音中对母猪进行跟踪和识别，并且判断母猪是否有咳嗽的特征，统计各只母猪咳嗽特征的力度和频率变化。
12.（4）将步骤（3）中得到的母猪的体感温度的图像、鼻子干特征、食量特征以及咳嗽声音特征作输入到母猪感冒预警模型，通过母猪感冒预警模型判定出母猪是否感冒发烧。
13.上述方法，首先通过摄像头拍摄到母猪在感冒时体感温度的图像，由母猪感冒时的温度波动被标记好的体感图像得到体温第一训练集，通过体温第一训练集训练出发烧特征判断模型；然后通过摄像头拍摄到母猪在感冒时的视频，由母猪感冒时鼻子干被标记好的各图像得到鼻子第一训练集，通过鼻子第一训练集训练出母猪鼻子干特征判断模型；通过麦克风录到母猪在生活和感冒时的声音，由母猪感冒时咳嗽的特征被标记好的各声音得到声音第一训练集，通过声音第一训练集训练出母猪咳嗽特征判断模型；在母猪是否处于感冒发烧的情况下，统计各只母猪发烧行为的体温和体温变化、各只母猪发烧行为的鼻子干湿特征和干湿变化、统计各只母猪发烧行为的咳嗽的力度和频率变化；将统计到的感冒母猪的体感温度的图像、鼻子干特征、食量特征以及咳嗽声音特征作为每个训练样本，构成第二训练集；通过第二训练集对神经网络模型进行训练，得到母猪感冒预警模型；当需要进行母猪感冒监测时，通过摄像头拍摄到的母猪视频以及麦克风录到的声音，从上述视频中对母猪进行跟踪和识别，并且判断母猪是否有温度异常升高的特征，统计各只母猪感冒前后的体温变化；从上述视频中对母猪进行跟踪和识别，并且判断母猪是否有鼻子干的特征，统计各只母猪鼻子干特征的开始时间和持续时间；从视频中获取到母猪在生活和感冒时的食物剩余量的图像；从上述声音中对母猪进行跟踪和识别，并且判断母猪是否有咳嗽的特征，统计各只母猪咳嗽特征的力度和频率变化；所述母猪的体感温度的图像、鼻子干特征、食量特征以及咳嗽声音特征作输入到母猪感冒预警模型，通过母猪感冒预警模型判定出母猪是否感冒发烧；由此可见，通过采用母猪感冒识别系统实现实时监测母猪体温、鼻子干程度、食量和声音的变化，实时分析母猪的变化特征，根据变化特征预测母猪是否感冒，具有方法简单、方便、易操作、节省人工劳动强度、提高准确率的特点，进而提高母猪的质量，减少生长发育不良、患病死亡的情况发生。
14.进一步地，在所述步骤（1）中，深度学习模型采用ssd和mobilenet合成的模型。
15.进一步地，在所述步骤（1），第一训练集对深度学习模型进行训练时，还包括以下步骤：训练样本在输入深度学习模型之前进行预处理，预处理包括：针对第一训练集中的各图像首先通过中值滤波器进行压缩处理；训练样本图像数据增强后输入到深度学习模型；其中训练样本图像的数据增强过程包括数据翻转和随机获取图像信息的过程；以上设置，在训练样本在输入深度学习模型之前进行预处理，能够提高检测的准确性。
16.进一步地，所述母猪感冒识别系统还包括母猪特征提取模块；所述步骤（3）还包括（3.1）：摄像头实时识别得到包含母猪的帧图后，母猪的特征提取模块对帧图进行猪特征提取后得到各只母猪的脸部特征数据；热像仪以黑体作为参考实时识别得到母猪特征数据对应的母猪的温度；判断母猪的温度超过设定值时对对应的母猪特征数据进行第一标记，根据有第一标记的母猪特征数据的获取时间和/或位置对其它母猪特征数据进行第二标记；
这样，简单有效地区别出体温正常的母猪和体温不正常的母猪并进行标记。
17.进一步地，所述步骤（3）还包括（3.2）：通过摄像头实时识别母猪的帧图后，分析母猪留鼻涕部位的白光面积和相似度，对母猪鼻子干特征进行识别，（3.2）具体还包括以下步骤：（3.2.1）rgb是最常见的颜色模型，在图像处理时需要分别对rgb三种分量进行处理。
18.（3.2.2）采用阈值分割方法对母猪留鼻涕部位表皮图像进行分割处理。
19.（3.2.3）选取（3.2.2）处理后的图像中目标区域面积与图像总面积的比例，作为表征母猪留鼻涕部位表皮干湿状态的特征参数，将获取的图像特征参数与母猪留鼻涕部位无水表皮图像特征参数进行对比，若该参数在母猪留鼻涕部位无水表皮图像特征参数分布范围之内，则该图像可能是母猪留鼻涕部位无水表皮图像，否则为母猪留鼻涕部位有水表皮图像；以上设置，母猪留鼻涕部位表皮在干燥状态下，表面毛孔孔径较大、凹凸不平；而在湿润状态时，水膜覆盖的胴体表面，较干燥状态时要平整、光滑。因此，在光线照射下，无水母猪留鼻涕部位表皮表现为漫反射，而有水状态下则更易发生镜面反射，当母猪发热时，母猪留鼻涕部位表面水分的蒸发，镜面反射作用逐渐减弱，在图像上表现为白光面积减小、相似度变低。通过相机实施识别母猪的帧图后，分析母猪留鼻涕部位的白光面积和相似度，便能识别母猪鼻子干特征；通过上述方法，即可通过分析母猪留鼻涕部位的白光面积和相似度即可准确判断母猪鼻涕部位是否存在鼻涕。
附图说明
20.图1为本发明中获取体感第一训练集、鼻子第一训练集、食量变化信息、声音第一训练集以及第二训练集的流程框图。
21.图2为本发明中获取母猪感冒预警模型以及判断母猪是否感冒的流程框图。
具体实施方式
22.下面结合附图和具体实施方式对本发明做进一步详细说明。
23.如图1和图2所示，一种基于图像和声音识别母猪感冒的检测方法，包括母猪感冒识别系统，母猪感冒识别系统包括摄像头、麦克风和控制器，其中摄像头具有热成像功能。
24.所述基于图像和声音识别母猪感冒的检测方法包括以下步骤：（1）通过摄像头拍摄到母猪在感冒时体感温度的图像，由母猪感冒时的温度波动被标记好的体感图像得到体温第一训练集，通过体温第一训练集对深度学习模型进行训练，得到发烧特征判断模型。
25.通过摄像头拍摄到母猪在感冒时的视频，由母猪感冒时鼻子干被标记好的各图像得到鼻子第一训练集，通过鼻子第一训练集对深度学习模型进行训练，得到母猪鼻子干特征判断模型。
26.通过摄像头拍摄到母猪在生活和感冒时的食物盆的图像，通过图像对各只感冒的母猪的食量和食量变化进行跟踪和识别。
27.通过麦克风录到母猪在生活和感冒时的声音，由母猪感冒时咳嗽的特征被标记好的各声音得到声音第一训练集，通过声音第一训练集对深度学习模型进行训练，得到母猪
咳嗽特征判断模型。
28.通过发烧特征判断模型判断视频中的母猪是否有感冒发烧行为，并统计各只母猪发烧行为的体温和体温变化；通过母猪鼻子干特征判断模型判断视频中的母猪是否有感冒发烧行为，并统计各只母猪发烧行为的鼻子干湿特征和干湿变化；提取出各只感冒的母猪的食量变化信息；通过母猪咳嗽特征判断模型判断视频中的母猪是否有感冒发烧行为，并统计各只母猪发烧行为的咳嗽的力度和频率变化。
29.（2）将步骤（1）中统计到的感冒母猪的体感温度的图像、鼻子干特征、食量特征以及咳嗽声音特征作为每个训练样本，构成第二训练集1；通过第二训练集对神经网络模型进行训练，得到母猪感冒预警模型。
30.（3）当需要进行母猪感冒监测时，通过摄像头拍摄到的母猪视频以及麦克风录到的声音，从上述视频中对母猪进行跟踪和识别，并且判断母猪是否有温度异常升高的特征，统计各只母猪感冒前后的体温变化；从上述视频中对母猪进行跟踪和识别，并且判断母猪是否有鼻子干的特征，统计各只母猪鼻子干特征的开始时间和持续时间；从视频中获取到母猪在生活和感冒时的食物剩余量的图像；从上述声音中对母猪进行跟踪和识别，并且判断母猪是否有咳嗽的特征，统计各只母猪咳嗽特征的力度和频率变化。
31.（4）将步骤（3）中得到的母猪的体感温度的图像、鼻子干特征、食量特征以及咳嗽声音特征作输入到母猪感冒预警模型，通过母猪感冒预警模型判定出母猪是否感冒发烧。
32.上述方法，首先通过摄像头拍摄到母猪在感冒时体感温度的图像，由母猪感冒时的温度波动被标记好的体感图像得到体温第一训练集，通过体温第一训练集训练出发烧特征判断模型；然后通过摄像头拍摄到母猪在感冒时的视频，由母猪感冒时鼻子干被标记好的各图像得到鼻子第一训练集，通过鼻子第一训练集训练出母猪鼻子干特征判断模型；通过麦克风录到母猪在生活和感冒时的声音，由母猪感冒时咳嗽的特征被标记好的各声音得到声音第一训练集，通过声音第一训练集训练出母猪咳嗽特征判断模型；在母猪是否处于感冒发烧的情况下，统计各只母猪发烧行为的体温和体温变化、各只母猪发烧行为的鼻子干湿特征和干湿变化、统计各只母猪发烧行为的咳嗽的力度和频率变化；将统计到的感冒母猪的体感温度的图像、鼻子干特征、食量特征以及咳嗽声音特征作为每个训练样本，构成第二训练集；通过第二训练集对神经网络模型进行训练，得到母猪感冒预警模型；当需要进行母猪感冒监测时，通过摄像头拍摄到的母猪视频以及麦克风录到的声音，从上述视频中对母猪进行跟踪和识别，并且判断母猪是否有温度异常升高的特征，统计各只母猪感冒前后的体温变化；从上述视频中对母猪进行跟踪和识别，并且判断母猪是否有鼻子干的特征，统计各只母猪鼻子干特征的开始时间和持续时间；从视频中获取到母猪在生活和感冒时的食物剩余量的图像；从上述声音中对母猪进行跟踪和识别，并且判断母猪是否有咳嗽的特征，统计各只母猪咳嗽特征的力度和频率变化；所述母猪的体感温度的图像、鼻子干特征、食量特征以及咳嗽声音特征作输入到母猪感冒预警模型，通过母猪感冒预警模型判定出母猪是否感冒发烧；由此可见，通过采用母猪感冒识别系统实现实时监测母猪体温、鼻子干程度、食量和声音的变化，实时分析母猪的变化特征，根据变化特征预测母猪是否感冒，具有方法简单、方便、易操作、节省人工劳动强度、提高准确率的特点，进而提高母猪的质量，减少生长发育不良、患病死亡的情况发生。
33.在所述步骤（1）中，深度学习模型采用ssd和mobilenet合成的模型。
34.在所述步骤（1），第一训练集对深度学习模型进行训练时，还包括以下步骤：训练样本在输入深度学习模型之前进行预处理，预处理包括：针对第一训练集中的各图像首先通过中值滤波器进行压缩处理；训练样本图像数据增强后输入到深度学习模型；其中训练样本图像的数据增强过程包括数据翻转和随机获取图像信息的过程；以上设置，在训练样本在输入深度学习模型之前进行预处理，能够提高检测的准确性。
35.所述母猪感冒识别系统还包括母猪特征提取模块；所述特征识别模块为现有技术，在此不再累述；所述步骤（3）还包括（3.1）：摄像头实时识别得到包含母猪的帧图后，母猪的特征提取模块对帧图进行猪特征提取后得到各只母猪的脸部特征数据；热像仪以黑体作为参考实时识别得到母猪特征数据对应的母猪的温度；判断母猪的温度超过设定值时对对应的母猪特征数据进行第一标记，根据有第一标记的母猪特征数据的获取时间和/或位置对其它母猪特征数据进行第二标记；这样，简单有效地区别出体温正常的母猪和体温不正常的母猪并进行标记。
36.进一步地，所述步骤（3）还包括（3.2）：通过摄像头实时识别母猪的帧图后，分析母猪留鼻涕部位的白光面积和相似度，对母猪鼻子干特征进行识别，（3.2）具体还包括以下步骤：（3.2.1）rgb是最常见的颜色模型，在图像处理时需要分别对rgb三种分量进行处理。
37.（3.2.2）采用阈值分割方法对母猪留鼻涕部位表皮图像进行分割处理。
38.（3.2.3）选取（3.2.2）处理后的图像中目标区域面积与图像总面积的比例，作为表征母猪留鼻涕部位表皮干湿状态的特征参数，将获取的图像特征参数与母猪留鼻涕部位无水表皮图像特征参数进行对比，若该参数在母猪留鼻涕部位无水表皮图像特征参数分布范围之内，则该图像可能是母猪留鼻涕部位无水表皮图像，否则为母猪留鼻涕部位有水表皮图像；以上设置，母猪留鼻涕部位表皮在干燥状态下，表面毛孔孔径较大、凹凸不平；而在湿润状态时，水膜覆盖的胴体表面，较干燥状态时要平整、光滑。因此，在光线照射下，无水母猪留鼻涕部位表皮表现为漫反射，而有水状态下则更易发生镜面反射，当母猪发热时，母猪留鼻涕部位表面水分的蒸发，镜面反射作用逐渐减弱，在图像上表现为白光面积减小、相似度变低。通过相机实施识别母猪的帧图后，分析母猪留鼻涕部位的白光面积和相似度，便能识别母猪鼻子干特征；通过上述方法，即可通过分析母猪留鼻涕部位的白光面积和相似度即可准确判断母猪鼻涕部位是否存在鼻涕。
39.在本实施例中，所述步骤（3.2.3），中的图像中目标区域面积与图像总面积的比例的比例关系为，鉴于不同阈值下，二值化图像中的白色区域所占面积比例，与猪表皮水分蒸发过程中的视觉效果变化趋势一致，因此拟选取图像二值化后目标区域面积与图像总面积的比例，作为表征猪表皮干湿状态的特征参数；表征猪表皮干湿状态的特征参数可通过如下公式进行计算：v=n
255
/n
×
100%；式中：v为特征参数（值）；n
255
为图像二值化后灰度值为255的像素点的数量；n为图像像素点总数；将获取的图像特征参数与猪无水表皮图像特征参数进行对比，若该参数在猪无水表皮图像特征参数分布范围之内，则该图像判断是母猪留鼻涕部位为无水表皮图
像，否则判断是母猪留鼻涕部位为有水表皮图像。
40.在步骤（3）中，食盆内食物剩余量的算法如下：根据光学系统的选型要点,对相机、镜头和光源进行选型,建立了基于苹果图像采集的机器视觉系统。描述了由径向畸变、切向畸变和薄透镜畸变构成的畸变模型。使用张正友标定法实现畸变矫正得到相机内参,用于食盆内食物像素尺寸向物理尺寸的转换。实现食盆内食物边缘提取和尺寸测量。将食盆内食物的rgb图像灰度化,使用双边滤波器对灰度图像去燥,根据此梯度信息使用canny算子检测食盆内食物边缘。使用种子填充法填充闭合边缘的内部,然后形态学开操作消除背景图像的噪点,最后sobel算子提取二值图像的边缘。获取食盆内食物边缘点坐标信息后使用改进的霍夫变换检测和食盆内食物拟合度最高的几何体。根据几何体的尺寸和标定后的物理参数估算食盆内食物的体积。
41.在步骤（3）中，咳嗽声音特征测量的方法如下：通过麦克风拾音设备录制猪舍内声音并保存，通过人工听取分辨猪舍内有效的咳嗽声音，将感冒咳嗽的声音信号提取出单独保存，则其余声音为非母猪咳嗽声音；将两类声音生成语谱图保存，单独提取出的有效咳嗽声音作为训练集，其余作为测试集，并将测试集内的待识别信号语谱图输入训练好的alexnet卷积神经网络模型，定义输出为咳嗽声音“1”与正常声音“0”两个不同标签，最后根据标签进行辨别母猪是否咳嗽。