用于识别体型异常的猪只的方法、装置及相关产品与流程

1.本发明属于图像处理技术领域。更具体地，本发明涉及一种用于识别体型异常的猪只的方法、装置和计算机可读存储介质。


背景技术：

2.近年来，随着规模化养殖技术不断创新，场区内的养殖规模也越来越大。以猪群养殖为例，扩大养殖规模的同时，也会相应增设新的工作人员，以便于对新增设的场区或圈舍单元中的猪群进行管理、保护等操作。但是由于新的工作人员经验不足、现场管理不到位等原因，可能会导致栏位中出现体型明显小于同栏位内的其他猪的猪只，即掉队猪。因此，在规模化养殖中，如果能够准确并及时发现体型异常的猪只，并提早进行干预，对场区内生产价值的提升具有重要意义。
3.但是目前绝大多数的养殖场的均采用人工养殖的方式，需要工作人员日常进行巡检，以观察栏位内猪只的生长情况，从而找到体型异常的猪只进行处理。这种方式不仅费时费力，而且对工作人员的经验的依赖度较高，对异常猪只的检测完全取决于工作人员的责任感和主观能动性。而随着规模化养殖技术越来越朝着自动化方向发展，一些企业单位构建了自动化养殖场，但是所建立的养殖场也仅仅能够提供简单的养殖环境监控。这就导致对于体型异常的猪只仍然需要人力巡检。这种检测方式同样对工作人员的专业性要求较高，并且需要长时间观察监控，并不利于集约化生产。
4.因此，如何解决目前通过人工识别体型异常猪只时存在费时、费力和监控不及时的问题是当前规模化养殖中亟需解决的问题。


技术实现要素：

5.本发明通过将对栏位内拍摄得到的目标图像输入目标检测模型，对目标图像内体型异常的猪只进行识别，从而实现了对栏位内体型异常的猪只的自动检测，能够有效提升对栏位内体型异常的猪只的识别效率。
6.为至少解决上述技术问题，在本发明的第一个方面，本发明提供了一种用于识别体型异常的猪只的方法，包括：获取栏位内的目标图像；将所述目标图像输入目标检测模型，所述目标检测模型的检测目标为体型异常的猪只；基于所述目标检测模型对所述目标图像中的猪只进行检测，得到检测结果；根据所述检测结果确定所述目标图像中是否存在体型异常的猪只。
7.在一个实施例中，其中所述目标检测模型通过对神经网络模型的训练而获得。
8.在一个实施例中，所述训练方法包括：采集的栏位内原始图像；在所述原始图像中标记出体型异常的猪只，以获取标记图像；将所述标记图像输入神经网络模型进行训练，以得到所述目标检测模型。
9.在一个实施例中，所述获取栏位内的目标图像包括：将所述目标图像输入颜色空间检测模型进行颜色检测，以得到所述目标图像对应的色调；响应于色调低于第一阈值，剔
除光照异常的目标图像。
10.在一个实施例中，所述获取栏位内的目标图像包括：对所述目标图像进行拉普拉斯边缘检测，并计算所述目标图像中的模糊量；响应于所述模糊量小于第二阈值，剔除模糊的目标图像。
11.在一个实施例中，还包括对所述目标图像进行降噪处理，以将存在雾气的目标图像剔除。
12.在一个实施例中，所述获取栏位内的目标图像包括：利用直线检测算法对所述目标图像进行直线检测，提取所述目标图像中达到设定长度的第一直线；响应于所述达到设定长度的第一直线的角度未处于第一区间，剔除栏位角度异常的第一直线所在的目标图像。
13.在一个实施例中，还包括：响应于所述目标图像中存在体型异常的猪只，输出预警信息。
14.在本发明的第二个方面中，还提供了一种用于识别体型异常的猪只的装置，包括处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过通信总线完成相互间的通信，所述处理器执行本发明第一方面中多个实施例所述的方法。
15.在本发明的第三个方面中，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于检测体型异常的猪只的计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现如本发明第一方面中多个实施例所述的方法。
16.本发明的技术方案通过将拍摄的栏位内的包含猪只信息的目标图像输入至目标检测模型，从而能够通过图像处理技术自动确定栏位内是否存在体型异常的猪只。通过本发明的方案可以实现对栏位内猪只情况的快速识别，不需要人工进入圈舍单元内进行检测，也不需要工作人员长时间查看监控信息进行确认，从而有效提升了检测速度和准确度。同时本发明的检测方式不依赖工作人员的工作经验，也不需要在场区内部署复杂的监控设备，有效降低了场区硬件部署成本，有利于饲养场内生产的集约化。
附图说明
17.通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
18.图1是示意性示出其中应用本发明的用于识别体型异常的猪只的方案的示例性场景的示意图；
19.图2是示意性示出根据本发明实施例的用于识别体型异常的猪只的方法流程图；
20.图3是示意性示出应用本发明的方法识别体型异常的猪只的示意图；
21.图4是示意性示出根据本发明实施例的目标检测模型的获取方法的流程图；
22.图5是示意性示出根据本发明实施例的实现剔除异常图像的方法的流程图；
23.图6是示意性示出根据本发明实施例的剔除异常图像中光照异常图像的方法的流程图；
24.图7是示意性示出根据本发明实施例的剔除异常图像中光照异常图像的示意图；
25.图8是示意性示出根据本发明实施例的剔除异常图像中模糊图像的方法的流程
图；
26.图9是示意性示出根据本发明实施例的剔除目标图像中存在雾气的图像的示意图；
27.图10是示意性示出根据本发明实施例的剔除异常图像中栏位角度异常图像的方法的流程图；
28.图11是示意性示出根据本发明实施例的用于识别体型异常的猪只的装置的示意图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
31.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
32.下面结合附图来详细描述本发明的具体实施方式。
33.图1是示意性示出其中应用本发明的用于识别体型异常的猪只的方案的示例性场景100的示意图。在本发明的上下文中，前述的场景100可以包括用于规模化养殖业的各类环境中，例如牲畜饲牧类的圈舍区(例如养猪场、养牛场等)、各类家禽饲养场(例如养鸡场)、经济兽类驯养场等。基于此，可以理解的是图1仅为了示例性的目的而将该场景示出为各圈舍单元组成的养猪场。
34.如图1所示，在本发明的方案中，以养猪的圈舍单元为例，可以在圈舍单元内的每个栏位101内布置相应的感知设备102，例如在栏位的上方为、侧方位或栏位处的立柱上设置感知设备102，以便于获取圈舍单元中猪群的信息。在一个实施场景中，如图1中示出了一个猪舍的内部环境图，圈舍单元中设置有多个栏位101，每个栏位101中可以饲养若干只猪，从而实现猪群的规模化饲养。在每个栏位101处都设置有一个立柱，可以将感知设备102安装于该立柱上，从而方便对栏位内的猪群的活动情况进行采集。在自动化模式下，工作人员可以将感知设备设置成在指定时间对栏位中猪群的情况进行采集。进一步地，也可以在人工模式下，采用人工在圈舍的走道中利用感知设备对圈舍内的猪群的信息进行采集。
35.在另一个实施场景中，在圈舍单元中存在多个用于养猪的栏位，同时在栏位入口处还设置有相应的走道，在圈舍单元中的走道上可以布置相应的轨道，并在轨道上设置巡检机器设备104，在巡检机器设备104上，可以布置用于采集栏位内图像信息的感知设备102，可以通过巡检机器设备104在轨道上缓慢移动的过程中，利用其配置的感知设备102对
每个栏位中的情况进行拍摄，并将拍摄得到的图像信息上送，从而实现对每个栏位内的猪只的情况进行检测，有效提升圈舍单元中的巡检效率。
36.可以理解的是，前述圈舍单元的结构和利用感知设备对栏位内图像信息进行拍摄的方式仅是示例性的而非限制性的，本领域技术人员还可以根据场区的分布方式、环境等因素采用其他形式的圈舍单元结构，例如全部栏位都并列为一排。更进一步地，本实施例中的感知设备可以采用常见的可见光图片采集设备，包括相机、摄像机(图1中以远点示出)、监视器和/或手机等用于拍摄成像的电子设备，其主要目的是获取猪只的图像信息。
37.在对栏位中的猪群的信息进行采集得到感知信息后，可以将获取的感知信息传输至本发明的信息处理中心103。在一个应用场景中，此处的信息处理中心103可以实施为计算单元或模块，并且用于执行信息的处理以及可选地对互联的各类设备进行主控操作，例如显示设备、报警设备等。在信息处理中心103的操作中，可以将前述获取的感知信息输入到目标检测模型，前述目标检测模型的检测目标为体型异常的猪只。基于前述目标检测模型对目标图像进行检测以得到检测结果，并根据检测结果确定栏位内是否存在体型异常的猪只，以便于饲养员快速响应并做出处理。在另一个应用场景中，也可以通过无线通信的方式建立巡检机器设备104和信息处理中心103之间的通信，从而将巡检机器设备获取的目标图像上送至信息处理中心103，以对栏位内的情况进行检测。
38.以上结合图1对本发明的方案进行了简单的描述，可以理解的是上面的描述仅仅是示例性的而非限制性的，本领域技术人员根据本发明的教导可以对图1中所示场景进行改变而不脱离本发明的精神和实质。例如，可以利用本地计算机作为信息处理中心对前述感知信息进行处理。进一步地，也可以将信息处理中心布置于远端(例如云端)。在该情况下，可以实现对栏位内的猪群的情况的远程监控。接下来将结合具体步骤对本发明的方案进行详细阐述。
39.图2是示意性示出根据本发明实施例的用于识别体型异常的猪只的方法流程图。可以理解的是图2中所示出的方法流程可以在图1中所示出的示例性场景中实施，因此关于图1所描述内容也同样适用于图2。
40.如图2所示，本方案中设计了用于识别体型异常的猪只的方法200。具体地，首先，在步骤s101处，获取栏位内的目标图像。在一个实施场景中，可以利用前述感知设备获取栏位内的目标图像，例如可以调整感知设备以将栏位内的挡板等均拍摄在内，以实现前述目标图像能够完全获取栏位内猪群的信息。然后，在步骤s102处，将前述目标图像输入目标检测模型，前述目标检测模型的检测目标为体型异常的猪只。在步骤s103处，基于前述目标检测模型对前述目标图像中的猪只进行检测，得到检测结果。例如通过对前述目标检测模型对目标图像进行处理后，可以得到目标图像中标记每只猪的矩形框和对应的置信度。接着，在步骤s104处，根据前述检测结果确定前述目标图像中是否存在体型异常的猪只。如图3所示，利用上述本方案的方法，将拍摄到的栏位内的图像输入目标检测模型，对猪群中体型异常的猪只进行检测，得到图3中方框所标识出的体型明显小于其他猪的猪只，从而便于工作人员及时对这只体型异常的猪只的生长过程进行干预。
41.进一步地，本发明的方案中还包括预警步骤，在步骤s105处，响应于前述目标图像中存在体型异常的猪只，输出预警信息。工作人员在获取到预警信息后，即可针对栏位内的体型异常的猪只进行处理，从而有效对栏位内体型异常的猪只进行干预，例如分栏保养、用
药处理等，以保证栏位内猪群的正常生长。
42.图4是示意性示出根据本发明实施例的目标检测模型的获取方法的流程图。可以理解的是图4中所示出的方法流程可以在图1中所示出的示例性场景中实施，因此关于图1所描述内容也同样适用于图4。
43.在一个或多个实施例中，利用机器学习中的神经网络架构/模型(例如卷积神经网络模型)来构建以特定目标为目的的分类(检测)模型，并借助于一些训练机制对前述神经网络模型进行训练，从而得到目标检测模型。因此，本方案中在对体型异常的猪只进行识别时所用到的目标检测模型，可以通过对神经网络模型的训练而获得。并且，在训练过程中，本方案中的目标检测模型可以经过微调而快速适应于来自不同域的图像。例如，不同的相机品牌、同一相机的不同拍摄角度(如正常角度、45度角或广角)、不同的拍摄时间点(或傍晚拍和白天拍)或不同的拍摄光线所获得的图像都可以认为是来自于不同域的图像。由于能够快速适应于不同的域，本方案相对于现有技术具有更好的适用性和扩展性，从而可以应用于各类领域的图像分类处理(目标识别)任务。
44.在一个应用场景中，在利用目标检测模型对目标图像进行检测以获取体型异常的猪只之前，需要对相应的神经网络模型进行训练，以通过参数微调等过程可以构建适用于不同应用场景的目标检测模型。如图4所示，前述训练过程可以通过以下步骤实现。在步骤s201处，采集栏位内的原始图像。在一个应用场景中，前述栏位内的原始图像可以在已经识别过体型异常的猪只的图片库中选取。
45.在步骤s202处，在获取的原始图像中标记出体型异常的猪只，以获取标记图像。在一个应用场景中，可以通过在栏位内的原始图像中标记体型异常的猪只来获取大量用于训练的数据集，从而用于机器学习过程中的训练、验证和测试等过程。例如可以将前述标记后的图像划分训练集、验证集和测试集，从而利用前述多个数据集实现完整的训练、验证过程。在本实施例中，前述的数据集由包含栏位内猪群信息的图像和与该图像关联的体型异常猪只标签组成。
46.在步骤s203处，将前述标记图像输入神经网络模型进行训练，以得到前述目标检测模型。进一步地，前述训练过程中还可以通过对用于训练的神经网络模型的参数进行微调，以便其更新后的参数能够适配于前述不同域的图像。在一个应用场景中，前述参数微调可以通过最小化与前述目标检测模型关联的损失函数来实现。
47.为了实现图像信息的快速、高效分类(识别)，在一个应用场景中，本方案提出了图4所描述的训练过程，以便于本方案的目标检测模型能够快速适应来自不同域的图像。本方案中对神经网络模型进行训练，其核心是让机器(如各类神经网络模型)学会学习。例如，机器学习100个任务之后将获得一定的学习能力，从而在学习第101个任务时，会基于学习前100个任务时所获得的学习能力来更快或更好地学习第101个任务。将机器学习应用于本发明的方案中时，可以在多个域上、基于同一网络架构(如卷积神经网络)来进行学习，从而可以获得高效和快速的目标检测模型(分类模型)。
48.以上结合图4对本发明中的目标检测模型的训练过程进行了详细介绍，接下来将对本方案中所采用的目标图像的过滤过程进行进一步详细阐述，以提高本方案中对体型异常的猪只的识别效率。
49.图5是示意性示出根据本发明实施例的实现剔除异常图像的方法s101的流程图。
可以理解的是图5中所示出的方法流程可以在图1中所示出的示例性场景中实施，因此关于图1所描述内容(例如关于感知设备)也同样适用于图5。
50.如图5所示，本方案中通过在将前述目标图像输入以体型异常的猪只为目标的目标检测模型之前，可以对采集的目标图像进行预处理，以剔除其中异常的图像信息。在一个或多个实施例中，可以通过相应的分析方法、滤波算法剔除包括但不限于光照异常、模糊、有雾气和栏位角度异常等情况的图像信息。在一个或多个实施例中，可以在步骤s301处利用颜色空间检测模型进行颜色检测以剔除光照异常的目标图像。可以在步骤s302处，利用拉普拉斯边缘检测剔除模糊的目标图像。也可以在步骤s303处通过降噪处理过程剔除存在雾气的目标图像。还可以在步骤s304处，利用直线检测的方式剔除栏位角度异常的图像。
51.可以理解的是上述s301-s304的几种剔除异常图像的方式仅仅是示例性的而非限制性的，其在实际的执行过程中，可以按照任意的顺序进行剔除异常图像的操作，同时本领域技术人员也可能根据实际需要选择其中的一种或多种方式执行上述剔除异常图像的操作。例如仅选取其中s301、s302和s303处的方法进行剔除异常图像的操作。下面将结合图6至图10分别以剔除前述目标图像中光照异常的图像、模糊的图像、有雾气的图像和栏位角度异常的图像为例，对本方案的内容进行进一步详细阐述。
52.如图6所示，本方案中在需要剔除光照异常的图像时，可以在步骤s401处，将前述目标图像输入颜色空间检测模型进行颜色检测，以得到前述目标图像对应的色调。在步骤s402处，删除其中色调低于第一阈值的目标图像，以剔除光照异常的目标图像。在一个或多个实施例中，可以采用opencv(opencv作为一个计算机视觉库，其主要工作是处理和操作图像数据中的像素矩阵信息)读取前述目标图像的图像数据并形成内存中的像素矩阵，像素矩阵的排布与图像的颜色空间和数据类型有关。本领域中常用的图像的颜色空间包括有灰度级空间、rgb颜色空间、hsv/hls颜色空间、ycrcb颜色空间。数据类型有无符号(0到255之间)的char，有符号(-128-127之间)的char，float型(4字节，32位)，double型(8字节，64位)，其中，float和double可以给出更精细的颜色分辨能力。同时增加像素的尺寸也会增加图像所占的内存空间。
53.在一个应用场景中，基于opencv将前述目标图像输入hsv颜色空间检测模型进行颜色检测，可以得到前述目标图像对应的色调(h)、饱和度(s)和明度(v)。在本实施例中可以采用色调阈值(第二阈值)对前述目标图像进行筛选，以删除其中色调低于第一阈值的目标图像，从而剔除光照异常的目标图像。例如可以将色调(h)低于20的光照异常图像删除，并保留剩余的图片。采用上述本方案中的方法，在前述目标图像中选取如图7所示的光照异常的图像，将这些光照异常的图像剔除，以提升检测结果的准确性。
54.以上结合图6和图7对本发明的方案中剔除光照异常的图像信息的方式进行了详细说明，接下来将对剔除目标图像中模糊的图像的方式进行详细阐述。
55.在一个或多个实施例中，可以通过对边缘模糊程度进行检测，从而获取目标图像的模糊程度，以实现有效剔除其中模糊的图像。如图8所示，可以通过拉普拉斯边缘检测算法完成模糊图像检测并处理的过程。具体地，在步骤s501处，对前述目标图像进行拉普拉斯边缘检测，并计算前述目标图像中的模糊量。在一个应用场景中，可以将采集的目标图像转为灰度图，然后将灰度图平均划分为4块区域，分区域对边缘模糊程度进行计算，即利用image_blur＝laplacian(image).var()进行模糊量计算，其中image为图像矩阵的像素
值，laplacian函数计算二阶导数，var函数计算方差。在步骤s502处，响应于前述模糊量小于第二阈值，剔除模糊的目标图像。若任一区域的image_blur小于设定的第二阈值，例如将第二阈值设置为100，则说明目标图像模糊，剔除该目标图像，保留其余的目标图像用于识别。
56.进一步地，本方案中还包括对所述目标图像进行降噪处理的方案，以将存在雾气的目标图像剔除。在一个应用场景中，可以对获取的目标图像进行降噪处理。在对图像进行降噪处理时，常采用的降噪方式有中值滤波、最大值滤波和最小值滤波。本实施例中以最小值滤波为例，通过最小值滤波处理可以将有雾气的图像剔除。具体地，可以对前述图像做最小值滤波处理，通过image[i][j][k]＝min(image[i:i 3,j:j 3,k])计算像素矩阵中每个像素点的像素值，其中image为图像矩阵的像素值，i、j、k为像素值的坐标，min计算指定像素区域的最小像素值。然后统计所有像素点中像素值大于35的个数，若像素点个数超过300个，则说明获取目标图像时镜头上有雾气，剔除该目标图像。采用上述方式，可以在目标图像中检测出如图9所示出的存在雾气的图像，将该存在雾气的图像删除，从而提升检测结果的准确性和效率。
[0057]
更进一步地，本方案中还包括对目标图像中栏位角度是否发生异常的检测过程，以便于删除出现栏位角度异常的图像信息，避免对检测结果的干扰。如图10所示，本方案中，在步骤s601处，利用直线检测算法对前述目标图像进行直线检测，确定前述目标图像中达到设定长度的直线。在步骤s602处，响应于前述达到设定长度的第一直线的角度未处于第一区间，剔除栏位角度异常的第一直线所在的目标图像。在一个应用场景中，可以基于linesegmentdetector直线检测器，首先计算目标图像中每个像素与行列线的夹角，构成一个行列线场，合并其中方向近似相同的像素，得到多个直线支持区域，统计直线支持区域的各像素的行列线与直线支持区域最小外接矩形的主方向的角度差在指定阈值范围内的像素数量。然后依此统计目标图像中达到指定长度的直线，并统计直线的角度分布。若频数最大的角度不在指定角度范围内，则说明栏位角度异常，剔除该目标图像。
[0058]
以上结合具体实现过程对方案中目标图像进行了过滤，从而有效避免了因目标图像本身存在的问题对检测结果的干扰，从而有效提升了识别结果的准确性。可以理解的是，上述各种对目标图像进行处理的过程仅仅是示意性的而非限制性的，本领域技术人员可以根据实际需要选择合适的方式对目标图像进行处理。
[0059]
图11是示出根据本发明实施例的用于识别体型异常的猪只的装置10的示意图。
[0060]
在本发明的另一个方面，本方案中还提供了如图11所示的装置10，本方案中的装置10可以包括处理器、存储器、通信接口和通信总线，前述处理器、存储器和通信接口通过通信总线完成相互间的通信，前述处理器执行前述多个实施例中的方法。进一步地，该装置10中还可以包括显示器，该显示器与前述的处理器连接，以对体型异常的猪只的情况进行显示。关于该装置10所实现的方法，由于在前文中已经进行了详细的说明，故而在此也不再赘述。
[0061]
在本发明的又一个方面，还提供了一种计算机可读存储介质，前述计算机可读存储介质上存储有用于识别体型异常的猪只的计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现前述多个实施例中所述的方法。
[0062]
在本发明中，前述的可读存储介质可以是任何包含或存储程序的有形介质，该程
序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器rram(resistive random access memory)、动态随机存取存储器dram(dynamic random access memory)、静态随机存取存储器sram(static random-access memory)、增强动态随机存取存储器edram(enhanced dynamic random access memory)、高带宽内存hbm(high-bandwidth memory)、混合存储立方hmc(hybrid memory cube)等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
[0063]
如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0064]
虽然本发明的实施方式如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。