一种基于目标识别的实时检测鸡蛋数量的系统及方法与流程

1.本发明涉及目标识别和图像处理技术领域，特别是涉及一种基于目标识别的实时检测鸡蛋数量的系统及方法。


背景技术：

2.在大型的养殖场，鸡蛋产品的流水线每天要传输的数量庞大，如何又快又准确地清点产品数量对于企业来说是非常有必要的。用传统的称量鸡蛋产品总质量、再通过单个鸡蛋的质量来计算鸡蛋产品的数量的话，误差较大，与产品的真实数量有很大差异。人工检测鸡蛋数量的话，工作量大，当产品数量较大时很难有效统计鸡蛋总数；同时人工检测的话需要较多人员，增加了生产成本。
3.在边缘计算领域，运用嵌入式系统可以很方便采集图片，同时单片机的成本不高，达到了低成本、高效率完成检测产品数量的目的，节约了企业生产成本。本发明基于此背景下提出一种基于目标识别的实时检测鸡蛋数量的系统及方法，即为本案申请。


技术实现要素：

4.本发明的目的是提供一种基于目标识别的实时检测鸡蛋数量的系统及方法，解决生产流水线清点鸡蛋产品误差大、效率低的问题，同时也兼顾了控制生产成本的问题，以及云端计算在工业生产基地信号弱、传输的实时性能不佳的问题。
5.为了达到上述目的，本发明提供的一种基于目标识别的实时检测鸡蛋数量的系统，该系统包括：摄像头采集模块、嵌入式设备、计数面板、云服务器、终端设备；摄像头采集模块安装在嵌入式设备上并实时对流水线上的鸡蛋产品进行画面捕抓；嵌入式设备中有数据收集处理模块，该数据收集处理模块接收到摄像头采集模块采集的图片后，对图片进行目标识别处理得到标准化数据；嵌入式设备把处理过的数据实时通过局域网传到流水线上的计数面板；与上传云端相比，局域网传输具有更高的效率，嵌入式设备对图片进行图像识别使传输的任务量大大减少、节约时间。同时，嵌入式设备还把每张图片中的鸡蛋数量上传到云服务器，管理人员可以通过终端设备实时查看流水线上鸡蛋产品的总数。
6.为了达到上述目的，本发明提供的一种基于目标识别的实时检测鸡蛋数量的方法，包括以下步骤：s1：摄像头采集模块实时采集捕抓检测区域中的画面，其中检测区域边界标记为两根红色连杆，摄像头采集模块固定在检测区域的正上方；为了避免遗漏边界处的产品数量，摄像头采集模块实时拍摄到的区域会大于需要检测的区域。摄像头采集模块采集图片的速度和频率根据终端设备检测鸡蛋数量的快慢来设定，当完成采集图片后会立刻传到嵌入式设备；s2：嵌入式设备中有数据收集处理模块，数据收集处理模块接收到摄像头采集模块采集的图片后，输入到已经训练好的神经网络模型，对图片进行目标识别得到样本图片上鸡蛋的位置，然后进行数量统计；
s3：嵌入式设备把得到的产品总数通过局域网实时传到流水线上的计数面板；s4：嵌入式设备把得到的产品总数实时上传到云服务器；s5：通过云服务器，终端设备可以实时访问以便查看产品的总数量。
7.上述方案中，步骤s1中的摄像头采集模块采用basler ala2440-20gc相机，它可以实时采集捕抓检测区域中的画面，摄像头采集模块采集图片的速度和频率可以根据终端设备检测鸡蛋数量的快慢来设定，当完成采集图片后会立刻传到嵌入式设备。
8.上述方案中，步骤s2中采用的嵌入式设备是树莓派，接收到图片后，嵌入式设备会对图片进行目标识别，对图片进行降维处理、重新构造图片的多维特征，得到标准化数据；标准化数据可以上传到计数面板或者云服务器，嵌入式设备和摄像头采集模块工作的开始与停止由终端设备决定。
9.上述方案中，步骤s4中云服务器为阿里云服务器，它可以储存嵌入式设备得到的标准化数据，同时也可以令终端设备访问嵌入式设备传上来的数据。
10.上述方案中，步骤s2中具体包含以下步骤：s2.1：嵌入式设备采用yolo v5目标检测方法，把摄像头采集模块采集到的图像进行图像分割并形成图像特征的卷积神经网络；s2.2：嵌入式设备中植入混合和组合图像特征的网络层，并将图像特征传递到预测层；s2.3：训练好的cnn模型卷积层初步提取特征、池化层提取主要特征、全连接层将各部分特征汇总产生分类器进行预测识别。对图像特征进行预测，生成边界框并预测类别。
11.上述方案中，所述的图像分割具体包含以下步骤：s4.2.1对图像进行卷积 conv1、pool1后原图像缩小为1/2；之后对图像进行第二次 conv2、pool2后图像缩小为1/4；继续对图像进行第三次卷积操作conv3、pool3缩小为原图像的1/8，此时保留pool3的featuremap；继续对图像进行第四次卷积操作conv4、pool4，缩小为原图像的1/16，保留pool4的featuremap；最后对图像进行第五次卷积操作conv5、pool5，缩小为原图像的1/32，然后把原来cnn操作中的全连接变成卷积操作conv6、conv7，图像的featuremap数量改变但是图像大小依然为原图的1/32，对于最后一层的输出图像，需要进行32倍的上采样，以得到原图一样的大小。
12.本发明的创新性表现在：与上传云端相比，局域网传输具有更高的效率，同时嵌入式设备对图片进行预处理使传输的任务量大大减少、节约时间。与传统的把图片直接上传云端相比，嵌入式设备直接对摄像头采集模块采集到的图片进行目标识别、得到图片中鸡蛋的数量后再发送出去，减少了信号传输的总量、效率更快。嵌入式设备把数据直接显示在计数面板上可以让工人实时浏览鸡蛋产品的数量。经营者可以用终端设备访问云服务器实时了解生产情况，从而调整各流水线上的生产计划，这样对流水线上的产品数量统计更快，提高了生产效率。与传统的人工手动检测相比，很大程度地提高了统计数量的速度和准确率、减少人为工作量，为工厂节约生产成本。
附图说明
13.附图1为本发明的系统框架示意图；附图2为本发明采集产品图像示意图；
附图3为本发明提供的一种基于目标识别的实时检测鸡蛋数量的方法的流程示意图。
具体实施方式
14.以下内容将结合附图对上述内容阐述本发明的具体实施方法，以方便进一步了解本发明的设计思路。
15.参阅图1所示，本发明提供的一种基于目标识别的实时检测鸡蛋数量的系统，该系统包括：摄像头采集模块1、嵌入式设备2、计数面板3、云服务器4、终端设备5；摄像头采集模块1安装在嵌入式设备2上并实时对流水线上的鸡蛋产品进行画面捕抓；嵌入式设备2中有数据收集处理模块，该数据收集处理模块接收到摄像头采集模块采集的图片后，对图片进行目标识别处理得到标准化数据；嵌入式设备把处理过的数据实时通过局域网传到流水线上的计数面板3；同时，嵌入式设备还把每张图片中的鸡蛋数量上传到云服务器4，管理人员可以通过终端设备5实时查看流水线上鸡蛋产品的总数。
16.本实施例中，所述的摄像头采集模块采用basler ala2440-20gc相机，实时采集捕抓检测区域中的画面，摄像头采集模块采集图片的速度和频率根据终端设备检测鸡蛋数量的快慢来设定，当完成采集图片后会立刻传到嵌入式设备。所述的嵌入式设备2是树莓派，嵌入式设备和摄像头采集模块工作的开始与停止由终端设备决定；进一步优选：嵌入式设备2是树莓派4b，局域网采用华为无线路由器，云服务器采用阿里云服务器，终端设备采用pc机械革命x6ti。摄像头采集模块实时对流水线上的鸡蛋产品进行画面捕抓，嵌入式设备中有数据收集处理模块，其中，底层数据收集处理模块接收到摄像头采集模块采集的图片后，对图片进行目标识别处理得到标准化数据，嵌入式设备把处理过的数据实时通过局域网传到流水线上的计数面板；同时，嵌入式设备把每张图片中的鸡蛋数量上传到阿里云服务器，管理人员可以通过各种终端设备实时查看流水线上鸡蛋产品的总数。
17.参阅图2所示，摄像头采集模块实时采集捕抓检测区域中的画面，其中检测区域边界标记为两根红色连杆l1、l2，为了避免遗漏边界处的产品数量，相机实时拍摄到的区域会大于需要检测的区域。摄像头采集模块采集图片的速度和频率可以根据终端设备检测鸡蛋数量的快慢来设定，当完成采集图片后会立刻传到嵌入式设备。
18.如图3所示，本发明提供的一种基于目标识别的实时检测鸡蛋数量的方法，采用上述提供的系统，基于目标识别的神经网络算法来实时统计流水线上鸡蛋的数量，包括以下步骤：s1：摄像头采集模块实时采集捕抓检测区域中的画面，其中检测区域边界标记为两根红色连杆，摄像头采集模块固定在检测区域的正上方；为了避免遗漏边界处的产品数量，摄像头采集模块实时拍摄到的区域会大于需要检测的区域。摄像头采集模块采集图片的速度和频率根据终端设备检测鸡蛋数量的快慢来设定，当完成采集图片后会立刻传到嵌入式设备；s2：嵌入式设备中有数据收集处理模块，数据收集处理模块接收到摄像头采集模块采集的图片后，输入到已经训练好的神经网络模型，对图片进行目标识别得到样本图片上鸡蛋的位置，然后进行数量统计；s3：嵌入式设备把得到的产品总数通过局域网实时传到流水线上的计数面板；
s4：嵌入式设备把得到的产品总数实时上传到云服务器；s5：通过云服务器，终端设备可以实时访问以便查看产品的总数量。
19.其中，步骤s1中的摄像头采集模块采用basler ala2440-20gc相机，它可以实时采集捕抓检测区域中的画面，摄像头采集图片的速度和频率可以根据终端设备检测鸡蛋数量的快慢来设定，当完成采集图片后会立刻传到嵌入式设备。步骤s2中采用的嵌入式设备是树莓派4b，接收到图片后，树莓派会对图片进行目标识别，对图片进行降维处理、重新构造图片的多维特征，得到标准化数据。标准化数据可以上传到计数面板或者云服务器，摄像头采集模块和嵌入式设备工作的开始与停止由终端设备决定。步骤s4中云服务器为阿里云服务器，它可以储存嵌入式设备得到的标准化数据，同时也可以令终端设备访问嵌入式设备传上来的数据。
20.步骤s2中具体包含以下步骤：s2.1：嵌入式设备采用yolo v5目标检测，把拍摄到的图像进行图像分割并形成图像特征的卷积神经网络；s2.2：嵌入式设备中植入混合和组合图像特征的网络层，并将图像特征传递到预测层；s2.3：训练好的cnn模型卷积层初步提取特征、池化层提取主要特征、全连接层将各部分特征汇总产生分类器进行预测识别。对图像特征进行预测，生成边界框并预测类别。
21.上述的图像分割和识别具体包含以下步骤：s4.2.1对图像进行卷积 conv1、pool1后原图像缩小为1/2；之后对图像进行第二次 conv2、pool2后图像缩小为1/4；继续对图像进行第三次卷积操作conv3、pool3缩小为原图像的1/8，此时保留pool3的featuremap；继续对图像进行第四次卷积操作conv4、pool4，缩小为原图像的1/16，保留pool4的featuremap；最后对图像进行第五次卷积操作conv5、pool5，缩小为原图像的1/32，然后把原来cnn操作中的全连接变成卷积操作conv6、conv7，图像的featuremap数量改变但是图像大小依然为原图的1/32，对于最后一层的输出图像，需要进行32倍的上采样，以得到原图一样的大小。
22.本发明应用于流水线上鸡蛋产品数量的检测，先通过摄像头采集模块采集传送带100上产品的图像，嵌入式设备对图像进行目标识别及分析处理后，得到标准化数据，训练好的神经网络模型会输出每张图像上鸡蛋产品的数量。基于目标识别，以及数据处理，利用cnn模型实现对图片中鸡蛋数量的统计。
23.所述摄像头采集模块可以实时采集传送带100上产品的图片，包括横杆上的鸡蛋以及标记杆件内的区域，实时将采集到的图片传给嵌入式设备。嵌入式设备对图片进行目标识别，得到图片中鸡蛋数量，并通过局域网上传至计数面板，大大提升了数据传输的速率。在局域网内传输图片数据特征值，相比传统的上传图片到云端或者直接使用云计算储存数据，计算量较小，而且不会受到云服务器信号覆盖不佳的影响，实时性较好。
24.本发明可以做到保证一定识别效率与正确率的前提下，对鸡蛋产品数量的统计，与传统的人工手动检测相比，很大程度地提高了统计数量的速度和准确率、减少人为工作量。本发明为工厂节约生产成本，达到了低成本、高效率完成检测产品数量的目的。
25.另外，本发明有其应用场景，对鸡蛋数量检测提出一种可行方案但不是唯一方法，技术人员可以在理解本发明的设计思路以及技术路线的前提下，对不同场景的应用方案进
行硬件升级或者软件优化，而不改变本发明的核心思想，从而达到生产要求。
26.以上结合实施方式对本发明做了详细说明，只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限定本发明的保护范围，故凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。