产线物品基于目标检测的识别方法及系统与流程

1.本发明涉及目标检测技术领域，特别是涉及一种产线物品基于目标检测的识别方法及系统。


背景技术：

2.传统目标检测算法在物体定位上准确率不高,并且难以处理一定幅度的重叠问题。传统算法会因为光线改变或者背景变化等影响结果,另外对噪声也比较敏感。对训练的图片分辨率要求高，在产线上采集的数据多少有些问题，造成识别某个物品失败。
3.基于深度学习的目标检测算法有很多,比如one stage和two stage的模型,one stage模型速度快,精度低,two state模型精度高,速度慢,鉴于产线识别的物品要求精度不高,大概1.5秒一张图片,我们选择端到端的faster rcnn模型,属于two stage。该模型已比较成熟,方便改变模型结构,模型参数较为固定。
4.视觉复核要求通过摄像头识别出框内物品的类别以及框内商品的数量,一个订单就是一个框，保证识别的订单的正确率达到85％以上，流水线的框运动速度大概是1.5秒一个，因此不需要做到实时识别，通过光电感应触发拍照，传到后台进行识别。
5.模型结构采用resnet作为backbond，提取feature map，再通过rpn层得到proposals，最后经过roi pooling得到全连阶层的输入，最后输出类别以及定位框。
6.总结，目标检测模型虽然大同小异，但要结合自己的数据集使用才能得到更好的效果，我们的数据集都全部来自生产的实际照片，采样自同一条件下，避免了领域转移问题。同时收集的照片覆盖了每件商品，以及不同的摆放姿势，保证样本平衡。
7.现在目标检测模型的检测效果差距不大,可以根据自己的场景选择哪种模型,检测结果主要还是与数据集的好坏有关,比如,训练数据和验证数据最好在同一条件下,比如为图片打标签,不复杂但工作量巨大。还有就是如何识别外形类似但是属于不同类别的商品等问题,以及商品之间的覆盖问题。有些不是模型的能解决的,具体问题需要具体分析了。
8.首先我们用的数据都是真实的生产上的数据,为了避免识别颗粒度太小,我们将外型相似商品做了处理,标记为同一类别,减少出错,虽然还是会增添人工复核一个环节,但是比之前全部用人工复核还是减少了很大的工作量。对于商品重叠问题,业界目前没有更好的解决办法,只能保证在识别时人工干预,尽量让物品减小重叠程度,虽然faster rcnn能解决一定程度的遮挡,但在生产上还是要保证万无一失。
9.faster rcnn是个经典的模型,实用性很强,它快速,精确高,调参数也方便,模型结构也方便改动,训练时间也大为缩减,鲁棒性也强,应用于我们这个场景可以说相当合适。


技术实现要素：

10.本发明要解决的技术问题是提供一种产线物品基于目标检测的识别方法及系统，
能够准确的识别商品类别和计算商品数量。
11.为解决上述技术问题，本发明提供了一种产线物品基于目标检测的识别方法，所述方法包括：获取商品在生产状态下不同角度的照片，组成训练数据集；对训练数据集中的照片进行商品类别及边界的标注，生成标签数据；将照片及对应的标签数据输入至faster rcnn模型中，进行模型训练；利用完成训练的faster rcnn模型进行目标检测识别。
12.在一些实施方式中，获取商品在生产状态下不同角度的照片，组成训练数据集，包括：从三个角度对商品进行拍照,同时物品底部的转盘会按照的一定的速度转动，形成商品的照片。
13.在一些实施方式中，对训练数据集中的照片进行商品类别及边界的标注，生成标签数据，包括：为图片里的物品打标签；图片的标签转成对应的xml文件，方便作为模型的输入。
14.在一些实施方式中，为图片里的物品打标签，包括：利用labelme软件为上述照片的每个物品加bound以及类别。
15.在一些实施方式中，将照片及对应的标签数据输入至faster rcnn模型中，进行模型训练，包括：faster rcnn首先使用一组基础的conv relu pooling层提取image的feature maps；rpn网络通过softmax判断anchors属于positive或者negative，再利用bounding box regression修正anchors获得精确的proposals；roi pooling层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别；classification利用proposalfeature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的精确位置。
16.此外，本发明还提供了一种产线物品基于目标检测的识别系统，所述系统包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的产线物品基于目标检测的识别方法。
17.采用这样的设计后，本发明至少具有以下优点：
18.1.首先是训练数据的获取这点最重要,数据决定模型的上限,好的数据做出来的模型能更好的预测未来。
19.2.要选择一个适合特定场景的模型,模型决定接近这个上限。
20.3.调参数也是一门细活,由于涉及到的参数很多,不可能排列组合的去试,可以根据别人模型的调参经验应用在自己的模型上,一部分关键参数可以选择去试,选出最好的结果的参数即可。
21.4.我们可以利用视觉复核代替人工去点数,大大的减少的人工成本,提升产能效率。
附图说明
22.上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。
23.图1是方法的流程图；
24.图2是训练数据集收集的原理示意图；
25.图3是模型训练的流程示意图。
具体实施方式
26.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
27.本发明的目的是寻找一种能识别商品类别和计算商品数量的算法；
28.为了达到目标检测的目的，本发明的技术方案提供了一种产线物品识别的目标检测算法，参见图1，其具体实施步骤为：
29.步骤1.训练数据集的收集。
30.数据集收集的原理图请参见图2。
31.从三个角度对商品进行拍照,同时物品底部的转盘会按照的一定的速度转动,这是单品的照片；同时我们会在产线上收集多件物品的照片。
32.步骤2.手动为图片里的物品打标签；利用labelme软件为上述照片的每个物品加bound以及类别,照片一共有6万多张。
33.步骤3.图片的label转成对应的xml文件,方便作为模型的输入,之后就是开始训练数据,训练模型的结构如图2所示。
34.这里又分为四步:
35.1)conv layers,作为一种cnn网络目标检测方法，faster rcnn首先使用一组基础的conv relu pooling层提取image的feature maps。该feature maps被共享用于后续rpn层和全连接层
36.2)region proposal networks,rpn网络用于生成region proposals。该层通过softmax判断anchors属于positive或者negative，再利用bounding box regression修正anchors获得精确的proposals。
37.3)roi pooling,该层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别。
38.4)classification,利用proposal feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的精确位置。
39.步骤4.模型训练完毕后,需要在测试数据上进行验证,这里采用的评价标准是计算每个类别的ap值,然后再计算总的map值,如果某个类别的ap值不是很好,说明这个类别训练不充分,需要分析这个类别的图片哪里出现状况,之后我们还要计算总的订单预测的准确率，只要大于等于80％，说明已经达到业务的要求，可以上线运作了。
40.以下说明用于实现算法和执行方法的客户端、服务器和基于云的处理系统资源的示例性处理电路。分布式处理系统可以包括电路的多个实例，所述电路可以用于实现任一处理电路，以执行图1、图2及图3中所示的流程图所表示的算法。在各个实施例中不需要使用所有组件。例如，分布式处理系统的客户端、服务器和网络资源中的每一个可以使用不同的组件集合，在图形数据库服务器的情况下，例如可以使用更大的存储设备。
41.以计算机形式存在的一个示例性处理系统可以包括处理单元、存储器、可移动存储设备和不可移动存储设备，均耦合到总线。处理单元可以包括一个或多个单核或多核处理设备。尽管示例性处理系统被描述为计算机，但是处理系统在不同实施例中可以具有表
现为不同的形式。例如，用户设备的处理系统还可以是笔记本电脑、平板电脑或包括与元件相同或相似的元件的另一处理设备。笔记本电脑、平板电脑等设备可以统称为移动设备或用户设备。此外，尽管各种数据存储元件被描述为计算机的一部分，但存储设备可以或替代地包括可以通过网络(例如局域网(local area network，lan)、个人局域网(personal area network，pan)、广域网(wide area network，wan)如互联网)访问的网络连接(例如，基于云的)存储设备，或本地基于服务器的存储设备。
42.存储器可以包括易失性存储器和非易失性存储器。计算机可以包括或可以访问包括各种计算机可读介质(例如易失性存储器、非易失性存储器、可移动存储设备及不可以动存储设备)的处理环境。计算机存储器包括随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可擦除可编程只读存储器(erasable programmable read
‑
only memory，eprom)和电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，eeprom)、闪存或其他存储技术、光盘只读存储器(compact disc read
‑
only memory，cdrom)、数字通用磁盘(digital vresatiledisk，dvd)或其它光盘存储器、磁带盒、磁带、磁盘存储器或其它磁存储设备，或能够存储计算机可读指令的任何其它介质。
43.计算机可以包括或可以访问包括输入接口、输出接口和通信连接或接口的处理环境，其中，如图所示，输入接口、输出接口和通信连接或接口连接到总线。输出接口可以包括显示设备，例如触摸屏或计算机显示器，输出接口也可以作为耦合到输入接口的输入设备。输入接口可以包括触摸屏、触控板、鼠标、键盘、相机、一个或多个设备特定按钮、集成在计算机内或经由有线或无线数据连接耦合到计算机的一个或多个传感器、其他输入设备等设备中的一个或多个。计算机可以在网络环境中运行，通过通信连接连接到一个或多个远程计算机，例如大型机、服务器和/或数据库服务器，这些远程计算机可用于实现网络连接服务。用户设备可以包括个人计算机(personal computer，pc)、服务器、路由器、网络pc、对端设备或其他普通网络节点等。所述通信连接可以包括局域网(local area network，lan)、广域网(wide area network，wan)、蜂窝网络、wi
‑
fi网络、蓝牙网络、互联网或其它网络。
44.存储在计算机可读介质中的计算机可读指令可由计算机的处理单元执行。硬盘驱动器cd
‑
rom和ram是包括非瞬时性计算机可读介质(例如磁存储介质、光存储介质、闪存介质和固态存储介质)的物品的一些示例。由于载波过于短暂，因此属于“计算机可读介质”和“存储设备”不包括载波。例如，可以通过一个或多个应用程序使得处理单元执行本文描述的一个或多个方法或算法。
45.应理解，软件可以安装在用户设备和/或网络连接服务的一个或多个处理器中并与它们一起销售。或者，可以通过物理介质或分布式系统例如从软件创作者拥有的服务器或从非软件创作者拥有但被软件创作者实用的服务器获得软件，并将软件加载到用户设备和/或网络连接服务中。例如，软件可以存储在服务器上，以便通过互联网分配。
46.本文描述的功能或算法可以在实施例中通过软件实现。软件可以包括存储在计算机可读介质或计算机可读存储设备例如一个或多个物理存储设备或其它类型的基于硬件的存储设备，本地或网络上的计算机可执行指令。此外，这些功能对应于模块，这些模块可以是软件、硬件、固件或其它任意组合。多个功能可以根据需要在一个或多个模块中执行，所描述的实施例仅仅是示例性的。该软件可以在处理系统例如数字信号处理器、专用集成
电路(application
‑
specific integrated circuit，asic)、微处理器、大型处理器或运行在计算机系统(例如个人计算机服务器或其他处理系统)上的其它类型的处理器上执行，从而将此类处理系统变为具体编程的机器。
47.以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。