气动分选设备的气阀控制方法及系统与流程

1.本发明涉及气动分选技术领域，特别涉及一种气动分选设备的气阀控制方法及系统。


背景技术：

2.随着经济社会的快速发展，许多行业都插上了自动化的翅膀，迎来了自动化时代，分选行业也不例外。传统方式是使用人工进行分选作业，此种方式不仅效率低下，且在遇到工况恶劣的环境时会对工人的健康安全产生很大的影响。因此，目前通常是使用智能气动分选设备来代替人工作业。
3.气动分选设备一般由检测设备、气阀组、工控机以及高速输送带组成。高速输送带将需要分拣的物体输送至检测设备下方，经过检测设备的检测后，将物体送到达气动阀组上方，工控机通过检测设备检测的结果，控制高频气阀的开闭动作，将待分拣的物体吹出。现有技术是对于每一张图像中识别到的每个待吹物体都单独开启一个气吹线程进行喷吹。当待吹物体密集、数量多的时候，程序会开启多个线程，导致计算机运行内存消耗变大，多个线程之间还会因为相互干涉而导致漏吹现象频发。


技术实现要素：

4.本发明提供一种气动分选设备的气阀控制方法，其包括包括下列步骤：s100：以预设帧率f采集图像，并存储图像至图像队列q1中；s200：读取图像队列q1中的图像，并获得图像中物体的种类信息和位置信息，再将图像中物体的种类信息和位置信息存储至预测结果队列q2；s300：读取预测结果队列q2转存为作业信息，根据图像的大小、气阀之间的宽度和气阀的个数创建带有第一标签的第一矩阵；s400：根据作业信息中存有的物体的种类信息和位置信息，将检测到的与图像边界相交的物体的信息删除，再根据剩余物体的位置信息确认剩余物体在第一矩阵中的对应位置，接着使用第二标签覆盖处于对应位置的第一标签形成第二矩阵；s500：根据第二矩阵控制气阀的工作状态。
5.在一实施例中，在步骤s100中，连续两帧所述图像的重叠部分宽度大于所述物体的最大尺寸，所述预设帧率f满足下列条件：(w-v*1000ms/f)＞l；其中，w为所述图像沿传送带运输方向的长度，v为传送带速度，l为所述物体沿传送带运输方向的长度。
6.在一实施例中，在步骤s200中，每读取完一张图像，就从所述图像队列q1中删除已经读取完的图像。
7.在一实施例中，在步骤s200中，是通过深度学习模型获得所述图像中物体的种类信息和位置信息。
8.在一实施例中，在步骤s300中，每转存完一张图像的作业信息，就从所述预测结果队列q2中删除已经转存完的图像的数据。
9.在一实施例中，在步骤s300中，第一矩阵的行数为w/xmin，列数为每组气阀组中的气阀个数，其中，w为所述图像沿传送带运输方向的长度，xmin是第一矩阵的最小行间距，最
小行间距xmin的满足条件如下：s/v＞1ms*(v*1000ms/f)/xmin；其中，xmin≥1ms*v，s为拍摄图像的上边界到达气阀的距离，v为传送带速度。
10.在一实施例中，在步骤s500中，仅当所述第二矩阵中的某一列的上一行信号与当前行信号不同时，才发送信号给气阀端口控制气阀的工作状态。
11.在一实施例中，读取所述图像队列q1与读取所述预测结果队列q2是按照相同的顺序进行读取。
12.在一实施例中，每帧图像的采集耗时大于检测图像的耗时，检测图像的耗时和控制气阀开闭的准备耗时小于图像从采集到气阀所需喷气的耗时。
13.本发明还提供一种气动分选设备的气阀控制系统，其包括：采集单元、第一读取单元、第二读取单元、调整单元以及控制单元。
14.采集单元用于以预设帧率f采集图像，并存储图像至图像队列q1中。第一读取单元用于读取图像队列q1中的图像，并获得图像中物体的种类信息和位置信息，再将图像中物体的种类信息和位置信息存储至预测结果队列q2。第二读取单元用于读取预测结果队列q2转存为作业信息，根据图像的大小、气阀之间的宽度和气阀的个数创建带有第一标签的第一矩阵。调整单元用于根据作业信息中存有的物体的种类信息和位置信息，将检测到的与图像边界相交的物体的信息删除，再根据剩余物体的位置信息确认剩余物体在第一矩阵中的对应位置，接着使用第二标签覆盖处于对应位置的第一标签形成第二矩阵。控制单元用于根据第二矩阵控制气阀的工作状态。
15.本发明的一个优势在于提供一种气动分选设备的气阀控制方法及系统，相比于现有的对于每个物体都单独开启一个气吹线程进行喷吹的技术，本发明通过对于每一张图像的识别结果开启一个气吹线程，可以使得气吹线程更为高效，能够减少计算机对于运行内存的占用且保证采集到的图像内的物体都能被吹到，不会因为线程之间的干涉而导致漏吹的现象发生。
16.本发明的其它特征和有益效果将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他有益效果可通过在说明书、权利要求书等内容中所特别指出的结构来实现和获得。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；在下面描述中附图所述位置关系，若无特别指明，皆是图示中组件绘示的方向为基准。
18.图1是本发明一实施例提供的气动分选设备的结构示意图；
19.图2是本发明一实施例提供的气动分选设备的气阀控制方法的流程示意图；
20.图3是本发明一实施例提供的各参数示意图；
21.图4是本发明一实施例提供的第二矩阵的赋值示意图；
22.图5是本发明一实施例提供的第二矩阵信号传输的原理示意图。
23.附图标记：
24.10-传送带；12-控制装置；14-气阀组；16-采集装置；20-气阀；30-物体。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；下面所描述的本发明不同实施方式中所设计的技术特征只要彼此之间未构成冲突就可以相互结合；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.在本发明的描述中，需要理解的是，术语“中心”、“横向”、“上”、“下”、“左”、“右”、“垂直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的系统或组件必须具有特定的方位、或以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，术语“包括”及其任何变形，皆为“至少包含”的意思。
27.请参阅图1至图5，图1是本发明一实施例提供的气动分选设备的结构示意图，图2是本发明一实施例提供的气动分选设备的气阀20控制方法的流程示意图，图3是本发明一实施例提供的各参数示意图，图4是本发明一实施例提供的第二矩阵的赋值示意图，图5是本发明一实施例提供的第二矩阵信号传输的原理示意图。为达所述优点至少其中之一或其他优点，本发明的一实施例提供一种气动分选设备的气阀20控制方法。气动分选设备可以包括控制装置12、气阀组14、采集装置16以及高速传送带10。高速传送带10将需要分拣的物体30输送至采集装置16下方。采集装置16内有面阵相机和光源，其用于采集图像；之后，高速传送带10将物体30送达至气阀组14处，控制装置12通过采集装置16采集到的图像，控制气阀组14内的高频气阀20的开闭动作，将待分拣的物体30吹出。需要说明的是，图1所示的结构示意图并非用以限定本发明，仅为示例说明便于理解。
28.如图中所示，气动分选设备的气阀20控制方法包括下列步骤：
29.s100：以预设帧率f采集图像，并存储图像至图像队列q1中。
30.s200：读取图像队列q1中的图像，并获得图像中物体30的种类信息和位置信息，再将图像中物体30的种类信息和位置信息存储至预测结果队列q2。
31.s300：读取预测结果队列q2转存为作业信息，根据图像的大小、气阀20之间的宽度和气阀20的个数创建带有第一标签的第一矩阵。
32.s400：根据作业信息中存有的物体30的种类信息和位置信息，将检测到的与图像边界相交的物体30的信息删除，再根据剩余物体30的位置信息确认剩余物体30在第一矩阵中的对应位置，接着使用第二标签覆盖处于对应位置的第一标签形成第二矩阵。也就是在有物体30的地方用第二标签覆盖掉第一标签，最终转换成一个由第一标签、第二标签构成的第二矩阵。所述的剩余物体30是指完全位于图像边界内的物体30，也就是没有被删除信息的物体30。
33.s500：根据第二矩阵控制气阀20的工作状态。
34.进一步说明，在步骤s100中，图像采集线程是通过预设帧率f不断地采集拍摄图像，并存入到图像队列q1中。连续两帧图像的重叠部分宽度大于物体30的最大尺寸，预设帧率f满足下列公式：(w-v*1000ms/f)＞l。其中，w为图像沿传送带10运输方向的长度，v为传送带10速度，l为物体30沿传送带10运输方向的长度。进而使得被分拣的物体30能够在一帧中拍到完整的大小。
35.在步骤s200中，检测线程按照顺序持续读取图像队列q1中的图像，并将图像送入训练好的深度学习模型中，得到图像中物体30的种类信息和位置信息，再将种类信息和位置信息存入预测结果队列q2，同时在每得到一张图像的种类信息和位置信息之后，就从图像队列q1中删除该张图像，以减少计算机对于运行内存的占用和避免图像出现相互干扰。
36.所述深度学习模型包括但不限于实例分割模型和目标检测模型。所述种类信息可以是一个代表物体30类别的数字或者字母标识等，位置信息可以是一个能够计算出物体30在图像中的外接矩形框的信息，可以是一个rect结构或者图像掩膜等。
37.在步骤s300中，气吹线程按照顺序持续读取预测结果队列q2中的图像，转存为作业信息，读取完成后立即从预测结果队列q2中删除该张图像的数据信息。之后根据拍摄图像的大小、气阀20之间的宽度以及气阀20的个数创建一个全部带有第一标签的第一矩阵。第一矩阵的行数为w/xmin，列数为每组气阀组14中的气阀20个数，其中，w为图像沿传送带10运输方向的长度，xmin是第一矩阵的最小行间距。最小行间距xmin的满足条件如下：s/v＞1ms*(v*1000ms/f)/xmin。其中，xmin≥1ms*v，s为拍摄图像的上边界到达气阀20的距离，v为传送带10速度。
38.每帧图像的采集耗时大于检测图像的检测耗时t，以避免在程序的持续运行中，检测耗时t慢于采集耗时，大量的拍摄图像被存放在队列q1中，导致计算机内存占用不断上升，最后程序崩溃。检测耗时t应满足以下公式：1000ms/f＞t。检测图像的耗时和控制气阀20开闭的准备耗时小于图像从采集到气阀20所需喷气的耗时，以保证后续的气吹线程可以顺利开展作业。
39.在步骤s400中，对于每张图像转换为第二矩阵后，只传入未与下一帧重叠部分所对应行数的信号给气阀20端口，并将剩下未传入的部分行数覆盖到下一张图像的第二矩阵的前部。具体而言，首先每张图像在删除完与边界相交的物体之后会转化为01矩阵(第二矩阵)，图5中的左图对应的矩阵就是对应于第一帧图像的第二矩阵，右图则是下一帧图像的第二矩阵，将上一帧图像的第二矩阵(也就是左图)的后面3行覆盖到右图第二矩阵的前面对应行数，从而形成右图最终的第二矩阵。再将右图中不与下一帧重叠的部分(对应右图的传入行)的7行作为最终作业信息传递给气阀。可以有效解决上下两帧物体重复拍摄，重复检测的问题，简单而言就是把上一帧图像检测到的结果与下一帧进行合并，这样就不会造成重复检测，但是其中合并的部分仅仅是上下两帧图像重叠部分的合并。
40.在一实施例中，在步骤s500中，根据每张图像对应作业信息获得的第二矩阵，按照间隔时间(如1ms)输入该矩第二阵的行信息给气阀20端口，进而控制气阀20的工作状态。例如说：气阀组14由板卡控制，八个气阀20为一组，第一标签和第二标签分别为数值0和1，气阀20可由0、1数字信号进行控制，对对应的端口号发送0数字信号则气阀20常闭，发送1数字信号则气阀20常开；每间隔1ms发送01矩阵的一行给气阀组14，每一列的数值代表对应气阀
20得到的指令，是0或1；为了防止气阀20在没有物体30的是时候频繁执行指令，因此，在循环中限制，当且仅当矩阵一列中的某一行信号与上一行信号不一样时才发送信号给气阀20端口执行相应的开闭操作，也就是仅当第二矩阵中的下行信号不同与上行信号时，才发送信号给气阀20端口控制气阀20的工作状态。
41.在一实施例中，读取图像队列q1与读取预测结果队列q2是按照相同的顺序进行读取，以避免出现误读，使得气吹出现错漏。
42.以下举例进行说明，参考图3至图5，传送带10的带面宽度为1400mm，传送带10速度v为2m/s；采集装置16内设有面阵相机，相机的拍摄帧率为f，拍摄的图像尺寸为728mm*1400mm，w＝728mm拍摄图像的上边缘位置到气阀20之间的距离s为540mm。气阀组14一共有70个气阀20，每个气阀20的间距b为20mm。当前所分选的物体30沿传送带10方向的最大长度l为300mm，所选用的检测模型的检测耗时t为150ms，第一标签为数值0，第二标签为数值1。
43.图像采集线程通过帧率f不断地采集拍摄图像，并存入到图像队列q1中。图像采集帧率的设定，需满足被分拣的物体30能够在一帧中拍到完整的大小，图像的宽度指的是拍摄图像沿传送带10运动方向的长度w，在本实例中w＝728mm；连续两帧图像的重叠部分宽度应大于被分选物体30沿传送带10方向的最大长度l，进而根据传送带10速度v求出最小的帧率f，即最小帧率f＝5fps。
44.检测线程持续顺序读取图像队列q1中的图像，送入训练好的深度学习模型中，预测得到图像中物体30的种类信息和位置信息，将信息存入预测结果队列q2，同时在每预测完一张图像，就从图像队列q1中删除该预测完的图像。
45.根据拍摄图像的大小(728mm
×
1400mm)以及气阀20之间的宽度(b＝20mm)、气阀20的个数(num＝70)创建一个(w/xmin，num)的0矩阵，将初始图像转化为一个对应的0矩阵，行数为w/xmin；列数为气阀20的个数num＝70，对应每一个气阀20。x为第一矩阵的行间距，也是第二矩阵的行间距，行数w/xmin中的xmin是最小行间距，通过最小行间距的公式可以求取最小的行间距xmin＝2mm。因此最后将图像转换为一个364*70的等效的0矩阵，每一行对应的实际距离为2mm，每一列对应一个气阀20的位置。
46.根据作业信息存有的物体30的种类信息和位置信息，将检测到的与图像边界相交的的物体30的信息(种类信息和位置信息)删除，并将其他物体30根据位置信息在对应的0矩阵中用1值进行覆盖；通过位置信息判断出物体30的中线位置，在中线位置两侧对应的行中进行赋值1，如图4所示，网格空白处的值为0，具体步骤包括如下：
47.(1)根据作业信息可以得到每个物体30的外接矩形框的定位坐标(x，y，w，h)，其中x和y表示矩形框左上角点对应的x,y坐标，w表示矩形框的宽度，h表示矩形框的高度，物体30的中线y坐标为(y h/2)，中线y坐标除以行间距x(取整)加1就是该中线在01矩阵(第二矩阵)中对应的行，即(y h/2)/x 1；
48.(2)如图4所示，气阀距离表示的意思是每个气阀的距离都是从最左边开始量起，例如第1个气阀的距离是20mm，第2个气阀的距离就是40mm，以此类推。根据每个物体30的外接矩形框的定位坐标(x，y，w，h)，求得物体30最左端的气阀距离和最右端的气阀距离，循环遍历所有的气阀20，将落于物体30最左端和最右端之内的气阀20号在对应的0矩阵(第一矩阵)上进行赋值1；
49.(3)每行的输入给气阀组14信号的时间间隔为1ms，控制中线上下的行数可以控制
物体30的气吹延时，如图3所示的物体30赋值的行数为3行，实际赋值行数应根据物体30大小进行判断，大物体30赋值行数应比较多。
50.图4中的不规则形状表示的是目标物体30，外接于不规则图形的矩形框是该物体30的外接矩形框，通过该外接矩形框的定位坐标(x，y，w，h)可以在图片中定位该物体30的位置。
51.对于每张图转换为01矩阵后，只传入未与下一帧重叠部分所对应行数的01信号给气阀20端口，并将剩下未传入的部分行数初始化下一张图像的01矩阵的前部，如图5所示，在本实例中图像帧率f为5fps，每张图像的拍摄宽度为728mm，传送带10带速为2m/s，所以每相邻两帧之间的重叠部分为328mm，最小行间距为2mm，可以得出两帧之间重叠部分在01矩阵中对应的行数为164行。
52.将每张图像根据对应作业信息计算出的01矩阵，每间隔1ms输入该01矩阵的行信息给气阀20端口，以控制气阀20进行气吹作业。
53.本发明还提供一种气动分选设备的气阀20控制系统，其包括：采集单元、第一读取单元、第二读取单元、调整单元以及控制单元。
54.采集单元用于以预设帧率f采集图像，并存储图像至图像队列q1中。第一读取单元用于读取图像队列q1中的图像，并获得图像中物体30的种类信息和位置信息，再将图像中物体30的种类信息和位置信息存储至预测结果队列q2。第二读取单元用于读取预测结果队列q2转存为作业信息，根据图像的大小、气阀20之间的宽度和气阀20的个数创建带有第一标签的第一矩阵。调整单元用于根据作业信息中存有的物体30的种类信息和位置信息，将检测到的与图像边界相交的物体30的信息删除，再根据剩余物体30的位置信息确认剩余物体30在第一矩阵中的对应位置，接着使用第二标签覆盖处于对应位置的第一标签形成第二矩阵。控制单元用于根据第二矩阵控制气阀20的工作状态。
55.综上所述，本发明提供一种气动分选设备的气阀20控制方法及系统，相比于现有的对于每个物体30都单独开启一个气吹线程进行喷吹的技术，本发明通过对于每一张图像的识别结果开启一个气吹线程，可以使得气吹线程更为高效，能够减少计算机对于运行内存的占用且保证采集到的图像内的物体30都能被吹到，不会因为线程之间的干涉而导致漏吹的现象发生。
56.另外，本领域技术人员应当理解，尽管现有技术中存在许多问题，但是，本发明的每个实施例或技术方案可以仅在一个或几个方面进行改进，而不必同时解决现有技术中或者背景技术中列出的全部技术问题。本领域技术人员应当理解，对于一个权利要求中没有提到的内容不应当作为对于该权利要求的限制。
57.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。