在线视觉检测方法与流程

1.本发明涉及视觉检测领域，特别涉及在线视觉检测方法。


背景技术：

2.自动化生产的过程中，为了保证连续生产的稳定性，需要在产线上设计多项检测。在进行视觉检测时，目前的方式通常是配置ccd模块对生产线上的产品进行拍照，然后将照片与ccd模块中存储器内预存的照片进行比较。进行比较时，ccd模块中的处理器对产品图像预先进行处理时需要反复多次从cpu的存储器中调用数据进行运算，图像识别速度有限。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。
4.本发明提供在线视觉检测方法，包括如下步骤：
5.步骤1)：在处理器所包括的存储器中输入识别图像，识别图像的每一个像素对应一个数据，处理器将识别图像的各个数据整理为识别图像数组并输入所述存储器中；
6.步骤2)：构建用于对拍照得到的图像数据进行处理的权重数组并输入所述存储器中；
7.步骤3)：对物件进行拍照得到产品图像数据，处理器将得到的产品图像数据整理为产品图像数组并存储在存储器中；
8.步骤4)：处理器将产品图像数组和权重数组从存储器中调出并以阵列脉动形式进行处理，阵列脉动形式的处理过程为：
9.将产品图像数组的各个数据以及权重数组的各个数据输入处理器所包括的运算组，所述运算组包括呈矩形排布的多个运算单元，运算单元执行运算后从两个相邻的单元分别接收权重数组的数据以及产品图像数组的数据相乘并与前一运算结果累加，直至对权重数组以及产品图像数组的最后一个数据相乘并累加，得到比对结果；
10.步骤5)：用比对结果与识别图像数组进行相似度比较，相似度比较将结果反馈至处理系统。
11.本发明的有益效果：本在线视觉检测方法在对图像进行比对前，将产品图像数据数组以及权重数组一次性地输入运算单元中将产品图像数组和权重数组中的各个元素相乘后累加，处理器在执行加法和乘法运算仅需从存储器中调用一次数据，无须重复寄存和调用产品图像数组和权重数组，运算速度较快，图像识别速度快。
12.作为上述技术方案的一些子方案，步骤4)中：权重数组的各个数据呈行排列在运算组中，产品图像数组的数据呈列排列在运算组中，产品图像数组的第一个数据与权重数组的第一数组共同输入一运算单元中，以共同输入的运算单元为初始运算单元，处理器每进行一次运算，产品图像数组的下一个数据和权重数组的下一个数据输入初始运算单元。
13.作为上述技术方案的一些子方案，步骤3)中对物件进行多次拍照得到多个图像产品图像数组，产品图像数组整理为产品图像矩阵，产品图像矩阵中每一列对应一个产品图
像数组；
14.步骤4)中产品图像矩阵输入至运算组时，第一个产品图像数组的第一个数据输入至矩阵数组所在行，且后续每输入一列相隔一个运算周期。
15.作为上述技术方案的一些子方案，所述处理系统包括可编程逻辑控制器，所述处理器焊接在可编程逻辑控制器上。
16.作为上述技术方案的一些子方案，所述处理器与所述处理系统的通信方式为usb通信或micro-usb通信或tpye-c通信。
17.作为上述技术方案的一些子方案，所述处理器与所述处理系统的通信方式为pci-e通信。
18.作为上述技术方案的一些子方案，所述处理器与所述处理系统的通信方式为rs485通信。
19.作为上述技术方案的一些子方案，所述处理器与所述处理系统的通信方式为rs232通信。
20.作为上述技术方案的一些子方案，所述处理器与所述处理系统的通信方式为hdmi通信。
21.作为上述技术方案的一些子方案，所述处理器为张量处理器。
22.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
23.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
24.图1为本发明实施例的原理示意图；
25.图2为本发明输入权重数组和产品图像数组的示意图；
26.图3为本发明权重数组和产品图像数组运算过程示意图；
27.图4为本发明输入权重数组和产品图像矩阵的示意图；
28.图5为本发明权重数组和产品图像矩阵运算过程示意图。
具体实施方式
29.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
30.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
31.在本发明的描述中，若干的含义是不定量，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技
术特征的数量或者隐含指明所指示的技术特征的先后关系。全文中出现的和/或，表示三个并列方案，例如，a和/或b表示a满足的方案、b满足的方案或者a和b同时满足的方案。
32.本发明的描述中，如有含有多个并列特征的短句，其中的定语所限定的是最接近的一个特征，例如：设置在a上的b、c、与d连接的e，所表示的是b设置在a上，e与d连接，对c并不构成限定；但对于表示特征之间关系的定语，如“间隔设置”、“环形排布”等，不属于此类。定语前带有“均”字的，则表示是对该短句中所有特征的限定，如均设置在a上的b、c、d，则表示b、c和d均设置在a上。省略了主语的语句，所省略的主语为前一语句的主语，即a上设有b，包括c，表示a上设有b，a包括c。
33.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
34.下面结合图1至图5对本发明的实施例作出说明。
35.本实施例涉及在线视觉检测方法，包括如下步骤：
36.步骤1)：在处理器所包括的存储器中输入识别图像，识别图像的每一个像素对应一个数据，处理器将识别图像的各个数据整理为识别图像数组并输入所述存储器中；
37.步骤2)：构建用于对拍照得到的图像数据进行处理的权重数组并输入所述存储器中；
38.步骤3)：对物件进行拍照得到产品图像数据，处理器将得到的产品图像数据整理为产品图像数组并存储在存储器中；
39.步骤4)：处理器将产品图像数组和权重数组从存储器中调出并以阵列脉动形式进行处理，阵列脉动形式的处理过程为：
40.将产品图像数组的各个数据以及权重数组的各个数据输入处理器所包括的运算组，所述运算组包括呈矩形排布的多个运算单元，运算单元执行运算后从两个相邻的单元分别接收权重数组的数据以及产品图像数组的数据相乘并与前一运算结果累加，直至对权重数组以及产品图像数组的最后一个数据相乘并累加，得到比对结果；
41.步骤5)：用比对结果与识别图像数组进行相似度比较，相似度比较将结果反馈至处理系统。
42.传统的ccd模块用cpu作处理器，cpu每个核心包括控制器、运算器以及存储器，每次进行运算时根据控制器的指令数据从存储器中调取至运算器进行运算，运算后数据返回存储器暂存，在进行图像识别时需要对产品图像数据以及目标图像数据重复进行多次存取操作，cpu时钟周期数较多。
43.cpu每次进行运算均需要根据控制器所发出的指令从存储器中调取单个数据至运算器，然后运算器得到运算结果后需要将数据返回至存储器中，每次对产品图像数据的各个元素进行比对时均需要重复存取，数据重复的存取操作在整个运算过程中时间占比较长。
44.本在线视觉检测方法在对图像进行比对前，将产品图像数据数组以及权重数组一次性地输入运算单元中将产品图像数组和权重数组中的各个元素相乘后累加，处理器在执行加法和乘法运算仅需从存储器中调用一次数据，无须重复寄存和调用产品图像数组和权重数组，运算速度较快，图像识别速度快。相似度比较结果反馈至单片机后，根据需要执行
下一步操作，例如判定拍照产品与识别图像相似度比较结果得到为及格产品时该产品流动至下一个工序，或得到为不及格产品时停止相关工作设备等。
45.图像采集模块在本实施例中，具体的为ccd相机，ccd相机采集图像数据后将数据传递至张量处理器进行识别，张量处理器根据ccd采集到的图片与存储器中存有的图像进行快速比对，快速比对后通过现有的软件即可在外设的屏幕上显示出一个相似度参考值，设定参考值范围确定ccd所拍摄的物品是否符合识别库。
46.进一步的，步骤4)中：权重数组的各个数据呈行排列在运算组中，产品图像数组的数据呈列排列在运算组中，产品图像数组的第一个数据与权重数组的第一数组共同输入一运算单元中，以共同输入的运算单元为初始运算单元，处理器每进行一次运算，产品图像数组的下一个数据和权重数组的下一个数据输入初始运算单元。
47.产品图像数组所包括的多个数据整行地输入运算组中，在一行中的多个运算单元各自输入了产品图像数组的一个数据，在一个时钟周期内每个运算单元各自运算一次并将结果传递至各自的下一个目标运算单元中，在进行重复地进行相乘和累加的操作无须从存储器中存取数据，大大地减少时钟周期数，大大地提高了运算效率。
48.具体的，参照图2和图3，以产品图像数组为数组a，在本实施例中数组a包括有a1、a2、a3三个数据，权重数组为数组b，数组b包括b1、b2、b3三个数据，数组a的数据呈列排列输入运算单元所组成的运算单元矩阵中，数组b的数据呈行排列输入运算单元矩阵中，在执行第一次运算后初始运算单元的结果为a1b1，而在其他的运算单元中，由于仅仅输入了其中一个数据，因此不执行运算；之后数组a整体地向下移动，数组b整体地向右移动，数组a和数组b的第二个数据输入初始运算单元，执行第二次运算后结果为a1b1 a2b2，同理，执行第三次运算后得到最终结果为a1b1 a2b2 a3b3,得到最终结果后与识别图像数组进行相似度比较，识别图像数组与运算结果均为单一数据时可以采用差值比较、比例比较、方差、标准差等方式，相似度的达标范围可以预先通过数据样本确定区间。以上运算方式一次性地向运算组中批量地输入权重数组和产品图像数组，从而无需在每次执行运算时均从存储器中调取数据，大大地就爱数据运算的速度。
49.进一步的，步骤3)中对物件进行多次拍照得到多个图像产品图像数组，产品图像数组整理为产品图像矩阵，产品图像矩阵中每一列对应一个产品图像数组；
50.步骤4)中产品图像矩阵输入至运算组时，第一个产品图像数组的第一个数据输入至矩阵数组所在行，且后续每输入一列相隔一个运算周期。
51.在该进一步的实例中，多次拍照得到的产品图像一次性地输入运算组中，处理器对多个产品图像的数据用权重数组进行处理时，能够快速地执行乘法和加法运算并输出所需结果，多次对产品进行拍照有利于提高识别的精准度。由于产品图像矩阵输入运算组时，每输入一列相隔一个运算周期，在执行运算时，使得权重数组能够与产品图像矩阵中的各个数组历遍相乘,从而利用处理器的特性一次性地对多个数据进行运算处理，提高图像数据的处理效率。
52.具体的，参照图4和图5，产品图像矩阵以a作为标识符，其上标表示产品图像数组的序号，下标表示该产品图像数组的数据序号。第一个产品图像数组的第一个数据与权重数组的第一个数落在同一个运算单元上，以该运算单元为第一产品图像初始运算单元，每运算一次第一产品图像数组以及权重数组的数据均按照其排列方向递进一个，从而第一产
品图像数组和权重数组的各个数可以历遍相乘，从而在第一产品图像初始运算单元上得到第一产品数组和权重数组对应数据乘积之和。在第二产品图像数组上，当在第一产品图像初始运算单元完成第一运算之后，权重数组移动至下一运算单元即与第二产品图像数组的第一个数据落在同一运算单元上，该运算单元为第二产品图像初始运算单元，在第二产品图像初始运算单元上完成第二产品图像数组与权重数组对应数据的乘积累加。第三产品图像数组同理。
53.进一步的，所述处理系统包括可编程逻辑控制器，所述处理器焊接在可编程逻辑控制器上。处理器一体焊接在可编程逻辑控制器上，处理器与可编程逻辑控制器连接稳固，两者共同组成处理模块，便于嵌入各种工控系统中。
54.进一步的，所述处理器与所述处理系统的通信方式为usb通信或micro-usb通信或tpye-c通信。usb又称为通用串行总线，usb通信采用usb接口作为通信接口，支持设备的即插即用和热插拔功能，采用usb通信具有可热拔插、接口通用性较好的优势。micro usb是usb2.0标准的一个便携版本，尤其适用于移动设备。micro-usb通信采用micro-usb接口进行通信，micro-usb接口尤其适用于小型移动设备例如手机、平板等
55.或者，所述处理器与所述处理系统的通信方式为pci-e通信。pci express以点对点的方式处理通信，每个设备在要求传输数据的时候各自建立自己的传输通道，对于其他设备这个通道是封闭的，这样的操作保证了通道的专有性，避免其他设备的干扰，通信可靠性较高。
56.或者，所述处理器与所述处理系统的通信方式为rs485通信。rs485抗噪声干扰性好，传输距离远的优点，采用rs485通信有利于保证通信信号的精确性。
57.或者，所述处理器与所述处理系统的通信方式为rs232通信。rs232通信是pc机与通信工业中应用最广泛的一种通信方式。采用rs232通信具有适配性好的优点，易于与其他外界的设备进行连接。
58.或者，所述处理器与所述处理系统的通信方式为hdmi通信。hdmi通信具有数据传输速率快，精度高的优点。
59.进一步的，所述处理器为张量处理器。张量处理器采用低精度(8位)计算，以降低每步操作使用的晶体管数量。降低精度对于深度学习的准确度影响很小，但却可以大幅降低功耗、加快运算速度。同时，tpu使用了脉动阵列的设计，用来优化矩阵乘法与卷积运算，减少i/o操作。此外，tpu还采用了更大的片上内存，以此减少对dram的访问，从而更大程度地提升性能。
60.以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出各种的等同变型或替换，这些等同的变型或替换均包含在本发明创造权利要求所限定的范围内。