基于AI图像识别的PLC视觉检测联动控制方法及系统与流程

本发明涉及机器视觉检测，尤其涉及基于ai图像识别的plc视觉检测联动控制方法及系统。

背景技术：

1、现有工业生产线通常采用机器视觉设备采集工件图像，通过图像识别获得工件外观、结构位置、装配状态及运动姿态，再由plc依据检测结果控制执行机构完成分拣、校正或剔除操作，部分系统还通过再次采集工件图像判断控制动作是否完成；

2、然而，多侧重检测结果与控制指令的单向传递，难以确认执行机构实际作用的工件是否为视觉识别出的目标工件，也难以判断控制动作是否按照预期幅值、方向和时序真实生效，生产线输送运动还会干扰动作响应识别，容易造成工件对应错误、控制失效及修正不准确；

技术实现思路

1、本发明的一个目的在于提出基于ai图像识别的plc视觉检测联动控制方法及系统，本发明融合ai视觉与plc水印回读，实现工件精准联动，识别准确、控制可靠。

2、根据本发明实施例的基于ai图像识别的plc视觉检测联动控制方法，包括如下步骤：

3、连续采集工业生产线上待检测工件的工件图像和数据，并进行对齐生成检测联动时序数据；

4、对工件图像进行图像校正和工件区域定位生成工件身份表征，并对工件进行异常识别，并生成目标工件数据和待执行控制动作；

5、基于目标工件数据、待执行控制动作和检测联动时序数据，生成控制水印序列，并将控制水印序列与目标工件数据关联，生成目标工件控制数据；

6、plc依据目标工件控制数据，将控制水印序列叠加至待执行控制动作，并在控制水印序列执行期间连续采集目标工件的图像，生成控制响应图像序列；

7、对控制响应图像序列中的目标工件进行连续帧关联，识别生成视觉响应轨迹，并结合控制水印序列对视觉响应轨迹进行分段解码，生成视觉回读水印；

8、将视觉回读水印与控制水印序列按照plc扫描周期进行对应，生成控制响应偏差数据，并基于控制响应偏差数据生成目标工件对应结果和控制动作生效结果；

9、基于控制响应偏差数据、目标工件对应结果和控制动作生效结果对待执行控制动作进行修正，生成修正联动控制数据，plc对目标工件执行联动控制，生成控制完成图像序列，并基于控制完成图像序列生成目标工件控制完成结果。

10、可选的，所述检测联动时序数据的生成包括：

11、连续采集待检测工件的工件图像、plc扫描数据、执行机构运行数据和输送位置数据，并记录对应的采集时刻；

12、按照采集时刻对工件图像、plc扫描数据、执行机构运行数据和输送位置数据进行对齐，生成检测联动时序数据。

13、可选的，所述目标工件数据和待执行控制动作的生成包括：

14、从检测联动时序数据中获取工件图像，对工件图像进行镜头畸变校正、亮度校正和运动模糊校正，生成校正工件图像序列；

15、对校正工件图像序列进行工件区域定位，识别工件的轮廓边界和中心位置，生成工件区域定位结果；

16、按照采集时刻对相邻工件区域定位结果进行中心位置迁移匹配和轮廓边界重合匹配，连接属于同一工件的工件区域，生成工件连续关联序列；

17、沿工件连续关联序列对同一工件的轮廓形态、表面纹理、局部结构和位置变化进行编码，融合不同采集时刻的编码结果，生成工件身份表征；

18、结合工件连续关联序列和工件身份表征进行异常识别，生成工件视觉检测结果，基于工件视觉检测结果生成目标工件数据，并基于异常类型和异常位置生成待执行控制动作。

19、可选的，所述目标工件控制数据的生成包括：

20、从工件视觉检测结果中获取目标工件的工件身份表征，对各特征值进行分段量化并依次连接，生成工件身份码序列；

21、从待执行控制动作中获取基础动作参数，结合plc扫描数据和执行机构运行数据，确定可叠加的动作幅值范围、动作持续时间范围、动作间隔范围和动作方向范围，生成动作参数范围数据；

22、按照各码元的排列次序和码元取值，从动作参数范围数据中确定对应的动作幅值、动作持续时间、动作间隔和动作方向，生成动作码元并依次连接，生成初始控制水印序列；

23、比对相邻动作码元的动作参数，对动作参数完全相同的相邻动作码元调整其中一个动作码元的动作幅值或动作间隔，并按照plc扫描数据排列，生成控制水印序列；

24、将控制水印序列的动作参数和动作顺序与目标工件数据及待执行控制动作进行关联，生成目标工件控制数据。

25、可选的，所述控制响应图像序列的生成包括：

26、依据目标工件控制数据，将控制水印序列中的动作参数和动作顺序对应至连续的plc扫描周期，生成控制水印执行时序；

27、按照控制水印执行时序，将各plc扫描周期对应的动作幅值和动作方向叠加至待执行控制动作，并结合动作持续时间和动作间隔确定执行顺序，生成水印叠加控制动作；

28、plc按照水印叠加控制动作驱动执行机构，使目标工件产生与控制水印序列对应的物理运动变化；

29、记录各水印叠加控制动作的起始plc扫描周期和结束plc扫描周期，并依次连接，生成控制水印执行区间；

30、在控制水印执行区间内连续采集目标工件图像，按照采集时刻和对应的plc扫描周期进行排列，生成控制响应图像序列。

31、可选的，所述视觉回读水印的生成包括：

32、按照采集时刻排列控制响应图像序列，识别目标工件的轮廓边界、中心位置和局部纹理，结合相邻图像之间的轮廓重合、中心位置迁移和局部纹理相似情况，对同一目标工件进行连续帧关联，生成目标工件关联图像序列；

33、按照控制水印序列中的动作持续时间、动作间隔和动作顺序，将目标工件关联图像序列划分为动作图像片段和间隔图像片段，连接间隔图像片段中的目标工件中心位置，生成目标工件基础运动轨迹；

34、将动作图像片段中的目标工件中心位置与目标工件基础运动轨迹进行对应，获得目标工件的位置变化，并按照采集时刻排列，生成水印响应位移序列；

35、基于水印响应位移序列确定目标工件的位置、位移幅值、运动方向和响应时刻，并按照采集时刻进行连接，生成视觉响应轨迹；

36、按照动作持续时间、动作间隔和动作顺序对视觉响应轨迹进行分段，确定各分段的响应幅值、响应持续时间、响应间隔和响应方向，并按照动作顺序连接，生成视觉回读水印。

37、可选的，所述目标工件对应结果和控制动作生效结果的生成包括：

38、结合plc扫描数据，将控制水印序列中的动作幅值、动作持续时间、动作间隔、动作方向和动作顺序对应至plc扫描周期，生成控制水印周期数据；依据视觉响应轨迹中的响应时刻，将视觉回读水印中的响应幅值、响应持续时间、响应间隔和响应方向对应至plc扫描周期，生成回读水印周期数据；

39、保持控制水印周期数据的位置不变，将回读水印周期数据沿plc扫描周期逐周期移动，并在各移动位置对动作方向、动作间隔、动作顺序及对应的响应参数进行匹配，生成水印周期对应候选数据；

40、从水印周期对应候选数据中选取方向连续对应、排列顺序连续对应且间隔差值累计量最小的移动位置，将该移动位置对应的动作参数与响应参数依次对应，生成水印周期对应数据；

41、基于水印周期对应数据，计算动作幅值与响应幅值之间的幅值偏差、动作持续时间与响应持续时间之间的持续时间偏差以及动作间隔与响应间隔之间的间隔偏差，并记录方向偏差、顺序偏差和响应缺失位置，生成控制响应偏差数据；

42、结合水印周期对应数据以及方向偏差、顺序偏差和响应缺失位置，生成目标工件对应结果；

43、基于目标工件对应结果，将幅值偏差、持续时间偏差和间隔偏差按照动作顺序排列，生成控制动作生效结果。

44、可选的，所述目标工件控制完成结果的生成包括：

45、结合plc扫描数据，将控制水印序列中的动作参数和动作顺序对应至plc扫描周期，生成控制水印周期数据；依据视觉响应轨迹中的响应时刻，将视觉回读水印中的响应参数对应至plc扫描周期，生成回读水印周期数据；

46、保持控制水印周期数据的位置不变，将回读水印周期数据沿plc扫描周期逐周期移动，并在各移动位置对动作方向、动作间隔、动作顺序及对应响应参数进行匹配，生成水印周期对应候选数据；

47、从水印周期对应候选数据中选取方向连续对应、排列顺序连续对应且间隔差值累计量最小的移动位置，将该位置的动作参数与响应参数依次对应，生成水印周期对应数据；

48、基于水印周期对应数据，计算幅值偏差、持续时间偏差和间隔偏差，并记录方向偏差、顺序偏差和响应缺失位置，生成控制响应偏差数据；

49、结合水印周期对应数据以及方向偏差、顺序偏差和响应缺失位置，生成目标工件对应结果；

50、基于目标工件对应结果，将控制响应偏差数据中的幅值偏差、持续时间偏差和间隔偏差按照动作顺序排列，生成控制动作生效结果。

51、据本发明实施例的基于ai图像识别的plc视觉检测联动控制系统，包括：

52、数据采集模块，用于采集工件图像、plc扫描数据、执行机构运行数据和输送位置数据，并进行时序对齐，生成检测联动时序数据；

53、视觉检测模块，用于对工件图像进行校正、定位及连续关联，生成工件身份表征、工件视觉检测结果、目标工件数据和待执行控制动作；

54、控制水印生成模块，用于生成由动作幅值、动作持续时间、动作间隔、动作方向和动作顺序构成的控制水印序列，并生成目标工件控制数据；

55、联动控制模块，用于将控制水印序列叠加至待执行控制动作，控制执行机构作用于目标工件，并生成控制响应图像序列；

56、视觉回读模块，用于生成目标工件的视觉响应轨迹，并对视觉响应轨迹进行分段解码，生成视觉回读水印；

57、响应分析模块，用于将视觉回读水印与控制水印序列按照plc扫描周期进行对应，生成控制响应偏差数据、目标工件对应结果和控制动作生效结果；

58、控制修正模块，用于对待执行控制动作进行修正，生成修正联动控制数据，并基于联动控制后的目标工件图像生成目标工件控制完成结果。

59、本发明的有益效果是：

60、本发明通过连续采集待检测工件的工件图像、plc扫描数据、执行机构运行数据和输送位置数据，并按照采集时刻进行对齐，能够使工件视觉状态、plc运行过程、执行机构动作过程及工件输送位置处于统一时间基准下，减少图像检测结果与控制动作之间因时间差异产生的工件错配问题，通过对连续工件图像中的同一工件进行关联，生成工件身份表征，并结合外观状态、结构位置、装配关系和运动姿态完成异常识别，能够在连续输送场景中准确确定目标工件，提升目标工件数据和待执行控制动作的对应准确性；

61、本发明基于目标工件数据和待执行控制动作生成由动作幅值、动作持续时间、动作间隔、动作方向和动作顺序构成的控制水印序列，并将控制水印序列叠加至待执行控制动作，使目标工件产生与控制水印序列对应的物理运动变化，从而将目标工件身份与执行机构的实际动作过程进行关联，相较于仅将视觉检测结果单向发送至plc的控制方式，能够进一步确认执行机构实际作用的工件是否为视觉识别得到的目标工件，并避免因工件连续输送、相邻工件距离较近或执行响应延迟造成控制对象错误；

62、本发明通过连续采集控制水印序列执行期间的目标工件图像，生成控制响应图像序列，并利用间隔图像片段构建目标工件基础运动轨迹，将目标工件的正常输送运动与控制水印引起的附加运动进行分离，进而生成水印响应位移序列、视觉响应轨迹和视觉回读水印，能够降低输送速度变化及生产线振动对动作响应识别的干扰，通过将视觉回读水印与控制水印序列按照plc扫描周期进行对应，获得幅值偏差、持续时间偏差、间隔偏差、方向偏差、顺序偏差和响应缺失位置，分别生成目标工件对应结果和控制动作生效结果，实现对控制对象及控制效果的双重验证；

63、本发明进一步依据控制响应偏差数据、目标工件对应结果和控制动作生效结果，对待执行控制动作进行修正，并通过再次采集联动控制后的目标工件图像生成目标工件控制完成结果，使视觉检测、控制水印写入、物理运动回读、动作偏差计算和控制修正形成闭环，能够及时修正执行机构动作幅值、持续时间、间隔及方向，提高plc视觉检测联动控制的准确性、可靠性和可追溯性；