装配操作的合规性检测方法及系统、装置、设备与流程

摘要: 本公开的实施方式涉及计算机,尤其涉及装配操作的合规性检测方法、装配操作的合规性检测系统、装配操作的合规性检测装置、电子设备、可读存储介质以及计算机程序产品。背景...
装配操作的合规性检测方法及系统、装置、设备与流程

本公开的实施方式涉及计算机,尤其涉及装配操作的合规性检测方法、装配操作的合规性检测系统、装配操作的合规性检测装置、电子设备、可读存储介质以及计算机程序产品。

背景技术:

1、标准作业程序(standard operating procedure,sop)是指用于指导和规范日常工作的规范性文件,sop中包括将某一时间的标准操作步骤和要求,并将其以结构化格式进行描述。按照sop进行日常工作作业,可保证作业的一致性与规范性。示例性地,在电子器件的装配场景中,sop中可包括执行装配操作的顺序、装配操作的动作、工具与物料的使用以及装配的精度与工艺参数等规范性要求。

2、若在进行装配操作的过程中,出现顺序错误或使用工具错误等不满足sop规范的情况,均可能会导致出现器件接触不良、性能异常甚至产品损坏的问题,严重影响产品质量。因而,在装配过程中,需检测装配操作是否符合sop规定的操作规范,也就是需进行装配操作的合规性检测,以保证产品质量。

3、目前,业界通常采用基于人工的合规性检测方法或基于人工智能(artificialintelligence,ai)的合规性检测方法,其中,基于人工的合规性检测方法包括班组长或制程质量控制的线外巡检或装配操作员的自检,但该方法的效率与准确性较低。而基于ai的合规性检测方法通常用于成品的缺陷检测,而无法用于装配过程中对装配操作的合规性检测。

4、因而,本领域亟需一种可提高准确性以及效率的装配操作的合规性检测方法。

技术实现思路

1、本公开的实施方式提供了可至少部分解决上述问题或本领域其他问题的装配操作的合规性检测方法、装配操作的合规性检测系统、装配操作的合规性检测装置、电子设备、可读存储介质以及计算机程序产品。

2、根据本公开的第一方面,提供了一种装配操作的合规性检测方法,该方法包括:接收端侧设备采集的装配操作的视觉信息和多传感器数据,该端侧设备部署于进行装配操作的装配工位;对视觉信息进行ai推理,得到装配操作的行为特征信息;将行为特征信息与多传感器数据进行融合,并根据融合结果判断装配操作与sop的一致性,以检测装配操作的合规性;以及响应于判断结果为不一致,向控制装配操作的产线控制模块发送锁线指令,以锁定装配操作对应的工序。

3、本公开提供的方案通过对视觉信息进行ai推理得到的装配操作的行为特征信息可反映装配操作的时序信息、动作信息,多传感器数据可反映装配操作的操作量化参数信息,利用行为特征信息与多传感器数据的融合结果,判断装配操作与sop的一致性,可从装配操作的动作、时序以及操作量化参数信息的双重角度,判断两者的一致性,提高判断结果的准确性与效率。此外,在判断结果为不一致的情况下,向控制装配操作的产线控制模块发送锁线指令,可以锁定对应工序,因而保证装配操作不会流转至下一工序,防止不符合sop的装配操作导致装配后的产品出现问题的情况发生,提高了装配质量。

4、在本公开的一些实施方式中,行为特征信息包括操作员手部骨架关键点信息、操作工具位置信息以及操作时序序列信息中的至少之一。手部骨架关键点信息能够反映操作员在执行装配动作时的姿态和手势,操作工具位置信息能够反映工具是否处于正确的作业区域,操作时序序列信息能够反映装配操作的执行顺序,为合规性判断提供了三个维度的特征信息,可提升判断结果的准确性。

5、在本公开的一些实施方式中,将行为特征信息与多传感器数据进行融合,并根据融合结果判断装配操作与标准作业程序的一致性,包括:基于sop,对操作时序序列信息进行序列解析,得到装配操作的合规性中间结果;以及将行为特征信息与多传感器数据进行融合,并根据融合结果以及合规性中间结果,判断装配操作与sop的一致性。通过序列解析得到的合规性中间结果可反映装配操作的先后顺序和逻辑关系,为一致性判断提供了另一维度的信息,因而基于融合结果与合规性中间结果进行多维度的一致性判断,可提升判断结果的准确性。

6、在本公开的一些实施方式中,该方法还包括:将判断结果和/或视觉信息发送至云侧管理模块进行存储和管理。利用云侧管理模块对判断结果和/或视觉信息进行存储管理,实现了数据的持久化保存,并可用于质量问题追溯与数据分析。

7、在本公开的一些实施方式中,响应于判断结果为不一致,该方法还包括:触发部署于装配工位的告警模块的分级声光告警并提示错误信息;其中,错误信息包括错误类型、正确装配操作提示中的至少之一。通过分级声光告警并提示错误信息的方式,可提醒操作员具体的错误信息,以便于操作员进行修正,因而提升装配操作的效率。

8、在本公开的一些实施方式中,响应于判断结果为不一致,该方法还包括:接收端侧设备采集的修正后的装配操作的视觉信息和多传感器数据;对修正后的视觉信息进行ai推理,得到修正后的装配操作的行为特征信息;将修正后的行为特征信息与修正后的多传感器数据进行融合,并根据融合结果判断修正后的装配操作与sop的一致性;以及响应于判断结果为一致,进行装配操作的下一工序。在判断结果为一致的情况下,可进行装配操作的下一工序,保证了装配产品的质量。

9、在本公开的一些实施方式中,该方法还包括:响应于判断结果为不一致,向控制装配操作的产线控制模块发送锁线指令,以锁定装配操作对应的工序,并返回执行接收端侧设备采集的修正后的装配操作的视觉信息和多传感器数据的步骤。通过在修正装配操作后,再次进行合规性检测的判断结果仍为不一致的情况下,再次发送锁线指令并返回接收修正后的装配操作的信息的步骤,形成了可循环执行的“复检不合格→保持锁定→重新修正→再次复检”的多轮修正与验证机制,可保证装配产品的质量。

10、在本公开的一些实施方式中,对视觉信息进行ai推理,得到装配操作的行为特征信息,包括:基于目标识别模型,对视觉信息进行ai推理,得到装配操作的行为特征信息。通过目标识别模型的ai推理可得到装配操作的行为特征信息,目标识别模型可具有较高的推理效率,因而可提升合规性检测的效率。

11、在本公开的一些实施方式中,对视觉信息进行ai推理,得到装配操作的行为特征信息,包括:对目标识别模型进行剪枝和/或量化以进行优化,得到优化后的目标识别模型;以及基于优化后的目标识别模型,对视觉信息进行ai推理,得到装配操作的行为特征信息。优化后的目标识别模型可适用于工业场景,在保证识别准确性的前提下降低推理延迟,提升合规性检测的效率。

12、在本公开的一些实施方式中,该方法还包括:构建用于指示装配操作的标准行为特征信息的sop的标准动作库。标准动作库中可包含装配操作各步骤对应的标准行为特征信息,为合规性检测提供基准数据,此外,可根据不同型号或类型的装配产品更新标准动作库,提高合规性检测的适用性。

13、根据本公开的第二方面,提供了一种装配操作的合规性检测系统,该系统包括:端侧设备,被配置为通过图像采集装置采集装配操作的视觉信息,通过多种传感器采集装配操作的多传感器数据;边侧设备,包括边缘计算装置,边缘计算装置被配置为对视觉信息进行ai推理以得到装配操作的行为特征信息,将行为特征信息与多传感器数据进行融合,并根据融合结果判断装配操作与sop的一致性,以及响应于判断结果为不一致,生成锁线指令并发送至产线控制设备,以锁定装配操作对应的工序。

14、在本公开的一些实施方式中,该系统还包括:云侧设备,被配置为接收并存储边侧设备发送的判断结果和/或视觉信息。

15、根据本公开的第三方面,提供了一种装配操作的合规性检测装置,该装置包括:接收单元,被配置为接收端侧设备采集的装配操作的视觉信息和多传感器数据;端侧设备部署于进行装配操作的装配工位;推理单元,被配置为对视觉信息进行ai推理,得到装配操作的行为特征信息;融合判断单元,被配置为将行为特征信息与多传感器数据进行融合,并根据融合结果判断装配操作与sop的一致性,以检测装配操作的合规性;以及发送单元,被配置为响应于判断结果为不一致,向控制装配操作的产线控制模块发送锁线指令,以锁定装配操作对应的工序。

16、根据本公开的第四方面,提供了一种电子设备,该电子设备包括处理器,该处理器可用于实现上述第一方面以及第一方面中任一种可能实现方式中的装配操作的合规性检测方法。

17、根据本公开的第五方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,计算机程序指令被处理器执行时实现上述第一方面以及第一方面中任一种可能实现方式中的装配操作的合规性检测方法。

18、根据本公开的第六方面,提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述第一方面以及第一方面中任一种可能实现方式中的装配操作的合规性检测方法的步骤。

19、应当理解,本部分所描述的内容并非旨在标识本公开的实施方式的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

20、根据下面参考附图对示例性实施方式的详细说明,本公开的其它特征及方面将变得清楚。