基于强化学习的电批锁附螺丝方法及系统

1.本发明实施例涉及但不限于强化学习技术领域，特别是涉及一种基于强化学习的电批锁附螺丝方法及系统。


背景技术：

2.在种类繁多的机械产品中,零件之间应用最广泛的联接方式是螺纹连接,尤其在电视机、手机、相机等电子产品中大量应用公称直径小于5mm的螺丝,常常遇到滑牙滑丝等问题,造成零件联接孔不可逆的破坏,因此在螺丝拧紧过程中应考虑防止滑牙滑丝等锁付质量控制的问题。在螺丝锁付过程中,实际上是要保证连接件有足够的预紧力,然而直接控制预紧力并不现实。自动锁付机构一般采用一个固定拧紧力矩来间接控制预紧力,此固定力矩即为监控力矩。为了保证螺丝拧紧,企业在实际操作中往往选择比理论值稍大一点的监控力矩。
3.目前技术存在的问题是当电动螺丝刀处于高转速状态时，其具有相当高的动能，当螺丝紧固后，其在极短的时间停止，会产生瞬时大于设定值的扭矩，若拧紧扭矩过大，则会造成螺纹脱扣或螺杆断裂，影响产品质量和维修性。
4.现如今市场上的伺服电动螺丝刀仅带有固定扭矩与转速的设置选项，未针对上述问题进行优化，若在生产前不对锁付的最佳扭矩与速度进行大量测试，则会导致大量不良品的产生。


技术实现要素：

5.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
6.本发明实施例提供了一种基于强化学习的电批锁附螺丝方法及系统，能够通过自动训练来找到锁附螺丝的最佳扭矩控制方案，从而提高产品质量。
7.第一方面，本发明实施例提供了一种基于强化学习的电批锁附螺丝方法，包括：
8.随机生成电批的扭矩控制方案集，以使所述电批根据所述扭矩控制方案集内的扭矩控制方案锁附螺丝；
9.通过强化学习神经网络对所述扭矩控制方案进行打分，得到分数值；
10.通过所述分数值改进所述扭矩控制方案；
11.将所述扭矩控制方案与标准控制模型进行比对，直至形成与所述标准控制模型最为接近的所述扭矩控制方案。
12.在一些实施例，所述扭矩控制方案集为包括不同扭矩范围的多个扭矩控制方案的集合。
13.在一些实施例，所述标准控制模型为电批锁附螺丝时最佳扭矩与速度关系的模型。
14.在一些实施例，在所述随机生成电批的扭矩控制方案集，以使所述电批根据所述
扭矩控制方案集内的扭矩控制方案锁附螺丝之前，还包括：
15.获取电批的标准扭矩变化曲线，所述标准扭矩变化曲线用于表征电批锁附合格螺丝过程中扭矩与速度的对应关系；
16.根据所述标准扭矩变化曲线导出扭矩变化数据；
17.根据所述扭矩变化数据输出所述标准控制模型。
18.在一些实施例，所述随机生成电批的扭矩控制方案集，包括：
19.在预设范围内随机生成电批的扭矩控制方案集。
20.在一些实施例，所述强化学习神经网络采用深度确定性策略梯度算法ddpg。
21.在一些实施例，所述通过所述分数值改进所述扭矩控制方案，包括：
22.将所述分数值通过深度确定性策略梯度算法ddpg加权反馈给下一次的所述扭矩控制方案，以不断改进所述扭矩控制方案。
23.第二方面，本发明实施例提供了一种基于强化学习的电批锁附螺丝系统，包括：
24.生成模块，用于随机生成电批的扭矩控制方案集，以使所述电批根据所述扭矩控制方案集内的扭矩控制方案锁附螺丝；
25.打分模块，用于通过强化学习神经网络对所述扭矩控制方案进行打分，得到分数值；
26.改进模块，用于通过所述分数值改进所述扭矩控制方案；
27.比对模块，用于将所述扭矩控制方案与标准控制模型进行比对，直至形成与所述标准控制模型最为接近的所述扭矩控制方案。
28.第三方面，本发明实施例提供了一种基于强化学习的电批锁附螺丝系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的基于强化学习的电批锁附螺丝方法。
29.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行如上第一方面所述的基于强化学习的电批锁附螺丝方法。
30.本发明实施例包括：随机生成电批的扭矩控制方案集，以使电批根据扭矩控制方案集内的扭矩控制方案锁附螺丝；通过强化学习神经网络对扭矩控制方案进行打分，得到分数值；通过分数值改进扭矩控制方案；将扭矩控制方案与标准控制模型进行比对，直至形成与标准控制模型最为接近的扭矩控制方案。基于此，本发明能够有效减少电批锁附螺丝时发生的浮锁、滑牙、爆钉等情况，提高每颗螺丝的锁附精度，提高产品合格率；可以减少工作人员对电批的调试时间，该电批能够自动自主训练出锁附每种螺丝时的最佳控制方案；可以节省后续对螺丝锁附的质量检查工作，减少了生产工序；减少了锁附螺丝对操作工人的经验需求，在没有相关经验的情况下工人也能较快、较好地完成螺丝锁附工作；为企业提高生产线的智能化，有助于产业链升级，从总体上降低企业成本。
31.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
32.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
33.图1是本发明一个实施例提供的一种基于强化学习的电批锁附螺丝方法的主流程图；
34.图2是本发明一个实施例提供的一种基于强化学习的电批锁附螺丝方法的子流程图；
35.图3是本发明一个实施例提供的基于强化学习的电批锁附螺丝系统结构示意图；
36.图4是本发明另一个实施例提供的基于强化学习的电批锁附螺丝系统结构示意图。
具体实施方式
37.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
38.应了解，在本发明实施例的描述中，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
39.在种类繁多的机械产品中,零件之间应用最广泛的联接方式是螺纹连接,尤其在电视机、手机、相机等电子产品中大量应用公称直径小于5mm的螺丝,常常遇到滑牙滑丝等问题,造成零件联接孔不可逆的破坏,因此在螺丝拧紧过程中应考虑防止滑牙滑丝等锁付质量控制的问题。在螺丝锁付过程中,实际上是要保证连接件有足够的预紧力,然而直接控制预紧力并不现实。自动锁付机构一般采用一个固定拧紧力矩来间接控制预紧力,此固定力矩即为监控力矩。为了保证螺丝拧紧,企业在实际操作中往往选择比理论值稍大一点的监控力矩。
40.目前技术存在的问题是当电动螺丝刀处于高转速状态时，其具有相当高的动能，当螺丝紧固后，其在极短的时间停止，会产生瞬时大于设定值的扭矩，若拧紧扭矩过大，则会造成螺纹脱扣或螺杆断裂，影响产品质量和维修性。
41.现如今市场上的伺服电动螺丝刀仅带有固定扭矩与转速的设置选项，未针对上述问题进行优化，若在生产前不对锁付的最佳扭矩与速度进行大量测试，则会导致大量不良品的产生。
42.针对现有技术中存在的不足，本发明实施例提供了一种基于强化学习的电批锁附螺丝方法及系统，可以通过自动训练来找到锁附螺丝的最佳扭矩控制方案，并且支持多种型号螺丝。与现有技术相比，本发明的有益效果是有效减少电批锁附螺丝时发生的浮锁、滑牙、爆钉等情况，提高每颗螺丝的锁附精度，提高产品合格率；可以减少工作人员对电批的调试时间，该电批能够自动自主训练出锁附每种螺丝时的最佳控制方案；可以节省后续对螺丝锁附的质量检查工作，减少了生产工序；减少了锁附螺丝对操作工人的经验需求，在没有相关经验的情况下工人也能较快、较好地完成螺丝锁附工作；为企业提高生产线的智能
化，有助于产业链升级，从总体上降低企业成本。
43.如图1所示，图1是本发明一个实施例提供的一种基于强化学习的电批锁附螺丝方法的流程图。基于强化学习的电批锁附螺丝方法包括但不限于如下步骤：
44.步骤101，随机生成电批的扭矩控制方案集，以使电批根据扭矩控制方案集内的扭矩控制方案锁附螺丝；
45.步骤102，通过强化学习神经网络对扭矩控制方案进行打分，得到分数值；
46.步骤103，通过分数值改进扭矩控制方案；
47.步骤104，将扭矩控制方案与标准控制模型进行比对，直至形成与标准控制模型最为接近的扭矩控制方案。
48.可以理解的是，扭矩控制方案集为包括不同扭矩范围的多个扭矩控制方案的集合。
49.可以理解的是，标准控制模型为电批锁附螺丝时最佳扭矩与速度关系的模型。
50.可以理解的是，强化学习神经网络采用深度确定性策略梯度算法ddpg。
51.可以理解的是，本发明可以通过首先用带有扭矩反馈的电批锁附螺丝，由人工检查是否达到所需标准，达到标准后，将该过程中电批扭矩变化曲线导出作为后面训练模型的参照标准；然后由机器在预设范围内生成一系列随机的扭矩控制方案，并由电批实际去执行这些方案；接着由反馈神经网络结合标准扭矩曲线对上一步执行的控制方案打分，并将分数通过算法加权反馈给下一次的扭矩控制方案；重复上述步骤，直至形成与标准扭矩曲线最为近似的控制方案，该方案即可用于后续的实际生产。
52.可以理解的是，强化学习经过一定的训练，可以得到不同螺丝的最佳扭矩范围，能适应不同型号螺丝对力矩的要求，避免了每次更换加工产品时需要人工调节扭矩的操作；同时还能够得到锁付螺丝时最佳扭矩与速度关系的模型，在螺丝即将拧紧时降低电批的速度，防止由于惯性导致电批在螺丝拧紧后还有少量的旋转造成扭矩过大而影响产品质量。
53.可以理解的是，本发明通过随机生成电批的扭矩控制方案集，以使电批根据扭矩控制方案集内的扭矩控制方案锁附螺丝；通过强化学习神经网络对扭矩控制方案进行打分，得到分数值；通过分数值改进扭矩控制方案；将扭矩控制方案与标准控制模型进行比对，直至形成与标准控制模型最为接近的扭矩控制方案。基于此，本发明能够有效减少电批锁附螺丝时发生的浮锁、滑牙、爆钉等情况，提高每颗螺丝的锁附精度，提高产品合格率；可以减少工作人员对电批的调试时间，该电批能够自动自主训练出锁附每种螺丝时的最佳控制方案；可以节省后续对螺丝锁附的质量检查工作，减少了生产工序；减少了锁附螺丝对操作工人的经验需求，在没有相关经验的情况下工人也能较快、较好地完成螺丝锁附工作；为企业提高生产线的智能化，有助于产业链升级，从总体上降低企业成本。
54.如图2所示，在步骤101之前可以包括但不限于如下子步骤：
55.步骤201，获取电批的标准扭矩变化曲线，标准扭矩变化曲线用于表征电批锁附合格螺丝过程中扭矩与速度的对应关系；
56.步骤202，根据标准扭矩变化曲线导出扭矩变化数据；
57.步骤203，根据扭矩变化数据输出标准控制模型。
58.可以理解的是，本发明可以使用带有力矩反馈的电批锁附螺丝，由人工检测是否达到所需标准状态。将电批的扭矩变化曲线导出并作为后续训练数据模型的参考标准。具
体地，通过获取电批的标准扭矩变化曲线，标准扭矩变化曲线用于表征电批锁附合格螺丝过程中扭矩与速度的对应关系，根据标准扭矩变化曲线导出扭矩变化数据，根据扭矩变化数据输出标准控制模型。
59.基于此，本发明将强化学习用于电批螺丝锁附时需要配合带有扭矩反馈的电批使用；要由人工先锁附一批合格的螺丝，将过程中的扭矩变化数据导出作为训练强化学习模型的标准；由机器在一定范围内自动生成训练方案集，也就是大量训练方案，然后由机器自主去将执行结果与标准模型进行对比、评分，最终得出最佳的控制方案。
60.以下结合具体实施例进一步介绍本发明提供的基于强化学习的电批锁附螺丝方法。
61.步骤1：使用带有力矩反馈的电批锁附螺丝，由人工检测是否达到所需标准状态。
62.步骤2：将上述步骤中电批的扭矩变化曲线导出并作为后续训练数据模型的参考标准。
63.步骤3：由机器自动完成强化学习模型训练，该过程可分为以下步骤：
64.步骤3-1：先在一定范围内生成随机的力矩控制方案集并实际去锁附螺丝。
65.步骤3-2：由强化学习神经网络结合标准力矩变化曲线对上述控制方案进行打分。
66.步骤3-3：将上述得分由反馈神经网络传递给控制系统，并改进下一次的扭矩控制方案。
67.步骤3-4：重复步骤3中的前三个步骤，直至训练出的方案生成的扭矩曲线能够最佳符合标准扭矩曲线。
68.如图3所示，本发明实施例还提供了一种基于强化学习的电批锁附螺丝系统，包括：
69.生成模块，用于随机生成电批的扭矩控制方案集，以使电批根据扭矩控制方案集内的扭矩控制方案锁附螺丝；
70.打分模块，用于通过强化学习神经网络对扭矩控制方案进行打分，得到分数值；
71.改进模块，用于通过分数值改进扭矩控制方案；
72.比对模块，用于将扭矩控制方案与标准控制模型进行比对，直至形成与标准控制模型最为接近的扭矩控制方案。
73.可以理解的是，生成模块随机生成电批的扭矩控制方案集，以使电批根据扭矩控制方案集内的扭矩控制方案锁附螺丝，打分模块通过强化学习神经网络对扭矩控制方案进行打分，得到分数值，改进模块通过分数值改进扭矩控制方案，比对模块将扭矩控制方案与标准控制模型进行比对，直至形成与标准控制模型最为接近的扭矩控制方案。基于此，本系统能够有效减少电批锁附螺丝时发生的浮锁、滑牙、爆钉等情况，提高每颗螺丝的锁附精度，提高产品合格率；可以减少工作人员对电批的调试时间，该电批能够自动自主训练出锁附每种螺丝时的最佳控制方案；可以节省后续对螺丝锁附的质量检查工作，减少了生产工序；减少了锁附螺丝对操作工人的经验需求，在没有相关经验的情况下工人也能较快、较好地完成螺丝锁附工作；为企业提高生产线的智能化，有助于产业链升级，从总体上降低企业成本。
74.如图4所示，本发明实施例还提供了一种基于强化学习的电批锁附螺丝系统。
75.在一实施方式中，该基于强化学习的电批锁附螺丝系统可以包括：一个或多个处
理器和存储器，图4中以一个处理器及存储器为例。处理器和存储器可以通过总线或者其他方式连接，图4中以通过总线连接为例。基于强化学习的电批锁附螺丝系统外部与至少一个摄像机连接，连接方式可以是无线或有线，基于强化学习的电批锁附螺丝系统可以控制摄像机运作。
76.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的基于强化学习的电批锁附螺丝方法。处理器通过运行存储在存储器中的非暂态软件程序以及程序，从而实现上述本发明实施例中的基于强化学习的电批锁附螺丝方法。
77.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的基于强化学习的电批锁附螺丝方法所需的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该基于强化学习的电批锁附螺丝系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
78.实现上述本发明实施例中的基于强化学习的电批锁附螺丝方法所需的非暂态软件程序以及程序存储在存储器中，当被一个或者多个处理器执行时，执行上述本发明实施例中的基于强化学习的电批锁附螺丝方法，例如，执行以上描述的图1中的方法步骤101至步骤107，图2中的方法步骤201至步骤203，通过随机生成电批的扭矩控制方案集，以使电批根据扭矩控制方案集内的扭矩控制方案锁附螺丝；通过强化学习神经网络对扭矩控制方案进行打分，得到分数值；通过分数值改进扭矩控制方案；将扭矩控制方案与标准控制模型进行比对，直至形成与标准控制模型最为接近的扭矩控制方案。基于此，本发明能够有效减少电批锁附螺丝时发生的浮锁、滑牙、爆钉等情况，提高每颗螺丝的锁附精度，提高产品合格率；可以减少工作人员对电批的调试时间，该电批能够自动自主训练出锁附每种螺丝时的最佳控制方案；可以节省后续对螺丝锁附的质量检查工作，减少了生产工序；减少了锁附螺丝对操作工人的经验需求，在没有相关经验的情况下工人也能较快、较好地完成螺丝锁附工作；为企业提高生产线的智能化，有助于产业链升级，从总体上降低企业成本。
79.此外，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行程序，该计算机可执行程序被一个或多个控制处理器执行，例如，被图4中的一个处理器执行，可使得上述一个或多个处理器执行上述本发明实施例中的基于强化学习的电批锁附螺丝方法，例如，执行以上描述的图1中的方法步骤101至步骤107，图2中的方法步骤201至步骤203，通过随机生成电批的扭矩控制方案集，以使电批根据扭矩控制方案集内的扭矩控制方案锁附螺丝；通过强化学习神经网络对扭矩控制方案进行打分，得到分数值；通过分数值改进扭矩控制方案；将扭矩控制方案与标准控制模型进行比对，直至形成与标准控制模型最为接近的扭矩控制方案。基于此，本发明能够有效减少电批锁附螺丝时发生的浮锁、滑牙、爆钉等情况，提高每颗螺丝的锁附精度，提高产品合格率；可以减少工作人员对电批的调试时间，该电批能够自动自主训练出锁附每种螺丝时的最佳控制方案；可以节省后续对螺丝锁附的质量检查工作，减少了生产工序；减少了锁附螺丝对操作工人的经验需求，在没有相关经验的情况下工人也能较快、较好地完成螺丝锁附工作；为企业
提高生产线的智能化，有助于产业链升级，从总体上降低企业成本。
80.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读程序、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
81.以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。