双轴孔装配方法、装置、电子设备和存储介质

1.本发明涉及自动化装配技术领域，尤其涉及一种双轴孔装配方法、装置、电子设备和存储介质。


背景技术：

2.随着智能制造技术的快速发展，工业机器人被越来越多的应用在工业的各种装配领域中，其中，对工业机器人自动且高精度完成最基础的双轴孔装配任务的需求越来越多。
3.现有技术中，工业机器人自动完成双轴孔装配任务的方法多采用以下两种：
4.(1)、力反馈控制算法，可设计已知模型的控制策略，具有较高的稳定性，但其对装配环境的适应性较差；
5.(2)、演示学习算法，可以对人工示教数据进行学习，对装配环境的不确定性具有较强的适应能力，但其稳定性较差。


技术实现要素：

6.本发明提供一种双轴孔装配方法、装置、电子设备和存储介质，用以解决现有技术中适应性和稳定性无法兼具的缺陷，实现双轴孔装配效率的大幅度提升，且同时具备较高稳定性和适应能力。
7.本发明提供一种双轴孔装配方法，包括：
8.获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
9.基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
10.将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
11.基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
12.根据本发明提供的双轴孔装配方法，所述收敛状态的装配学习模型是基于以下步骤训练得到的，包括：
13.将所述力传感器状态和所述状态目标值输入至初始装配学习模型的当前动作选取网络，输出当前时刻的所述网络动作量和动作比例系数；
14.基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数；
15.将所述力传感器状态和所述网络动作量输入至初始装配学习模型的当前动作评价网络，输出当前时刻所述网络动作量的动作价值函数；
16.基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数。
17.根据本发明提供的双轴孔装配方法，所述基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数，包括：
18.基于所述网络动作量，利用链式法则确定所述梯度变化量；
19.基于所述力传感器状态和状态目标值，确定所述奖励函数；
20.基于所述梯度变化量和所述奖励函数，更新所述当前动作选取网络的参数，在所述梯度变化量减小到使所述奖励函数收敛的情况下，结束所述当前动作选取网络的更新。
21.根据本发明提供的双轴孔装配方法，所述基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数，包括：
22.将所述当前动作选取网络的参数复制至所述装配学习模型的目标动作选取网络，将所述当前动作评价网络的参数复制至所述装配学习模型的目标动作评价网络，确定所述动作价值函数的价值目标值；
23.基于所述动作价值函数和所述价值目标值，确定所述当前动作评价网络的损失函数；
24.对所述损失函数求梯度下降，并更新所述当前动作评价网络的参数，在所述损失函数小于阈值的情况下，结束所述当前动作评价网络的更新。
25.根据本发明提供的双轴孔装配方法，所述基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量，包括：
26.基于高斯混合模型，确定所述力传感器状态下的演示学习动作量，其中，所述演示学习动作量用于表征力传感器状态下的动作量概率分布，所述高斯混合模型是基于示教过程中力传感器状态和动作量构建的；
27.基于力反馈控制模型，确定所述力传感器状态下的力反馈控制动作量，其中，所述力反馈控制模型是基于轴孔内部结构构建的。
28.根据本发明提供的双轴孔装配方法，所述力传感器状态包括位姿和受力信息。
29.本发明还提供一种双轴孔装配装置，包括：
30.获取模块，用于获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
31.第一确定模块，用于基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
32.输出模块，用于将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述演示学习动作量在实际控制过程中的比例系数；
33.第二确定模块，用于基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
34.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理
器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述双轴孔装配方法。
35.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述双轴孔装配方法。
36.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述双轴孔装配方法。
37.本发明提供的双轴孔装配方法、装置、电子设备和存储介质，通过将力传感器状态和状态目标值同时输入预先训练至收敛状态的装配学习模型，解决装配学习模型中奖励函数的设计难题，以状态目标值为装配目标，提高双轴孔装配效率；此外，基于装配学习模型收敛状态下的动作量和动作比例系数，结合演示学习动作量和力反馈控制动作量，确定用于装配的实际动作量，进一步增加轴孔装配的效率与安全性，同时具备较高稳定性和适应能力。
附图说明
38.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本发明提供的双轴孔装配方法的流程示意图之一；
40.图2是本发明提供的双轴孔装配方法的流程示意图之二；
41.图3是现有技术的奖励函数示意图；
42.图4是本发明提供的双轴孔装配方法的奖励函数示意图；
43.图5是本发明提供的双轴孔装配装置的结构示意图；
44.图6是本发明提供的电子设备的结构示意图。
具体实施方式
45.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.随着智能制造技术的快速发展，工业机器人被越来越多的应用在工业的各种装配领域中，其中，对工业机器人自动且高精度完成最基础的双轴孔装配任务的需求越来越多。
47.现有技术中，工业机器人自动完成双轴孔装配任务的方法多采用以下两种：
48.(1)、力反馈控制算法，可设计已知模型的控制策略，具有较高的稳定性，但其对装配环境的适应性较差；
49.(2)、演示学习算法，可以对人工示教数据进行学习，对装配环境的不确定性具有较强的适应能力，但其稳定性较差。
50.针对上述问题，本发明实施例提供一种双轴孔装配方法，图1是本发明提供的双轴孔装配方法的流程示意图之一，如图1所示，该方法包括：
51.步骤110、获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
52.步骤120、基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
53.步骤130、将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
54.步骤140、基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
55.具体地，由于现有双轴孔装配方法无法同时兼具稳定性和适应性的问题，本发明实施例中，获取力传感器状态，并确定力传感器状态的状态目标值，将力传感器状态和状态目标值同时输入预先训练至收敛状态的装配学习模型，得到当前时刻的网络动作量、动作比例系数和动作价值函数，动作价值函数用于评价当前时刻的网络动作量的优劣，且基于动作价值函数更新装配学习模型的参数，同时，结合力传感器状态确定的演示学习动作量、力反馈控制动作量、动作比例系数和当前时刻的网络动作量，确定实际动作量，并根据实际动作量进行双轴孔装配，迭代执行上述步骤，直至实际动作量沿z轴方向的平移量之和不小于目标深度的情况下停止装配，即，通过与实际环境进行交互，高效完成双轴孔装配。
56.可选地，所述力传感器状态包括位姿和受力信息。
57.具体地，对于双轴孔装配过程，力传感器状态为位姿和手里信息的有限集合，并由安装在轴上的力传感器获取数据，力传感器状态s
t
具体可以为：s
t
＝[f
x
,fy,fz,m
x
,my,mz]，其中，f
x
、fy和fz分别表示力传感器测量得到的沿x轴、y轴和z轴的受力信息，m
x
、my和mz分别表示沿x轴、y轴和z轴的力矩。
[0058]
可选地，状态目标值为力传感器状态的目标值，状态目标值表示轴孔装配过程中最优受力状态和目标深度，代表了装配学习模型的训练目标和装配目标，即，在装配学习模型训练过程中，当装配学习模型处于收敛状态下时，力传感器状态无限逼近于状态目标值；在装配过程中，当实际动作量沿z轴方向的平移量之和不小于状态目标值中的目标深度时，表明装配到位，可停止装配。状态目标值可以表示为由最优受力状态和目标深度组成的键值对。
[0059]
可选地，为了增加轴孔装配的效率和安全性，基于动作比例系数、网络动作量、演示学习动作量和力反馈控制动作量，确定实际动作量，实际动作量如式(1)所示，式(1)为：
[0060][0061]
其中，β
t
表示力反馈控制动作量在实际控制过程中的比例系数，(1-β
t
)表示演示学习动作量在实际控制过程中的比例系数，表示当前时刻下的力反馈控制动作量，表示当前时刻下的演示学习动作量，表示当前时刻下的网络动作量，且内部元素的值的限定范围均为：[-1，1]，表示哈达玛积，使得矩阵对应位置元素相乘。
[0062]
可选地，网络动作量可以为位置与姿态的控制量结合，网络动作量具体可以为：a
t
＝[δ
x
,δy,δz,α
x
,αy,αz]，其中，δ
x
、δy和δz分别表示沿x轴、y轴、z轴的平移量系数，α
x
、αy和αz分别表示绕x轴、y轴、z轴的旋转量系数。
[0063]
可选地，装配学习模型包括当前动作选取网络、当前动作评价网络、目标动作选取网络和目标动作评价网络。当前动作选取网络用于选取当前状态下的网络动作量，当前动作评价网络用于确定动作价值函数，对选取的网络动作量的价值进行评价，目标动作选取网络用于选取下一状态的新的网络动作量，目标动作评价网络用于确定动作价值函数的目标值，基于动作价值函数和目标值构建损失函数，对当前动作评价网络的参数进行更新。上述装配学习模型可以为actor-critic结构。
[0064]
可选地，在执行步骤130之前，需对构建的初始装配学习模型进行训练至收敛状态，图2是本发明提供的双轴孔装配方法的流程示意图之二，如图2所示，所述收敛状态的装配学习模型是基于以下步骤训练得到的，包括：
[0065]
将所述力传感器状态和所述状态目标值输入至初始装配学习模型的当前动作选取网络，输出当前时刻的所述网络动作量和动作比例系数；
[0066]
基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数；
[0067]
将所述力传感器状态和所述网络动作量输入至初始装配学习模型的当前动作评价网络，输出当前时刻所述网络动作量的动作价值函数；
[0068]
基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数。
[0069]
具体地，确定当前动作选取网络的输入和输出，构建梯度变化量和奖励函数，对当前动作选取网络进行参数更新；确定当前动作评价网络的输入和输出，构建损失函数，对当前动作评价网络进行参数更新，在少量样本情况下，通过与装配环境的交互，完成对初始装配学习模型的训练过程。
[0070]
在初始装配学习模型训练之前，网络动作量的初始值为：在初始时刻，通过式(1)计算实际动作量时，当β0＝0时，表示以演示学习动作量作为初始策略进行训练；当β0＝1时，表示以力反馈控制动作量作为初始策略进行训练。
[0071]
可选地，所述基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数，包括：
[0072]
基于所述网络动作量，利用链式法则确定所述梯度变化量；
[0073]
基于所述力传感器状态和状态目标值，确定所述奖励函数；
[0074]
基于所述梯度变化量和所述奖励函数，更新所述当前动作选取网络的参数，在所述梯度变化量减小到使所述奖励函数收敛的情况下，结束所述当前动作选取网络的更新。
[0075]
具体地，当前动作选取网络输出当前时刻的网络动作量，即输出动作策略π(s
t
,a
t
,g|θ
π
)，其中，θ
π
表示当前动作选取网络的参数，s
t
表示力传感器状态，a
t
表示当前时刻t下的网络动作量，g表示状态目标值。利用链式法则确定梯度变化量，利用梯度下降法，使得梯度变化量逐渐减小，在计算得到的梯度变化量使得奖励函数收敛时，当前动作选取网络训练完成，即停止当前动作选取网络参数的更新。此外，基于力传感器状态和状态目标值构建奖励函数，并采用后经验池回放算法，每个回合先保存力传感器状态、网络动作量和奖励函数值，后进行采样学习，以每个回合达到的最终状态作为状态目标值进行保存，由此提高模型
学习效率和轴孔装配效率。
[0076]
可选地，利用链式法则依次对a
t
和θ
π
求导后，得到梯度变化量，梯度变化量如式(2)所示，式(2)为：
[0077][0078]
其中，q
π
(s
t
,π(s
t
,a
t
)∣θq)表示当前动作策略π(s
t
,a
t
∣θ
π
)下的动作价值函数。
[0079]
可选地，奖励函数可以为力传感器状态和状态目标值的欧式距离，奖励函数如式(3)所示，式(3)为：
[0080]rt
(s
t
,g)＝-||s
t-g||2[0081]
可选地，如图2所示，所述基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数，包括：
[0082]
将所述当前动作选取网络的参数复制至所述装配学习模型的目标动作选取网络，将所述当前动作评价网络的参数复制至所述装配学习模型的目标动作评价网络，确定所述动作价值函数的价值目标值；
[0083]
基于所述动作价值函数和所述价值目标值，确定所述当前动作评价网络的损失函数；
[0084]
对所述损失函数求梯度下降，并更新所述当前动作评价网络的参数，在所述损失函数小于阈值的情况下，结束所述当前动作评价网络的更新。
[0085]
具体地，力传感器状态和网络动作量输入当前动作评价网络，输出动作价值函数，同时，网络动作量作用于装配对象，与环境进行交互，获取力传感器新状态和新状态目标值，将当前动作选取网络的参数复制至动作选取目标，同时将当前动作评价网络的参数复制至动作评价目标，将力传感器新状态和新状态目标值输入目标动作选取网络，输出新网络动作量和新动作比例系数后，将力传感器新状态和新网络动作量输入目标动作评价网络，确定价值目标值，基于动作价值函数和价值目标值，确定损失函数，之后利用梯度下降法，求取最小损失函数值，并不断更新当前动作评价网络的参数，在取得最小损失函数值时，使得当前动作评价网络收敛，即停止对当前动作评价网络的更新。
[0086]
可选地，动作价值函数具体如式(4)所示，式(4)为：
[0087]qπ
(s,a)＝e{r
t
γr
t 1
γ2r
t 2

…
|s
t
＝s,a
t
＝a,π}
[0088]
其中，r
t
表示t时刻的奖励，π表示动作策略，γ表示折损系数，用于表示后续力传感器状态的奖励对当前力传感器状态的影响，且0≤γ≤1。
[0089]
可选地，损失函数具体如式(5)所示，式(5)为：
[0090]
l(θq)＝e
π
[(q
π
(s
t
,a
t
,g∣θq)-y
t
)2]
[0091]
其中，q
π
(s
t
,a
t
,g∣θq)表示当前时刻下的动作价值函数，θq表示当前动作评价网络的参数，y
t
表示价值目标函数，且y
t
具体为：
[0092]yt
＝r
t
(s
t
,g) γq
π
(s
t 1
,π(s
t 1
)∣θq)，r
t
(s
t
,g)表示奖励函数。
[0093]
在完成当前动作选取网络和当前动作评价网络同时收敛后，即装配学习模型处于收敛状态，训练完成，可采用训练至收敛状态的装配学习模型进行装配，其中，装配过程即通过与环境不断交互来进行装配，使初始状态逐渐向状态目标值逼近，装配过程可以视为马尔可夫决策过程(markov decision process,mdp)，表示为一个五元组[s，a，p，r，γ]，其
中，s为力传感器状态的有限集合，集合中某个状态表示为s∈s；a为网络动作量的有限集合，集合中某个动作表示为a
t
∈a，a为力传感器状态s下可执行的动作量集合；p为状态转移方程，p(s
t 1
∣s
t
,a
t
)表示在力传感器状态s
t
执行动作量a
t
后将以p(s
t 1
∣s
t
,a
t
)的概率跳转到力传感器状态s
t 1
；r为奖励函数；γ为折损系数，且0≤γ≤1。
[0094]
可选地，图3是现有技术的奖励函数示意图，图4是本发明提供的双轴孔装配方法的奖励函数示意图，如图3至图4所示，本发明实施例中采用经典深度确定性策略梯度算法(deep deterministic policy gradient，ddpg)作为对照，如图3所示，ddpg算法在训练回合数量为200个左右时达到收敛，本发明实施例提供的双轴孔装配方法在训练回合数量为100个左右时达到收敛，大幅度提高学习效率。
[0095]
可选地，所述基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量，包括：
[0096]
基于高斯混合模型，确定所述力传感器状态下的演示学习动作量，其中，所述演示学习动作量用于表征力传感器状态下的动作量概率分布，所述高斯混合模型是基于示教过程中力传感器状态和动作量构建的；
[0097]
基于力反馈控制模型，确定所述力传感器状态下的力反馈控制动作量，其中，所述力反馈控制模型是基于轴孔内部结构构建的。
[0098]
具体地，确定演示学习动作量和力反馈控制动作量，并结合网络动作量和动作比例系数，进一步确定实际动作量，以完成装配，且使装配学习模型同时具备稳定性和对装配环境不确定性的适应能力。
[0099]
可选地，利用示教过程中的力传感器状态和动作量，建立高斯混合模型(gaussian mixed model,gmm)，基于高斯混合模型进行高斯混合回归(gaussian mixed regression，gmr)，计算演示学习动作量，用于表示多维受力信息输入下的动作量概率分布，演示学习动作量如式(6)所示，式(6)为：
[0100][0101]
其中，为演示学习算法所得概率模型。
[0102]
可选地，力反馈控制算法为根据轴孔模型内部结构设计的控制算法，通过力反馈控制算法计算力反馈控制动作量，力反馈控制动作量如式(7)所示，式(7)为：
[0103][0104]
其中，e
t
＝(s
t-s
ref
)，k
p
表示比例控制系数矩阵，且kd表示微分控制系数矩阵，且矩阵，且表示六维实数，s
t
表示当前力传感器状态[f
tx
,f
ty
,f
tz
,m
tx
,m
ty
,m
tz
]，s
ref
表示期望力传感器状态[f
rx
,f
ry
,f
rz
,m
rx
,m
ry
,m
rz
]。
[0105]
本发明提供的双轴孔装配方法，通过将力传感器状态和状态目标值同时输入预先训练至收敛状态的装配学习模型，解决装配学习模型中奖励函数的设计难题，以状态目标值为装配目标，提高双轴孔装配效率；此外，基于装配学习模型收敛状态下的动作量和动作比例系数，结合演示学习动作量和力反馈控制动作量，确定用于装配的实际动作量，进一步增加轴孔装配的效率与安全性，同时具备较高稳定性和适应能力。
[0106]
下面对本发明提供的双轴孔装配装置进行描述，下文描述的双轴孔装配装置与上文描述的双轴孔装配方法可相互对应参照。
[0107]
本发明实施例还提供一种双轴孔装配装置，图5是本发明提供的双轴孔装配装置的结构示意图，如图5所示，该双轴孔装配装置200，包括：获取模块201、第一确定模块202、输出模块203和第二确定模块204，其中：
[0108]
获取模块201，用于获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
[0109]
第一确定模块202，用于基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
[0110]
输出模块203，用于将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述演示学习动作量在实际控制过程中的比例系数；
[0111]
第二确定模块204，用于基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
[0112]
本发明提供的双轴孔装配装置，通过将力传感器状态和状态目标值同时输入预先训练至收敛状态的装配学习模型，解决装配学习模型中奖励函数的设计难题，以状态目标值为装配目标，提高双轴孔装配效率；此外，基于装配学习模型收敛状态下的动作量和动作比例系数，结合演示学习动作量和力反馈控制动作量，确定用于装配的实际动作量，进一步增加轴孔装配的效率与安全性，同时具备较高稳定性和适应能力。
[0113]
可选地，获取模块201，具体用于：
[0114]
所述力传感器状态包括位姿和受力信息。
[0115]
可选地，第一确定模块202，具体用于：
[0116]
所述收敛状态的装配学习模型是基于以下步骤训练得到的，包括：
[0117]
基于高斯混合模型，确定所述力传感器状态下的演示学习动作量，其中，所述演示学习动作量用于表征力传感器状态下的动作量概率分布，所述高斯混合模型是基于示教过程中力传感器状态和动作量构建的；
[0118]
基于力反馈控制模型，确定所述力传感器状态下的力反馈控制动作量，其中，所述力反馈控制模型是基于轴孔内部结构构建的。
[0119]
可选地，输出模块203，具体用于：
[0120]
所述将所述力传感器状态和所述状态目标值输入至装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，包括：
[0121]
将所述力传感器状态和所述状态目标值输入至所述装配学习模型的当前动作选取网络，输出当前时刻的所述网络动作量和动作比例系数；
[0122]
基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数；
[0123]
将所述力传感器状态和所述网络动作量输入至所述装配学习模型的当前动作评
价网络，输出当前时刻所述网络动作量的动作价值函数；
[0124]
基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数。
[0125]
可选地，输出模块203，具体用于：
[0126]
所述基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数，包括：
[0127]
基于所述网络动作量，利用链式法则确定所述梯度变化量；
[0128]
基于所述力传感器状态和状态目标值，确定所述奖励函数；
[0129]
基于所述梯度变化量和所述奖励函数，更新所述当前动作选取网络的参数，在所述梯度变化量减小到使所述奖励函数收敛的情况下，结束所述当前动作选取网络的更新。
[0130]
可选地，输出模块203，具体用于：
[0131]
所述基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数，包括：
[0132]
将所述当前动作选取网络的参数复制至所述装配学习模型的目标动作选取网络，将所述当前动作评价网络的参数复制至所述装配学习模型的目标动作评价网络，确定所述动作价值函数的价值目标值；
[0133]
基于所述动作价值函数和所述价值目标值，确定所述当前动作评价网络的损失函数；
[0134]
对所述损失函数求梯度下降，并更新所述当前动作评价网络的参数，在所述损失函数小于阈值的情况下，结束所述当前动作评价网络的更新。
[0135]
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备300可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行双轴孔装配方法，该方法包括：
[0136]
获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
[0137]
基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
[0138]
将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
[0139]
基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
[0140]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以
使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0141]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的双轴孔装配方法，该方法包括：
[0142]
获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
[0143]
基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
[0144]
将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
[0145]
基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
[0146]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的双轴孔装配方法，该方法包括：
[0147]
获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
[0148]
基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
[0149]
将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
[0150]
基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
[0151]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0152]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指
令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0153]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。