鞋面涂胶方法、装置、系统以及计算机可读存储介质与流程

1.本技术涉及制鞋技术领域，特别涉及一种鞋面涂胶方法、装置、系统以及计算机可读存储介质。


背景技术：

2.在制鞋行业中，鞋面涂胶自动化越来越受到关注。但是由于鞋面涂胶表面复杂，高精度且稳定的自动涂胶存在很大挑战。另外，切换鞋型也会消耗很多人力和物力。
3.当前鞋面自动涂胶方案一般使用示教点位，或者利用3d视觉生成鞋面模型轨迹点然后转换到机器人坐标系下并保持固定。这种方式在鞋型更换时都需要重新进行点位的调整或者转换，操作过程都需要有经验的操作人员。另外，这些方案对鞋楦以及固定鞋楦的传动装置等有较高精度和可靠性要求，如果鞋楦位置出现偏移或倾斜，这种装置误差将直接影响涂胶精度。


技术实现要素：

4.本技术主要解决的技术问题是提供一种鞋面涂胶方法、装置、系统以及计算机可读存储介质，能够解决鞋面涂胶过程中鞋型更换困难、对对鞋楦以及传动装置等精度的依赖度高的问题。
5.为解决上述技术问题，本技术第一方面采用的一个技术方案是：提供一种鞋面涂胶方法，该方法包括：
6.获取待涂胶鞋面对应的模板点云，以及利用3d相机获取待涂胶鞋面的实际点云；其中，模板点云包括涂胶点；将模板点云和实际点云进行配准，以确定模板点云基于3d相机的相机坐标系的第一位置信息；根据第一位置信息，确定模板点云基于机械臂的基坐标系的第二位置信息；根据模板点云的涂胶点和第二位置信息，对待涂胶鞋面进行涂胶操作。
7.可选地，在上述方法中，获取待涂胶鞋面对应的模板点云，包括：
8.获取待涂胶鞋面的类型参数；根据类型参数获取对应的模板点云。
9.可选地，在上述方法中，将模板点云和实际点云进行配准，以确定模板点云基于3d相机的相机坐标系的第一位置信息，包括：
10.基于公式(1)，计算得到使得e(r,t)最小的r和t，以确定模板点云基于3d相机的相机坐标系的第一位置信息；
[0011][0012]
其中，模板点云为x＝{x1,x2,
…
,xn}，实际点云为y＝{y1,y2,
…
,ym}，xi和yi表示点云坐标，n和m表示点云的数量，h为第一位置信息，r表示姿态矩阵，t表示平移位置向量。
[0013]
可选地，在上述方法中，根据第一位置信息，确定模板点云基于机械臂的基坐标系的第二位置信息，包括：
[0014]
基于公式(2)，根据手眼标定关系，确定模板点云基于机械臂的基坐标系的第二位置信息；
[0015]ht
＝h0·h…
公式(2)；
[0016]
其中，h
t
为第二位置信息，h0为相机坐标系的原点在机械臂的基坐标系下的位置，h为第一位置信息。
[0017]
可选地，在上述方法中，根据模板点云的涂胶点和第二位置信息，对待涂胶鞋面进行涂胶操作，包括：
[0018]
根据模板点云的涂胶点和第二位置信息，确定机械臂的基坐标系下的涂胶点坐标；
[0019]
根据涂胶点坐标，确定涂胶轨迹；
[0020]
根据涂胶轨迹和涂胶工艺，对待涂胶鞋面进行涂胶操作。
[0021]
可选地，在上述方法中，根据模板点云的涂胶点和第二位置信息，确定机械臂的基坐标系下的涂胶点坐标，包括：
[0022]
基于公式(3)，通过坐标转换，确定机械臂的基坐标系下的涂胶点坐标；
[0023]hj
＝h
t
·hi
…
公式(3)；
[0024]
其中，hj为涂胶点坐标，h
t
为第二位置信息，hi为模板点云的涂胶点。
[0025]
可选地，在上述方法中，根据涂胶轨迹和涂胶工艺，对待涂胶鞋面进行涂胶操作，包括：
[0026]
根据涂胶轨迹和涂胶工艺进行运动规划，以得到规划结果；
[0027]
将规划结果转换到机械臂的末端坐标系中，以得到机械臂末端的运动轨迹；
[0028]
根据机械臂末端的运动轨迹，对待涂胶鞋面进行涂胶操作。
[0029]
为解决上述技术问题，本技术第二方面采用的一个技术方案是：提供一种鞋面涂胶装置，该鞋面涂胶装置包括处理器和存储器。
[0030]
具体地，存储器用于存储程序指令，处理器用于执行该程序指令以实现上述鞋面涂胶方法。
[0031]
为解决上述技术问题，本技术第三方面采用的一个技术方案是：提供一种鞋面涂胶系统，该鞋面涂胶系统包括：
[0032]
鞋面注册装置，用于鞋面建模和涂胶轨迹预提取，将鞋面的类型参数和模板点云传输给鞋面涂胶装置；其中，模板点云包括涂胶点；
[0033]
鞋面涂胶装置，该鞋面涂胶装置上述技术方案中的鞋面涂胶装置。
[0034]
为解决上述技术问题，本技术第四方面采用的一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质存储有程序指令，该程序指令能够被执行以实现上述鞋面涂胶方法。
[0035]
区别于现有技术，本技术提供了一种鞋面涂胶方法、装置、系统以及计算机可读存储介质，该方法包括：获取待涂胶鞋面对应的模板点云，以及利用3d相机获取待涂胶鞋面的实际点云；其中，模板点云包括涂胶点；将模板点云和实际点云进行配准，以确定模板点云基于3d相机的相机坐标系的第一位置信息；根据第一位置信息，确定模板点云基于机械臂的基坐标系的第二位置信息；根据模板点云的涂胶点和第二位置信息，对待涂胶鞋面进行涂胶操作。通过上述方法，获取预先提取的准确的模板点云和待涂胶鞋面的实际点云后进
行配准，通过坐标转换确定模板点云基于机械臂的坐标，进而利用模板点云中的涂胶点确定涂胶轨迹并对待涂胶鞋面进行涂胶操作，能够减少更换鞋型的麻烦，简化人工操作步骤，提高鞋面涂胶的精度和效率。
附图说明
[0036]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0037]
图1是本技术提供的鞋面涂胶方法一实施例的流程示意图；
[0038]
图2是图1中s11的流程示意图；
[0039]
图3是图1中s14的流程示意图；
[0040]
图4是图3中s143的流程示意图；
[0041]
图5是本技术提供的鞋面涂胶装置一实施例的结构示意图；
[0042]
图6是本技术提供的鞋面涂胶系统一实施例的结构示意图；
[0043]
图7是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
[0044]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部结构。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0045]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0046]
本技术实施例中的步骤并不一定是按照所描述的步骤顺序进行处理，可以按照需求有选择的将步骤打乱重排，或者删除实施例中的步骤，或者增加实施例中的步骤，本技术实施例中的步骤描述只是可选的顺序组合，并不代表本技术实施例的所有步骤顺序组合，实施例中的步骤顺序不能认为是对本技术的限制。
[0047]
本技术实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是：当用在本说明书中时，“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
[0048]
本技术中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备
固有的其它步骤或单元。
[0049]
鞋面自动化涂胶的过程中，由于鞋面涂胶表面复杂，高精度且稳定的自动涂胶存在很大挑战。另外，切换鞋型也会消耗很多人力和物力。
[0050]
基于此，本技术提出了一种鞋面涂胶方法，该方法获取预先提取的准确的模板点云和待涂胶鞋面的实际点云后进行配准，通过坐标转换确定模板点云基于机械臂的坐标，进而利用模板点云中的涂胶点确定涂胶轨迹并对待涂胶鞋面进行涂胶操作，能够减少更换鞋型的麻烦，简化人工操作步骤，提高鞋面涂胶的精度和效率。
[0051]
参阅图1，图1是本技术提供的鞋面涂胶方法一实施例的流程示意图，该方法包括：
[0052]
s11：获取待涂胶鞋面对应的模板点云，以及利用3d相机获取所述待涂胶鞋面的实际点云；其中，所述模板点云包括涂胶点。
[0053]
可选地，点云是指目标表面特性的海量点集合。在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为点云。
[0054]
可选地，获取待涂胶鞋面对应的模板点云，模板点云可以从模板数据库直接获取，也可以通过其他方式进行获取，比如通过鞋面注册装置获取到鞋面的模板点云后直接发送给鞋面涂胶装置，在此不做具体限定。
[0055]
可选地，模板点云包括涂胶点，涂胶点用于生成涂胶轨迹。
[0056]
可选地，利用3d相机拍照，获取待涂胶鞋面的实时图像数据，根据所述实时图像数据获取对应的实际点云。
[0057]
s12：将所述模板点云和所述实际点云进行配准，以确定所述模板点云基于所述3d相机的相机坐标系的第一位置信息。
[0058]
可选地，点云配准分为粗配准和精配准两个阶段。粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。
[0059]
这里粗配准用的是ppf匹配算法，精配准用的是icp匹配算法。具体包括：提取关键点，并进行特征描述；将两个点云的特征点进行匹配；去除一些误匹配特征点并同时进行两点云的粗略匹配，可以用ransac、或者聚类算法；使用icp算法进行精确匹配。
[0060]
可选地，第一位置信息为模板点云基于3d相机的相机坐标系的第一位姿，其中，位姿即位置和姿态，第一位姿可以表示模板点云基于相机坐标系的位置和姿态。
[0061]
可选地，将模板点云与实际点云进行配准，使模板点云与实际点云重合，从而确定模板点云基于3d相机的相机坐标系的第一位置信息。
[0062]
可选地，基于公式(1)，通过数值迭代求解计算得到使得e(r,t)最小的r和t，以确定模板点云基于3d相机的相机坐标系的第一位置信息；
[0063][0064]
其中，模板点云为x＝{x1,x2,
…
,xn}，实际点云为y＝{y1,y2,
…
,ym}，xi和yi表示点云坐标，n和m表示点云的数量，h为第一位置信息，r表示姿态矩阵，t表示平移位置向量。
[0065]
s13：根据所述第一位置信息，确定所述模板点云基于机械臂的基坐标系的第二位
置信息。
[0066]
可选地，第二位置信息为模板点云基于机械臂的基坐标系的第二位姿，其中，第二位姿可以表示模板点云基于机械臂的基坐标系的位置和姿态。
[0067]
可选地，根据第一位置信息，结合3d相机和机械臂之间的手眼标定关系，确定模板点云基于机械臂的基坐标系的第二位置信息。
[0068]
可选地，基于公式(2)，根据手眼标定关系，确定模板点云基于机械臂的基坐标系的第二位置信息；
[0069]ht
＝h0·h…
公式(2)；
[0070]
其中，h
t
为第二位置信息，h0为相机坐标系的原点在机械臂的基坐标系下的位置，h为第一位置信息。
[0071]
s14：根据所述模板点云的所述涂胶点和所述第二位置信息，对所述待涂胶鞋面进行涂胶操作。
[0072]
可选地，根据模板点云的涂胶点和第二位置信息，确定机械臂的基坐标系下的涂胶点坐标，进而根据涂胶点坐标确定涂胶轨迹，再结合具体的涂胶工艺，对待涂胶鞋面进行涂胶操作。
[0073]
相比于现有技术，本实施例提供了一种鞋面涂胶方法，该方法包括：获取待涂胶鞋面对应的模板点云，以及利用3d相机获取待涂胶鞋面的实际点云；其中，模板点云包括涂胶点；将模板点云和实际点云进行配准，以确定模板点云基于3d相机的相机坐标系的第一位置信息；根据第一位置信息，确定模板点云基于机械臂的基坐标系的第二位置信息；根据模板点云的涂胶点和第二位置信息，对待涂胶鞋面进行涂胶操作。通过上述方法，获取预先提取的准确的模板点云和待涂胶鞋面的实际点云后进行配准，通过坐标转换确定模板点云基于机械臂的坐标，进而利用模板点云中的涂胶点确定涂胶轨迹并对待涂胶鞋面进行涂胶操作，能够减少更换鞋型的麻烦，简化人工操作步骤，提高鞋面涂胶的精度和效率。
[0074]
参阅图2，图2是图1中s11的流程示意图，s11还可以包括：
[0075]
s111：获取待涂胶鞋面的类型参数。
[0076]
可选地，类型参数可以是在生产前根据生产计划预设的；也可以通过在传送装置设置传感器，通过分析传感器数据实时获取。
[0077]
可选地，为简便操作，直接通过处理实际点云，获取鞋面特征参数，进而根据特征参数确定鞋面类型参数。比如，提取鞋面平面的边缘，根据形状或其他特征确定鞋头和鞋跟位置，获取鞋头和鞋跟间的最大距离，对应鞋码即为最接近该距离的鞋码；计算鞋面边缘中间部分边缘点的曲率，以鞋头在上鞋跟在下为例，最大曲率点在鞋头鞋跟连线左侧，则确定该鞋即对应左脚。
[0078]
可选地，假设定义鞋坐标系为o-xyz，其中，x轴沿鞋长度方向，y轴沿鞋宽度方向，z轴沿鞋高度方向，将实际点云向xoy平面投影获得鞋子外轮廓，即为鞋面平面边缘，求得外轮廓外接矩形，其中外接矩形的长即为鞋码，宽即为鞋宽。此外，根据人的脚掌特征，前脚掌大后脚掌小，鞋亦是，对轮廓按长度均匀切分，则必然有鞋头部分轮廓围成的面积大，鞋跟小；对轮廓按宽带均匀切分，左脚右侧轮廓轮廓围成的面积大，右脚右侧轮廓围成的面积小也可以用来确定鞋面类型参数。
[0079]
可选地，对于不同鞋型，可以设置一个特征数据库，同种型号的鞋对应同一预设识
别特征，该特征可为人为粘贴或鞋自身特有的，通过获取鞋面的特征图案进而确定鞋面型号。
[0080]
s112：根据所述类型参数获取对应的模板点云。
[0081]
可选地，模板数据库的模板点云可以通过鞋面注册装置预先获取，一般对于相同型号的相同尺码相同左右即相同类型参数的鞋只需要注册一次，获取鞋面的模板点云，其中，模板点云包括涂胶点，注册结果可以导入模板数据库进行存储，也可以直接传输给鞋面涂胶装置进行存储。
[0082]
可选地，根据鞋面的类型参数获取对应的模板点云。
[0083]
参阅图3，图3是图1中s14的流程示意图，s14还可以包括：
[0084]
s141：根据所述模板点云的所述涂胶点和所述第二位置信息，确定所述机械臂的基坐标系下的涂胶点坐标。
[0085]
可选地，根据模板点云的涂胶点和第二位置信息，通过坐标转换，可以确定机械臂的基坐标系下的涂胶点坐标。
[0086]
可选地，基于公式(3)，通过坐标转换，确定机械臂的基坐标系下的涂胶点坐标；
[0087]hj
＝h
t
·hi
…
公式(3)；
[0088]
其中，hj为涂胶点坐标，h
t
为第二位置信息，hi为模板点云的涂胶点。
[0089]
s142：根据所述涂胶点坐标，确定涂胶轨迹。
[0090]
可选地，通过样条曲线等轨迹插补方法，根据涂胶点坐标生成连续的涂胶轨迹。
[0091]
可选地，插补是一个实时进行的数据密化的过程。已知曲线上的某些数据，按照某种算法计算已知点之间的中间点的方法，也称为数据点的密化。将曲线的起点、终点之间的空间进行数据密化，从而形成要求的轮廓轨迹，这种数据密化机能就称为插补。
[0092]
可选地，通过样条曲线的轨迹插补方法，根据已知的涂胶点坐标，确定中间点的坐标，进行数据密化，从而生成连续的涂胶轨迹。
[0093]
s143：根据所述涂胶轨迹和涂胶工艺，对所述待涂胶鞋面进行涂胶操作。
[0094]
参阅图4，图4是图3中s143的流程示意图，s143还可以包括：
[0095]
s1431：根据所述涂胶轨迹和涂胶工艺进行运动规划，以得到规划结果。
[0096]
可选地，根据涂胶轨迹，以及涂胶工艺比如涂胶高度、涂胶厚度等，进行运动规划，以得到规划结果。
[0097]
s1432：将所述规划结果转换到机械臂的末端坐标系中，以得到机械臂末端的运动轨迹。
[0098]
可选地，通过坐标转换，将规划结果转换到机械臂的末端坐标系中，以得到机械臂末端的运动轨迹。
[0099]
s1433：根据所述机械臂末端的运动轨迹，对所述待涂胶鞋面进行涂胶操作。
[0100]
可选地，将机械臂末端的运动轨迹发送给控制器，控制器即可控制机械臂末端移动，对待涂胶鞋面进行涂胶操作。
[0101]
参阅图5，图5是本技术提供的鞋面涂胶装置一实施例的结构示意图，该鞋面涂胶装置200包括处理器201和存储器202。
[0102]
具体地，存储器202用于存储程序指令，处理器201用于执行该程序指令以实现上述实施例中任一个或任一不冲突的组合所提供的方法。
[0103]
可选地，处理器201为中央处理器(cpu)，是电子计算机的主要设备之一，电脑中的核心配件。其功能主要是解释计算机指令以及处理计算机软件中的数据。cpu是计算机中负责读取指令，对指令译码并执行指令的核心部件。中央处理器主要包括两个部分，即控制器、运算器，其中还包括高速缓冲存储器及实现它们之间联系的数据、控制的总线。中央处理器的功效主要为处理指令、执行操作、控制时间、处理数据。在计算机体系结构中，cpu是对计算机的所有硬件资源(如存储器、输入输出单元)进行控制调配、执行通用运算的核心硬件单元。cpu是计算机的运算和控制核心。计算机系统中所有软件层的操作，最终都将通过指令集映射为cpu的操作。
[0104]
可选地，存储器202为只读存储器(rom)或随机存取存储器(ram)，是计算机系统中的记忆设备，主要用来存放程序和数据。计算机中的全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果，都保存在存储器中。它是根据控制器指定的位置存入和取出信息。
[0105]
可选地，鞋面涂胶装置200还可进一步包括机械臂、3d相机、喷涂设备，其中，3d相机用于检测鞋面，机械臂用于移动喷涂设备对待涂胶鞋面进行涂胶操作。
[0106]
参阅图6，图6是本技术提供的鞋面涂胶系统一实施例的结构示意图，该鞋面涂胶系统300包括鞋面注册装置310和鞋面涂胶装置200。
[0107]
可选地，鞋面注册装置310用于鞋面建模和涂胶轨迹预提取，并将将鞋面的类型参数和模板点云传输给鞋面涂胶装置200。
[0108]
可选地，鞋面涂胶装置200用于获取待涂胶鞋面对应的模板点云，以及利用3d相机获取待涂胶鞋面的实际点云；其中，模板点云包括涂胶点；将模板点云和实际点云进行配准，以确定模板点云基于3d相机的相机坐标系的第一位置信息；根据第一位置信息，确定模板点云基于机械臂的基坐标系的第二位置信息；根据模板点云的涂胶点和第二位置信息，对待涂胶鞋面进行涂胶操作。
[0109]
可选地，对于待涂胶鞋面，如果已经通过鞋面注册装置310注册，可以直接置于鞋面涂胶装置200中进行实时检测和自动涂胶；如果未通过鞋面注册装置310注册，也只需完成一次注册即可进行涂胶操作。
[0110]
参阅图7，图7是本技术提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质400包括程序指令401，程序指令401能够被执行以实现上述实施例中任一个或任一不冲突的组合所提供的方法。其中，计算机可读存储介质400的容量大小能够满足存储程序指令401的要求。
[0111]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质400(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0112]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可读存储介质400实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可读存储介质400到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设
备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的程序指令401产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0113]
这些计算机可读存储介质400也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储介质400中的程序指令401产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0114]
这些计算机可读存储介质400也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的程序指令401提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0115]
以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是根据本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。