一种基于机器视觉和增强现实技术的套楦自动检测装置的制作方法

1.本发明属于机器视觉、人工智能和智能制造装备技术领域。


背景技术：

2.目前，鞋类制造行业的套楦工作都是由人工完成，套楦的准确性将直接影响鞋最后成型的质量。为保证套楦的准确性，套楦生产环节通常会配置3个人完成套楦、检查套楦的正确性以及鞋中线标记画点等工作，由于一条制鞋产线生产鞋的尺码和种类经常变化，这给套楦的自动化造成了很大的技术障碍，同时浪费了许多的人工投入。
3.目前，在成型鞋智能生产线方面，已经出现了对不同鞋型3d 成像生成喷胶机器人轨迹等技术，如：深慧视的发明专利一种对复杂形状物体的3d坐标自动生成装置(专利号：2021107810315)，但由于套楦工作需要高度的手眼配合才能把鞋帮面准确地套在鞋楦上，套楦的正确性自动检测和自动套楦技术依然是业界难题。
4.由此可以看出，要解决上述问题，就必须使用机器视觉和机器学习的技术对不同鞋型和尺码的鞋特征进行判别，为机器自动套楦或人机协同套楦提供技术支撑。


技术实现要素：

5.本发明专利公开了一种基于机器视觉和增强现实技术的套楦自动检测装置，针对制鞋生产的重要环节套楦正确性自动快速检测的难题，设计多个机器视觉系统对套楦鞋帮面实时成像，通过机器学习生成的模板对套楦帮面位置的实时检测，并将实时结果输出到增强现实的显示设备和自动套楦设备上，通过人机协同通过正确性自动检测完成正确的套楦操作。本发明的成果，可以节省2个人工成本，同时将人工套楦准确率85％提高到99.9％以上。
6.为达到上述目的，本发明的技术方案是这样实现的：
7.一种基于机器视觉和增强现实技术的套楦自动检测装置，由智能算法计算系统、机器视觉系统、模板数据库、被测物体标识装置、增强现实设备以及被测物体自动套楦设备组成，其特征在于，机器视觉系统实时采集被测物体的图像信息并传送给智能算法计算机系，智能算法计算系统根据被测物体的标识从数据库中读取被测物体对应的数据模板信息与当前实时采集的被测物体图像信息进行对比，并将比对检测的结果信息传送给人机交互增强现实设备，辅助人工套楦，实施检测套楦的正确性。
8.较佳地，将比对检测的结果信息传送给被测物体自动套楦设备，引导自动套楦设备工作。
9.较佳地，该装置的工作还包括以下步骤：
10.a)智能算法计算系统事先进行学习训练，按被测物体的标识作为索引建立训练后被测物体的模板数据库；
11.b)待加工被测物体放入套楦自动检测装置，被测物体标识装置读取标识传送给智能算法计算系统，；
12.c)机器视觉系统对被测物体实时成像并传送给智能算法计算系统；
13.d)智能算法计算系统按照步骤b)被测物体标识索引读取模板数据库被测物体的模板信息；
14.e)智能算法计算系统将实时采集的被测物体信息与模板匹配检测，产生匹配检测结果，如果匹配检测结果正确，则，结束，否则输出匹配结果；
15.f)如果匹配结果输出给增强现实设备，则，套楦工人根据增强现实设备的显示结果，对被测物体进行套楦调整工作，重复步骤c)；
16.g)如果匹配结果输出给被测物体自动套楦设备，则，自动套楦设备根据匹配的结果数据进行套楦，重复步骤c)；
17.更进一步，所述机器视觉系统，是一组部署在被测物体关键测量位置的图像采集装置，图像采集装置包含不仅限于，a)2d相机；b) 3d相机；c)线扫描相机。
18.较佳地，针对正在被检测的套楦的鞋帮面，可以部署多个机器视觉系统在被测物体关键测量位置，进行图像采集，将多个图像采集装置部署在鞋帮面的鞋头位置和鞋帮面的后根位置。
19.智能算法计算系统是本装置计算的核心设备，由图像采集模块、图像检测匹配模块、模板生成模块、被测物体标识采集模块，其工作至少包含以下步骤：
20.a)人工将套楦完成的被测物体放置在套楦自动检测装置中，被测物体标识采集模块读取被测物体的标记号；
21.b)机器视觉系统实时成像传送给图像采集模块；
22.c)按照被测物体的标记号从模板数据库中读取对应的模板；
23.d)图像检测匹配模块将步骤b)实时采集的图像与步骤c)的模板进行比对，通报比对结果正确或错误，完成对被测物体的检测工作；
24.更进一步，模板生成模块事先对已经套楦正确的鞋帮面形成的被测物体用机器视觉系统采集图像，用人工智能机器学习算法进行训练，人工标记训练正确的结果，生成模板。模板的特征信息包含但不仅限于：a)被测物体中轴线；b)后根高度边缘线；c)后根绷带线；d) 鞋头中线；e)后根最低点边缘线；f)鞋底与鞋面拼接线；g)鞋面轮廓线。
25.本专利检测结果通过增强现实设备实时显示被检测物体的图像同时，叠加显示模板的特征信息，同时，可以现实将实时采集图像的特征信息与事先生成的模板特征信息的差距输出或现实出来，以便支持人工检测套楦结果；增强现实设备包含但不仅限于：a)计算机显示设备；b)穿戴式显示设备。
26.较佳地，增强现实设备是一部可以同时看到外部世界和系统显示信息的智能眼镜，工人在套楦的过程中，可以手眼配合。
27.较佳地，比对的检测结果信息是基于模板的特征信息的实时采集图像坐标数据与模板坐标数据的差值数据，当差值小于预先定义的阈值时，则智能算法计算系统输出正确的检测结果；当差值大于预先设定的阈值时，则智能算法计算系统输出错误信息。
28.更进一步，被测物体标识装置读取被测物体的标识，在生成模板时作为模板存储的位置索引；在实时检测被测物体时，读取被测物体的标识，以这个标识到模板数据库取出对应的模板数据；
29.较佳地，被测物体的标识方法包含但不仅限于：a)rfid标识； b)二维码标识；c)数
字标识。
30.更进一步，为保证被测物体的检测和模板生成模块的匹配条件的一致性，需要对本发明装置进行如下特定的机械设计：a)固定被测物体和机器视觉系统的机械机构；b)被测物体和机器视觉系统按可准确进行图像采集的要求设定各自位置；c)设置主动光源为机器视觉系统提供采集被测物体图像的支持。
附图说明
31.图1所示为应用本发明的原理示意图
[0032][0033]
图2所示为应用本发明工作过程实施例
[0034][0035]
图3所示为应用本发明第一实施例
[0036][0037]
图4所示为应用本发明第二实施例
[0038]
具体实施方式
[0039]
本发明的思路是：
[0040]
针对制鞋套楦柔性制造的特点，面对制鞋生产的重要环节套楦正确性自动快速检测的难题，发明一种基于机器视觉和增强现实技术的套楦自动检测装置，针对制鞋生产的重要环节套楦正确性自动快速检测的难题，设计多个机器视觉系统对套楦鞋帮面实时成像，通过机器学习生成的模板对套楦帮面位置的实时检测，并将实时结果输出到增强现实的显示设备和自动套楦设备上，通过人机协同通过正确性自动检测完成正确的套楦操作。
[0041]
图1所示为应用本发明的原理图
[0042]
本发明包括：由智能算法计算系统、机器视觉系统、模板数据库、被测物体标识装置、增强现实设备以及被测物体自动套楦设备组成，
[0043]
其实现过程如下：
[0044]
101智能算法计算系统事先进行学习训练，按被测物体的标识作为索引建立训练后被测物体的模板数据库；
[0045]
102待加工被测物体放入套楦自动检测装置，被测物体标识装置读取标识传送给智能算法计算系统，；
[0046]
103机器视觉系统对被测物体实时成像并传送给智能算法计算系统；
[0047]
104智能算法计算系统按照步骤102被测物体标识索引读取模板数据库被测物体的模板信息；
[0048]
105智能算法计算系统将实时采集的被测物体信息与模板匹配检测，产生匹配检测结果，如果匹配检测结果正确，则，结束，否则输出匹配结果；
[0049]
106如果匹配结果输出给增强现实设备，则，套楦工人根据增强现实设备的显示结果，对被测物体进行套楦调整工作，重复步骤103；
[0050]
107如果匹配结果输出给被测物体自动套楦设备，则，自动套楦设备根据匹配的结
果数据进行套楦，重复步骤103；
[0051]
图2所示为应用本发明工作过程实施例
[0052]
预先在本发明装置上利用机器学习方案完成被测物体的模板数据库生成，每一个被测物体的模板按其标识进行存取的索引。在实际工作时，按以下步骤工作
[0053]
201读取被测物体的标识；
[0054]
202将被测物体放在夹具上固定；
[0055]
203机器视觉系统采集被测物体图像，智能算法计算系统依据 201读取的标识取模板数据库的模板特征数据；
[0056]
204增强现实现实，将实时被测物体的图像和模板特征信息叠加在一幅图中，指导人工套楦调整套楦位置；
[0057]
205智能算法计算系统对比实时采集的被检测物体与模板特征数据的差值，如果yes小于阈值，则提示完成套楦检测工作；
[0058]
如果no大于阈值，则转步骤203；
[0059]
图3所示为应用本发明第一实施例
[0060]
301智能算法计算主机，完成机器视觉采集的图像与模板对比检测，以及模板机器学习生成模板特征的工作；
[0061]
302机器视觉系统，图像传感器采集被测物体图像，传送给智能算法计算系统；
[0062]
303机器视觉系统，图像传感器采集被测物体图像，传送给智能算法计算系统；
[0063]
304被测物体夹具，固定被测物体；
[0064]
305增强现实设备，本实施例是一台显示设备，实时现实被测物体与模板特征叠加信息；
[0065]
306主动光源，增强机器视觉系统图像采集质量；
[0066]
307主动光源，增强机器视觉系统图像采集质量；
[0067]
图4所示为应用本发明第二实施例
[0068]
本实施例为对运动鞋帮面套楦的模板特征建立方案，以及实时检测的参数。
[0069]
401鞋头面衬中轴线
[0070]
402鞋底最高点凸起与鞋面拼接线
[0071]
403鞋头面衬轮廓线
[0072]
404鞋跟绷带左侧边线
[0073]
405鞋跟绷带右侧边线
[0074]
406鞋跟最低点边缘线
[0075]
407鞋跟绷带最低点边缘线
[0076]
408底与鞋面后跟拼接线。