一种适用于卫星蜂窝板填胶作业的视觉识别定位方法

本发明涉及一种适用于卫星蜂窝板填胶作业的视觉识别定位方法，属于卫星复材构件装配辅助。具体的，视觉系统将识别定位复材构件中需要填充固体发泡胶的蜂窝孔中心，以辅助发泡胶精确填充作业。

背景技术：

1、随着我国卫星发射任务的不断增多，卫星生产的效率提升任务迫在眉睫。卫星复材结构板作为卫星生产的重要组成部分，需要研发相关自动化装配技术以提升其生产效率。

2、目前，卫星结构板的装配工作大多由人来完成，在蜂窝板发泡胶填充作业中，胶条原料呈片状，用机器将其切成细长条并保存在冰柜中防止其变性。工人需要将放置在冰柜中的胶条拿出，将有一定黏附的胶条分开后，在较短的时间内将胶条塞入蜂窝板开孔附近的蜂窝孔中。但在图纸设计中并未规定发泡胶应该填充到哪些蜂窝孔中，目前发泡胶填充的蜂窝孔位置主要靠人眼来选择。在这一装配过程的自动化方案中，机器人将在温控条件下刚刚切割好的胶条投送到蜂窝孔中，因此需要设计一种适用于自动化装配方法的视觉引导系统，更精细地定位胶条需要填充的位置，以供自动化填胶设备完成填胶作业。

技术实现思路

1、本发明提供一种基于视觉识别定位复材构件蜂窝板填胶孔的视觉检测系统与技术，为自动化填胶装置提供发泡胶填充蜂窝孔的中心位置，提升了复材构件的自动化装配效率。

2、为了实现上述所要求的功能，本发明提供如下技术方案：基于视觉识别的填胶蜂窝孔定位技术，包括：

3、基于clip模型与stable diffusion模型的图像增强扩充数据集方法，可以扩充较难采集的填胶蜂窝孔数据集；

4、基于yolo模型的图像识别方法，可以使用上述提到的蜂窝孔数据集训练yolo模型以识别需要填胶的蜂窝孔；

5、多边形边缘重建方法，可以计算填胶蜂窝孔的精确中心位置供给填胶设备进行填胶。

6、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，其基于clip模型与stable diffusion模型的图像增强扩充数据集方法包括：

7、基于小样本的clip模型训练方法，可以建立针对填胶蜂窝孔特定环境下的更精确的clip图像-文本对齐模型；

8、基于迁移学习的stable diffusion模型训练方法，可以在小样本条件下训练针对填胶蜂窝孔特定环境下的图像生成模型；

9、基于resnet-50的特征对齐方法，可以对齐图像的像素特征与文本特征；

10、具有自适应增强方法、特征共享的多任务模型训练方法，可以更快速、高效地训练clip监督模型与stable diffusion模型；

11、一种从本源图像出发的图像增强方法，可以基于训练好的针对填胶蜂窝孔特定环境下的特化stable diffusion模型，在训练好的针对填胶蜂窝孔特定环境下的特化clip模型监督下对原本蜂窝孔图像进行图像增强以扩充数据集。

12、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述基于clip模型与stable diffusion模型的图像增强扩充数据集方法中，数据集需要包括蜂窝孔若干形状、若干光照、若干位置情况下的图像；在clip模型训练过程中，需要根据数据集每张图像的特征编写相应的提示文本作为训练样本；

13、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述基于小样本的clip模型训练方法中，改进后的clip监督损失函数引入特征增强权重：

14、

15、其中表示第i张增强后的图像，ti表示与图像对应的文本描述，为注意力掩码，用于突出蜂窝孔区域，⊙表示逐元素相乘，掩码生成公式为：

16、

17、其中(xc,yc)为蜂窝孔中心坐标，r为掩码半径，该掩码可以着重突出嵌入件附近蜂窝孔一定范围(也就是发泡胶填充大致区域)内的图像特征；

18、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述基于迁移学习的stable diffusion模型训练方法，通过i2i(image-to-image)模式改进扩散过程，通过原始图像ioriginal和文本t联合引导生成：

19、

20、其中表示第t步的隐变量，αt表示噪声调度参数，∈t表示高斯噪声，ioriginal表示原始图像，t表示文本描述；

21、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述基于resnet-50的特征对齐方法，采用特征提取与跨模态投影方法，通过双线性插值将resnet-50提取的2048维特征图升采样至224×224分辨率，再经1×1卷积层投影至clip模型的图像嵌入空间：

22、fshared＝conv1×1(interpblinear(resnet50(i)))；

23、其中resnet50(i)表示resnet-50提取的图像特征，interpblinear代表双线性插值，conv1×1为通道数调整卷积；

24、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述具有自适应增强方法、特征共享的多任务模型训练方法中，多任务联合损失函数具体实现为：

25、

26、其中为掩码均值，λ2为stable diffusion的隐式优化参数，为clip与stable diffusion的损失；

27、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述图像增强方法中，生成图像的质量控制公式为：

28、

29、其中ioriginal表示原始图像，igen表示生成图像，fi表示clip模型的图像编码器，τ＝0.8为相似度阈值，相似度计算使用余弦相似度。

30、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述基于yolo模型的图像识别方法中，由于嵌入件安装孔的剪切随机行，需要将嵌入件周围的蜂窝孔以完整蜂窝孔、非完整蜂窝孔两种形式进行标注，其中完整蜂窝孔为需要填胶的合适蜂窝孔；

31、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述基于yolo模型的图像识别方法中，其目标在于识别嵌入件安装孔位置周围一直两圈的完整蜂窝孔位置，需要排除更远距离完整蜂窝孔的干扰。

32、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述多边形边缘重建方法中，包括：

33、基于边缘特征提取以及直线拟合算法的多边形边缘初步提取方法；

34、基于聚类方法的多边形轮廓重建方法。

35、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述多边形边缘重建方法中，需要将上述yolo模型检测出的填胶蜂窝孔图像从整体图像中进行剪切，设输入图像为基于预测框坐标(xmin,ymin,xmax,ymax)进行仿射变换：

36、

37、其中w为仿射变换操作符，为水平方向操作因子，为垂直方向操作因子，w、h为原图像的宽度与高度；

38、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述基于边缘特征提取以及直线拟合算法的多边形边缘初步提取方法中，需要将剪切后的图像转变为灰度图像，并采用canny边缘检测算法提取其边缘特征；

39、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述基于边缘特征提取以及直线拟合算法的多边形边缘初步提取方法中，采用霍夫直线检测方法提取边缘特征中的直线，该算法提取候选直线集每条直线的方程为：

40、li:ρi＝xcosθi+ysinθi；

41、其中(ρi,θi)为极坐标参数，直线拟合的约束条件为：

42、

43、其中hcrop、wcrop为剪切后图像的高度与宽度；

44、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，在上述霍夫直线检测方案中，设置角度约束以提升六边形检测效率；

45、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述基于聚类方法的多边形轮廓重建方法中，根据上述提取的候选直线集特征向量vi＝[ρi,θi]t，通过k-means算法将其分为6类，该算法的聚类原理如下：

46、

47、其中ck表示第k个簇，vi表示第i条直线的特征向量，为簇中心，选择每类中距离中心最近的直线作为该蜂窝孔的六边形边缘：

48、

49、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，在上述聚类方法中，若出现空簇，则通过下式重新初始化中心：

50、

51、其中α为学习率，为聚类损失函数对μk的梯度；

52、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，所述基于聚类方法的多边形轮廓重建方法中，为求出多边形蜂窝孔的中心位置坐标，需要求出多边形的交点坐标，对相邻直线与求交点：

53、

54、得到六边形点集多边形的中心位置可以由如下式子获得：

55、

56、作为卫星蜂窝板填胶作业的视觉识别定位方法的优选方案，在通过上述方法得到填胶蜂窝孔中心的像素坐标后，计算其在世界坐标系下的位置坐标：

57、

58、其中为相机标定矩阵，t∈se(3)为机器人基坐标系变换矩阵，zc为蜂窝孔表面深度值。

59、本发明有如下优点：通过采用clip监督的图像增强方法，使得该视觉识别方案在仅有较少图片数据集的情况下可以扩充图像数据集，以避免在后续图像检测模型训练过程中出现过拟合现象，提高了该识别模型的泛化性；通过迁移学习、以适应增强等方法，在原有模型基础上提升了图像增强模块对复材构件填胶蜂窝孔这一特殊场景的图像增强准确性；通过yolo模型识别检测嵌入件周边蜂窝孔的完整性，可以保证发泡胶的填充质量；通过识别图像边缘-进行边缘重建的方法得到不规则蜂窝孔的位置中心，可以适应蜂窝孔在不同挤压形状下的位置中心定位要求，具有相当的泛用性。