一种基于多模态时序Transformer的LED灯珠固晶定位补偿方法与流程

本发明属于led封装与智能制造控制，具体涉及一种基于多模态时序transformer的led灯珠固晶定位补偿方法。更具体地，本发明涉及一种将取放前后图像、吸附负压、平台温度、位移编码器残差以及芯片姿态信息编码为统一时序表征，并通过transformer注意力机制预测平移补偿量与旋转补偿量、用于固晶设备在线闭环控制的方法。所述方法适用于3528、2835、2020及其他同类贴片式led灯珠的固晶定位控制场景。

背景技术：

1、在贴片式led灯珠的封装制造过程中，固晶工序是决定产品焊线质量、发光一致性及最终可靠性的关键环节之一。该工序通常需要将芯片从取晶位置精确拾取，并稳定放置到支架或基板的预定区域内。对于3528、2835、2020等不同封装尺寸、不同杯区结构的led产品，由于支架杯区尺度、芯片外形尺寸、胶层形态以及工装夹持刚度等条件存在差异，芯片在取放过程中容易受到多种因素共同影响，从而产生位置偏差和姿态偏差。上述影响因素包括但不限于吸嘴负压波动、平台热漂移、运动轴回程误差、相机标定漂移以及胶层表面张力变化等。这些偏差会进一步导致焊线窗口收窄、偏胶、局部偏色，甚至增加死灯风险，尤其在微小尺寸器件或对定位一致性要求较高的产品中更为明显。

2、目前，针对固晶定位偏差的处理方式主要包括两类：

3、第一类为基于单帧视觉对位的静态补偿方案。该类方案通常在放晶前或放晶后仅采集一次图像，通过识别芯片中心位置，对x、y方向偏差进行修正。该方案结构相对简单，实现方便，易于部署在现有设备中。然而，此类方案主要依赖图像信息，通常较少结合吸附负压、平台温度、编码器残差等设备运行状态信息，因此在跨批次、跨型号以及不同热稳定状态的生产条件下，补偿效果容易波动，难以保持稳定一致的补偿精度。

4、第二类为基于设备标定参数的固定补偿方案。该方案一般通过预先建立静态补偿表，在设备运行过程中根据产品型号、工装编号或预设工艺参数读取对应的固定偏置量进行修正。该类方法实现逻辑较为清晰，但本质上依赖离线标定结果，适应能力有限。当平台温度、相机标定状态、吸嘴磨损情况、芯片尺寸窗口或胶层工艺条件发生变化时，原有补偿参数容易失准，导致补偿后残余误差仍然较大，难以满足高精度固晶要求。

5、此外，已有部分方案尝试引入卷积神经网络、多层感知机等模型，对视觉信息与设备状态信息进行融合，以提高偏差预测或补偿能力。然而，这类方案大多采用简单拼接、浅层回归或cnn+mlp等结构，对取放前状态、执行过程状态及取放后结果之间的跨时刻耦合关系挖掘不足，难以充分表征固晶工序中由多源扰动共同作用所引起的复合偏差。特别是对于2020等微小尺寸led灯珠，或3528双色、全彩等对芯片定位一致性更敏感的产品，现有方法往往难以同时兼顾生产节拍与良率要求。

6、因此，现有技术至少存在以下不足：其一，单帧视觉补偿通常仅基于放晶前或放晶后一次图像识别结果进行纠偏，未建立“取放前状态—设备执行动作—取放后状态”之间的时序关联，难以识别由吸附负压波动、平台热漂移及运动残差等多因素耦合引起的综合偏差；其二，固定补偿表方案对产品型号切换、批次切换及工艺状态漂移的适应性较差，在实际生产条件变化时补偿量容易失真，补偿精度难以长期保持；其三，现有多源数据融合方案在模型结构上对长程时序依赖和跨模态关联利用不足，尚未充分发挥最前沿深度学习算法（例如transformer家族）在复杂时序建模方面的优势；其四，多数现有方案仍偏重于偏差检测或离线估计，缺乏与固晶设备动作直接联动的平移补偿、旋转补偿、二次复判及下一循环预补偿等在线闭环控制机制，因而难以形成面向实际生产的高鲁棒性、自适应固晶补偿方案。

7、综上，亟需一种能够综合利用视觉信息、设备运行状态信息及工艺过程时序信息，并可面向固晶设备执行在线闭环补偿控制的新方法，以提升不同型号、不同工况下led固晶工序的定位精度、生产稳定性及产品良率。

技术实现思路

1、本发明提供一种基于多模态时序transformer的led灯珠固晶定位补偿方法，该方法适用于3528、2835、2020及其他同类led灯珠的固晶工序，通过构建取放前图像token、取放后图像token、设备状态token以及差分偏差token的统一输入序列，并送入多模态时序transformer进行建模，获得平移补偿量和旋转补偿角，并将其在线下发至固晶机执行机构，以实现对芯片放置位置和姿态的闭环修正。在多类型led封装中显著降低定位残差并提升通过率，在高精度固晶场景下表现优异的有效性与鲁棒性。

2、本发明采用下述技术方案：

3、一种基于多模态时序transformer的led灯珠固晶定位补偿方法，包括以下步骤：

4、步骤1：多源数据采集与预处理；

5、步骤2：transformer输入表征与多模态特征构建；

6、步骤3：补偿模型构建、损失函数设计与训练；

7、步骤4：在线推理、设备执行与闭环补偿；

8、步骤5：结果反演、可视化与在线反馈。

9、进一步地，所述步骤1中采集数据包括：包括取放前图像、取放后图像、吸附负压、平台温度、x/y轴编码器残差、固晶头角速度及放晶时间戳；所述步骤1中多源数据预处理包括：将取放前后图像的像素坐标通过标定变换映射到设备坐标，从角点坐标中提取芯片中心与姿态角，对取放前后数据进行时序对齐和标准化。

10、进一步地，所述步骤2transformer输入表征与多模态特征构建包括：根据步骤1的结果，构建取放前状态向量、取放后状态向量以及由中心偏差、姿态偏差、编码器残差组成的差分偏差特征向量；将取放前图像和取放后图像分别切块并线性映射为带位置编码的视觉token序列；将取放前状态向量、取放后状态向量及差分偏差特征向量线性映射为状态token；将类别token、取放前视觉token序列、取放后视觉token序列、状态token拼接后输入多层transformer编码器，通过自注意力机制进行时序与跨模态建模。

11、进一步地，步骤3补偿模型构建、损失函数设计与训练包括：以步骤2输出的为输入，通过回归头预测平移补偿量和旋转补偿角，通过分类头预测超差概率；以目标放置参考位置与放晶后实测位置的偏差作为真实补偿向量；构建回归损失、分类损失和参数正则项，加权求和得到总损失函数；利用总损失函数训练多模态时序transformer模型。

12、进一步地，所述步骤4在线推理、设备执行与闭环补偿包括：利用步骤3训练好的模型对当前固晶循环推理出预测补偿向量；将预测补偿向量叠加到基础指令上，生成并下发补偿后的位置和角度指令；执行放晶后实测芯片位置与姿态，计算残差并与阈值比较，判定补偿是否通过；将当前预测补偿向量与当前预补偿向量加权更新，作为下一循环的预补偿值；

13、所述步骤5结果反演、可视化与在线反馈包括：对标准化变量进行反归一化，恢复物理尺度；统计补偿通过率、平均绝对误差和过程能力指数，用于在线监控与工艺评估。

14、进一步地，所述步骤1包括以下步骤：

15、步骤101：生产对象定义与多源数据获取；在固晶机上定义不同led灯珠对应的目标支架区域、芯片外轮廓模板、目标放置中心及允许姿态窗口；所述不同led灯珠优选包括3528、2835和2020，也可包括其他同类贴片式封装；于取晶后获取取放前图像，于放晶后获取取放后图像，同时采集吸附负压、平台温度、x/y轴编码器残差、固晶头角速度及放晶时间戳；

16、步骤102：图像坐标到设备坐标的标定变换；为实现芯片位置信息从图像坐标系到设备坐标系的统一转换，利用标定板获得的单应性变换矩阵对芯片中心坐标进行映射，得到设备坐标系下的位置表示如下：

17、（1）

18、式中：和分别表示时刻下芯片中心在设备坐标系中的横向坐标和纵向坐标；和分别表示时刻下芯片中心在图像坐标系中的像素横坐标和像素纵坐标；表示由标定板获得的单应性变换矩阵；常数1表示齐次坐标项；

19、步骤103：芯片中心与姿态提取；为表征芯片在取放前的空间位置和方向信息，根据芯片角点坐标计算其中心位置及姿态角：

20、（2）

21、式中：和分别表示时刻下取放前芯片中心在设备坐标系中的横向坐标和纵向坐标；和分别表示取放前芯片第个角点的坐标；表示取放前芯片姿态角；与表示用于定义芯片主轴方向的两个角点坐标；

22、步骤104：取放前后数据时序对齐与标准化；考虑到图像采集与设备状态采样之间可能存在时间偏移，需要对取放前后数据进行时序对齐，最优对齐偏移量可表示为：

23、（3）

24、式中：表示时刻下取放前后数据的最优对齐时间偏移量；表示候选时间偏移集合；表示参与对齐的状态变量数；表示第个取放后状态量；表示经时间偏移后的第个取放前状态量；表示二范数；

25、（4）

26、式中：表示时刻下第个输入变量的标准化结果；表示原始输入变量值；表示第个变量在训练集或校准样本中的均值；表示对应标准差；表示避免分母为零的极小正数。

27、进一步地，所述步骤2包括以下步骤：

28、所述步骤2具体包括以下子步骤：

29、步骤201：取放前状态向量构建；为综合表征芯片取放前的位置、姿态及设备运行状态，将芯片中心坐标、姿态角、吸附负压、平台温度及编码器残差等信息构建为取放前状态向量：

30、（5）

31、式中：表示时刻下取放前状态向量；和表示取放前芯片中心坐标；表示取放前芯片姿态角；表示吸附负压；表示平台温度；和分别表示x轴和y轴编码器残差；

32、步骤202：取放后状态向量构建；为描述放晶完成后芯片的实际落点状态及相关动态信息，将放晶后的位置、姿态及漂移量、固晶头角速度等构建为取放后状态向量：

33、（6）

34、式中：表示时刻下取放后状态向量；和表示取放后芯片中心坐标；表示取放后芯片姿态角；表示取晶阶段图像横向像素漂移量；表示放晶阶段图像纵向像素漂移量；表示固晶头角速度或等效旋转状态量；

35、步骤203：差分特征、token嵌入与transformer编码；为增强模型对取放前后状态变化的感知能力，首先构建芯片中心偏差、姿态偏差及编码器残差组成的差分特征；进一步地，将取放前视觉特征、取放后视觉特征以及状态特征统一映射为多模态输入token序列：

36、（7）

37、式中：表示时刻下的差分偏差特征向量；表示输入多模态时序transformer的初始token序列；表示用于汇聚全局信息的类别token；与分别表示由取放前图像和取放后图像经patch切分与线性映射得到的视觉token序列；和分别表示对应的位置编码；表示将取放前状态、取放后状态及差分偏差映射为状态token的线性嵌入结果；

38、（8）

39、式中：表示缩放点积注意力函数；和分别表示查询矩阵、键矩阵和值矩阵；表示键向量维度；表示多头自注意力模块；表示层归一化；表示前馈网络；表示第层transformer编码后的token序列；通过上述结构，可对取放前后视觉信息与设备状态信息的长程时序依赖和跨模态关联进行联合建模。

40、进一步地，所述步骤3包括以下步骤：

41、所述步骤3具体包括以下子步骤：

42、步骤301：基于transformer编码结果的补偿量输出定义；为获得固晶过程中的位置补偿量和旋转补偿角，以transformer最后一层输出的全局类别token作为回归与分类输入，得到补偿向量及超差概率，表示为：

43、（9）

44、式中：表示第层多模态时序transformer输出的全局类别token；表示时刻下模型预测的补偿向量；表示预测横向补偿量；表示预测纵向补偿量；表示预测旋转补偿角；和分别表示补偿回归头的权重矩阵与偏置向量；表示由分类头输出的超差概率；

45、步骤302：目标补偿量构建；为形成模型训练所需监督信号，将目标放置参考位置与放晶后实测位置之间的偏差定义为真实补偿向量，表示为：

46、（10）

47、式中：表示时刻下的真实补偿向量；和分别表示目标放置中心参考横向坐标和纵向坐标；表示目标姿态角；、和分别表示放晶后实测的中心坐标与姿态角；

48、步骤303：损失函数设计与训练配置；为约束模型对横向、纵向及旋转补偿量的预测误差，构建位置与姿态回归损失函数：

49、（11）

50、式中：表示时刻下的位置与姿态回归损失；、和分别表示横向、纵向及旋转分量的权重；、和分别表示真实补偿量分量；、和分别表示预测补偿量分量；

51、结合超差分类任务与参数正则项，构建模型总损失函数：

52、（12）

53、式中：表示总损失函数；表示训练样本数；和分别表示分类损失项和正则化项的权重；表示时刻下的超差分类损失；表示是否超差的真实标签，超差取1，未超差取0；表示由transformer分类头输出的超差概率；表示模型参数的二范数正则项，所述模型参数至少包括token嵌入层、多层transformer编码器以及补偿输出头的可训练参数。

54、进一步地，所述步骤4包括以下步骤：

55、所述步骤4具体包括以下子步骤：

56、步骤401：补偿指令下发；根据模型输出的补偿结果，对固晶设备原始运动指令进行修正，得到下发至执行机构的补偿后位置与角度指令：

57、（13）

58、式中：和分别表示时刻下下发给固晶执行机构的横向指令位置与纵向指令位置；表示下发的旋转指令角；分别表示未补偿时的基础指令位置与基础指令角；分别表示模型输出的补偿量；

59、步骤402：补偿后残差计算；为评价补偿执行效果，计算补偿完成后芯片实测中心与目标参考中心之间的平面位置残差：

60、（14）

61、式中：表示时刻下补偿后的平面位置残差；和表示目标中心参考坐标；和分别表示补偿执行后的实测芯片中心坐标；

62、步骤403：补偿是否通过的判定；根据位置残差和姿态角残差是否同时满足设定阈值，对当前补偿结果进行通过判定：

63、（15）

64、式中：表示时刻下的补偿通过标记；当条件成立时取1，否则取0；表示示性函数；表示位置残差阈值；表示目标姿态角；表示补偿后的实测姿态角；表示姿态角残差阈值；表示逻辑“与”；

65、步骤404：下一循环预补偿更新；为提高后续循环的补偿稳定性，将当前预测补偿向量与已有预补偿量进行加权更新，得到下一循环的预补偿向量：

66、（16）

67、式中，表示下一循环预补偿向量；表示更新系数；表示当前时刻预测得到的补偿向量；表示当前循环使用的预补偿向量；表示下一次放晶循环。

68、进一步地，所述步骤5包括以下步骤：

69、步骤501：反归一化处理；为便于将模型输出结果恢复到实际物理量尺度，对标准化变量进行反归一化处理：

70、（17）

71、式中：表示时刻下第个变量的反归一化结果；表示标准化值；表示该变量标准差；表示极小正数；表示该变量均值；

72、步骤502：通过率计算与输出；为统计补偿方法的整体有效性，根据满足位置与姿态双阈值条件的样本数量计算补偿通过率：

73、（18）

74、式中：表示补偿通过率；表示满足位置与姿态双阈值条件的样本数量；表示总样本数量；

75、步骤503：精度统计与过程能力评估；为评价补偿后的整体精度水平，分别统计横向、纵向及角度误差的平均绝对误差：

76、（19）

77、式中：表示横向、纵向和角度三项平均绝对误差组成的向量；、和分别表示时刻下横向误差、纵向误差和角度误差；表示样本总数；

78、为评价工艺过程的稳定性与控制能力，引入过程能力指数进行评估：

79、（20）

80、式中：表示过程能力指数；表示上规格限；表示下规格限；表示误差样本均值；表示误差样本标准差；表示取较小值运算。

81、与现有技术相比，本发明至少具有以下5项有益效果：

82、（1）本发明并非仅依赖单帧视觉图像进行静态纠偏，而是将取放前图像、取放后图像、吸附负压、平台温度、x/y轴编码器残差、固晶头角速度以及芯片姿态信息进行统一表征，并输入多模态时序transformer进行联合建模。相比仅基于单一视觉信息或固定补偿表的方案，本发明能够更充分地刻画固晶过程中视觉信息与设备状态信息之间的耦合关系，从而提高平移补偿量和旋转补偿量的预测精度；

83、（2）本发明建立了“取放前状态—执行过程—取放后结果”之间的时序关联，通过差分偏差token、状态token以及双时刻视觉token构建统一输入序列，利用transformer对长程依赖关系进行建模，能够识别由吸附负压波动、平台热漂移、运动轴残差及姿态扰动共同引起的复合偏差。因此，在跨批次、跨型号及热状态变化等复杂工况下，本发明较现有单次识别补偿方案具有更好的稳定性和鲁棒性。

84、（3）本发明适用于3528、2835、2020及其他同类贴片式led灯珠固晶场景，不依赖于某一固定型号、固定工装或固定补偿表。相较于现有固定补偿表在型号切换、批次切换和设备状态变化时易出现补偿失真的问题，本发明可依据实时采集的多源数据动态生成补偿量，从而提高对不同封装尺寸、不同支架结构及不同工艺窗口的适应能力。

85、（4）本发明不仅输出x方向补偿量和y方向补偿量，还同步输出旋转补偿角，可同时修正芯片放置位置偏差和姿态偏差。由此能够有效减小固晶后芯片中心偏移及角度偏斜，进而改善后续焊线窗口、减轻偏胶、局部偏色及死灯风险，提高led封装整体工艺一致性。

86、（5）本发明通过在线推理获得补偿指令后，将预测的补偿量直接下发至固晶执行机构，并结合补偿后残差计算、阈值判定和二次补偿逻辑，构成完整的在线闭环控制流程。相较于现有仅停留在“检测”或“离线修正”层面的方案，本发明能够在设备运行过程中实时修正偏差，降低补偿后残差，提高固晶通过率和成品良率。