AI多模态融合RFID的智能数据采集方法及系统与流程

摘要: 本发明涉及工业物联网与多源信息融合,具体涉及ai多模态融合rfid的智能数据采集方法及系统。背景技术:1、在混流装配生产线、智能仓储及工业自动化等领域,通常需要...
AI多模态融合RFID的智能数据采集方法及系统与流程

本发明涉及工业物联网与多源信息融合,具体涉及ai多模态融合rfid的智能数据采集方法及系统。

背景技术:

1、在混流装配生产线、智能仓储及工业自动化等领域,通常需要同时获取工件的身份标识与外观或位置信息,以执行差异化的作业指令。射频识别(rfid)技术通过非接触方式读取附着于工件上的电子标签,能够提供唯一的身份识别码,但难以获取工件的精确空间位置或轮廓特征。机器视觉技术则可以通过图像采集提取工件的形状、角点等几何信息,但无法直接识别工件内部型号或工艺参数。因此,将rfid与视觉相结合的多模态数据采集方法逐渐受到关注。

2、在混流装配生产过程中,因传送带随机振动、工件姿态变化以及金属环境多径干扰等因素导致的相机外参连续漂移,使得预先标定的单应投影关系失效,从而无法在亚像素精度下将rfid反演的三维坐标与视觉角点热力图进行持续稳定的时空对齐,进而造成相同外观但不同内部型号的工件身份标识与工艺参数绑定错位或丢失的问题。

技术实现思路

1、本发明的目的在于提供ai多模态融合rfid的智能数据采集方法及系统,以解决上述背景中问题。

2、本发明的目的可以通过以下技术方案实现:

3、ai多模态融合rfid的智能数据采集方法,包括以下步骤:

4、s1:在工件传送过程中同步采集复数域回波信号矩阵和图像角点热力图,其中复数域回波信号矩阵由多个天线接收的rfid标签反射的iq分量构成,图像角点热力图由高速相机获取的工件轮廓亚像素坐标集合构成;

5、s2:根据复数域回波信号矩阵解算每个标签的相位干涉条纹,通过多维相位解缠绕生成动态相位梯度场,并利用动态相位梯度场反演出各标签在三维空间中的瞬时位置坐标;

6、s3:将瞬时位置坐标与图像角点热力图输入至非高斯状态空间,在非高斯状态空间内对传送带运动导致的相机外参漂移进行无迹变换预测,得到预测投影残差流;

7、s4:基于预测投影残差流,在流形切空间内执行约束增强的置信传播,通过指数映射将更新增量回归至特殊欧式群流形,获得连续动态校正的单应映射场;

8、s5:以单应映射场将每个标签的瞬时位置坐标实时投影至图像像素域,生成绑定了rfid身份标识的工艺参数叠加层,输出作为后续执行装置的差异化作业指令。

9、作为本发明进一步的方案:所述利用动态相位梯度场反演出各标签在三维空间中的瞬时位置坐标,具体包括:

10、对复数域回波信号矩阵沿天线阵列方向进行瞬时相位提取并计算相邻天线间的相位差值,生成初始干涉条纹图;

11、多维相位解缠绕通过构建基于相位梯度置信度的最优路径图,采用最小不连续剪枝算法消除相位跳变,输出连续分布的动态相位梯度场;

12、反演瞬时位置坐标进一步包括:将动态相位梯度场沿空间三轴方向进行线积分,结合预先标定的天线空间坐标,迭代求解每个标签的三维坐标。

13、作为本发明进一步的方案:所述输出连续分布的动态相位梯度场,具体包括:

14、计算初始干涉条纹图中各像素的相位梯度模长与邻域方向熵,将模长小且方向熵低的像素标记为高置信度种子点;

15、以所有种子点为起点,沿梯度下降方向扩展连接路径,当路径两端置信度差低于阈值时形成闭合路径图;

16、最小不连续剪枝算法为:沿最优路径图识别相位跳变边缘,计算每个跳变边缘两侧的连续相位差,剪除导致累计不连续总值最大的跳变边缘,并对剪除区域采用相邻连续相位的径向基插值填充,输出动态相位梯度场。

17、作为本发明进一步的方案:所述得到预测投影残差流,具体包括:

18、将瞬时位置坐标与图像角点热力图的时间戳对齐后,构造非高斯状态空间的状态增广向量,状态增广向量包含位置分量与角点残差分量;

19、对状态增广向量施加非对称比例采样,生成初始有限粒点集,并计算每个粒点的预测投影雅可比矩阵;

20、根据传送带瞬时振动加速度估计时变噪声协方差,动态调整粒点集的尺度参数,对调整后粒点集的投影残差进行加权统计,输出预测投影残差流。

21、作为本发明进一步的方案:所述预测投影雅可比矩阵的获取过程为:

22、计算状态增广向量的各维度局部偏态系数,根据局部偏态系数正负分别生成正向比例因子与负向比例因子;

23、以状态增广向量的当前估计值作为中心,按正向比例因子和负向比例因子分别对正负偏差方向施加不等幅值的高斯扰动,得到初始有限粒点集;

24、对初始有限粒点集中每个粒点,通过数值差分法分别计算粒点对状态各维度的偏导数,组装成预测投影雅可比矩阵。

25、作为本发明进一步的方案:所述获得连续动态校正的单应映射场,具体包括:

26、将预测投影残差流沿时间轴分段后,映射至特殊欧式群李代数切空间,得到切空间内的残差向量场;

27、在切空间内对残差向量场施加流形曲率正则化约束,并采用置信传播算法迭代更新每个残差向量的后验概率,其中每次迭代后通过投影算子将更新结果回归至切空间流形;

28、对收敛后的切空间增量向量执行指数映射,将其变换为特殊欧式群上的刚体变换矩阵,逐帧累积刚体变换矩阵后输出连续动态校正的单应映射场。

29、作为本发明进一步的方案:所述残差向量场的组成过程为:

30、对每段时间轴分段内的预测投影残差流进行时序差分,获得各时间点的瞬时变化率张量;

31、从瞬时变化率张量中分解出旋转变化分量和平移变化分量,将旋转变化分量转换为三维反对称矩阵形式,并提取反对称矩阵的三个独立元素作为旋转向量;

32、将旋转向量与平移变化分量依次排列,拼接成六维李代数向量,按时间顺序组成切空间内的残差向量场。

33、作为本发明进一步的方案:所述差异化作业指令,具体包括:

34、根据单应映射场中对应时刻的映射系数,将每个标签的瞬时位置坐标变换为像素平面上的亚像素坐标;

35、以亚像素坐标为中心,提取邻域内的灰度梯度加权值,并利用灰度梯度加权值对映射位置进行局部校准,消除离散化误差;

36、将校准后的像素坐标与对应标签的rfid身份标识及预存工艺参数进行绑定,按照时间序列叠加生成包含身份-参数对的叠加层,并编码为差异化作业指令。

37、作为本发明进一步的方案:所述利用灰度梯度加权值对映射位置进行局部校准,具体包括:

38、以亚像素坐标为中心,在其周围小邻域内计算各像素点的灰度梯度幅度与梯度方向角,将梯度幅度作为权重,构建加权质心偏移矢量;

39、将加权质心偏移矢量按邻域内梯度方向角的分布密度进行归一化,并沿图像行、列两个方向分解,得到行向校准量和列向校准量;

40、将行向校准量和列向校准量分别乘以预设的松弛因子后叠加至原亚像素坐标,迭代更新直至校准量小于半个像素间距,输出校准后的亚像素坐标。

41、本发明还提供了一种ai多模态融合rfid的智能数据采集系统,包括:

42、多源同步采集模块:在工件传送过程中同步采集复数域回波信号矩阵和图像角点热力图,其中复数域回波信号矩阵由多个天线接收的rfid标签反射的iq分量构成,图像角点热力图由高速相机获取的工件轮廓亚像素坐标集合构成;

43、相位解缠绕与三维定位模块:根据复数域回波信号矩阵解算每个标签的相位干涉条纹,通过多维相位解缠绕生成动态相位梯度场,并利用动态相位梯度场反演出各标签在三维空间中的瞬时位置坐标;

44、非高斯状态空间预测模块:将瞬时位置坐标与图像角点热力图输入至非高斯状态空间,在非高斯状态空间内对传送带运动导致的相机外参漂移进行无迹变换预测,得到预测投影残差流;

45、流形约束置信传播模块:基于预测投影残差流,在流形切空间内执行约束增强的置信传播,通过指数映射将更新增量回归至特殊欧式群流形,获得连续动态校正的单应映射场;

46、投影映射与指令生成模块:以单应映射场将每个标签的瞬时位置坐标实时投影至图像像素域,生成绑定了rfid身份标识的工艺参数叠加层,输出作为后续执行装置的差异化作业指令。

47、本发明的有益效果:

48、(1)通过将rfid相位差反演的三维坐标与图像角点热力图在非高斯状态空间中进行融合,并采用无迹变换预测和置信传播迭代校正,能够有效克服传送带振动、金属反射干扰以及视觉部分遮挡等动态因素对数据关联的影响,使得同一工件在运动过程中的rfid身份标识与视觉检测区域保持连续稳定的绑定关系,减少了因身份跳变或丢失导致的装配错误。

49、(2)利用预测投影残差流在特殊欧式群李代数切空间内的流形曲率正则化约束,结合加速度计实时估计的时变噪声协方差,实现了对相机外参漂移的在线自适应校正,无需频繁停机进行人工离线标定,从而降低了生产线的维护成本,同时保证了混流装配中不同型号工件对应的扭矩值、拧紧顺序等差异化工艺参数能够被正确下发至执行装置。