天车与垛位双感知融合的小方坯跟踪系统及方法与流程

本发明涉及传感器和跟踪，具体地，涉及一种天车与垛位双感知融合的小方坯跟踪系统及方法。

背景技术：

1、目前针对小方坯的跟踪，现有技术采用传统的天车定位系统结合重量传感器检测法或普通工业相机识别法。然而，重量传感器无法判定夹钳旋转角度；普通相机在天车频繁启停的抖动环境下易产生重影和漏检。

2、目前常规天车定位系统，仅能实现天车大车、小车的二维平面坐标定位。即使结合机械限位或者重量传感器，也仍无法精准识别夹钳的空载/重载状态，无法自动判断有效吊运事件，也无法识别坯料的摆放姿态与垛位的层、行、列信息，跟踪精度不足，在小方坯井字形堆叠的场景下，极易出现坯料信息错配，无法实现精准跟踪。

3、另外，单一视觉识别的天车跟踪系统，仅通过天车端的视觉设备识别夹钳状态，未结合垛位现场的实际堆放情况进行交叉校验，在小方坯多层堆叠的场景下，识别准确率大幅下降，无法精准定位坯料的具体行、列，跟踪误差大，无法满足炼钢厂连续生产的高可靠性要求。

4、专利申请文献cn113844813a公开了一种基于机器视觉的板坯识别跟踪调度管理系统，属于天车物料搬运技术领域，包括仓库管理系统、板坯调度控制系统和板坯视觉识别系统，仓库管理系统对接板坯调度控制系统与板坯视觉识别系统，仓库管理系统采用b/s架构，用于实时监控管理板坯库设备、库存状态以及进行排程调度和仓储规划，板坯调度系统包括天车plc，利用5g基站建立与天车plc的通信连接，用于控制天车操作及实现板坯跟踪和精准定位，板坯视觉识别系统包括辊道上板坯信息采集子系统、天车下板坯信息采集子系统和本地图片id识别处理子系统，分别用于采集连铸机出来的钢坯长宽高信息、钢坯坐标、现场id图片。该方案主要解决的是辊道上板坯的位置识别、板坯信息识别，以及库区内板坯的位置、高度识别。所提的方案在小方坯多层井字形堆叠的场景下，识别准确率会大幅下降，该专利无法完全解决目前存在的技术问题，也无法满足本发明的需求。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种天车与垛位双感知融合的小方坯跟踪系统及方法。

2、根据本发明提供的天车与垛位双感知融合的小方坯跟踪系统，包括：天车位置检测装置、天车感知系统、垛位感知系统、网络传输单元和钢坯库管理系统；

3、所述天车位置检测装置包括大车x轴位置检测模块与小车y轴位置检测模块，所述大车x轴位置检测模块与所述小车y轴位置检测模块呈空间垂直分布，用于共同构成天车在库区平面的唯一位置标识；

4、所述天车感知系统包括激光扫描仪、相机和车载控制器，所述激光扫描仪、相机和车载控制器均集成安装在天车上，所述激光扫描仪用于实时采集夹钳及下方坯料的三维点云数据，所述相机用于实时采集夹钳作业的视频画面，所述车载控制器用于接收所述三维点云数据和所述视频画面；

5、所述垛位感知系统包括多台固定安装的相机与图像处理单元，所述相机安装于库区垛位旁或者垛位上方，镜头对准目标垛位，用于实时采集垛位表层坯料的图像数据并传输至所述图像处理单元；

6、所述网络传输单元用于实现天车位置检测装置、天车感知系统、垛位感知系统与钢坯库管理系统之间的数据与视频传输；

7、所述钢坯库管理系统分别与所述天车位置检测装置、天车感知系统、垛位感知系统和网络传输单元连接，用于接收并处理定位数据、感知数据和识别数据，更新库区库位与坯料信息。

8、优选地，所述天车感知系统中的车载控制器配置为：将所述三维点云数据和所述视频画面同步输入，通过视觉模型与点云分析算法，识别夹钳的空载/重载状态、旋转状态，结合天车定位数据，判断吊运事件的起吊点、起吊时间、卸下点和卸下时间；

9、所述视觉模型采用实例分割模型，表达式为：

10、

11、其中，为视觉模型的输出结果，为t时刻输入的视频帧图像，为模型预训练权重；为实例分割模型，表示对输入图像进行实例分割推理的映射函数；

12、模型输出夹钳钳口的边界框，分别为边界框左上角在图像中的横坐标和纵坐标，分别为边界框的宽度和高度；

13、通过深度学习模型，对相机实时采集的视频帧进行逐帧推理，模型关注夹钳钳口区域的张开角度及闭合状态；空载时，夹钳处于完全张开状态；重载时，夹钳因夹持坯料呈现特定的微张角度，且钳口与坯料表面在图像上形成明显的接触边缘；模型通过学习标注样本中的钳口形态与载荷对应关系，输出夹钳的载荷分类置信度，载荷分类置信度，0=空载，1=重载；

14、所述点云分析算法包括：

15、定义夹钳点云集合为，下方区域点云集合为；

16、载荷状态由空间重叠度与法向量一致性联合判定：

17、

18、其中，为载荷状态判定结果；为重叠度计算函数，用于计算钳口点云与下方点云在z轴投影的重叠比例；为法向量相似度计算函数，用于计算夹钳点云法向量与下方点云法向量夹角的余弦相似度；为预设的空间重叠度阈值；为夹钳点云的法向量；为下方点云的法向量；为预设的法向量相似度阈值。

19、优选地，所述车载控制器还配置为采用加权投票法融合视觉和点云的识别结果：

20、

21、其中，，为权重系数；若大于预设阈值，则判定为重载；

22、通过以下步骤判断吊运事件：

23、实时监测夹钳状态，当检测到空载到重载的状态变化时，标记为潜在起吊事件，当检测到重载到空载的状态变化时，标记为潜在卸下事件；

24、结合天车xy轴位置数据，判断状态变化发生的位置是否在有效作业区域内；

25、确认状态变化前后天车的运动轨迹符合吊运逻辑；

26、确认后记录事件类型、发生时间和发生位置，并发送给钢坯库管理系统。

27、优选地，所述垛位感知系统中的图像处理单元配置为：通过实例分割模型识别垛位最上层方坯的行和列数量；

28、所述实例分割模型输出每个检测到的方坯实例的边界框、置信度得分和实例掩码，并通过对检测出的实例计数，得到上层方坯的行或列数。

29、优选地，所述垛位感知系统中的图像处理单元还配置为：

30、初始时，通过实例分割模型对空垛位或已知布局的垛位建立基准，记录上层每个方坯的实例掩膜、中心点坐标及对应的行列索引；

31、每次吊运事件完成后，自动保存当前垛位最上层的方坯实例集合及其行列布局；

32、对当前次的垛位上层信息进行模型分割，与历史状态进行对比，若历史图像中的某个方坯实例的掩膜与当前图像中所有方坯实例掩膜的最大重叠度小于预设阈值，则判定该方坯已被吊走，则标记为变化实例，结合垛位历史行列，得出变化实例当前行/列信息，并更新当前信息至垛位状态中。

33、优选地，所述天车位置检测装置中：

34、x轴位置检测模块采用包括格雷母线、绝对值编码尺、条码带在内的连续式位置检测传感器时，传感器固定于大车轨道侧的地面支架上，沿天车大车运行轨道全长铺设，地址编码器安装于天车大车端梁上；x轴位置检测模块采用包括激光、微波雷达在内的非接触式位置检测传感器时，传感器发射器安装于天车上，反射板固定于轨道终点，或者传感器发射器与反射板的安装位置互换；

35、y轴位置检测模块采用包括格雷母线、绝对值编码尺、条码带在内的连续式位置检测传感器时，传感器固定于天车主梁的支架上，沿天车小车运行轨道全长铺设，地址编码器安装于天车小车上；y轴位置检测模块采用包括激光、微波雷达在内的非接触式位置检测传感器时，传感器发射器安装于小车端部，反射板固定于主梁端部，或者传感器发射器与反射板的安装位置互换；

36、控制系统实时接收位置检测传感器的检测值，并将检测值转换为库区坐标系下的x/y轴坐标。

37、优选地，所述车载控制器还配置为对点云进行欧氏距离聚类：

38、对滤波降采样后的点云集合，聚类条件为：

39、

40、其中，为点云集合中的第n个点云；为聚类后得到的第i个点云簇；为当前待判断是否属于该簇的点云中的任意一点，为已属于该簇中的任意一点，j和k为点云序列索引；为聚类距离阈值；

41、对分割出的夹钳点云进行主成分分析，计算其协方差矩阵c：

42、

43、对c进行特征值分解：

44、

45、特征值对应的特征向量为点云的主方向，分别为长、宽、高轴方向；

46、其中，为夹钳点云中点的总数；为夹钳点云中的第i个点；为点云的均值向量；为转置符号；为协方差矩阵c的第j个特征向量，对应点云的主方向；为协方差矩阵c的第j个特征值；

47、计算最小外接包围盒，长取跨度最大的方向对应的长度，宽取跨度次大的方向对应的长度，高取跨度最小的方向对应的长度。

48、优选地，所述钢坯库管理系统配置为：结合天车感知系统识别的夹钳旋转状态与吊运动作事件，以及垛位感知系统识别的天车吊运前后的垛位图像变化情况，判断本次天车作业的坯料在垛位中对应的行或列信息，实现坯料位置的精准锚定，并根据天车作业的吊运动作更新库位信息。

49、根据本发明提供的天车与垛位双感知融合的小方坯跟踪方法，包括如下步骤：

50、步骤1：系统初始化，钢坯库管理系统完成逻辑库位与物理库位的映射配置，进行坯料基础信息配置，系统参数初始化；天车位置检测装置、天车感知系统、垛位感知系统完成自检，实时采集并上传基础数据；

51、步骤2：天车定位检测装置实时采集天车大车x轴、小车y轴的绝对位置数据，天车感知系统实时采集夹钳的三维点云与视频画面，通过车载控制器的模型实时识别夹钳的空载/重载状态、旋转角度；

52、步骤3：车载控制器结合天车位置数据与夹钳状态数据，当识别到夹钳由空载转为重载、且大小车位置数据符合起吊动作逻辑时，将起吊事件识别结果发送给钢坯库管理系统；

53、步骤4：钢坯库管理系统接收到起吊事件识别结果，锁定起吊位置对应的库位信息；

54、步骤5：垛位感知系统在天车离开作业垛位后，采集垛位图像，通过视觉分割模型识别垛位最上层坯料的行、列数量，结合上一个吊运作业后的照片进行对比，识别垛位图像变化情况；

55、步骤6：钢坯库管理系统结合天车夹钳的旋转状态，完成天车定位数据、夹钳状态数据、垛位识别数据的多源融合，判断本次作业的目标起吊位置与层、行、列信息，并同步调取该位置对应的坯料基础信息，完成起吊事件与坯料对象的绑定；

56、步骤7：重复执行步骤2；

57、步骤8：车载控制器结合天车位置数据与夹钳状态数据，当识别到夹钳由重载转为空载、且大小车位置数据符合卸下动作逻辑时，将卸下事件识别结果发送给钢坯库管理系统；

58、步骤9：重复执行步骤5；

59、步骤10：钢坯库管理系统结合天车夹钳的旋转状态，完成天车定位数据、夹钳状态数据、垛位识别数据的多源融合，判断本次作业的目标卸下位置与层、行、列信息，并同步调取对应的坯料基础信息，自动更新系统内的库位占用信息与坯料位置信息；

60、步骤11：重复执行步骤2至步骤10，完成库区所有天车的入库、倒垛、转库、出库作业的自动跟踪，同步将作业实绩数据反馈至上层信息化系统。

61、优选地，所述步骤5中垛位感知系统通过实例分割模型识别垛位最上层坯料的行、列数量，具体包括：

62、对预处理后的点云构建空间索引，设置距离阈值、最小簇点数和最大簇点数；

63、通过聚类将空间上距离小于阈值的点归为同一簇，输出多个点云簇，遍历每个簇，计算包围盒，将小车位置范围内的最大包围盒对应的簇作为夹钳点云数据；

64、在载荷状态判定中，若钳口区域点云的法向量与下方相邻点云的法向量呈现平行且距离在预设阈值内，则判定为重载。

65、与现有技术相比，本发明具有如下的有益效果：

66、（1）本发明解决了传统天车定位系统仅能获取大车、小车二维坐标，无法精准识别坯料在井字形垛位中的行、列信息，无法适配炼钢厂小方坯多层堆叠作业场景的跟踪需求的问题；

67、（2）本发明解决了天车夹钳旋转导致的坯料摆放姿态无法识别，吊运事件判断错误、坯料跟踪信息错配的行业痛点；

68、（3）本发明解决了传统库区人工盘库、依赖人工记录吊运信息、找坯作业劳动强度大、效率极低，实物流与信息流脱节，无法实现库区精细化管理的问题；

69、（4）本发明解决了炼钢厂高温、高粉尘环境下，天车机械结构抖动导致传统机械限位或单一视觉方案识别准确率低的问题；通过多维感知，消除了由于夹钳旋转、摆动、遮挡引发的误判，确保了物理流与信息流的高度一致。