一种基于关键点回归的集装箱与吊具位姿估计方法及系统与流程
本发明属于港口自动化控制,具体地说,是涉及一种基于关键点回归的集装箱与吊具位姿估计方法及系统,可用于岸桥、堆场、轨道吊、轮胎吊、自动化堆场吊具对箱作业中的对位检测、姿态测量和辅助控制。
背景技术:
1、在集装箱装卸作业中,吊具需要与集装箱顶部角件准确对齐后才能完成锁销插入、闭锁和起吊。若吊具与集装箱之间存在较大的横向偏差、纵向偏差、旋转角偏差或高度姿态偏差,可能导致锁销无法准确进入角件孔,甚至造成碰撞、刮擦、吊具偏载或作业中断。
2、现有技术中,吊具与集装箱之间的相对姿态检测方式主要包括:
3、(1)人工观察方式:依赖司机经验,受视角、光照、遮挡和疲劳影响较大。
4、(2)激光雷达或测距传感器方式:可获取距离信息,但设备成本较高,对反光、雨雾、安装位置和标定精度敏感。
5、(3)传统图像识别方式:如边缘检测、模板匹配、霍夫变换等,通常对光照变化、箱体污损、遮挡、箱号文字、锈蚀和背景干扰较敏感。
6、(4)目标检测框方式:可检测集装箱或吊具整体位置,但仅依靠矩形框难以准确计算姿态角、角点位置和吊具—箱体之间的细粒度偏差。
技术实现思路
1、针对上述现有检测方式,本发明提出一种基于关键点回归的集装箱与吊具位姿估计方法及系统,直接识别集装箱和吊具的关键结构点,并根据关键点坐标计算姿态和偏差,达到提升吊具对箱过程中的识别精度、鲁棒性和自动化控制能力的效果。
2、本发明采用以下技术方案予以实现:
3、提出一种基于关键点回归的集装箱与吊具位姿估计方法,包括:
4、s1,采集集装箱图像与吊具图像;
5、s2,将集装箱图像和吊具图像输入预训练的关键点回归模型,得到集装箱关键点和吊具关键点;
6、s3,根据集装箱关键点计算集装箱位姿数据;所述集装箱位姿数据包括集装箱中心点和集装箱姿态角;
7、s4,根据吊具关键点计算吊具位姿数据;所述吊具位姿数据包括吊具中心点及吊具姿态角;
8、s5,将图像坐标转换到作业坐标系,计算集装箱中心点和吊具中心点的位置偏差,以及,计算集装箱姿态角和吊具姿态角的角度偏差;
9、s6,输出吊具相对于集装箱的位姿偏差结果至控制系统。
10、与现有技术相比,本发明的优点和积极效果是:本发明提出的基于关键点回归的集装箱与吊具位姿估计方法,采集集装箱与吊具图像并输入关键点回归模型,直接输出集装箱角件与吊具锁销等具有明确几何意义的关键点坐标,无需依赖手工设计特征或边缘检测等传统图像处理方法,能够自适应不同光照、箱体颜色和污损条件下的视觉特征变化,从而在复杂作业环境下仍能准确识别目标结构点。进一步地,本发明根据这些关键点分别计算集装箱与吊具的中心点和姿态角,并通过将图像坐标转换为作业坐标系下的物理坐标来计算位置偏差和角度偏差,使得偏差结果具有真实的物理尺度含义而非停留于图像像素层面,最终输出的位姿偏差结果能够直接作为吊具自动对箱或半自动辅助对箱控制系统的输入量,实现了从视觉感知到控制反馈的无缝衔接,有效提升了吊具与集装箱对位过程中的检测精度和控制实时性。
11、本发明一些实施例中,所述方法还包括对集装箱位姿数据进行几何约束校验的步骤,包括:
12、边长约束:根据集装箱关键点计算集装箱相邻边的长度比例,将长度比例不符合集装箱长宽比的关键点组合剔除;和/或,
13、平行约束:根据集装箱关键点计算集装箱相对边的方向向量,将方向向量不符合平行关系的关键点组合剔除。
14、本实施例在关键点回归的基础上进一步引入边长约束和平行约束作为几何校验手段,通过利用集装箱作为标准工业产品所具有的固定长宽比和相对边平行等固有几何属性,对模型输出的关键点组合进行合理性验证。当关键点组合计算出的长宽比与集装箱标准长宽比之间的偏差超过允许误差范围、或者相对边方向向量之间的平行度低于预设阈值时,表明该组关键点中存在误检或较大偏移,此时将异常关键点组合予以剔除,防止错误的关键点参与后续姿态计算和偏差解算。该几何约束校验不依赖额外的传感器或人工干预,完全基于集装箱自身的先验几何信息即可实现异常检测,有效避免了因局部遮挡、箱面污损或模型预测偏差导致的关键点误判传递到位姿计算结果中,显著提高了系统在恶劣视觉条件下的输出可靠性和抗干扰能力。
15、本发明一些实施例中,所述方法还包括对集装箱位姿数据进行时序连续性约束的步骤,包括:
16、若相邻帧的同一集装箱关键点的坐标差值大于预设值,使用历史数据修正所述关键点坐标或剔除。
17、本实施例在几何约束校验的基础上进一步对关键点施加时序连续性约束,利用吊具与集装箱在连续作业过程中位姿变化具有物理连续性和运动平滑性的特点,将相邻帧之间同一关键点的坐标变化量作为异常判据。当某一帧中关键点坐标相对于上一帧同一点的位置变化超过预设阈值时,表明该点可能因瞬时遮挡、运动模糊或模型预测抖动而产生跳变,此时可利用历史帧的坐标数据对当前帧异常点进行修正或直接剔除该异常值。该时序约束机制能够有效抑制单帧检测中偶发性的误检和抖动,保证姿态估计结果在时间维度上的平滑一致性,进一步提升了系统在吊具运动过程中连续输出偏差量的稳定性。
18、本发明一些实施例中,所述预训练的关键点回归模型通过热力图输出关键点:
19、;其中,为关键点位置,为高斯核标准差,表示像素点 属于第个关键点的热力响应值;
20、训练损失采用均方误差:
21、;其中,为模型预测热力图;
22、关键点的位置通过最大响应位置得到:。
23、本实施例采用热力图作为关键点回归模型的输出形式,为每一个关键点生成一张二维高斯响应图,其中峰值位置对应关键点在图像中的精确位置,相比于直接回归坐标值的方式,热力图保留了精准的空间位置信息。模型通过最小化预测热力图与以真实关键点为中心构造的高斯热力图之间的均方误差来进行训练,使得网络能够充分学习关键点周围像素的响应分布模式而非仅拟合单一坐标值,增强了模型对关键点附近上下文特征的感知能力。在预测阶段,通过寻找热力图最大响应位置获得关键点坐标,使得模型能够在保证较高定位精度的同时具备良好的抗噪声能力,即使输入图像存在一定程度的模糊或噪声干扰,热力图中的高斯响应区域仍能有效指示关键点的真实位置,从而提高了关键点检测的鲁棒性和定位精度。
24、本发明一些实施例中,s5具体包括:
25、以表示图像坐标,以表示集装箱作业平面坐标;
26、若满足或,得到,归一化后得到,;
27、则对于集装箱中心点和吊具中心点,计算平面偏差为,;
28、其中,为单应性矩阵,为尺度因子。
29、本实施例利用单应性矩阵将图像平面上的关键点坐标映射到作业平面坐标系中,通过标定获得的单应性矩阵h建立起图像像素位置与作业平面物理位置之间的一一对应关系,仅需单目相机即可完成坐标转换,硬件配置简单、成本较低且计算量小。经转换计算出的集装箱中心与吊具中心之间的平面偏差δx和δy不再是图像平面上的像素距离,而是作业平面上具有实际长度单位的物理偏差。该方案适用于将集装箱顶部视为平面的作业场景,能够在无需获取深度信息的前提下高效地完成图像坐标到物理坐标的转换,为偏差计算提供准确的空间基准。
30、本发明一些实施例中,,s5具体包括:
31、基于和将图像点坐标转换到相机坐标系;其中,为图像点坐标,为相机坐标系下深度,为相机焦距在图像平面上的像素度量,为光轴与成像平面交点的像素坐标;
32、计算吊具中心点与集装箱中心点的三维偏差:
33、;其中为吊具中线点三维坐标,为集装箱中心点三维坐标。
34、本实施例通过建立从图像像素坐标到相机坐标系下三维坐标的反投影关系,利用已知的相机内参以及关键点处的深度值z,将二维图像点唯一地映射到相机坐标系中的三维空间点。相比于平面单应性转换,该三维反投影方式能够恢复关键点的完整三维坐标信息,不仅能够计算横向偏差和纵向偏差,还能直接获得吊具与集装箱之间的高度偏差δz,从而在垂直方向上也实现了吊具与集装箱相对位置的精确感知。该三维坐标信息可进一步用于拟合吊具平面和集装箱顶部平面,计算两平面之间的法向量夹角,为姿态偏差的计算提供了数据基础,使得系统能够更全面地感知吊具与集装箱之间的六自由度相对位姿关系。
35、本发明一些实施例中,s5还包括:
36、定义集装箱长边单位方向向量和集装箱短边单位方向向量;其中,为集装箱在作业坐标系下的长边方向向量;
37、计算平面纵向偏差和平面横向偏差;其中,,和为平面偏差;
38、输出相对偏差;其中,为吊具与集装箱之间的高度偏差,为作业坐标系下吊具相对于集装箱的旋转角偏差。
39、本实施例进一步将作业坐标系下的平面偏差向量δp投影到集装箱自身的长边方向和短边方向上,通过在作业坐标系下定义集装箱长边单位方向向量并将其旋转90°得到短边单位方向向量,再利用向量点积运算将全局坐标系下的二维偏差分解为沿集装箱长度方向和宽度方向的两个独立分量。这种分解方式使得输出的纵向偏差和横向偏差与集装箱自身的几何结构直接关联,而坐标系经过坐标转换已经成为作业坐标系,其物理含义清晰。由于纵向偏差和横向偏差均为基于物理坐标计算的投影量,而δz为基于三维坐标计算的高度差,δθ为基于物理坐标重新计算的旋转角偏差,四者共同构成沿集装箱自身坐标系定义的、具有真实物理尺度的完整偏差向量,能够直接作为吊具对箱控制系统的闭环反馈输入,避免了控制系统额外进行坐标变换或单位换算,显著降低了控制系统的接口复杂度和实时计算负担。
40、本发明一些实施例中,在s6前所述方法还包括滤波与异常值剔除的步骤,包括:
41、采用卡尔曼滤波器对所述位置偏差和所述角度偏差进行滤波处理;
42、当预测偏差量相对于上一帧滤波结果的偏差量超过预设阈值时,将当前帧的偏差观测值标记为低可信观测;
43、在卡尔曼滤波更新过程中降低所述低可信观测的权重,或暂停观测更新仅保留状态预测结果。
44、本实施例采用卡尔曼滤波器对偏差计算结果进行时序滤波处理,通过构建包含偏差量及偏差变化率的状态向量,利用状态转移矩阵对当前时刻的偏差进行预测,再结合当前帧的观测值对预测结果进行加权更新,使得最终输出的偏差结果既反映了当前帧的检测信息又融合了历史帧的变化趋势。当检测系统判定当前帧为低可信观测时,通过在滤波更新过程中增大观测噪声协方差或直接暂停观测更新,使得滤波器的输出结果主要依赖于历史状态的运动学预测而暂时降低当前异常观测值的影响,待后续帧检测恢复正常后自动恢复正常的观测更新权重。该滤波机制使系统在处理瞬时遮挡、偶发误检或短暂抖动时仍能输出平滑且物理合理的偏差量,避免了因视觉检测的瞬时跳变导致控制系统产生误动作或震荡,有效保障了自动吊装作业的安全性和平顺性。
45、本发明一些实施例中,所述关键点回归模型输出集装箱关键点和吊具关键点时,还输出每个关键点的置信度;所述置信度的阈值基于光照、运动模糊和历史稳定性动态调整。
46、本实施例过为每个关键点输出置信度,并基于光照条件、运动模糊程度和历史检测稳定性动态调整置信度阈值,实现了模型预测质量的自适应评估。当环境光照良好、图像清晰且检测结果历史一致性较高时,系统自动采用较高的置信度阈值以严格筛选关键点,确保参与偏差计算的均为高质量检测结果;而当光照恶劣、图像存在运动模糊或历史检测波动较大时,系统自动降低置信度阈值以适应模型在困难条件下置信度普遍降低的实际情况,避免因阈值过高而导致无可用关键点输出。该自适应机制使系统能够在不同的作业环境和工况条件下自动调节检测的准入标准,既避免了固定阈值在优良条件下可能引入低质量关键点的问题,又避免了固定阈值在恶劣条件下可能过度拒判的问题,有效扩展了系统的环境适应能力和有效工作时间窗口。
47、本发明还提出一种基于关键点回归的集装箱与吊具位姿估计系统,包括:
48、图像采集装置,配置于集装箱与吊具作业区域,采集集装箱图像与吊具图像;
49、关键点回归模块,用于将集装箱图像和吊具图像输入预训练的关键点回归模型,得到集装箱关键点和吊具关键点;
50、位姿估计模块,用于根据集装箱关键点计算集装箱位姿数据,以及,根据吊具关键点计算吊具位姿数据;其中,所述集装箱位姿数据包括集装箱中心点和集装箱姿态角;所述吊具位姿数据包括吊具中心点及吊具姿态角;
51、偏差计算模块,用于将图像坐标转换到作业坐标系,计算集装箱中心点和吊具中心点的位置偏差,以及,计算集装箱姿态角和吊具姿态角的角度偏差;
52、输出模块,用于输出吊具相对于集装箱的位姿偏差结果至控制系统。
53、结合附图阅读本发明实施方式的详细描述后,本发明的其他特点和优点将变得更加清楚。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com