基于多算法融合的边坡桁架机器人安装系统

本发明涉及边坡工程施工与机器人控制，具体为基于多算法融合的边坡桁架机器人安装系统。

背景技术：

1、边坡预制件防护是边坡加固体系中的核心工序，它以工厂标准化预制的混凝土构件为主体，通过现场精准拼装、咬合锚固与整体嵌固，直接承担坡面土体约束、径流冲刷抵御及浅层滑坡防控的关键作用。在边坡整体加固流程中，该工序承上启下，既衔接坡面修整、基础处理等前期准备，又配合排水系统、锚固结构形成稳定防护体系，通过构件自身强度与拼接整体性，有效抑制土体风化、剥落与滑移，显著提升边坡长期稳定性。相比传统防护方式，其施工效率高、质量可控、修复便捷，能够快速形成可靠加固效果，是确保边坡工程安全、耐久与合规交付的关键环节，在土质及风化岩边坡的工程加固中占据不可替代的核心地位。

2、传统边坡预制件防护安装主要依赖人工坡面作业配合简易吊装完成，整体施工模式存在四大突出缺陷：一是人工在坡面开展安装作业安全风险高，极易发生高处坠落事故；二是边坡现场处于户外开放环境，受扬尘、强光照射、植被遮挡等多重干扰，感知设备难以稳定、持续识别预制件；三是坡面缺乏统一平整基准，传统技术手段无法完成高精度坡面位姿估计，造成预制件装配精度偏低；四是未形成适配边坡工况的感知-控制闭环系统，安装过程中易发生碰撞，造成预制件损坏或坡面结构损伤。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了基于多算法融合的边坡桁架机器人安装系统，解决边坡户外复杂环境下预制件持续、高精度安装及人工坡面作业高危的难题。该系统集成边坡适配型桁架机器人、户外抗干扰感知硬件、边坡优化感知算法层及坡面协同决策控制层，构建“分割-跟踪-精估计-坡面坐标转换”感知-控制闭环；采用yolov8-seg+bytetrack+foundationpose算法栈并经边坡场景优化，结合imu实时采集的机器人末端运动数据通过电机控制器控制机械手，实现边坡防护预制件高精度柔顺装配。本发明兼顾鲁棒性、精度与实时性，替代人工高危作业，提升安装效率与安全性，具有高工程应用价值和可专利性。

3、（二）技术方案

4、为实现上述目的，本发明提供如下技术方案：基于多算法融合的边坡桁架机器人安装系统，包括边坡适配型桁架机器人主体、边坡户外抗干扰感知硬件层、边坡场景优化的感知处理单元、坡面协同决策规划单元及执行控制单元；

5、所述边坡适配型桁架机器人主体包括：坡面可调节末端执行器、边坡适配桁架导轨、坡面调平机械臂；

6、所述边坡户外抗干扰感知硬件层包括：防尘抗光照rgb-d相机和边坡抗振动imu；

7、所述边坡场景优化的感知处理单元包括：边坡抗干扰识别与分割模块、边坡多目标跟踪模块、边坡6d姿态精估计模块、坡面坐标系转换模块、视觉-惯导融合模块；

8、所述边坡抗干扰识别与分割模块采用yolov8-seg模型实现预制件实例分割，并抑制边坡背景干扰；

9、所述边坡多目标跟踪模块采用bytetrack跟踪器跟踪预制件坡面2d运动轨迹，并优化轨迹预测参数；

10、所述边坡6d姿态精估计模块采用foundationpose模型输出预制件相对于相机坐标系和坡面局部坐标系的高精度6d姿态；

11、所述坡面坐标系转换模块用于实现多坐标系位姿精准转换；

12、所述视觉-惯导融合模块将foundationpose视觉位姿数据与imu运动数据融合，并输出修正后的高精度位姿数据；

13、所述坡面协同决策规划单元用于接收感知数据，结合预制件cad模型尺寸与边坡地形，生成贴合坡面的运动轨迹并优化轨迹参数；

14、所述执行控制单元用于接收轨迹指令，并控制机器人完成预制件抓取、坡面搬运与柔顺装配；

15、优选的，所述rgb-d相机用于采集边坡场景rgb视频流、深度图像及点云数据，所述imu安装于桁架机器人末端执行器，用于采集末端姿态、角速度、加速度数据；

16、优选的，所述边坡多目标跟踪模块采用bytetrack持续跟踪预制件，仅在抓取或坡面位姿测量时触发边坡6d姿态精估计模块；

17、优选的，所述边坡抗干扰识别与分割模块的工作步骤为：

18、a1、从rgb-d相机采集的数据中提取不同坡度、光照、扬尘、植被遮挡工况下的边坡场景rgb视频流、深度图像，同时采集纯边坡背景数据，形成原始数据集，代表单帧图片，代表总样本数；

19、a2、用labelme标注预制件实例分割轮廓，生成标注文件,代表像素级分割掩码，用于区分预制件和背景；并按照干扰类型进行分类统计；

20、；

21、其中，代表某类干扰样本数；代表光照干扰，代表扬尘干扰，代表植被遮挡；

22、a3、计算图像信噪比量化扬尘噪声干扰程度，计算公式为：

23、；

24、其中，代表图像信噪比，代表图像均值；筛选的数据为有效样本；

25、a4、统计不同光照强度下图像亮度均值，确定亮度扰动范围以及扬尘导致图像雾化程度的系数；

26、；

27、其中，代表；

28、；

29、其中，代表浓度-雾化系数拟合斜率；代表实测的边坡扬尘浓度；代表拟合截距；

30、a5、针对不同的干扰进行针对性数据增广，具体为：

31、a、光照干扰：；

32、其中，代表亮度偏移量；

33、b、扬尘干扰：；

34、其中，代表雾化背景图；

35、c、背景融合增强：；

36、其中，代表预制件图像的融合权重系数；代表预制件图像；代表纯边坡背景图像；

37、a6、将数据增广后的数据集按7:2:1划分为训练集、验证集、测试集；

38、a7、对yolov8-seg模型进行模型初始化，设定输入尺寸、批次大小、初始学习率，然后计算模型总损失，计算公式为：

39、；

40、其中，代表总损失；代表分类损失；代表边界框损失权重；代表边界框损失；代表分割损失权重；代表分割损失；

41、当时，执行a8步骤；当时，停止训练并保存当前模型参数；

42、a8、实时监控训练集、验证集损失曲线，当训练集或验证集损失连续5轮上升，降低学习率，代表初始学习率，并分析背景误检率，公式表达式为：

43、；

44、其中，代表背景误检率；代表背景误判为预制件数；代表正确识别的背景数，当补充背景样本重新训练，直至；

45、a9、分别计算预制件实例分割精度、背景抑制率、分割成功率来验证yolov8-seg模型的效果，计算公式为：

46、；

47、；

48、；

49、其中，代表预制件实例分割精度；代表正确分割的预制件像素数；代表背景误判为预制件的像素数；代表预制件漏分割的像素数；代表正确识别的背景像素数；代表预制件误判为背景的像素数；

50、代表背景抑制率；代表背景总像素数；

51、代表分割成功率；代表正确分割的帧数；代表总帧数；

52、a10、分别计算光照、扬尘、遮挡场景下的，当不同场景间波动时，补充对应低精度干扰类型数据重新训练，直至场景间波动；

53、当时，补充背景样本迭代训练，直至；

54、当时，提取低精度帧分析干扰类型并补充对应数据，重新微调模型，直至；

55、优选的，所述a7中，、分割损失公式表达式为：

56、；

57、其中，代表模型预测的候选区域总数；代表第个候选区域的真实标签；代表模型预测第个候选区域为预制件的概率；

58、；

59、其中，代表模型预测的预制件边界框；代表预制件真实边界框；代表的中心点坐标；代表的中心点坐标；代表与的欧式距离平方；代表能覆盖和的最小矩形的对角线长度；代表宽高比惩罚项；

60、；

61、其中，代表图像高度；代表图像宽度；代表像素级损失权重；代表像素被预测为预制件的概率；

62、优选的，所述边坡多目标跟踪模块的工作步骤为：

63、b1、基于yolov8-seg的实例分割结果，提取每帧图像中预制件的2d边界框，计算边界框中心点坐标，其中、，代表帧序号，然后将、边界框宽、边界框高作为bytetrack跟踪的初始检测框输入；

64、b2、初始化bytetrack跟踪器核心参数：设定检测框匹配阈值、轨迹平滑度阈值、轨迹中断率阈值、轨迹预测误差阈值，并初始化卡尔曼滤波器用于轨迹预测，卡尔曼滤波状态方程为：

65、

66、其中，代表状态向量，代表框中心坐标；代表中心像素速度；代表框宽高；代表状态转移矩阵；代表控制矩阵；代表控制量；代表过程噪声；

67、b3、对当前帧检测框，先通过卡尔曼滤波预测轨迹框位置，计算检测框与预测框的匹配系数，计算公式为：

68、；

69、其中，代表当前帧检测框面积；代表卡尔曼滤波预测框面积；

70、当时完成匹配并更新该轨迹的卡尔曼滤波状态，执行b4步骤；反之判定为未匹配，对未匹配检测框新建轨迹，后执行b4步骤；

71、b4、分别计算轨迹2d运动速度、轨迹平滑度、轨迹中断率，计算公式为：

72、；

73、其中，代表第帧轨迹2d运动速度；代表第帧框中心横坐标；代表第帧框中心纵坐标；代表帧间隔时间；

74、；

75、其中，代表轨迹平滑度；代表轨迹总帧数；代表第帧轨迹2d运动速度；

76、；

77、其中，代表轨迹中断率；代表中断轨迹数；代表总轨迹数；

78、b5、基于b4的计算结果进行轨迹预测参数优化，后计算轨迹预测误差；

79、a、当时，调整卡尔曼滤波过程噪声协方差，降低预测值对噪声的敏感度；

80、b、当时，降低检测框匹配阈值，提升轨迹匹配容错率；

81、c、轨迹预测误差计算公式为：

82、；

83、其中，代表验证帧数；代表第帧预测框中心横坐标；代表第帧实际检测中心横坐标；代表第帧预测框中心纵坐标；代表第帧实际检测框中心纵坐标；

84、b6、重复执行步骤b1至b5，迭代优化参数直至后，保存为最优参数，当前参数为最优参数，根据最优参数输出预制件坡面2d运动轨迹序列；

85、优选的，所述边坡6d姿态精估计模块的工作步骤为：

86、c1、基于预制件cad模型，提取模型的三维几何特征，生成模型点云模板，对模型点云中第个点的近邻点做协方差矩阵svd分解并归一化，直接计算表面法向量，然后基于该点及邻域点的坐标和法向量计算角度特征直方图并归一化，得到特征描述符；同时计算模型中心点，作为姿态估计的基准点，表达式为：

87、；

88、其中，、、代表模型点云中第个点的坐标；代表模型点云总点数；

89、；

90、其中，、、代表模型点云中第个点的坐标

91、c2、基于输出的预制件坡面2d运动轨迹序列，提取对应帧的rgb-d深度图像中轨迹框内的深度数据；

92、c3、通过相机内参矩阵将像素坐标转换为相机坐标系下的点云，表达式为：

93、；

94、其中，、代表相机焦距；、代表主点坐标；

95、；

96、c4、采用统计滤波剔除距离均值超过3σ的离群点，得到去噪后的预制件实时点云，表达式为：

97、；

98、其中，代表实时点云中第个有效点；、、代表第个点在相机坐标系下的坐标；代表实时点云有效点数；

99、c5、设定特征匹配阈值、icp迭代次数、重投影误差阈值；

100、c6、计算实时点云中特征与模型模板中特征的特征匹配，表达式为：

101、；

102、当时，判定、为匹配点对，其中，代表实时点云中第个有效点在相机坐标系下的三维坐标；代表模型模板中第个点的三维坐标；

103、c7、基于匹配点对，计算预制件相对于相机坐标系的初始旋转矩阵、平移向量，然后以、为初值执行icp迭代优化，每次迭代中计算对应点对的误差，并最小化误差函数更新旋转矩阵和平移向量，具体为：

104、；

105、其中，代表有效匹配点对数量；代表模型点投影后的预测像素坐标；代表实时点的实际像素坐标；

106、；

107、；

108、c8、计算重投影误差，计算公式为;

109、；

110、其中，、代表实时点云投影到像素平面的预测坐标；、代表实际像素坐标；

111、当时，返回c6重新执行特征匹配与icp优化；当，确定相机坐标系下的最终6d姿态，其中代表3×3旋转矩阵；代表平移向量；

112、c9、选取坡面3个非共线基准点，获取其在相机坐标系下的坐标、、，以及在坡面局部坐标系下的坐标、、；

113、c10、求解相机坐标系到坡面局部坐标系的转换矩阵，然后将相机坐标系下的6d姿态转换为坡面局部坐标系下的姿态，表达式为：

114、；

115、其中，代表3×3旋转矩阵；代表3×1平移向量；

116、；

117、；

118、c11、将分解为欧拉角姿态，表达式为：

119、；

120、；

121、；

122、c13、最终得到坡面局部坐标系下的6d姿态，并输出包含位置和欧拉角姿态的完整结果，表达式为：

123、；

124、其中，代表坡面局部坐标系下的位置坐标；

125、优选的，所述坡面坐标系转换模块的工作步骤为：

126、d1、获取imu坐标系→相机坐标系的4×4齐次转换矩阵，表达式为：

127、；

128、其中，代表imu到相机的3×3旋转矩阵；代表平移向量；

129、d2、基于和c10的，计算imu→坡面的转换矩阵，得到imu数据在坡面系的位姿，表达式为：

130、；

131、d3、提取c9选取的坡面3个非共线基准点，验证相机/imu系转换到坡面系的转换误差，表达式为：

132、；

133、其中，代表坡面基准点在坡面局部坐标系下的真实坐标；代表基准点的相机/imu系坐标通过/转换得到的计算坐标；

134、当时，对的平移向量进行调整，重新计算，直至，保存调整后的，其中，代表转换误差阈值；

135、优选的，所述视觉-惯导融合模块的工作步骤为：

136、e1、提取视觉位姿以及imu位姿，并分别进行标注，表达式为：

137、视觉位姿：

138、；

139、；

140、其中，代表坡面局部坐标系下视觉解算的预制件位置坐标；分别代表x、y、z轴位置；代表坡面局部坐标系下视觉解算的预制件姿态欧拉角；分别代表横滚角、俯仰角、偏航角；

141、imu位姿：

142、；

143、；

144、其中，代表转换后坡面局部坐标系下imu解算的预制件位置坐标；分别代表x、y、z轴位置；代表转换后坡面局部坐标系下imu解算的预制件姿态欧拉角；分别代表横滚角、俯仰角、偏航角；

145、e2、基于转换误差分别确定视觉权重以及imu权重，表达式为：

146、视觉权重：

147、；

148、imu权重：

149、；

150、e3、分别对位置、姿态分别做加权平均进行融合后建立融合位置以及融合姿态，公式表达式为：

151、融合位置：

152、；

153、融合姿态：

154、；

155、e4、计算融合位姿与基准点真实值的误差，公式表达式为：

156、；

157、当时，对融合位置做线性修正，，直至，其中，代表修正后融合位置，即当前点；代表真实值误差阈值；

158、优选的，所述坡面协同决策规划单元工作步骤为：

159、f1、构建当前点到目标点的连续运动轨迹点：

160、；

161、其中，代表第个轨迹点在坡面局部坐标系下的位置；代表轨迹插值系数，代表轨迹点序号；代表轨迹总点数；

162、f2、计算轨迹参数，具体包括轨迹总长度、轨迹点间距、轨迹运动速度、轨迹运行时间、轨迹平滑度，表达式为：

163、；

164、其中，代表轨迹总长度；

165、；

166、其中，代表轨迹点间距；

167、；

168、其中，代表轨迹运动速度；代表基准速度；代表坡度速度修正系数；

169、；

170、其中，代表轨迹运行时间；代表完成整条轨迹所需时间；

171、；

172、其中，代表轨迹平滑度。

173、与现有技术相比，本发明提供了基于多算法融合的边坡桁架机器人安装系统，具备以下有益效果：

174、1.算法栈边坡场景创新性优化与应用：针对边坡户外光照突变、扬尘、植被遮挡等复杂工况，对yolov8-seg、bytetrack、foundationpose三大核心算法进行针对性优化，设计坡面坐标系转换模块，实现多传感器坐标系统一映射，有效解决边坡户外感知抗干扰能力弱、位姿转换精度不足的行业痛点，为系统精准作业提供可靠算法支撑。

175、2.边坡适配的“跟踪-触发-精算”模式：优化多目标跟踪与位姿精估计的触发逻辑，仅在预制件抓取、坡面位姿测量关键节点触发foundationpose精算，同时对核心算法进行轻量化处理，适配户外嵌入式工控机运行需求，在保证作业精度的前提下，降低硬件部署成本，提升系统户外适配性。

176、3.坡面视觉-电机控制闭环：整合视觉-惯导融合后的高精度位姿数据，结合边坡地形误差补偿机制，实时调整机器人执行机构动作参数，实现预制件坡面柔顺装配，有效避免轨迹突变、定位偏差导致的装配误差，提升边坡安装作业质量与稳定性。

177、4.边坡场景系统级集成：整合边坡适配型桁架机器人主体、户外抗干扰感知硬件与场景化优化算法，构建“感知-决策-执行”完整闭环系统，实现边坡预制件抓取、搬运、装配全流程自动化作业，成功替代人工在高陡边坡、高危环境下的作业模式，降低人员安全风险，提升作业效率与标准化水平。