一种融合三维语义信息的变电站屏柜机器人按压操作方法和系统
本发明属于机器人智能控制,特别是涉及一种融合三维语义信息的变电站屏柜机器人按压操作方法和系统。
背景技术:
1、当前面向机器人精细操作的视觉-语言-动作(vision-language-action,vla)模型通常以rgb图像与自然语言指令作为输入,通过视觉transformer提取视觉特征,并与语言特征进行跨模态对齐,最终回归末端执行器的动作序列。在引入深度信息时,主流做法是将深度图作为rgb图像的第四个通道直接拼接即rgb-d四通道输入,与rgb一同送入同一vit骨干网络进行联合编码;也有部分方案以早期融合或晚期拼接方式将深度特征与rgb特征简单相加或级联,再统一输入策略头预测动作。该类方法已在通用桌面抓取、物体推动等任务上取得一定效果。
2、上述现有技术存在两方面显著不足:其一,将深度图作为第四通道与rgb拼接的处理方式,本质上仍由二维卷积或二维注意力进行特征提取,未对深度所蕴含的三维几何结构进行显式建模,导致模型对相邻物体的高度差、凸起结构、空间相对位置等几何信息感知不足。在变电站二次屏柜场景中,屏柜面板上密集排列数十个外观高度相似的按钮,按钮仅凸起数毫米,rgb特征对此类细微深度差异不敏感,极易出现相邻按钮误识别和按压位姿预测偏差。其二,现有方法默认深度传感器输出的深度图全局可信,未考虑消费级深度相机在透明防护面板、反光指示灯、镜面金属等表面上深度严重失效的实际部署痛点,一旦深度噪声进入特征空间将污染下游决策,造成模型在真实变电站环境下鲁棒性骤降。
3、综上,现有vla模型在变电站等复杂工业场景的机器人精细操作任务中,既缺乏对三维几何结构的主动感知能力,也缺少对传感器数据质量的自适应判别机制,难以满足实际部署对精度与鲁棒性的双重需求。为此,本发明提出一种融合三维语义信息的变电站屏柜机器人按压操作方法和系统,从根本上解决上述问题。
技术实现思路
1、针对以上技术问题,本发明提供一种融合三维语义信息的变电站屏柜机器人按压操作方法和系统。
2、本发明解决其技术问题采用的技术方案是:
3、在第一方面,提供了一种融合三维语义信息的变电站屏柜机器人按压操作方法,包括以下步骤:
4、s100:获取机器人操作场景的多模态输入数据,其中,多模态输入数据包括rgb图像、深度图像、自然语言操作指令和机械臂末端执行器的当前位姿,对rgb图像和深度图像进行预处理,得到预处理后的rgb图像和深度图像;
5、s200:通过二维视觉编码器对预处理后的rgb图像进行特征提取得到二维视觉token序列;
6、s300:基于预处理后的深度图像进行三维空间反投影构建三维几何特征表示,得到三维几何token序列;
7、s400:通过置信度预测网络对预处理后的深度图像的各像素进行可信度评估,获得反映深度测量可靠性的像素级置信度信息;
8、s500:以二维视觉token序列作为引导、三维几何token序列作为被引导特征,构建跨模态注意力机制,利用置信度信息对跨模态注意力机制中来自不可信区域的注意力响应进行抑制,并根据置信度信息将抑制后的注意力输出与二维视觉token序列进行自适应加权融合,获得融合多模态特征;
9、s600:将自然语言操作指令编码为语言特征序列,将融合多模态特征与语言特征序列进行跨模态对齐,并基于对齐后的特征和末端执行器的当前位姿生成机器人动作序列。
10、优选地,s100包括:
11、s110:获取机器人操作场景的多模态输入数据,其中,多模态输入数据包括由机械臂腕部或第三视角rgb-d相机采集的rgb图像和深度图像,由变电站调度系统下发的自然语言操作指令,以及机械臂末端执行器的当前位姿;
12、s120:对rgb图像进行归一化处理,对深度图像进行无效值掩膜处理以剔除无效深度像素,并将归一化后的rgb图像和掩膜处理后的深度图像缩放至统一的网络输入分辨率224×224,得到预处理后的rgb图像和预处理后的深度图。
13、优选地,s200包括:
14、将预处理后的rgb图像经二维视觉编码器划分为个不重叠的图像分块,每个图像分块经线性投影后得到二维视觉token序列,具体为:
15、
16、其中,为token特征维度,表示二维视觉编码器,为图像分块的总数量,为图像的高度,为图像的宽度,为每个图像分块的边长,为二维视觉token序列,用于编码机器人操作场景中屏柜面板的纹理信息、颜色信息、按钮标签文字信息和指示灯状态信息。
17、优选地,s300包括:
18、s310:利用rgb-d相机的内参矩阵,将预处理后的深度图像中的每个有效像素反投影至相机坐标系下的三维空间点,具体为:
19、
20、由此得到原始点云,具体为:
21、
22、其中,分别为像素的横坐标和纵坐标,为有效深度像素数量,、为相机主点坐标,、为相机归一化焦距,、、分别为当前像素对应的三维空间点在相机坐标系下的横坐标、纵坐标和深度坐标,分别为原始点云中第i个有效深度像素的横坐标、纵坐标和深度坐标;
23、s320:为原始点云中每个点附加从预处理后的rgb图像对应位置采样的颜色特征作为额外通道,得到带颜色信息的原始点云;为控制计算量并均衡空间分布,对带颜色信息的原始点云进行最远点采样,得到固定点数的标准化点云;
24、s330:将标准化点云输入轻量级三维编码器,在每一层级,通过球查询分组以查询点为中心、半径内采样邻域点构建局部几何结构,再通过共享多层感知机和最大池化提取局部特征,具体为:
25、
26、其中,表示第层级中,查询点的局部特征,表示以查询点为中心、半径内的邻域点集合,为邻域点索引,为邻域点的三维空间坐标,为邻域点在前一层级的特征,表示多层感知机映射;
27、s340:经过多层级特征提取后,将点云特征通过线性投影对齐到与二维视觉token相同的维度,得到三维几何token序列,具体为:
28、
29、其中,为最终点云token数量,为三维几何token序列,用于表征场景中物体的凸起高度信息、相邻物体间距信息和表面法向量信息。
30、优选地,s400包括:
31、s410:置信度预测网络采用轻量级编码器-解码器结构,输入为预处理后的rgb图像与预处理后的深度图像的通道级拼接,输出为单通道像素级置信度图,具体为:
32、
33、其中,为输出的像素级置信度图;
34、s420:置信度预测网络的训练监督信号通过如下方式构造:
35、在仿真环境中,同时获取真值深度和模拟传感器深度,基于同一像素位置处二者的相对误差构造像素级置信度真值,具体为:
36、
37、其中,为温度系数,为防止分母为零的小常数,为像素位置处的模拟传感器深度,为像素位置处的真值深度,为像素位置处的置信度真值,该构造方式使误差越大的像素置信度越低;
38、采用二元交叉熵损失训练置信度预测网络,具体为:
39、
40、s430:与二维视觉token结构对齐,将像素级置信度图按照二维视觉编码器的分块划分方式进行分块,对每个分块内像素置信度做平均池化,得到二维视觉token对应的分块级置信度向量,具体为:
41、
42、其中,表示像素位置处深度测量的可信程度,表示第个二维视觉token对应的图像分块,表示图像分块的边长,每个图像分块包含个像素,表示二维视觉token的总数,表示二维视觉token的索引,表示第个二维视觉token对应的分块级置信度向量;
43、s440:通过相机外参将三维点云token投影回图像平面,采样对应位置的置信度,得到三维几何token的置信度向量。
44、优选地,s500包括:
45、s510:以二维视觉token序列作为查询、三维几何token序列作为键和值,构建跨模态注意力,具体为:
46、
47、
48、其中,、、为可学习的线性投影矩阵,为特征维度,为查询矩阵,为键矩阵,为值矩阵,为原始注意力权重矩阵,为缩放因子;
49、s520:为引入置信度门控,将三维几何token序列对应的置信度向量作为软掩膜注入注意力权重,对深度不可信区域对应的键-值对的注意力权重进行抑制:
50、
51、其中,为抑制后的注意力权重,作为偏置项加入归一化前的原始注意力得分logits中,使得置信度低的三维几何token在后权重接近于零,从而在深度失效区域,模型自动忽略不可靠的三维几何信息,最终得到融合多模态特征为:
52、
53、其中,为按token加权的逐元素乘法,作为分块级权重控制每个token位置上二维特征与融合后三维特征的相对贡献。
54、优选地,s600包括:
55、s610:将自然语言操作指令经预训练语言编码器llama编码为语言token序列,其中,为语言token的数量;
56、s620:将融合多模态特征与语言token序列通过多层transformer解码器进行跨模态对齐,获取对齐后的联合特征表示;
57、s630:将联合特征表示与末端执行器的当前位姿输入动作头,回归生成末端执行器的目标位姿动作序列,具体为:
58、
59、其中为当前时刻,为预测时域长度,为动作生成器;
60、动作头采用扩散策略或流匹配作为动作生成器,输出的目标位姿动作序列包括末端执行器的目标位置、姿态四元数和夹爪/按压指尖状态,动作序列表征对应机器人末端执行器从当前位姿到按下目标按钮再回退的完整轨迹。
61、优选地,s600之后还包括对整体网络进行端到端训练,整体网络的训练损失由三部分组成,具体为:
62、
63、其中,为总损失,为动作回归损失,用于监督机械臂动作序列的预测精度,为置信度预测损失,为视觉-语言对齐的对比损失,用于鼓励融合视觉特征与语言指令在嵌入空间中对齐;和分别为置信度预测损失和视觉-语言对齐的对比损失的权重超参数;
64、在仿真环境中采集按压操作演示数据对整体网络进行端到端训练,再通过真机数据进行微调,最终部署到目标机械臂完成变电站二次屏柜的按压操作。
65、在第二方面,提供了一种融合三维语义信息的变电站屏柜机器人按压操作系统,包括:
66、多模态获取模块,用于获取机器人操作场景的多模态输入数据,其中,多模态输入数据包括rgb图像、深度图像、自然语言操作指令和机械臂末端执行器的当前位姿,对rgb图像和深度图像进行预处理,得到预处理后的rgb图像和深度图像;
67、二维视觉token序列提取模块,用于通过二维视觉编码器对预处理后的rgb图像进行特征提取得到二维视觉特token序列;
68、三维几何token序列提取模块,用于基于预处理后的深度图像进行三维空间反投影构建三维几何特征表示,得到三维几何token序列;
69、置信度预测模块,用于通过置信度预测网络对预处理后的深度图像的各像素进行可信度评估,获得反映深度测量可靠性的像素级置信度信息;
70、自适应融合模块,用于以二维视觉token序列作为引导、三维几何token序列作为被引导特征,构建跨模态注意力机制,利用置信度信息对跨模态注意力机制中来自不可信区域的注意力响应进行抑制,并根据置信度信息将抑制后的注意力输出与二维视觉token序列进行自适应加权融合,获得融合多模态特征;
71、动作生成模块,用于将自然语言操作指令编码为语言特征序列,将融合多模态特征与语言特征序列进行跨模态对齐,并基于对齐后的特征和末端执行器的当前位姿生成机器人动作序列。
72、在第三方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现一种融合三维语义信息的变电站屏柜机器人按压操作方法的步骤。
73、本发明通过将深度图显式转换为三维几何特征表示,从根本上解决了现有vla模型对三维几何结构感知缺失的问题,使模型能够精确区分外观相似但空间结构不同的相邻按钮。同时,引入置信度预测网络对深度数据的可信度进行评估,配合基于置信度信息的自适应融合机制,在深度可信区域以三维几何信息主导决策以保证操作精度,在深度不可信区域自动回退至二维视觉信息以避免噪声污染,实现了精度与鲁棒性的统一。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com