基于信息增强视觉动作语言模型与强化学习的控制方法与流程

摘要: 本发明涉及机器人控制,尤其涉及一种基于信息增强视觉动作语言模型与强化学习的控制方法。背景技术:1、在机器人学与人工智能的交叉地带,视觉语言模型正推动具身智能机器...
基于信息增强视觉动作语言模型与强化学习的控制方法与流程

本发明涉及机器人控制,尤其涉及一种基于信息增强视觉动作语言模型与强化学习的控制方法。

背景技术:

1、在机器人学与人工智能的交叉地带,视觉语言模型正推动具身智能机器人操作走向前沿,这亦是当下具身智能研究的核心课题之一,其目标在于,让机器人能够读懂自然语言指令,借助视觉感知周围环境,并自主规划与执行一连串操作动作。这一技术路线的核心,是以在海量图文配对数据上预训练而成的强大vlm作为机器人的“智慧中枢”,使其具备对开放场景的语义解析与任务推理能力;具体实现上,现有精细操作方案通常将视觉图像、自然语言指令与机器人本体状态共同输入视觉动作语言模型,由该模型直接输出末端位姿增量、关节速度或夹爪控制量,以驱动机械臂执行动作。

2、然而,现有方法通常只在特征层对视觉、触觉和力觉进行拼接或注意力融合,没有解决相机、力传感器、触觉阵列和控制器采样频率不同、通信时延不同所造成的跨模态错位。当机器人已经发生接触而视觉帧仍对应接触前状态时,模型容易输出方向错误或幅值过大的修正动作。

技术实现思路

1、有鉴于此,为了解决现有机器人控制方法中无法大多没有对多模态数据进行校准,进而导致控制精度不高的技术问题,本发明提出一种基于信息增强视觉动作语言模型与强化学习的控制方法,该方法包括以下步骤:

2、任务解析与数据汇聚:首先解析作业指令,并同步触发多源传感信息的采集。数据预处理:对采集到的各类原始数据进行时间同步补偿(时延校准),并依据各数据源的可信度进行差异化加权融合,形成统一的预处理信息池。操作意图生成:结合任务指令与预处理信息,生成用于指导动作规划的操作描述符。接触状态建模与可行性评估:利用预处理数据构建跨模态接触一致性场,并据此量化计算当前工况下的精细操作可执行指数。名义动作规划:综合操作描述符、预处理数据、接触场模型及可执行指数,生成初步的动作序列(名义动作)。安全优化与执行:对名义动作进行在线修正,并在安全约束条件的监控下,最终输出并执行安全可靠的动作指令。执行反馈采集:在安全动作执行完毕后,实时获取系统状态与外部环境的传感反馈数据。模型动态更新与异常检测:基于反馈数据,在线调整跨模态接触一致性场、精细操作可执行指数以及局部接触刚度矩阵,同时生成用于表征偏差的异常指标。任务进度评估与迭代修正:持续判断当前任务是否达到完成状态,若未完成,则依据异常指标对动作策略进行纠偏调整;重复上述反馈—更新—修正过程,直至满足预设的终止判据,最终输出任务完成的确认结果。

3、基于上述方案,本发明提供了一种基于信息增强视觉动作语言模型与强化学习的控制方法,通过事件驱动的跨模态时延校准,将视觉、触觉、力觉和本体状态对齐到同一物理时刻,减少采样频率和通信延迟差异造成的错误接触判断;进一步,通过具有空间属性的跨模态接触一致性场和精细操作可执行指数,将目标几何、接触方向、力控状态、触觉稳定性、滑移风险和感知可信度转换为连续可计算指标,使系统能够区分正常接触、偏斜、滑移、卡滞和传感异常,从而提高精细操作的对准精度、接触安全性、抗扰动能力和异常恢复效率。

1.一种基于信息增强视觉动作语言模型与强化学习的控制方法,其特征在于,包括以下步骤:

2.根据权利要求1所述一种基于信息增强视觉动作语言模型与强化学习的控制方法,其特征在于,还包括:

3.根据权利要求2所述一种基于信息增强视觉动作语言模型与强化学习的控制方法,其特征在于,所述判断任务完成状态并基于所述异常指标进行修正,直至满足终止条件,输出任务完成结果这一步骤,其具体包括:

4.根据权利要求1所述一种基于信息增强视觉动作语言模型与强化学习的控制方法,其特征在于,所述对所述多源数据进行时延校准和质量加权预处理,得到预处理后的数据这一步骤,其具体包括:

5.根据权利要求1所述一种基于信息增强视觉动作语言模型与强化学习的控制方法,其特征在于,所述基于所述预处理后的数据构建跨模态接触一致性场并计算精细操作可执行指数这一步骤,其具体包括:

6.根据权利要求5所述一种基于信息增强视觉动作语言模型与强化学习的控制方法,其特征在于,所述跨模态接触一致性场的公式表示如下:

7.根据权利要求6所述一种基于信息增强视觉动作语言模型与强化学习的控制方法,其特征在于,所述对所述名义动作进行修正,并结合安全约束执行安全动作这一步骤,其具体包括:

8.根据权利要求7所述一种基于信息增强视觉动作语言模型与强化学习的控制方法,其特征在于,所述将所述模型补偿和所述残差修正融合这一步骤,其公式表示如下:

9.一种基于信息增强视觉动作语言模型与强化学习的控制系统,其特征在于,包括: