一种基于AI视觉检测的仿生机器人控制方法与系统与流程

本发明涉及机器人控制，尤其涉及一种基于ai视觉检测的仿生机器人控制方法与系统。

背景技术：

1、随着人工智能、计算机视觉以及机器人控制技术的发展，仿生机器人逐渐应用于复杂环境巡检、灾害救援、工业作业及自主移动等领域。相较于传统轮式机器人，仿生机器人具有更强的地形适应能力和运动灵活性，能够通过多关节协同运动完成复杂环境下的行走、避障及姿态调整任务。在仿生机器人自主运行过程中，需要利用视觉感知技术获取周围环境信息，并结合机器人自身运动状态实现环境理解、路径规划以及运动控制，因此，基于视觉检测的智能控制方法成为提升仿生机器人自主性的关键技术之一。

2、现有仿生机器人控制方法通常采用单一视觉传感器或简单多传感器融合方式获取环境信息，例如利用普通相机、深度相机或激光传感器采集环境数据，并通过目标检测算法识别障碍物及目标对象。然而，复杂环境中存在光照变化、视角变化、遮挡干扰以及非结构化地形等问题，传统视觉检测方法容易受到鱼眼视场畸变、深度数据缺失以及目标遮挡影响，导致提取的视觉特征存在空间偏差和时序不连续现象，降低了机器人对环境目标的识别精度和三维空间理解能力。同时，现有多模态视觉融合方法大多采用特征拼接或固定权重融合方式，难以区分不同视觉特征之间的有效信息与冗余信息，容易造成特征耦合，影响复杂环境下视觉检测结果的稳定性。

技术实现思路

1、本发明的一个目的在于提出一种基于ai视觉检测的仿生机器人控制方法与系统。本发明充分利用了人工智能视觉检测、多模态视觉融合、三维环境建模以及改进cmfdet检测模型，具备环境感知精度高、动态适应能力强、运动控制稳定性好以及复杂地形自主作业能力强的优点。

2、根据本发明实施例的一种基于ai视觉检测的仿生机器人控制方法，包括如下步骤：

3、利用仿生机器人搭载的rgb-d相机和鱼眼相机采集多模态视觉数据，并通过标定参数进行极线校正和深度补全预处理，生成标准视觉图像序列；

4、对标准视觉图像序列进行orb角点特征和密集光流特征提取，将二维特征投影至三维空间，生成时序视觉特征集合；

5、将时序视觉特征集合输入改进cmfdet检测模型，输出视觉感知结果；

6、基于视觉感知结果构建环境空间关系图，计算各空间节点的节点地势梯度属性，对障碍物运动进行修正及短时外推，生成动态环境状态信息；

7、采集机器人关节力矩和足端接触力数据，并与动态环境状态信息进行时空配准融合，生成机器人运动状态信息，通过环境空间关系图中的地形起伏约束，将机器人运动状态信息量化为控制状态向量；

8、将控制状态向量输入运动控制决策模型进行自适应决策求解，生成仿生机器人运动控制策略；

9、基于仿生机器人运动控制策略生成各关节的位置-力矩复合控制指令，控制仿生机器人执行行走、转向、避障、目标跟随及姿态调整动作；

10、在执行动作过程中，根据视觉反馈信息更新环境空间关系图，利用足端实际接触力与期望接触力的差值作为反馈修正量，对关节控制指令进行鲁棒修正。

11、可选的，在仿生机器人上分别搭载rgb-d相机与鱼眼相机，对机器人作业过程中的环境场景进行同步采集，通过rgb-d相机获取包含颜色信息与深度信息的三维感知数据，通过鱼眼相机获取大视场角的全景视觉数据，基于rgb-d相机与鱼眼相机的内外参标定结果，对采集到的多模态视觉数据通过极线校正，消除双目及跨相机成像偏差，并对缺失或不完整的深度区域进行深度补全处理，获得具有空间一致性与深度连续性的标准化视觉图像序列。

12、可选的，所述时序视觉特征集合的生成具体包括：

13、对标准视觉图像序列进行orb角点特征提取，生成角点集合；

14、对标准视觉图像序列进行密集光流计算，生成像素运动场；

15、将角点集合与像素运动场进行三维反投影处理，生成三维特征点集合；

16、对三维特征点集合进行跨帧时序匹配，构建三维特征轨迹集合，并执行时序一致性融合处理，生成时序视觉特征集合。

17、可选的，所述视觉感知结果的输出具体包括：

18、将时序视觉特征集合输入改进cmfdet检测模型，改进cmfdet检测模型包括异源表征解耦模块、曲面畸变补偿模块、遮挡轮廓补偿模块和层级置信聚合模块，改进cmfdet检测模型的改进点在于：传统cmfdet检测模型对多源视觉特征进行直接拼接或加权融合，通过多尺度特征提取与固定置信度生成检测结果，改进cmfdet检测模型通过角点响应、运动响应及深度响应之间的因果干扰路径分离冗余耦合分量，结合三维空间坐标构建空间畸变张量场并执行张量反演，依据连续时刻的边界响应和内部响应重构遮挡目标轮廓，并引入热带分区竞争机制动态确定各空间区域对应的主导检测分支，对多尺度检测响应进行分区聚合，形成视觉感知结果；

19、在异源表征解耦模块中，从时序视觉特征集合中提取角点响应、运动响应及深度响应，构建响应干扰关联关系，基于响应之间的因果干扰路径识别冗余耦合分量，并对冗余耦合分量进行消隐分离处理，生成解耦特征组；

20、在曲面畸变补偿模块中，根据鱼眼相机的成像映射关系确定解耦特征组中各特征点的局部形变方向和局部形变幅度，并基于rgb-d相机对应的三维空间坐标构建空间畸变张量场，通过空间畸变张量场对局部形变方向进行张量反演求解，对局部形变幅度进行逆畸变恢复，生成几何校正特征组；

21、在遮挡结构重构模块中，从几何校正特征组中提取目标边界响应和目标内部响应，根据连续时刻目标边界响应的空间连贯性变化及目标内部响应的强度变化确定遮挡区域，并基于遮挡区域中目标边界响应的断裂位置进行边界结构延伸重构，结合遮挡区域中目标内部响应的深度一致性进行内部结构填充重构，生成轮廓补偿特征组；

22、在层级置信聚合模块中，将轮廓重构特征组输入尺度检测分支，生成对应的类别响应、位置响应及边界响应，基于各尺度检测分支构建热带响应表达，引入热带分区竞争机制，将类别响应、位置响应及边界响应划分为热带竞争分区集合，并确定各热带竞争分区对应的主导检测分支，对类别响应、位置响应及边界响应进行分区聚合处理，生成分区聚合特征，形成视觉感知结果。

23、可选的，所述动态环境状态信息的生成具体包括：

24、基于视觉感知结果，按照目标类别对连续时刻对应的目标位置和目标边界进行关联，生成目标时序关联序列；

25、基于目标时序关联序列构建空间节点集合，将目标位置映射为节点坐标，将目标边界映射为节点之间的连接关系，构建环境空间关系图；

26、获取各空间节点对应的深度信息，计算地势梯度值，并将地势梯度值写入对应空间节点，生成节点地势梯度属性；

27、基于目标时序关联序列计算障碍物位移方向和障碍物位移距离，并结合节点地势梯度属性进行修正和短时外推，生成障碍物运动预测结果；

28、将障碍物运动预测结果与环境空间关系图进行融合更新，生成动态环境状态信息。

29、可选的，所述控制状态向量的量化具体包括：

30、按照采集时刻同步采集仿生机器人各关节的机器人关节力矩和各足端的足端接触力数据并进行排列，生成机器人关节力矩序列和足端接触力数据序列；

31、将机器人关节力矩序列、足端接触力数据序列和动态环境状态信息进行时空配准融合，生成机器人运动状态信息；

32、根据仿生机器人在环境空间关系图中的位置确定对应的空间节点，读取对应空间节点及相邻空间节点的节点地势梯度属性，并根据节点地势梯度属性之间的差值生成地形起伏约束；

33、对机器人运动状态信息进行归一化处理，并结合地形起伏约束进行向量化排列，生成控制状态向量。

34、可选的，所述仿生机器人运动控制策略的生成具体包括：

35、将控制状态向量输入运动控制决策模型进行状态语义解构与跨模态协同编码，生成运动决策状态表示；

36、基于运动决策状态表示生成运动动作类别，并同步生成对应的关节位置调节量及关节力矩调节量，构建候选运动控制策略集合；

37、对候选运动控制策略集合进行评价计算与约束筛选，生成适配性运动控制策略集合；

38、对适配性运动控制策略集合进行策略评价值排序，选取策略评价值最大的运动控制策略，输出仿生机器人运动控制策略。

39、可选的，所述位置-力矩复合控制指令的生成与执行具体包括：

40、基于仿生机器人运动控制策略，生成关节调节参数序列；

41、读取各关节的当前关节位置及机器人关节力矩，结合关节调节参数序列，生成目标关节位置序列与目标关节力矩序列；

42、将目标关节位置序列与目标关节力矩序列进行对应组合，生成各关节的位置-力矩复合控制指令；

43、将各关节的位置-力矩复合控制指令发送至对应关节，控制仿生机器人执行运动动作类别对应的行走、转向、避障、目标跟随及姿态调整动作。

44、可选的，在仿生机器人执行运动动作类别对应动作的过程中，按照采集时刻获取视觉反馈信息，提取视觉反馈信息中的目标位置、目标边界及深度信息，并根据目标位置及目标边界更新环境空间关系图中的空间节点坐标和节点连接关系，根据深度信息重新计算对应空间节点的节点地势梯度属性，得到更新后的环境空间关系图，同步采集各足端的足端实际接触力，并根据位置-力矩复合控制指令对应的目标关节力矩确定各足端的足端期望接触力，将同一足端的足端实际接触力减去足端期望接触力，得到对应足端的反馈修正量，按照各足端与各关节之间的对应关系，将反馈修正量分配至对应关节，并将分配后的反馈修正量与位置-力矩复合控制指令中的目标关节力矩进行叠加，更新位置-力矩复合控制指令，利用更新后的位置-力矩复合控制指令控制对应关节继续执行动作。

45、根据本发明实施例的一种基于ai视觉检测的仿生机器人控制系统，包括：

46、视觉采集模块，用于采集多模态视觉数据并进行极线校正和深度补全预处理，生成标准视觉图像序列；

47、特征提取模块，用于对标准视觉图像序列进行角点特征、密集光流特征提取及三维投影，生成时序视觉特征集合；

48、视觉检测模块，用于将时序视觉特征集合输入改进cmfdet检测模型，生成视觉感知结果；

49、环境状态生成模块，用于根据视觉感知结果构建环境空间关系图，并生成动态环境状态信息；

50、状态融合模块，用于将机器人关节力矩、足端接触力数据及动态环境状态信息进行时空配准融合，生成控制状态向量；

51、运动决策模块，用于根据控制状态向量生成仿生机器人运动控制策略；

52、运动控制模块，用于根据仿生机器人运动控制策略生成各关节的位置-力矩复合控制指令，控制仿生机器人执行对应动作；

53、反馈修正模块，用于根据视觉反馈信息更新环境空间关系图，并根据足端实际接触力与足端期望接触力之间的差值修正位置-力矩复合控制指令。

54、本发明的有益效果是：

55、本发明通过融合rgb-d相机与鱼眼相机获取多模态视觉数据，并结合改进cmfdet检测模型对时序视觉特征进行深度分析，有效提升了复杂环境下仿生机器人对目标对象和周围环境的感知能力。通过对不同视觉响应之间的冗余耦合关系进行分离，并结合空间畸变校正、遮挡结构重构以及热带分区竞争机制，提高了视觉检测结果的空间一致性和目标识别稳定性，降低了因视场畸变、目标遮挡以及环境变化导致的检测误差，使仿生机器人能够更加准确地获取环境空间信息。

56、本发明通过构建环境空间关系图，将视觉感知结果、节点地势梯度属性以及障碍物运动预测结果进行融合，并结合机器人关节力矩、足端接触力数据生成控制状态向量，实现了视觉感知、环境理解与运动控制之间的协同优化。通过自适应运动控制策略生成位置-力矩复合控制指令，并利用足端实际接触力与期望接触力之间的反馈差值对控制过程进行动态修正，提高了仿生机器人在复杂地形和动态环境中的运动稳定性、环境适应能力以及自主控制精度。