一种具有固定接触轴安全约束的机械臂人像曲线绘制方法及系统与流程

摘要: 本公开涉及人工智能软件,且更具体地涉及一种具有固定接触轴安全约束的机械臂人像曲线绘制方法及系统。背景技术:1、在使用生成式图像模型输出的人像线稿驱动机械臂持马克...
一种具有固定接触轴安全约束的机械臂人像曲线绘制方法及系统与流程

本公开涉及人工智能软件,且更具体地涉及一种具有固定接触轴安全约束的机械臂人像曲线绘制方法及系统。

背景技术:

1、在使用生成式图像模型输出的人像线稿驱动机械臂持马克笔绘制的调试过程中,若先对线稿做边缘检测并以道格拉斯-普克算法折线化后逐段下发直线运动指令,机械臂在发丝、鼻翼等细节处会反复走线并频繁抬笔,人脸轮廓也因折线简单平滑产生形变;笔尖下探深度仅依据上一次记录的末端坐标设定,纸面轻微不平或笔具装夹松动即会导致顶断笔尖或断线;相邻笔画之间因逐段调用机器人运动接口并重新建立连接,还会产生数秒至数十秒的停顿;现有技术中,无论是通用矢量化软件对生成线稿的二次处理,还是人工预制svg轨迹后转换为机器人指令,均未将生成阶段的可绘制性约束、笔尖中心线的拓扑关系、接触深度在多个处理环节中的一致锁定、以及机械臂真实关节反馈下的连续运动求解作为一个整体统一处理,上述问题因而难以从根本上消除。

技术实现思路

1、本公开提供了一种具有固定接触轴安全约束的机械臂人像曲线绘制方法及系统,旨在实现图像内容向机械臂可直接安全执行的连贯绘制轨迹的自动转换,使该转换过程中机械臂与纸面的接触状态及相邻绘制位姿间的运动求解均处于受控且可追溯的状态。

2、为实现上述效果,在本公开的一个方面,提供一种具有固定接触轴安全约束的机械臂人像曲线绘制方法,包括:

3、获取待绘制的源图像及机械臂末端沿与纸面垂直的第一坐标轴相对纸面的第一坐标值;

4、将所述源图像及预设可绘制性约束条件输入生成式视觉模型得到候选线稿图像,根据其连通性、碎线数量和主体特征保持度确定所述候选线稿图像为待处理线稿图像;

5、对所述待处理线稿图像进行中心线提取得到中心线像素,根据所述中心线像素之间的连接关系构建拓扑图,并沿所述拓扑图追踪得到多条有序笔画路径;

6、对各有序笔画路径分别拟合三次贝塞尔曲线,所述三次贝塞尔曲线与对应的有序笔画路径之间沿两个方向确定的最大距离均不超过预设偏差阈值;

7、根据纸张尺寸将所述三次贝塞尔曲线映射为与所述纸面对应的第二坐标轴及第三坐标轴分别对应的坐标值,将各组第二坐标轴及第三坐标轴对应的坐标值与所述第一坐标值组合,得到机械臂所在坐标系下映射轨迹的多个位置坐标;

8、获取所述机械臂当前反馈的第一关节姿态,以所述第一关节姿态为参考,对所述映射轨迹的多个位置坐标依次进行逆运动学解算,将当前位置坐标的逆运动学解作为下一位置坐标求解的参考,得到依次连接的多个关节轨迹点;

9、建立与机械臂的连接,将由所述关节轨迹点构成的轨迹划分为多个轨迹块并预加载至所述机械臂,并根据控制器反馈的运行状态依次触发各轨迹块执行,驱动机械臂在纸面形成图像。

10、在本公开的另一方面,提供一种具有固定接触轴安全约束的机械臂人像曲线绘制系统,包括:

11、包括机械臂、设置于所述机械臂末端的工具及与所述机械臂通信连接的处理器,其特征在于,所述处理器包括:

12、数据获取模块,用于获取待绘制的源图像,及所述机械臂末端沿与纸面垂直的第一坐标轴相对所述纸面的第一坐标值;

13、线稿生成模块,用于将所述数据获取模块获取的所述源图像及预设可绘制性约束条件输入生成式视觉模型得到候选线稿图像,根据所述候选线稿图像的连通性、碎线数量及主体特征保持度确定所述候选线稿图像为待处理线稿图像;

14、拓扑重建模块,用于对所述线稿生成模块确定的所述待处理线稿图像进行中心线提取得到中心线像素,根据所述中心线像素之间的连接关系构建拓扑图并沿所述拓扑图追踪得到多条有序笔画路径;

15、曲线拟合模块,用于对所述拓扑重建模块得到的各所述有序笔画路径分别拟合三次贝塞尔曲线,所述三次贝塞尔曲线与对应的所述有序笔画路径之间沿两个方向确定的最大距离均不超过预设偏差阈值;

16、坐标映射模块,用于根据纸张尺寸将所述曲线拟合模块得到的所述三次贝塞尔曲线映射为与所述纸面对应的第二坐标轴及第三坐标轴分别对应的坐标值,将各组所述第二坐标轴及第三坐标轴对应的坐标值与所述数据获取模块获取的所述第一坐标值组合,得到所述机械臂所在坐标系下映射轨迹的多个位置坐标;

17、逆运动学解算模块,用于获取所述机械臂当前反馈的第一关节姿态,以所述第一关节姿态为参考,对所述坐标映射模块得到的所述多个位置坐标依次进行逆运动学解算,将当前位置坐标的逆运动学解作为下一位置坐标求解的参考,得到依次连接的多个关节轨迹点;

18、执行控制模块,用于建立与所述机械臂的连接,将由所述逆运动学解算模块得到的所述关节轨迹点构成的轨迹划分为多个轨迹块并预加载至机械臂,根据所述机械臂的控制器反馈的运行状态依次触发各所述轨迹块执行,以驱动所述机械臂在纸面形成图像。

19、与现有技术相比,本公开的有益效果包括以下方面:

20、一、生成式视觉模型受可绘制性约束条件与候选评价闭环共同作用,使模型输出的候选线稿本身即以稀疏中心线为主要内容,后续中心线提取、拓扑重建及偏差约束曲线拟合环节可直接以该线稿为处理对象完成矢量化,处理链路中不需要人工对生成结果进行二次描摹、去噪或轮廓核对;

21、二、机械臂末端沿接触轴的坐标值在坐标映射、曲线拟合、轨迹构造及在线执行各环节中保持为同一取值,且逆运动学求解以机械臂当前实际反馈的关节姿态为起始参考,使针对不同源图像生成的绘制轨迹能够复用同一套已标定的接触参数与运动学求解起点,仅在工具或纸面状态实际发生变化时才需要重新标定;

22、三、机械臂在执行阶段依据控制器持续反馈的真实运行状态触发后续轨迹块,且多个轨迹块预先加载于已建立的持久连接中,使机械臂完成一个笔画后无需等待新的连接建立或指令上传即可进入下一笔画的绘制。

1.一种具有固定接触轴安全约束的机械臂人像曲线绘制方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述连通性通过统计候选线稿图像中像素连通区域的数量确定,所述碎线数量通过统计候选线稿图像中长度小于预设长度的笔画区域的数量确定,所述主体特征保持度通过比对所述源图像与候选线稿图像分别对应的图像特征向量之间的相似程度确定;当所述候选线稿图像未被确定为待处理线稿图像时,根据所述连通性、碎线数量及主体特征保持度中未满足要求的具体项,生成用于限定所述候选线稿图像中与该具体项对应的图像内容的追加约束条件,将所述源图像、预设可绘制性约束条件及追加约束条件重新输入所述生成式视觉模型,得到新的候选线稿图像。

3.根据权利要求1所述的方法,其特征在于,所述沿拓扑图追踪得到多条有序笔画路径,包括:

4.根据权利要求1所述的方法,其特征在于,当所述三次贝塞尔曲线与对应的有序笔画路径之间沿两个方向确定的最大距离超过所述预设偏差阈值时,保持三次贝塞尔曲线的端点不变,将与所述端点对应的控制柄沿该控制柄与端点的连线方向收缩至多个候选位置,在收缩至所述候选位置后最大距离不超过所述预设偏差阈值的候选位置中,确定与所述端点之间距离数值最大的候选位置,作为收缩后的控制柄位置;若不存在收缩后最大距离不超过所述预设偏差阈值的候选位置,则将对应的有序笔画路径分割为至少两段,并对分割后的每段有序笔画路径重新拟合三次贝塞尔曲线。

5.根据权利要求1所述的方法,其特征在于,所述对映射轨迹的多个位置坐标依次进行逆运动学解算,包括:

6.根据权利要求1所述的方法,其特征在于,还包括:

7.根据权利要求1所述的方法,其特征在于,还包括:在检测到用于表征所述机械臂末端所安装工具发生更换或机械臂被人工调整姿态的事件后,将所述第一坐标值置为无效;在所述机械臂由允许人工调整姿态的控制状态切换至位置控制状态之前,获取所述机械臂当前的关节角,将当前的关节角设置为位置控制状态下的位置控制目标;在切换至位置控制状态后,通过接触测试获取所述机械臂末端沿所述第一坐标轴相对纸面的第二坐标值,将所述第二坐标值替代所述第一坐标值用于后续位置坐标的映射。

8.根据权利要求1所述的方法,其特征在于,所述轨迹块的起始关节轨迹点和终止关节轨迹点分别对应的位姿中沿所述第一坐标轴的坐标值,相对所述第一坐标值沿所述机械臂末端远离纸面的方向偏移量不小于预设安全差值,将该起始关节轨迹点和该终止关节轨迹点对应的位姿确定为安全端点位姿;

9.一种具有固定接触轴安全约束的机械臂人像曲线绘制系统,包括机械臂、设置于所述机械臂末端的工具及与所述机械臂通信连接的处理器,其特征在于,所述处理器包括:

10.根据权利要求9所述的系统,其特征在于,所述执行控制模块还用于: