一种3D打印方法和装置与流程

一种3d打印方法和装置
技术领域
1.本发明涉及打印技术领域，特别是涉及一种3d打印方法和装置。


背景技术：

2.随着技术的发展，3d打印得到了越来越广泛的应用，例如，因为一些疾病、交通事故等导致人体骨骼严重损伤，许多病人失去生活自理能力，给病人及其家庭都带来了严重的影响。而针对骨骼损伤问题，特别是大块骨缺损的修复，依靠自体组织移植、异体组织移植或使用替代材料修复等方法均存在较大弊端，例如存在需要两次手术、取骨量限制、可能传播疾病、成骨活性低下等缺点。人工骨由于具有可以取代传统自体或同种异体骨，避免患者二次创伤等优点，成为了人工骨支架材料及制备的研究热点。而3d打印技术由于可以调控支架孔径、孔隙率、连通性以及比表面积，还可以实现支架个体化定制，因此，3d 打印被越来越多地应用到人工骨支架材料的制备中。
3.但是，目前的3d打印设备应用于人工骨支架材料制备时，以及应用在一些其他领域器件制备时，会存在精度不高的问题，还有的方案会进行简单的修正，但精度仍旧有限，从而不利于保障3d打印出的器件的稳定性和安全性。
4.综上所述，如何有效地提高3d打印的精度，是目前本领域技术人员急需解决的技术问题。


技术实现要素：

5.本发明的目的是提供一种3d打印方法和装置，以有效地提高3d打印的精度。
6.为解决上述技术问题，本发明提供如下技术方案：
7.一种3d打印方法，包括：
8.在接收到输入的打印模型，并启动3d打印之后，通过检测出的机械臂的位置信息，启动n个图像采集装置中对应于所述位置信息的至少2个图像采集装置进行所述机械臂的连续拍摄；其中，n为不小于2的正整数；
9.通过预设的预优化算法，将当前启动的各个图像采集装置采集到的各帧图像进行质量优化；
10.针对任意一个图像采集装置采集到的经过质量优化之后的各帧图像，利用经过训练的目标识别算法识别出首帧图像的喷头区域，并利用目标跟踪算法在后续各帧图像中进行所述喷头区域的跟踪；
11.确定出每一帧图像的所述喷头区域中的喷头末端的位置信息，并通过在同一时刻采集到的各帧图像的位置信息，确定出该时刻的喷头末端的三维坐标；
12.基于确定出的各个时刻的喷头末端的三维坐标，以及各个时刻的喷头末端的坐标输入值，进行3d打印的补偿。
13.优选的，所述通过预设的预优化算法，将当前启动的各个图像采集装置采集到的各帧图像进行质量优化，包括：
14.针对任意一帧待进行质量优化的图像，通过颜色转换函数将该帧图像转换为hsv图像；
15.针对该帧图像转换出的hsv图像中的任意一个像素点，当该像素点不符合预设的第一范围时，去除该像素点，并将得到的图像进行平滑处理；
16.对进行平滑处理之后的图像进行轮廓提取，得到通过基于颜色分割的第一预优化算法进行了质量优化的图像。
17.优选的，预设的预优化算法包括基于颜色分割的第一预优化算法和基于快速多曝光融合的第二预优化算法，且基于颜色分割的第一预优化算法为默认的预优化算法；
18.所述3d打印方法还包括：
19.对本次3d打印过程中，当前已经得到的各帧进行了质量优化的图像的亮度平均值进行更新；
20.当判断出所述亮度平均值低于预设的亮度阈值时，在本次3d打印过程中关闭基于颜色分割的第一预优化算法，并开启基于快速多曝光融合的第二预优化算法；
21.相应的，通过基于快速多曝光融合的第二预优化算法，将当前启动的各个图像采集装置采集到的各帧图像进行质量优化，包括：
22.针对任意一帧待进行质量优化的图像，确定出该帧图像的颜色权重图，并且在将该帧图像转换为灰度图之后，得到该帧图像的局部对比度权重和曝光权重图；
23.将所述曝光权重图与所述颜色权重图相乘并进行归一化处理，将归一化后得到的结果与所述局部对比度权重相乘，并通过滤波，得到该帧图像的融合权重；
24.基于所述融合权重对待进行质量优化的该帧图像进行融合，得到通过基于快速多曝光融合的第二预优化算法进行了质量优化的图像。
25.优选的，所述确定出每一帧图像的所述喷头区域中的喷头末端的位置信息，包括：
26.通过k
‑
means算法，分割出每一帧图像的所述喷头区域中的喷头末端图像；
27.通过canny检测算法获得各帧图像的喷头末端图像的边缘图像；
28.通过hough直线检测算法，确定出各帧图像的喷头末端图像的边缘图像中的喷头末端，并得到喷头末端的位置信息。
29.优选的，hough直线检测算法的累计阈值设置为30，两直线之间的阈值设置为10，拟合条数设置为最多3条；
30.相应的，所述通过hough直线检测算法，确定出各帧图像的喷头末端图像中的喷头末端，包括：
31.当通过hough直线检测算法，确定出2条喷头末端的hough直线时，将2 条喷头末端的hough直线的交点作为喷头末端的坐标点；
32.当通过hough直线检测算法，确定出的喷头末端的hough直线超过2条时，通过喷头的外轮廓最低点位置和机械臂末端朝向，判断打印是否结束；
33.如果是，则将该帧图像视为无效图像；
34.如果否，则选取在同一侧的2条直线中更靠近另一侧直线的那一条直线，与另一侧直线的交点，作为喷头末端的坐标点。
35.优选的，所述基于确定出的各个时刻的喷头末端的三维坐标，以及各个时刻的喷头末端的坐标输入值，进行3d打印的补偿，包括：
36.针对确定出的任意时刻的喷头末端的三维坐标，判断该时刻的喷头末端的三维坐标与该时刻的喷头末端的坐标输入值的误差是否超过预设的误差范围；
37.如果是，则对该时刻的误差进行3d打印的补偿；
38.如果否，则忽略该时刻的误差。
39.优选的，所述对该时刻的误差进行3d打印的补偿，包括：
40.通过对打印台的移动控制，对该时刻的误差进行3d打印的补偿。
41.优选的，经过训练的所述目标识别算法为基于cnn的目标识别算法。
42.优选的，还包括：
43.在确定出每一帧图像的所述喷头区域中的喷头末端的位置信息之前，利用自适应边界限制法和最小二乘法对每一帧图像进行平滑优化。
44.一种3d打印装置，包括：
45.3d打印装置主体；
46.控制器，用于执行计算机程序以实现上述任一项所述的3d打印方法的步骤。
47.应用本发明实施例所提供的技术方案，基于视觉反馈实现3d打印的补偿，具体的，本技术可以确定出每一帧图像的喷头区域中的喷头末端的位置信息，并通过在同一时刻采集到的各帧图像的位置信息，确定出该时刻的喷头末端的三维坐标，因此，便可以基于确定出的各个时刻的喷头末端的三维坐标，以及各个时刻的喷头末端的坐标输入值，进行3d打印的补偿。由于进行了3d打印的补偿，使得本技术的方案可以有效地提高3d打印的精度。并且，本技术考虑到由于机械臂的运动，对于单个图像采集装置而言可能存在遮挡的情况，因此，本技术在启动3d打印之后，通过检测出的机械臂的位置信息，启动n个图像采集装置中对应于位置信息的至少2个图像采集装置进行机械臂的连续拍摄，从而保障可以很好地拍到打印喷头，不容易出现遮挡。进一步的，在进行喷头区域的识别之前，本技术通过预设的预优化算法，将当前启动的各个图像采集装置采集到的各帧图像进行质量优化，从而有利于保障后续识别出的喷头末端的三维坐标的准确性，从而有利于进一步的提高本技术的3d打印的精度。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明中一种3d打印方法的实施流程图；
50.图2为本发明中一种具体实施方式中的3d打印装置的结构示意图；
51.图3a，图3b，图3c，图3d，图3e，依次为本发明一种具体实施方式中的喷头区域跟踪位置示意图，k
‑
means检测图示意图，边缘图像示意图，hough 直线检测示意图以及喷头末端的定位示意图；
52.图4a，图4b，图4c，依次为求取hough直线交点的不同情况的示意图；
53.图5为本发明中一种具体实施方式中的补偿效果示意图；
54.图6a和图6b分别为本发明中一种具体实施方式中的混合型打印路径示意图和增
加控制点的示意图；
55.图7a和图7b分别为本发明中一种具体实施方式中的自由曲面模型及其点云的示意图
56.图8a和图8b分别为本发明中一种具体实施方式中的截面及整体点云拟合示意图。
具体实施方式
57.本发明的核心是提供一种3d打印方法，有效地提高了3d打印的精度。
58.为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.请参考图1，图1为本发明中一种3d打印方法的实施流程图，该3d打印方法可以包括以下步骤：
60.步骤s101：在接收到输入的打印模型，并启动3d打印之后，通过检测出的机械臂的位置信息，启动n个图像采集装置中对应于位置信息的至少2个图像采集装置进行机械臂的连续拍摄；其中，n为不小于2的正整数。
61.开启打印机，通过计算机输入一个需要3d打印的模型，便可以进行3d打印，实现对于机械臂的控制。
62.本技术需要拍摄机械臂，从而得到机械臂末端的喷头末端的三维坐标，并且本技术考虑到，如果利用1个图像采集装置进行拍摄，可能会随着机械臂的运动，在部分角度时，该图像采集装置无法拍摄到喷头末端，因此，本技术在启动3d打印之后，通过检测出的机械臂的位置信息，启动n个图像采集装置中对应于位置信息的至少2个图像采集装置进行机械臂的连续拍摄。
63.可以理解的是，对应于位置信息的各个图像采集装置，可以预先进行设定，通常可以设定为在当前的机械臂的位置信息下，能够有效地拍摄到喷头末端的各个图像采集装置，因此，机械臂的位置信息不同，相应启动的图像采集装置便不同。例如在图2的场合中，n＝4，并且每次均启动4个图像采集装置中正对于机械臂10的倾斜方向的2个图像采集装置进行机械臂的连续拍摄。当然，其他场合中，可以设置有更多数量的图像采集装置，但通常而言，n＝4，且每次启动正对于机械臂的倾斜方向的2个图像采集装置，通常就能够很好地拍摄到喷头末端，从而有利于准确地确定出喷头末端的三维坐标。图2中，六轴机械臂，打印喷头，工业相机，以及打印平台分别标示为10，20，30以及40。
64.还需要说明的是，该种实施方式中，4个图像采集装置构成2套双目系统，其他实施方式中可以根据需要动态地增加若干套双目系统。双目系统具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体测量时，由于图像获取是在瞬间完成的，因此平行双目系统是一种更有效的测量方法。而由于机械臂在运动过程中存在遮挡的情况，利用两套双目系统，通常能够保证喷头末端能够被检测到。
65.此外，在实际应用中，随着机械臂的位置信息的不断变化，可以周期性地进行所需要启动的图像采集装置的更新。当然，还可以有其他的更新触发方式，例如，在后文的一种
实施方式中，可以在通过hough直线检测算法，确定出的喷头末端的hough直线超过2条，且打印未结束时，进行所需要启动的图像采集装置的更新。当然，其他场合中，还可以有更多的需要启动的图像采集装置的更新的触发方式，根据实际需要进行设定即可。
66.图像采集装置通常可以是工业相机，机械臂的具体类型也可以根据需要进行设定，例如图2的场合中为六轴机械臂，4个工业相机设置在机械臂的四周。打印平台则设置在4个工业相机中间。
67.步骤s102：通过预设的预优化算法，将当前启动的各个图像采集装置采集到的各帧图像进行质量优化。
68.本技术的方案中，在进行喷头区域的识别之前，会通过预设的预优化算法进行图像的质量优化，从而使得后续识别出的喷头末端的三维坐标的准确性更高，也就有利于进一步的提高本技术的3d打印的精度。
69.预优化算法的具体类型可以根据实际需要进行设定，例如在本发明的一种具体实施方式中，步骤s102的操作可以具体包括：
70.步骤一：针对任意一帧待进行质量优化的图像，通过颜色转换函数将该帧图像转换为hsv图像；
71.步骤二：针对该帧图像转换出的hsv图像中的任意一个像素点，当该像素点不符合预设的第一范围时，去除该像素点，并将得到的图像进行平滑处理；
72.步骤三：对进行平滑处理之后的图像进行轮廓提取，得到通过基于颜色分割的第一预优化算法进行了质量优化的图像。
73.该种实施方式中，是基于颜色分割的第一预优化算法进行图像的预优化。首先，对输入的彩色图像，通过颜色转换函数转换到hsv(hue saturation value，色调，饱和度，亮度)颜色空间，即得到hsv图像。然后，对于hsv图像中的任意一个像素点，判断是否符合预设的第一范围。需要说明的是，第一范围是由h，s，v各自的预设范围所构成的第一范围。
74.例如一种具体场合中，h，s，v各自的预设范围如表一所示，该种场合中是考虑到喷头颜色可以有红色、紫色、绿色、青色和蓝色五种，因此，基于这5 种颜色设置了h，s，v各自的预设范围，进而构成了预设的第一范围。也就是说，该种场合中，针对任意一个像素点，当该像素点的h，s，v值符合表一的范围时，则保留该像素点，反之则去掉该像素点。
75.表一：
[0076][0077][0078]
之后，再将得到的图像进行平滑处理，例如可以选择中值滤波进行平滑，以去掉单
点的噪声，最后，对进行平滑处理之后的图像进行轮廓提取，便可以得到通过基于颜色分割的第一预优化算法进行了质量优化的图像。对进行平滑处理之后的图像进行轮廓提取，也就是绘制每个独立物体的外接矩形，并且通过长宽比和面积来去掉多余的无关矩形内的目标。
[0079]
该种实施方式中通过基于颜色分割的第一预优化算法进行图像的质量优化，优化之后的图像中只剩下打印喷涂的图像。并且，基于颜色分割的第一预优化算法操作简单方便，有利于降低方案执行的耗时。
[0080]
进一步的，在本发明的一种具体实施方式中，考虑到基于颜色分进行预优化时，在部分场合中，得到的图像可能亮度不足，不利于后续准确地确定出喷头末端的三维坐标，因此，该种实施方式中，预设的预优化算法包括基于颜色分割的第一预优化算法和基于快速多曝光融合的第二预优化算法，且基于颜色分割的第一预优化算法为默认的预优化算法，也就是说，每次进行3d打印时，默认是先使用基于颜色分割的第一预优化算法。
[0081]
该种实施方式中，3d打印方法还包括：
[0082]
对本次3d打印过程中，当前已经得到的各帧进行了质量优化的图像的亮度平均值进行更新；
[0083]
当判断出亮度平均值低于预设的亮度阈值时，在本次3d打印过程中关闭基于颜色分割的第一预优化算法，并开启基于快速多曝光融合的第二预优化算法。
[0084]
该种实施方式中，在启动了3d打印之后，会不断计算各帧进行了质量优化的图像的亮度，并且进行亮度平均值的更新，如果更新出的亮度平均值低于预设的亮度阈值，说明得到的图像亮度不足，因此该种实施方式中会开启基于快速多曝光融合的第二预优化算法。
[0085]
而通过基于快速多曝光融合的第二预优化算法，将当前启动的各个图像采集装置采集到的各帧图像进行质量优化，可以具体包括以下步骤：
[0086]
步骤一：针对任意一帧待进行质量优化的图像，确定出该帧图像的颜色权重图，并且在将该帧图像转换为灰度图之后，得到该帧图像的局部对比度权重和曝光权重图；
[0087]
步骤二：将曝光权重图与颜色权重图相乘并进行归一化处理，将归一化后得到的结果与局部对比度权重相乘，并通过滤波，得到该帧图像的融合权重；
[0088]
步骤三：基于融合权重对待进行质量优化的该帧图像进行融合，得到通过基于快速多曝光融合的第二预优化算法进行了质量优化的图像。
[0089]
具体的，可以先把输入的图像转化为灰度图，此外，相邻帧图像还可以运用gamma校正进行不同程度的初始校正，进行高低通滤波。然后，可以获取这些图像中的各个像素最大的亮度值，作为局部对比度权重。
[0090]
在求取曝光权重图时，可以运用判别方法，对灰度图像进行亮度判断，例如亮度阈值为30，在[30，255
‑
30]之间认为是合理的亮度区间，该区间便设定为 1，其余便设定为0，从而可以得到曝光权重图。
[0091]
而对输入的图像进行直方图均衡化处理，再运用中值滤波方法，可以获取到初始的颜色权重图，之后再运用膨胀和腐蚀操作，可以求取最终的颜色权重图；
[0092]
之后，将曝光权重图和颜色权重图相乘，再对二者结果进行归一化处理，归一化的结果再与局部对比度权重相乘，可以获得初始的融合权重，之后运用递归滤波方法对初始
融合权重进行滤波，可以获得最终的融合权重；
[0093]
最后，根据最终的融合权重，融合输入的图像，便是通过基于快速多曝光融合的第二预优化算法，完成了图像的质量优化。
[0094]
步骤s103：针对任意一个图像采集装置采集到的经过质量优化之后的各帧图像，利用经过训练的目标识别算法识别出首帧图像的喷头区域，并利用目标跟踪算法在后续各帧图像中进行喷头区域的跟踪。
[0095]
目标识别算法需要能够识别出图像的喷头区域，考虑到卷积的神经网络的广泛应用，目标识别算法可以具体为基于cnn(convolutional neural networks，卷积神经网络)的目标识别算法。
[0096]
目标识别算法需要预先进行训练，以基于cnn的目标识别算法为例。可以预先通过计算机输入多个比较复杂的打印模型，例如输入至少三个打印模型，例如可以选取曲面的变换和种类较多的模型，可以选取尽可能多地包含打印过程中的所有曲面形式的模型，输入之后，让打印机空打起来，即在不通气和不加入打印材料的情况下，使打印机运行。通过架设在打印机周围的多个相机，分别采集运动中的打印喷头视频，并转存为各帧图像，直至打印结束。之后，通过标记各帧图像中的喷头区域，作为训练的样本。最后，通过构建的cnn训练网络进行训练，便可以获取最终训练结果，即得到经过训练的目标识别算法。
[0097]
本技术的方案中，针对任意一个图像采集装置采集到的经过质量优化之后的各帧图像，可以利用经过训练的目标识别算法识别出首帧图像的喷头区域，之后，便可以利用目标跟踪算法在后续各帧图像中进行喷头区域的跟踪，这样的方式相较于每一帧图像都由目标识别算法进行喷头区域的识别，效率会更高。
[0098]
目标跟踪算法的具体类型也可以根据需要进行选取，例如一种具体场合中可以选取为基于kcf(kernel correlation filter，核相关滤波)的目标跟踪算法。该方法的流程是：对于下一帧，该方法首先对选定的roi区域的多个周围区域提取hog特征，即对选定的喷头区域的多个周围区域提取hog特征，再用循环矩阵进行求解，得到下一帧选定的roi区域。该方法首先提出一种有效的替代方案，来寻求定义在加权l2范数(1)上的目标函数的解，包括将目标函数分解为每个空间维度，并使用1维快速求解方法求解矩阵。然后，将该方法扩展到更一般的情况，通过求解加权范数lr(0<r<2)上定义的目标函数或使用在现有ep滤波器，该滤波器中不能实现的聚集数据项。
[0099]
在实际应用中，在i
t
帧中，可以在当前位置p
t
附近采样，训练一个回归器。这个回归器能计算一个小窗口采样的响应。其次，在i
t 1
帧中，在前一帧位置p
t
附近采样，用前述回归器判断每个采样的响应。最后，响应最强的采样作为本帧位置p
t 1
，从而实现了对于喷头区域的跟踪定位。
[0100]
步骤s104：确定出每一帧图像的喷头区域中的喷头末端的位置信息，并通过在同一时刻采集到的各帧图像的位置信息，确定出该时刻的喷头末端的三维坐标。
[0101]
确定出每一帧图像的喷头区域之后，便可以确定该帧图像中的喷头区域中的喷头末端的位置信息，进而通过在同一时刻采集到的各帧图像的位置信息，便可以确定出该时刻的喷头末端的三维坐标。例如一种场合中，利用双目视觉的视差原理，便可以确定出喷头末端的三维坐标点。
[0102]
进一步的，在本发明的一种具体实施方式中，还可以包括：
[0103]
在执行步骤s104之前，利用自适应边界限制法和最小二乘法对每一帧图像进行平滑优化。
[0104]
该种实施方式中，在确定喷头末端的位置信息之前，会先利用自适应边界限制法和最小二乘法对每一帧图像进行平滑优化，从而可以有效地保持物体的边缘不受破坏，而其余的非边缘区域得到平滑。
[0105]
自适应边界限制的函数表达式可以表示为：
[0106][0107]
其中，t
i
(x)表示的是输出图像，i
c
(x)表示的是输入图像，a
i
表示的是图像某个颜色通道的最大前10％的均值，与是某个通道图像的像素最大值和最小值。通过自适应边界限制法进行优化处理后，再用最小二乘法进行滤波。
[0108]
在本发明的一种具体实施方式中，步骤s104中描述的确定出每一帧图像的喷头区域中的喷头末端的位置信息，可以具体包括：
[0109]
步骤一：通过k
‑
means算法，分割出每一帧图像的喷头区域中的喷头末端图像；
[0110]
步骤二：通过canny检测算法获得各帧图像的喷头末端图像的边缘图像；
[0111]
步骤三：通过hough直线检测算法，确定出各帧图像的喷头末端图像的边缘图像中的喷头末端，并得到喷头末端的位置信息。
[0112]
具体的，可以运用k
‑
means算法，进行分类处理。在实际应用中，可以将选定的喷头区域分成3类，以区别喷头末端、打印盘面和打印物质。并且，将打印喷头的类别作为k
‑
means算法分类处理的第二类，即本技术只提取第二类，其余的分类设置为白色，能较好的屏蔽掉噪声干扰。
[0113]
之后，采用canny检测算法，就能较为有效地获得打印喷头末端的边缘，即能够提取出较完整的边缘图像，该边缘图像中的边缘点便可以作为hough直线检测算法的数据点，进行hough直线检测，进而得到喷头末端的位置信息。
[0114]
可参阅图3a至图3e，依次为一种具体实施方式中的喷头区域跟踪位置示意图，k
‑
means检测图示意图，边缘图像示意图，hough直线检测示意图以及喷头末端的定位示意图。
[0115]
在本发明的一种具体实施方式中，考虑到边缘不是很光滑，检测的直线的条数较多，经过试验验证和理论分析发现，当累计的阈值设置为30，两直线之间的阈值设置为10时，能较准确的提取喷头两边的直线。
[0116]
因此，在本发明的一种具体实施方式中hough直线检测算法的累计阈值设置为30，两直线之间的阈值设置为10，拟合条数设置为最多3条，有利于较为准确地确定出喷头末端的具体位置。
[0117]
该种实施方式中，上述步骤三可以具体包括：
[0118]
当通过hough直线检测算法，确定出2条喷头末端的hough直线时，将2 条喷头末端的hough直线的交点作为喷头末端的坐标点；
[0119]
当通过hough直线检测算法，确定出的喷头末端的hough直线超过2条时，通过喷头的外轮廓最低点位置和机械臂末端朝向，判断打印是否结束；
[0120]
如果是，则将该帧图像视为无效图像；
[0121]
如果否，则选取在同一侧的2条直线中更靠近另一侧直线的那一条直线，与另一侧直线的交点，作为喷头末端的坐标点。
[0122]
该种实施方式中，考虑到如果是通过hough直线检测算法，确定出2条喷头末端的hough直线，直接将这2条喷头末端的hough直线的交点作为喷头末端的坐标点即可，如图4a所示。
[0123]
而确定出的喷头末端的hough直线超过2条时，即确定出的喷头末端的 hough直线有3条时，首先判断打印是否结束。判断打印是否结束的方式也有多种，例如一种场合中，可以确定出喷头的外轮廓最低点位置，并与机械臂末端的方向进行比较，如果通过比较，确定出机械臂末端方向是朝上的，意味着打印结束，因此该喷头端点可以设置为无效点，即该帧图像可以视为无效图像。
[0124]
而如果通过比较，确定出机械臂末端方向是朝下的，说明此时机械臂依旧工作，即打印未结束，则可以选取在同一侧的2条直线中更靠近另一侧直线的那一条直线，与另一侧直线的交点，作为喷头末端的坐标点。具体的，可以依据直线的斜率进行判断，对于在同一侧的2条直线，取斜率绝对值比较小的那条直线，将该直线与另一侧的1条直线的交点作为喷头末端的坐标点，如图4b 所示。而如果同一侧的2条直线斜率都趋于无穷大，如图4c所示，则选取靠内侧的直线与另一侧直线的交点，作为喷头末端的坐标点。
[0125]
此外，实际应用中还会有一些其他类型的异常情况，例如通过hough直线检测算法，确定出的所有的直线都在同一侧，则可以选取实际打印的值与打印喷头外轮廓最低点的位置点的平均值作为喷头末端的坐标点。
[0126]
还需要说明的是，在实际应用中，如果确定出的喷头末端的坐标点位于确定出的hough直线的上方或者外侧时，不管打印机是否在工作，都可以说明该打印过程趋近于停止，可以立即停止检测，删掉该坐标点。
[0127]
此外，如上文的描述，随着机械臂的位置信息的不断变化，当前启动的各个图像采集装置中可能存在部分图像采集装置无法拍摄到喷头，即所需要启动的图像采集装置可能需要更新，具体触发方式可以有多种，例如前文中描述的，周期性地进行所需要启动的图像采集装置的更新，又如，可以在无法检测出喷头末端的三维坐标时，进行所需要启动的图像采集装置的更新。可以理解的是，更新了所需要启动的图像采集装置之后，需要重新利用经过训练的目标识别算法识别出首帧图像的喷头区域。
[0128]
步骤s105：基于确定出的各个时刻的喷头末端的三维坐标，以及各个时刻的喷头末端的坐标输入值，进行3d打印的补偿。
[0129]
前述步骤中，描述了确定出各个时刻的喷头末端的三维坐标，便可以结合各个时刻的喷头末端的坐标输入值，进行3d打印的补偿。
[0130]
具体的补偿方式可以根据情况进行具体设定，例如在本发明的一种具体实施方式中，步骤s105可以具体包括：
[0131]
针对确定出的任意时刻的喷头末端的三维坐标，判断该时刻的喷头末端的三维坐标与该时刻的喷头末端的坐标输入值的误差是否超过预设的误差范围；
[0132]
如果是，则对该时刻的误差进行3d打印的补偿；
[0133]
如果否，则忽略该时刻的误差。
[0134]
该种实施方式中，考虑到如果误差较低，则可以无需补偿，有利于保障打印的效率
和连续性，只有在喷头末端的三维坐标与该时刻的喷头末端的坐标输入值的误差超过预设的误差范围时，即误差太大时进行补偿。
[0135]
此外，具体进行补偿时，在一种具体场合中，可以通过对打印台的移动控制，对该时刻的误差进行3d打印的补偿，有利于保障打印的连续性，并且对打印台的移动控制也较为方便。
[0136]
应用本发明实施例所提供的技术方案，基于视觉反馈实现3d打印的补偿，具体的，本技术可以确定出每一帧图像的喷头区域中的喷头末端的位置信息，并通过在同一时刻采集到的各帧图像的位置信息，确定出该时刻的喷头末端的三维坐标，因此，便可以基于确定出的各个时刻的喷头末端的三维坐标，以及各个时刻的喷头末端的坐标输入值，进行3d打印的补偿。由于进行了3d打印的补偿，使得本技术的方案可以有效地提高3d打印的精度。并且，本技术考虑到由于机械臂的运动，对于单个图像采集装置而言可能存在遮挡的情况，因此，本技术在启动3d打印之后，通过检测出的机械臂的位置信息，启动n个图像采集装置中对应于位置信息的至少2个图像采集装置进行机械臂的连续拍摄，从而保障可以很好地拍到打印喷头，不容易出现遮挡。进一步的，在进行喷头区域的识别之前，本技术通过预设的预优化算法，将当前启动的各个图像采集装置采集到的各帧图像进行质量优化，从而有利于保障后续识别出的喷头末端的三维坐标的准确性，从而有利于进一步的提高本技术的3d打印的精度。
[0137]
在一种具体场合中，机械臂具体采用六轴机械臂、打印平台具体为四轴联动打印平台。利用六轴机械臂的运动可以实现复杂微细的物体表面喷涂打印，并通过多目相机对打印喷头末端进行跟踪定位，结合四轴联动打印平台进行打印补偿，可以实现在生物假体表面上的高精度3d打印。3d打印系统外部可以采用铝合金支架，墙壁采用比较轻便的pc压缩板。
[0138]
六轴机械臂具有六个空间自由度，运动灵活性高，能够实现复杂曲面空间的精确定位，打印喷头安装在六轴机械臂的末端，由六轴机械臂控制打印喷头在生物假体表面的三维图案化打印。打印喷头的出料采用电子调压阀进行稳压控制，保证出料的均匀性。
[0139]
打印平台为四轴联动平台，具有四个运动自由度，包括x，y，y三个方向的直线运动及z方向的转动运动，能够同时进行运动。四轴联动平台由三个直线模组及一个高精度转台组成，通过在空间的三维运动及z轴方向的旋转，配合六轴机械臂控制喷头的运动定位，进行打印位置的调整，实现复杂曲面的图案化打印。
[0140]
根据不同的3d打印要求，打印模型预处理可以分为两种不同的流程。对于堆积成型3d打印，模型数据的处理流程是切片后进行单片路径规划，最终形成完整的打印路径；对于自由曲面涂层3d打印，模型数据的处理流程是先求出曲面上的路径点，然后对路径点进行三角剖分，求出每个路径点的法向量，再根据法向量计算控制机械臂的姿态参数，最后结合路径点的位置形成自由曲面喷涂路径的控制文件。
[0141]
对于平面内堆积成型打印，首先可以把打印模型规划的路径点转换到ur3 的世界坐标下，同时固定喷头姿态、设置速度和加速度，以直线移动控制ur3 实现平面打印。
[0142]
进行实际打印测试时，为了保证打印的连续性与行进速度，一般将同一直线上相同的点进行简化处理。但是打印过程中发现ur3机械臂行进速度较快时会有抖动现象，造成直线运动时实际路径并不是直线，而是类似正弦波的无规则曲线，使得打印精度较低。而机
械臂本身通过位置控制其行进路径，在未到达指定位置时无法反馈控制其位置，因此误差难以消除。而达到指定位置发现有误差，需要再发送一次指令控制其运动到原先的指定位置，这样的控制流程将造成打印过程不连续，严重影响其打印速度，也将对打印表面的均匀度产生严重影响。
[0143]
因此，在保证打印连续的前提下，本实施例具体进行补偿时，通过双目视觉检测出喷头末端位置，计算出路径点的位置误差之后，是通过移动打印平台进行补偿从而克服上述问题。
[0144]
具体场合中，补偿过程可以是：在xy平面内以约1mm的距离设置喷涂路径点，当机械臂末端达到某个路径点时发送信号给视觉系统，视觉系统得到喷头末端的三维坐标之后，与预设位置进行比较，即与喷头末端的坐标输入值进行比较，将二者的误差作为补偿值。打印平台便可以根据补偿值进行来回移动，即移动距离为一半的补偿值，之后再回到原位。误差补偿效果如图5所示，图5 的最左图表示的是未补偿的打印效果示意图，得到补偿值之后，本技术可以将打印平台向右移动距离一半的补偿值距离，之后回位，即打印平台向左移动距离一半的补偿值距离，图5的最右图便是表示的是经过补偿后的打印效果示意图。
[0145]
此外，通过打印实验发现，降低机械臂运行速度，即降低打印速度也可以大大减小机械臂的抖动，从而提高打印精度。同时，影响打印精度的另一个关键因素是材料的挤出速度，其通过控制气压的大小来调节，需要与打印速度协调控制。
[0146]
直接通过z字型打印出的样本平面均匀度较差，特别是在拐角处有凸包现象。为了优化打印的平面均匀度，在本发明的一种具体实施方式中，可以控制机械臂以混合型路径进行运动，图6a示出的混合路径相比于z字型路径提高了边缘精度，但是，在边缘拐点处打印材料有堆积现象，因此，进一步的，如图 6b所示，可以在边缘路径增加控制点，提高控制点后拐弯路径的运行速度以及减小材料挤出气压，可以有效减小拐点的材料堆积问题。
[0147]
机械臂末端位置与姿态的控制是3d打印的核心关键技术，对于任意自由曲面，首先可以利用线激光扫描仪获取曲面上的点云数据，根据打印点间隔需求拟合生成控制机械臂打印的路径点，然后进行三角剖分，并计算每个三角面片顶点的法向量，以法向量为依据计算机械臂姿态控制参数，结合位置参数生成机械臂控制向量。
[0148]
以图7a的曲面模型来说明自由曲面喷涂的数据处理过程。利用线激光传感器扫描得到的点云如图7b所示。可以看到扫描得到的点云在曲面高度方向出现断层，对于曲面喷涂精度有较大影响，因此需根据误差情况对曲面点云进行拟合。
[0149]
而考虑到打印的间隔和精度等因素，设置传感器x轴点云的扫描间隔为 0.3mm，y轴的扫描间隔为1mm。同时，为了简化重构算法，可以用二维点拟合代替三维曲面重建。先拟合点云模型x轴的横截面，再拟合y轴横截面，拟合方法为最小二乘法。每组点拟合后合并成新的三维模型。当模型曲面比较复杂时，各点集的拟合函数可以不同。这样可以保证最终生成的曲面模型具有更高的精度。以一组点集为例进行图形展示，采用2次函数拟合的结果最接近原始模型，如图8a所示，可以看出原始点，2次函数拟合结果，以及4次函数拟合结果。原始点云模型与拟合后的点云模型如图8b所示，拟合后消除了台阶效应误差。
[0150]
随后，需计算点云模型中每个点的法向量，作为机械臂喷涂到该点时的姿态控制参数。采用三角剖分法进行曲面重建，通过临近点计算向量并叉乘获取该点的法向量。
[0151]
得到每个点的法向量后，需根据法向量计算ur3机械臂的姿态控制参量。其计算过
程为先根据空间法向量计算其对应的euler角(roll，pitch，yaw)，再转换为控制机械臂姿态的旋转向量rx，ry，rz。结合路径点的控制位置x， y，z，即可获得机械臂的6维控制向量(x，y，z，rx，ry，rz)。
[0152]
以空间法向量[1 2 3]为例说明姿态参数计算过程。当姿态参量为[0 0 0]时， ur3末端姿态为向量[0 0 1]。当以xyz固定角坐标系描述欧拉角时，向量[1 2 3] 的roll角为向量[0 2 3]与向量[0 0 1]的夹角0.588(以弧度表示)，方向为负；其 pitch角为向量[1 0 3]与向量[0 0 1]的夹角0.322，方向为正；而其yaw角为0。
[0153]
已知euler角γ，β，α，则旋转矩阵为：
[0154][0155]
根据旋转矩阵计算其θ角和k
x
，k
y
，k
z
：
[0156][0157][0158][0159][0160][0161]
则其旋转向量为：[rx ry rz]
t
＝[k
x
θ k
y
θ k
z
θ]
t
[0162]
对于空间法向量[1 2 3]，其γ＝0.588，β＝0.2705，α＝0，则：
[0163]
[rx ry rz]
t
＝[0.584 0.2626
ꢀ‑
0.0795]
t
[0164]
根据以上计算过程，即可获得自由曲面所有路径点的6维控制向量，从而实现打印控制。
[0165]
相应于上面的3d打印方法的实施例，本发明实施例还提供了一种3d打印装置，可与上文相互对应参照。该3d打印装置中可以包括：
[0166]
3d打印装置主体；
[0167]
控制器，用于执行计算机程序以实现上述任一实施例中所述的3d打印方法的步
骤。3d打印装置主体指的是3d打印装置中除了控制器之外的其余部分，具体构成可以根据实际应用中采用的3d打印装置进行设定和调整。
[0168]
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0169]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0170]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。