一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

厚度测量方法,装置,电子设备及存储介质与流程

2022-06-09 02:14:36 来源:中国专利 TAG:


1.本技术涉及计算机视觉技术领域,具体地,涉及一种厚度测量方法,装置,电子设备及存储介质。


背景技术:

2.随着科技的快速发展,轨道交通发展迅速,例如,和谐号动车和复兴号高铁,列车安全停靠是需要依靠制动系统中的制动闸盘和闸片之间的摩擦来实现,对闸片的磨耗较大。由于制动闸盘和闸片即刹车片之间的摩擦制动力对列车的安全停靠显示非常重要,则需要对闸片进行检修,以确保列车安全停靠。
3.通常情况下,可以由检修人员携带检修工具进入地槽,通过测量闸片的厚度确定是否需要更换闸片,鉴于检修人员在检修时会依赖主观经验,容易存在误判的风险。随着视觉技术的发展,很多基于视觉的测距已经开始使用在轨道交通上面,通过采集列车各部位的信息后,通过目标检测技术的检测框来定位待测量物体,利用深度信息做测距工具。然而在这种方式下,对于一些遮挡场景下,检测框定位不够准确,则会产生一些不可避免的误差,从而导致计算得到的测量结果不够准确。


技术实现要素:

4.本技术实施例中提供了一种厚度测量方法,装置,电子设备及存储介质,可有效解决由于检测框定位不够准确,导致的测量结果不够准确的问题。
5.根据本技术实施例的第一个方面,提供了一种厚度测量方法,该方法包括:获取当前待测量物体和目标物体的二维图像以及深度图,所述待测量物体具有互相平行的第一平面和第二平面,所述目标物体具有与所述第一平面和第二平面平行的目标平面;获取包括所述待测量物体和目标物体的标准点云;将所述标准点云与当前点云进行配准,得到目标平面方程,所述目标平面方程为所述目标平面对应的平面方程,所述当前点云为与所述深度图对应的点云;利用所述二维图像以及深度图定位所述当前点云中的所述待测量物体,并结合所述目标平面方程,得到所述第一平面和第二平面的平面方程;根据所述平面方程计算所述待测量物体的厚度。
6.根据本技术实施例的第二个方面,提供了一种厚度测量装置,该装置包括:图像获取模块,用于获取当前待测量物体和目标物体的二维图像以及深度图,所述待测量物体具有互相平行的第一平面和第二平面,所述目标物体具有与所述第一平面和第二平面平行的目标平面;标准点云获取模块,用于获取包括所述待测量物体和目标物体的标准点云;配准模块,用于将所述标准点云与当前点云进行配准,得到目标平面方程,所述目标平面方程为所述目标平面对应的平面方程,所述当前点云为与所述深度图对应的点云;平面方程计算模块,用于利用所述二维图像以及深度图定位所述当前点云中的所述待测量物体,并结合所述目标平面方程,得到所述第一平面和第二平面的平面方程;厚度计算模块,用于根据所述平面方程计算所述待测量物体的厚度。
7.根据本技术实施例的第三个方面,提供了一种电子设备,该电子设备包括一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如上述应用于电子设备的方法。
8.根据本技术实施例的第四方面,本技术实施列提供一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码运行时执行上述的方法。
9.采用本技术实施例中提供的厚度测量方法,获取当前待测量物体和目标物体的二维图像以及深度图;获取包括所述待测量物体和目标物体的标准点云并获取标准点云;配准标准点云和与所述深度图对应的当前点云,得到目标平面方程;利用所述二维图像以及深度图定位所述当前点云中的所述待测量物体,并结合所述目标平面方程,得到所述第一平面和第二平面的平面方程,最后根据所述平面方程计算所述待测量物体的厚度。结合二维图像和深度图定位待测量物体,通过配准得到目标平面方程,以获取待测量物体的两个平行面对应的平面方程,可以精准定位所述待测量物体,从而可以准确的计算出待测量物体的厚度。
附图说明
10.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
11.图1为本技术实施例提供的厚度测量方法的应用环境示意图;
12.图2为本技术一个实施例提供的厚度测量方法的流程图;
13.图3为本技术再一个实施例提供的厚度测量方法的流程图;
14.图4为本技术又一个实施例提供的厚度测量方法的流程图;
15.图5为本技术一个实施例提供的厚度测量装置的功能模块图;
16.图6为本技术实施例提出的用于执行根据本技术实施例的厚度测量方法的电子设备的结构框图。
具体实施方式
17.随着科技的快速发展,轨道交通发展迅速,尤其以和谐号动车和复兴号高铁为主的交通车辆最为显著,列车安全停靠是需要依靠制动系统中的制动盘和闸片之间的摩擦来实现,对闸片的磨耗较大。由于制动盘和闸片即刹车片之间的摩擦制动力对列车的安全停靠显示非常重要,则需要对闸片进行检修,以确保列车安全停靠。
18.列车运营团队会根据相关要求定制更换闸片的厚度阈值,如果闸片厚度小于厚度阈值,或是十分接近厚度阈值,就需要更换闸片。检修人员一般携带检修工具进入地槽,首先根据目测大致判断是否小于厚度阈值,判断是否需要更换,如果发现厚度远远大于厚度阈值,简单记录安全即可,如果接近所述厚度阈值,就需要使用工具测量闸片的厚度,根据测量值判断是否需要更换所述闸片。在这种方式下,人工测量厚度时读取测量值较为主观,容易出现误差。
19.随着计算机视觉技术的发展,很多基于视觉的测距开始使用在轨道交通上,通常由图像采集机器人采集列车各部位的信息后,通过深度图对齐到彩色图像,在彩色图像中
定位目标后,直接通过目标检测技术的检测框来指定范围,将深度信息结合相机内参转换成三维坐标信息来计算指定范围的距离。通过这种方式既达到了维修点位和目标的记录,又可以完成自动化测距让工人快速判断是否超限需要更换。然而,发明人发现,在该方式中,对于一些场景遮挡,场景抖动时,以及检测框定位存在偏移时,由于定位不准确容易产生一些不可避免的误差,从而导致计算的测量结果不够准确。
20.针对上述问题,本技术实施例中提供了一种厚度测量方法,获取当前待测量物体和目标物体的二维图像以及深度图;获取包括所述待测量物体和目标物体的标准点云;配准标准点云和与所述深度图对应的当前点云,得到目标点云;利用所述二维图像以及深度图定位所述当前点云中的所述待测量物体,并结合所述目标点云,得到所述第一平面和第二平面的平面方程,最后根据所述平面方程计算所述待测量物体的厚度。结合二维图像和深度图定位待测量物体,通过配准得到目标平面方程,以获取待测量物体的两个平行面对应的平面方程,可以精准定位所述待测量物体,从而可以准确的计算出待测量物体的厚度。
21.本技术实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言java和直译式脚本语言javascript,以及python等。
22.为了使本技术实施例中的技术方案及优点更加清楚明白,以下结合附图对本技术的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本技术的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本技术中的实施例及实施例中的特征可以相互组合。
23.请参阅图1,示出了本技术提供的厚度测量方法的应用环境10,所述应用环境10包括系统11,图像采集装置12,以及电子设备13。其中,所述目标物体和待测量物体属于系统11,所述系统11也可以包括其他物体。假设所述系统11为制动系统,在所述制动系统,通常包括制动闸盘,闸片,以及制动闸钳。其中,所述闸片具有相互平行的第一平面和第二平面,所述制动闸盘具有一个与所述第一平面和第二平面平行的目标平面,那么,所述制动闸盘为目标物体,所述闸片为所述待测量物体。所述图像采集装置12可以是具有图像采集功能的智能机器人,其可以采集到目标物体以及待测量物体的二维图像以及深度图。所述电子设备13可以是智能手机,电脑,服务器等。
24.所述图像采集装置12可以是高精度深度相机,用于采集所述目标物体以及待测量物体的二维图像以及深度图。所述图像采集装置12与所述电子设备13通信连接,以将采集到的所述二维图像以及深度图发送给所述电子设备13,从而所述电子设备13可以对所述二维图像以及深度图进行处理,得到所述待测量物体的厚度。
25.在一些实施方式中,所述图像采集装置12和电子设备13可以集成在同一个设备上。本技术实施例仅以图像采集装置12和电子设备13为两个设备进行描述。
26.请参阅图2,本技术实施例提供了一种厚度测量方法,可应用于前述应用环境10中的电子设备,所述电子设备可以是智能手机,电脑或服务器等,具体的该方法可以包括以下步骤。
27.步骤110,获取当前待测量物体和目标物体的二维图像以及深度图。
28.由于所述待测量物体的厚度可能发生变化,因此,电子设备在测量待测量物体的厚度时,可以获取当前待测量物体和目标物体的二维图像以及深度图。其中,所述深度图和所述二维图像对齐,所述二维图像以及深度图为图像采集装置当前采集的,并发送给所述
电子设备的,从而电子设备可以获取到当前待测量物体和目标物体的二维图像以及对应的深度图。
29.其中,所述待测量物体具有互相平行的第一平面和第二平面,所述目标物体具有与所述第一平面和第二平面平行的目标平面。以前述的制动系统为例,所述待测量物体为闸片,闸片具有相互平行的第一平面和第二平面,所述目标物体为制动闸盘,所述制动闸盘具有与所述第一平面和第二平面平行的平面,为所述目标平面。
30.步骤120,获取包括所述待测量物体和目标物体的标准点云。
31.在获得当前待测量物体和目标物体的二维图像以及对应的深度图后,电子设备可以继续获取包括所述待测量物体和目标物体的标准点云。
32.在一些实施方式中,所述标准点云为预先存储在所述电子设备内,所述电子设备可以直接获取到所述标准点云。
33.在另一些实施方式中,电子设备可以根据图像采集装置采集的深度图获取标准点云,具体的,可以是利用所述图像采集装置的内参,将所述图像采集装置采集的深度图转换为点云,将质量较好,缺失较小的点云数据作为所述标准点云。
34.其中所述标准点云可以是一个标准点云集,即包括第一标准点云,第二标准点云,以及第三标准点云,其中,所述第一标准点云为所述待测量物体和目标物体的完整点云,所述第二标准点云为所述待测量物体或目标物体的点云,所述第三标准点云为所述目标平面的点云。
35.也就是说,所述第一标准点云可以包括所述待测量物体和目标物体的完整点云,是具有较多特征的点云以进行粗匹配。所述第二标准点云可以是待测量物体或目标物体的点云,以进行精匹配,第三标准点云则为所述目标平面的点云,以通过变换计算得到目标平面的平面方程。其中,所述二标准点云和第三标准点云为所述第一标准点云的子集。
36.以前述的制动系统为例,所述制动系统包括制动闸盘,闸片,以及制动闸钳,其中,定义所述制动闸盘为所述目标物体,闸片为所述待测量物体。那么,所述第一标准点云可以是包括所述制动闸盘,闸片,以及制动闸钳的点云;所述第二标准点云可以是包括闸片,制动闸钳的点云;所述第三标准点云可以是所述制动闸盘的平面的点云。
37.步骤130,将所述标准点云与当前点云进行配准,得到目标平面方程。
38.在得到所述标准点云后,需要将所述标准点云与当前点云进行配准,可以得到目标点云,再利用随机抽样一致性算法从所述目标点云中拟合所述目标平面方程。所述当前点云为当前待测量物体和目标物体的深度图转换得到的,该转换方式可以是获取采集所述深度图的内参,根据内参转换得到。所述目标点云为目标平面在所述当前点云中对应的点云,所述目标平面方程为所述目标平面对应的平面方程。
39.也就是说,当前点云和标准点云是处于不同的坐标系下的,通过配准,可以将标准点云对应的坐标系中的点云数据,转换到当前点云对应的坐标系下。
40.由于当前点云和标准点云都是由深度图转换得到的,由于图像采集装置在采集深度图时,可能存在拍摄角度的偏差,因此,在配准时,可以分为粗配准和精配准,以得到所述目标点云,并进一步从所述目标点云中拟合平面得到目标平面方程。
41.具体的,可以是将所述当前点云与所述标准点云进行粗匹配,得到匹配初值;根据所述匹配初值将所述当前点云与所述标准点云进行精匹配,得到变换矩阵;根据所述变换
矩阵和所述标准点云,得到所述目标点云;利用随机抽样一致性算法从所述目标点云中拟合所述目标平面方程。
42.在配准时,通常采用icp点云算法进行配准。在进行粗匹配之前,电子设备可以先载入所述标准点云和当前点云。在载入点云时,可以将当前点云和标准点云进行降采样,通过降采样后的点云进行粗匹配以及精匹配,从而可以加快匹配速度,提高算法效率。在得到目标点云后,可以利用随机抽样一致性算法从所述目标点云中拟合平面以获得目标平面方程。
43.步骤140,利用所述二维图像以及深度图定位所述当前点云中的所述待测量物体,并结合所述目标平面方程,得到所述第一平面和第二平面的平面方程。
44.电子设备在得到所述目标平面方程后,可以结合二维图像以及深度图得到第一平面和第二平面的平面方程。可以是利用卷积神经网络从所述二维图像中分割出所述待测量物体,并从所述深度图中将所述待测量物体转换为点云;按照预设条件式遍历所述点云并结合所述目标平面的平面方程得到所述第一平面和第二平面的平面方程。
45.电子设备可以获取到当前待测量物体和目标物体的二维图像以及深度图,其中,所述二维图像和深度图是对齐的。电子设备在获取到二维图像时,可以对所述二维图像进行处理,从所述二维图像中分割出所述待测量物体,结合所述深度图得到待测量物体在深度图中对应的区域,并将该区域转换为点云。得到的点云为所述待测量物体在当前点云中对应的点云,以实现利用三维的深度图确定出待测量物体。
46.由于所述目标平面与所述待测量物体的第一平面和第二平面是平行的,在得到所述目标平面的平面方程时,也可以得到所述第一平面和第二平面的方程。由于是平行关系,因此,目标平面的平面方程,第一平面的平面方程,以及第二平面的平面方程的方程系数中只有常数项是不同。
47.若要得到所述第一平面和第二平面的平面方程,只需要确定方程系数中的常数项。基于已经得到了待测量物体对应的点云,其点云中包括多个三维点,所述第一平面和第二平面都是属于所述待测量物体的,因此,在平面方程仅有常数项未知的情况下,可以将点云中多个三维点的坐标带入所述平面方程,得到多个常数项的值。可以理解的是,若要求取所述待测量物体的厚度,即第一平面和第二平面之间的距离,那么,求取得到的所述常数项的最大值和最小值即为所述第一平面和第二平面对应的常数项。从而可以得到所述第一平面对应的平面方程以及第二平面对应的平面方程。
48.步骤150,根据所述平面方程计算所述待测量物体的厚度。
49.由于已经求得所述第一平面的平面方程,以及所述第二平面的平面方程,所述待测量物体的厚度为所述第一平面和第二平面之间的距离,因此,可以结合所述平面方程求解得到所述待测量物体的厚度。
50.在一些实施方式中,在得到所述待测量物体的厚度之后,所述电子设备还可以根据所述厚度判断所述待测量物体是否满足预设条件;若不满足所述预设条件,执行预设操作。
51.所述电子设备可以预先存储有预设条件,所述预设条件可以是小于预设阈值,即若所述待测量物体的厚度小于预设阈值,表明所述待测量物体满足所述预设条件,若所述待测量物体的厚度大于或等于所述预设阈值,表明所述待测量物体不满足所述预设条件。
在确定所述待测量物体不满足所述预设条件时,电子设备可以执行预设操作,所述预设操作也可以是预先设置好的,具体的,所述预设操作可以是报警,发送信息等。其中,所述预设条件和预设操作可以根据实际需要进行设置,在此不做具体限定。
52.本技术实施例提供的厚度测量方法,获取当前待测量物体和目标物体的二维图像以及深度图;获取包括所述待测量物体和目标物体的标准点云,配准标准点云和与所述深度图对应的当前点云,得到目标平面方程;利用所述二维图像以及深度图定位所述当前点云中的所述待测量物体,并结合所述目标平面方程,得到所述第一平面和第二平面的平面方程,最后根据所述平面方程计算所述待测量物体的厚度。结合二维图像和深度图定位待测量物体,通过配准得到目标平面方程,以获取待测量物体的两个平行面对应的平面方程,可以精准定位所述待测量物体,从而可以准确的计算出待测量物体的厚度。
53.请参阅图3,本技术再一实施例提供了一种厚度测量方法,在前述实施例的基础上重点描述了配准标准点云和当前点云得到目标平面方程的过程,具体的该方法可包括以下步骤。
54.步骤210,获取当前待测量物体和目标物体的二维图像以及深度图。
55.步骤220,获取包括所述待测量物体和目标物体的标准点云。
56.步骤210和步骤220可参照前述实施例对应部分,在此不再赘述。
57.步骤230,将所述当前点云与所述标准点云进行粗匹配,获得匹配初值。
58.如前所述,所述标准点云包括第一标准点云,第二标准点云以及第三标准点云,其中,所述第一标准点云为包括所述待测量物体和目标物体的完整点云,所述第二标准点云为所述待测量物体或目标物体的点云,所述第三标准点云为所述目标平面的点云。
59.在进行粗匹配时,可以是将当前点云与所述第一标准点云进行配准,由于第一标准点云和当前点云都包括所述待测量物体和目标物体,点云特征较多,因此,所述当前点云和所述第一标准点云的匹配结果较好。经过粗配可以得到一个匹配初值,由于拍摄角度的问题,无法得到一个精细化准确的变换,因此,可以继续进行精匹配。
60.步骤240,根据所述匹配初值将所述当前点云与所述标准点云进行精匹配,得到变换矩阵。
61.在进行精匹配时,可以根据所述匹配初值将所述当前点云与第二标准点云进行配准,得到变换矩阵。其中,所述第二标准点云为所述待测量物体或目标物体的点云,即局部点云,以所述匹配初值作为精匹配的初值,将局部点云与所述当前点云进行配准得到变换矩阵。
62.以制动系统为例,所述第二标准点云为闸片和制动闸钳对应的点云时,在进行精匹配时,可以将制动闸钳点云精细的匹配到当前点云中,从而可以得到标准点云对应的坐标系变换为当前点云对应的坐标系的变换矩阵。
63.步骤250,根据所述变换矩阵和所述标准点云,得到所述目标点云。
64.在得到所述变换矩阵后,可以将第三标准点云,即目标平面的点云变换到当前点云对应的坐标系下,由于变换矩阵是通过精细化匹配得到的,可以将变换后的第三标准点云作为当前点云中的目标平面的点云,即得到所述目标点云。
65.步骤260,利用随机抽样一致性算法从所述目标点云中拟合所述目标平面方程。
66.在得到所述目标点云后,可以根据所述目标点云计算出目标平面的平面方程,由
于所述目标点云为所述目标平面在当前点云中对应的点云,因此,所述目标点云中的点都为所述目标平面上的点。因此,可以利用随机抽样一致性算法从所述目标点云中拟合三维平面方程,作为所述目标平面的平面方程。其中,所述随机抽样一致性算法通过迭代方式估计数学模型的参数,因此,通过该算法可以得到目标平面的平面方程。
67.假设所述目标平面的平面方程为ax by cz d=0,a,b,c,d为方程系数,其中,d为常数项。通过随机抽样一致性算法可以得到所述方程的方程系数如下。
68.a=y1(z
2-z3) y2(z
3-z1) y3(z
1-z2)
69.b=z1(x
2-x3) z2(x
3-x1) z3(x
1-x2)
70.c=x1(y
2-y3) x2(y
3-y1) x3(y
1-y2)
71.d=-x1(y2z
3-y3z2)-x2(y3z
1-y1z3)-x3(y1z
2-y2z1)
72.其中,(x1,y1,z1),(x2,y2,y3),(x3,y3,z3)为所述目标点云中的三维点的坐标。
73.步骤270,利用所述二维图像以及深度图定位所述当前点云中的所述待测量物体,并结合所述目标平面方程,得到所述第一平面和第二平面的平面方程。
74.步骤280,根据所述平面方程计算所述待测量物体的厚度。
75.步骤270至步骤280可参照前述实施例对应部分,在此不再赘述。
76.本技术实施例提供的厚度测量方法,将当前点云与标准点云进行粗匹配得到匹配初值,利用所述匹配初值再进行精匹配,得到当前点云对应的坐标系和标准点云对应的坐标系之间的变换矩阵;基于所述变换矩阵和标准点云得到目标点云,并从所述目标点云中拟合目标平面方程,再将所述目标平面方程用于后续计算第一平面和第二平面的平面方程中,以根据所述平面方程计算待测量物体的厚度。结合二维图像和深度图定位待测量物体,通过配准得到目标平面方程,以获取待测量物体的两个平行面对应的平面方程,可以精准定位所述待测量物体,从而可以准确的计算出待测量物体的厚度。
77.请参阅图4,本技术又一实施例提供了一种厚度测量方法,在前述实施例的基础上重点描述了计算所述第一平面和第二平面的平面方程,并根据所述平面方程计算待测量物体的厚度的过程,具体的该方法可包括以下步骤。
78.步骤310,获取当前待测量物体和目标物体的二维图像以及深度图。
79.步骤320,获取包括所述待测量物体和目标物体的标准点云。
80.步骤330,将所述标准点云与当前点云进行配准,得到目标平面方程。
81.步骤310至步骤330可参照前述实施例对应部分,在此不再赘述。
82.步骤340,利用卷积神经网络从所述二维图像中分割出所述待测量物体,并从所述深度图中将所述待测量物体的区域转换为点云。
83.在获取的当前二维图像以及深度图中,可以对所述二维图像进行处理,利用卷积神经网络从所述二维图像中分割出所述待测量物体,并结合所述深度图得到待测量物体的点云。
84.在对所述二维图像进行处理时,可以是将所述二维图像输入卷积神经网络中得到所述待测量物体。本技术实施例中采用的卷积神经网络可以是mask-rcnn网络。
85.mask-rcnn网络是在faster r-cnn基础上发展而来,在其基础上增加roialign以及全卷积网络(fully convolutional network,fcn),mask r-cnn将分类预测和掩码预测拆分为网络的两个分支,分类预测分支与faster r-cnn相同,对兴趣区域给出预测,产生类
别标签以及矩形框坐标输出,而掩码预测分支产生的每个二值掩码依赖分类预测结果,基于此刻分隔出物体。mask r-cnn对每个类别均独立地预测一个二值掩码,避开类间的竞争。mask r-cnn是逐像素分隔。因此,将所述二维图像输入所述mask r-cnn可以从所述二维图像中分割出所述待测量物体。
86.在从所述二维图像中分割出所述待测量物体之后,由于所述二维图像和深度图是对齐的,因此,可以得到深度图中所述待测量物体的区域,再利用采集所述深度图的图像采集装置的内参得到所述待测量物体对应的点云。
87.步骤350,按照预设条件式遍历所述点云并结合所述目标平面方程得到所述第一平面和第二平面的平面方程。
88.此时,电子设备已经获得了所述目标平面方程,以及所述待测量物体对应的点云。由于所述目标平面和所述第一平面以及第二平面是平行的,因此,所述目标平面的平面方程,第一平面的平面方程,以及第二平面的平面方程的方程系数中,只有常数项是不同的。
89.如前所述,所述目标平面方程为ax by cz d=0,那么所述第一平面的平面方程可以是ax by cz d1=0,所述第二平面的平面方程可以是ax by cz d2=0。那么,在所述第一平面的平面方程和第二平面的平面方程中,只有常数项d1和d2是未知的,因此,电子设备需要计算出所述d1和d2。
90.在计算d1和d2时,由于得到了所述待测量物体的点云,可以按照预设条件式遍历所述待测量物体的点云中的三维点。其中,所述预设条件式为d=0-(a*x b*y c*z)。假设所述待测量物体的点云中的三维点数量为n,通过所述预设条件式遍历n个三维点后,可以得到n个d值。在得到的n个d值中,将所述n个d值中的最大值和最小值作为所述d1和d2。也就是说,d1和d2分别为得到的多个d值中的最大值和最小值。
91.假设将所述d值中的最大值记为d
max
,最小值记为d
min
,那么所述第一平面的平面方程为ax by cz d
max
=0,所述第二平面的平面方程为ax by cz d
min
=0。
92.步骤360,获取所述第一平面的平面方程和第二平面的平面方程对应的方程系数。
93.在得到所述第一平面的平面方程以及第二平面的平面方程后,可以得到所所述第一平面的平面方程对应的方程系数,所述第二平面的平面方程对应的方程系数。即所述第一平面的平面方程系数为a,b,c,d
max
,所述第二平面的平面方程系数为a,b,c,d
min

94.步骤370,根据所述方程系数计算所述待测量物体的厚度。
95.在得到所述第一平面和第二平面分别对应的平面方程的方程系数后,即可以根据下列公式计算出第一平面和第二平面之间的距离,即为所述待测量物体的厚度。在下列公式中,以dist表示所述待测量物体的厚度。
[0096][0097]
本技术实施例提供的厚度测量方法,从所述深度图中将所述待测量物体的区域转换成点云,可精准定位所述待测量物体,避免定位偏差。并且通过计算待测量物体的两个平面之间的距离作为所述待测量物体的厚度也更加精准。
[0098]
请参阅图5,本技术实施例提供了一种厚度测量装置400,可应用于电子设备,所述厚度测量装置400包括图像获取模块410,标准点云获取模块420,配准模块430,平面方程计
算模块440,以及厚度计算模块450。所述图像获取模块410,用于获取当前待测量物体和目标物体的二维图像以及深度图,所述待测量物体具有互相平行的第一平面和第二平面,所述目标物体具有与所述第一平面和第二平面平行的目标平面;所述标准点云获取模块420,用于获取包括所述待测量物体和目标物体的标准点云;所述配准模块430,用于将所述标准点云与当前点云进行配准,得到目标平面方程,所述目标平面方程为所述目标平面对应的平面方程,所述当前点云为与所述深度图对应的点云;所述平面方程计算模块440,用于利用所述二维图像以及深度图定位所述当前点云中的所述待测量物体,并结合所述目标平面方程,得到所述第一平面和第二平面的平面方程;所述厚度计算模块450,用于根据所述平面方程计算所述待测量物体的厚度。
[0099]
进一步的,所述配准模块430还用于将所述当前点云与所述标准点云进行粗匹配,获得匹配初值;根据所述匹配初值将所述当前点云与所述标准点云进行精匹配,得到变换矩阵;根据所述变换矩阵和所述标准点云,得到所述目标点云,所述目标点云为所述目标平面在所述当前点云中对应的点云;利用随机抽样一致性算法从所述目标点云中拟合所述目标平面方程。
[0100]
进一步的,所述标准点云包括第一标准点云,所述第一标准点云为包括所述待测量物体和目标物体的完整点云,所述配准模块430还用于将所述当前点云与所述第一标准点云进行配准,得到匹配初值。
[0101]
进一步的,所述标准点云包括第二标准点云,所述第二标准点云为所述待测量物体或目标物体的点云,所述配准模块430还用于根据所述匹配初值将所述当前点云与所述第二标准点云进行配准,得到变换矩阵。
[0102]
进一步的,所述标准点云包括第三标准点云,所述第三标准点云为所述目标平面的点云,所述配准模块430还用于将所述变换矩阵作用于所述第三标准点云,得到目标点云。
[0103]
进一步的,所述平面方程计算模块440还用于利用卷积神经网络从所述二维图像中分割出所述待测量物体,并从所述深度图中将所述待测量物体的区域转换为点云;按照预设条件式遍历所述点云并结合所述目标平面方程得到所述第一平面和第二平面的平面方程。
[0104]
进一步的,所述预设条件式为d=0-(a*x b*y c*z);其中,a,b,c为所述目标平面方程的方程系数,x,y,z为所述点云中的三维点的坐标。
[0105]
进一步的,所述厚度计算模块450还用于获取所述第一平面的平面方程和第二平面的平面方程对应的方程系数;根据所述方程系数计算所述待测量物体的厚度。
[0106]
进一步的,预先存储有预设条件,所述厚度测量装置400还包括执行模块,所述执行模块用于根据所述平面方程计算所述待测量物体的厚度之后,根据所述厚度判断所述待测量物体是否满足所述预设条件;若所述待测量物体不满足所述预设条件,执行预设操作。
[0107]
本技术实施例提供的厚度测量装置,获取当前待测量物体和目标物体的二维图像以及深度图;获取包括所述待测量物体和目标物体的标准点云,配准标准点云和与所述深度图对应的当前点云,得到目标平面方程;利用所述二维图像以及深度图定位所述当前点云中的所述待测量物体,并结合所述目标平面方程,得到所述第一平面和第二平面的平面方程,最后根据所述平面方程计算所述待测量物体的厚度。结合二维图像和深度图定位待
测量物体,通过配准得到目标平面方程,以获取待测量物体的两个平行面对应的平面方程,可以精准定位所述待测量物体,从而可以准确的计算出待测量物体的厚度。
[0108]
要说明的是,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0109]
请参阅图6,本技术实施例提供了一种电子设备的结构框图,该电子设备500包括处理器510以及存储器520以及一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器520中并被配置为由所述一个或多个处理器510执行,所述一个或多个程序配置用于执行上述厚度测量的方法。
[0110]
该电子设备500可以是智能手机、平板电脑、电子书等能够运行应用程序的终端设备,还可以是服务器。本技术中的电子设备500可以包括一个或多个如下部件:处理器510、存储器520、以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器520中并被配置为由一个或多个处理器510执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
[0111]
处理器510可以包括一个或者多个处理核。处理器510利用各种接口和线路连接整个电子设备500内的各个部分,通过运行或执行存储在存储器520内的指令、程序、代码集或指令集,以及调用存储在存储器520内的数据,执行电子设备500的各种功能和处理数据。可选地,处理器510可以采用数字信号处理(digital signal processing,dsp)、现场可编程门阵列(field-programmable gate array,fpga)、可编程逻辑阵列(programmable logic array,pla)中的至少一种硬件形式来实现。处理器510可集成中央处理器(central processing unit,cpu)、图像处理器(graphics processing unit,gpu)和调制解调器等中的一种或几种的组合。其中,cpu主要处理操作系统、用户界面和应用程序等;gpu用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器510中,单独通过一块通信芯片进行实现。
[0112]
存储器520可以包括随机存储器(random access memory,ram),也可以包括只读存储器(read-only memory)。存储器520可用于存储指令、程序、代码、代码集或指令集。存储器520可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备500在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
[0113]
本技术实施例提供的电子设备,获取当前待测量物体和目标物体的二维图像以及深度图;获取包括所述待测量物体和目标物体的标准点云,配准标准点云和与所述深度图对应的当前点云,得到目标平面方程;利用所述二维图像以及深度图定位所述当前点云中的所述待测量物体,并结合所述目标平面方程,得到所述第一平面和第二平面的平面方程,最后根据所述平面方程计算所述待测量物体的厚度。结合二维图像和深度图定位待测量物体,通过配准得到目标平面方程,以获取待测量物体的两个平行面对应的平面方程,可以精准定位所述待测量物体,从而可以准确的计算出待测量物体的厚度。
[0114]
本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0115]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0116]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0117]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0118]
尽管已描述了本技术的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0119]
显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献