基于3D相机的体积计算方法、系统和存储介质与流程

基于3d相机的体积计算方法、系统和存储介质
技术领域
1.本发明涉及图像技术领域，尤其涉及一种基于3d相机的体积计算方法、系统和存储介质。


背景技术：

2.在物流行业的流水线上传统的方式是通过人工测量每一件物体的体积，重量信息，然后再录入物流信息管理系统。这样不仅人工投入大，成本较高，整套流程下来的效率十分低下，最重要的一点是人工容易疲劳，并具有一定的主观性，这样导致无法精准的测量体积。且物流行业实际使用环境是复杂多变的，环境温度的变化可能会导致传感器得到的数据出现一定的温度漂移，在测量过程中也会出现人手或者其它物体出现在测量范围会干扰物体体积的测量。并且实际测量的箱子上避免不了会存在胶带等异物，影响体积测量的情况。


技术实现要素：

3.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种提高物体体积测量效率和精确度，节约成本的基于3d相机的体积计算方法。
4.本发明解决其技术问题所采用的技术方案是：提供一种基于3d相机的体积计算方法，包括：
5.s1：利用所述3d相机获取被测物体的2d图像和深度图像；
6.s2：在深度图像中选定roi范围同时构建基准平面，根据被测的最大物体划定检测范围，将所述检测范围往外延伸得到判定范围；
7.s3：根据roi范围有效点到被测平面的距离判断被测物体是否需要进行自动标定；若需要则进行自动标定，若不需要则执行步骤s4；
8.s4：根据所述判定范围内高于基准平面设定阈值的点数判断所述检测范围是否存在外部干扰；若有则提醒人员排除外部干扰，并计算排除干扰后被测物体的高度信息，若没有则直接计算被测物体高度信息；
9.s5：根据所述深度图像信息计算高度分布的最频值，再根据2d信息和深度图像信息得到长宽的像素个数值，所述长宽的像素个数值结合所述最频值计算像素比，最终获取所述被测物体长宽信息；
10.s6：根据被测物体的所述高度信息和所述长宽信息计算得到被测物体的体积。
11.优选地，所述步骤s3包括：
12.s31：对所述基准平面的点云进行去噪筛选，将roi范围内的有效点进行平面拟合，得到平面方程；
13.s32：根据平面方程系数计算roi范围内每个点到平面的距离，对距离值做直方图统计，得出所述最频值；
14.s33：根据距离的最频值与预设目标距离值的关系判断所述被测物体是否需要自
动标定。
15.优选地，对所述基准平面的点云进行去噪筛选时先采用星图去噪法再采用中值滤波法进行去噪。
16.优选地，所述自动标定是抓取被测平面的3d信息，进行所述基准平面的拟合校正；当判断所述被测物体需要进行自动标定时，对所述被测物体进行自动标定并更新计算平面方程。
17.优选地，所述步骤s4包括：
18.s41：设定高于所述基准平面设定阈值的点数的阈值；
19.s42：当所述判定范围内高于所述基准平面设定阈值的点数达到设定的阈值时，则认为所述检测范围存在外部干扰。
20.优选地，执行步骤s5之前还包括：根据所述被测物体的矩形度大小判断被测物体上是否有异物，若有则进行开运算，去除异物。
21.优选地，当所述矩形度小于设定阈值时，则认为所述被测物体上是有异物。
22.本发明还提供一种基于3d相机的体积计算系统包括：
23.3d相机，用于获取被测物体的2d图像和深度图像；
24.空间划分单元，用于在所述深度图像中选定roi范围同时构建基准平面，根据被测的最大物体划定检测范围，将所述检测范围往外延伸得到判定范围；
25.自动标定判断单元，根据所述roi范围有效点到被测平面的距离判断所述被测物体是否需要进行自动标定；若需要则执行自动标定单元，若不需要则执行高度计算单元；
26.自动标定单元，用于进行自动标定；
27.高度计算单元，根据所述判定范围内高于所述基准平面设定阈值的点数判断所述检测范围是否存在外部干扰；若有则提醒人员排除外部干扰，并计算排除干扰后被测物体的高度信息，若没有则直接计算被测物体高度信息；
28.长宽信息获取单元，用于根据深度图像信息计算高度分布的最频值，再根据2d信息和深度图像信息得到长宽的像素个数值，所述长宽的像素个数值结合所述最频值计算像素比，最终获取所述被测物体长宽信息；
29.体积计算单元，用于根据被测物体的所述高度信息和所述长宽信息计算得到被测物体的体积。
30.优选地，所述自动标定判断单元包括：
31.拟合单元，用于对所述基准平面的点云进行去噪筛选，将所述roi范围内的有效点进行平面拟合，得到平面方程；
32.统计单元，用于根据平面方程系数计算所述roi范围内每个点到平面的距离，对距离值做直方图统计，得出最频值；
33.判断单元，用于根据距离的最频值与预设目标距离值的关系判断所述被测物体是否需要自动标定。
34.优选地，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的方法。
35.实施本发明的一种基于3d相机的体积计算方法，利用3d相机采集被测物体的2d图像和深度图像，将被测物体进行自动标定，排除测量环境的干扰、排除检测范围的外部干
扰，排除被测物上异物的干扰，得到被测物体的高度信息和长宽信息，因此计算得到被测物体的体积。本发明可提高物体体积测量的效率和精度，节约成本。
附图说明
36.下面将结合附图及实施例对本发明作进一步说明，附图中：
37.图1是本发明一种基于3d相机的体积计算方法的方法流程图；
38.图2是本发明检测范围和判定划分的框图；
39.图3是本发明去除被测物体上异物的方法流程图；
40.图4是本发明计算长度信息的示意图；
41.图5是本发明一种基于3d相机的体积计算系统的框图。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.参考图1，为本发明实施例提供的基于3d相机的体积计算方法，该方法包括：
44.s1：利用3d相机获取被测物体的2d图像和深度图像；
45.s2：在深度图像中选定roi范围同时构建基准平面，根据被测的最大物体划定检测范围，将检测范围往外延伸得到判定范围；
46.s3：根据roi范围有效点到被测平面的距离判断被测物体是否需要进行自动标定；若需要则进行自动标定，若不需要则执行步骤s4；
47.s4：根据判定范围内高于基准平面设定阈值的点数判断检测范围是否存在外部干扰；若有则提醒人员排除外部干扰，并计算排除干扰后被测物体的高度信息，若没有则直接计算被测物体高度信息；
48.s5：根据深度图像信息计算高度分布的最频值，再根据2d信息和深度图像信息得到长宽的像素个数值，长宽的像素个数值结合所述最频值计算像素比，最终获取被测物体长宽信息；
49.s6：根据被测物体的高度信息和长宽信息计算得到被测物体的体积。
50.在本实施例中，步骤s1：利用3d相机获取被测物体的2d图像和深度图像。具体地，在获取到2d图像和深度图像后将其进行对齐，即将2d图像和3d图像统一到同一个坐标系中，可在2d的图像上画出3d的轮廓信息，方便观察。
51.在本实施例中，步骤s2：在深度图像中选定roi范围同时构建基准平面，根据被测的最大物体划定检测范围，将检测范围往外延伸得到判定范围。
52.如图2所示，检测范围为可以测量的被测物体体积的范围。判定范围为紧贴检测范围外部的一个环状的范围。
53.在本实施例中，步骤s3：根据roi范围有效点到被测平面的距离判断被测物体是否需要进行自动标定；若需要则进行自动标定，若不需要则执行步骤s4；进一步地，步骤s3包括：
54.s31：对基准平面的点云进行去噪筛选，将roi范围内的有效点进行平面拟合，得到平面方程；
55.s32：根据平面方程系数计算roi范围内每个点到平面的距离，对距离值做直方图统计，得出最频值；
56.s33：根据距离的最频值与预设目标距离值的关系判断被测物体是否需要自动标定。
57.在一些实施例中，通过获取被测平面有无物体信息来判断是否进行自动标定。具体地，判断方法分为粗判断和细判断，粗判断，在相机悬挂高度一定的情况下，被测物体得到的数据是较为一致的。并先采用星图去噪法再采用中值滤波法进行去噪将异常值以及无效点进行剔除。在roi范围内统计高于称表面10mm以上的值，统计其个数。超过100个点就认为是出现物体，或是噪声较大，不进行自动标定。细判断，将roi范围内的有效点进行平面拟合，得到平面方程。根据平面方程系数计算范围内每个点到平面的距离。对距离值做直方图统计，选择最频值作为判断依据。当距离大于10mm时认为被测平面出现物体，不进行自动标定。经过前两个过程判断称面不存在物体时，利用称平面的有效点进行平面拟合。更新计算所用的平面方程。
58.在本实施例中，s4：根据判定范围内高于基准平面设定阈值的点数判断检测范围是否存在外部干扰；若有则提醒人员排除外部干扰，并计算排除干扰后被测物体的高度信息，若没有则直接计算被测物体高度信息。具体地，外部干扰可以为操作人员的手或其他物体，进一步地，步骤s4包括：
59.s41：设定高于基准平面设定阈值的点数的阈值；
60.s42：当判定范围内高于基准平面设定阈值的点数达到设定的阈值时，则认为检测范围存在外部干扰。
61.进一步地，计算被测物体高度信息的方法为：将roi范围内的有效点进行平面拟合，得到平面方程。根据平面方程系数计算范围内每个点到平面的距离，对距离值做直方图统计。从高往低遍历得到高度信息，每次遍历高度信息为5mm一个跨度，定位高度的大致范围，在范围内在进行1mm的跨度统计，定位到较为准确的高度信息作为输出。
62.在本实施例中，s5：根据深度图像信息计算高度分布的最频值，再根据2d信息和深度图像信息得到长宽的像素个数值，所述长宽的像素个数值结合所述最频值计算像素比，最终获取所述被测物体长宽信息；
63.具体地，在执行步骤5之前还包括根据被测物体的矩形度大小判断被测物体上是否有异物，若有则进行开运算，去除异物。
64.进一步地，如图3所示，去除被测物体上的异物具体方法为：计算被测物体的矩形度，当矩形度小于设定阈值时，例如小于0.95时，计算异物与水平轴的夹角，通过仿射变换将其旋转到零度的位置，根据异物的实际大小，进行结构元素为矩形的开运算，去除异物，然后计算被测物体的长宽信息，否则直接计算被测物体的长宽信息。
65.矩形度为实际的像素面积与最小外接矩形的像素面积之比，异物可为胶带。开运算，主要分两部分运行，先进行形态学腐蚀，然后再进行膨胀。腐蚀的原理，以结构元素的锚点在原有的图像中进行滑动，当其完全重合时保留，否则去掉。会将整图像边缘整体减少。膨胀操作是与其相反的操作，在不完全重合的时候按其使用的结构元素将其补上，反之则
不改变。进行先腐蚀后膨胀，可以将图像边缘上比较尖锐或者突出的部分给去掉，同时不影响比较平滑的部分。利用这个特性来进行异物去除。
66.进一步地，如图4所示，计算被测物体的长宽信息的方法为：根据深度图像信息计算高度分布的最频值，再根据2d信息和深度图像信息得到长宽的像素个数值，所述长宽的像素个数值结合所述最频值计算像素比，最终获取所述被测物体长宽信息。由于基准平面上一个像素对应的实际距离的像素比，在距离基准平面不同的高度，这个像素比与最频值得高度比上基准平面方程的z轴截距是成相似三角形比的。从而计算出这个高度下对应的像素比，得到实际的长宽尺寸。
67.在本实施例中，s6：根据被测物体的高度信息和长宽信息计算得到被测物体的体积。执行步骤s6之后，利用2d信息三通道各自求取canny寻找边缘结合，加入读码信息，将信息进行汇总检查。
68.如图5所示，本发明还提供了一种于3d相机的体积计算系统，包括：
69.3d相机，用于获取被测物体的2d图像和深度图像；
70.空间划分单元，用于在深度图像中选定roi范围同时构建基准平面，根据被测的最大物体划定检测范围，将检测范围往外延伸得到判定范围；
71.自动标定判断单元，根据roi范围有效点到被测平面的距离判断被测物体是否需要进行自动标定；若需要则执行自动标定单元，若不需要则执行高度计算单元；
72.自动标定单元，用于进行自动标定；
73.高度计算单元，根据判定范围内高于基准平面设定阈值的点数判断所述检测范围是否存在外部干扰；若有则提醒人员排除外部干扰，并计算排除干扰后被测物体的高度信息，若没有则直接计算被测物体高度信息；
74.长宽信息获取单元，用于根据深度图像信息计算高度分布的最频值，再根据2d信息和深度图像信息得到长宽的像素个数值，所述长宽的像素个数值结合所述最频值计算像素比，最终获取所述被测物体长宽信息；
75.体积计算单元，用于根据被测物体的高度信息和长宽信息计算得到被测物体的体积。
76.在本实施例中，3d相机，用于获取被测物体的2d图像和深度图像。具体地，在获取到2d图像和深度图像后将其进行对齐，即将2d图像和3d图像统一到同一个坐标系中，可在2d的图像上画出3d的轮廓信息，方便观察。
77.在本实施例中，空间划分单元，用于在深度图像中选定roi范围同时构建基准平面，根据被测的最大物体划定检测范围，将检测范围往外延伸得到判定范围。具体地，检测范围为可以测量的被测物体体积的范围。判定范围为紧贴检测范围外部的一个环状的范围。
78.在本实施例中，自动标定判断单元，用于判断被测物体是否需要自动对标、具体地，该自动标定判断单元包括：
79.拟合单元，用于对基准平面的点云进行去噪筛选，将roi范围内的有效点进行平面拟合，得到平面方程；
80.统计单元，用于根据平面方程系数计算roi范围内每个点到平面的距离，对距离值做直方图统计，得出最频值；
81.判断单元，用于根据距离的最频值与预设目标距离值的关系判断被测物体是否需要自动标定。
82.在一些实施例中，通过获取被测平面有无物体信息来判断是否进行自动标定。具体地，分为粗判断和细判断，粗判断，在相机悬挂高度一定的情况下，被测物体得到的数据是较为一致的。并先采用星图去噪法再采用中值滤波法将异常值以及无效点进行剔除。在roi范围内统计高于称表面10mm以上的值，统计其个数。超过100个点就认为是出现物体，或是噪声较大，不进行自动标定。细判断，将roi范围内的有效点进行平面拟合，得到平面方程。根据平面方程系数计算范围内每个点到平面的距离。对距离值做直方图统计，选择最频值作为判断依据。当距离大于10mm时认为被测平面出现物体，不进行自动标定。
83.在本实施例中，自动标定单元，用于进行自动标定。具体地，自动标定是抓取被测平面的3d信息，进行所述基准平面的拟合校正；当判断所述被测物体需要进行自动标定时，对被测物体进行自动标定并更新计算平面方程。
84.在本实施例中，高度计算单元，根据判定范围内高于基准平面设定阈值的点数判断所述检测范围是否存在外部干扰；若有则提醒人员排除外部干扰，并计算排除干扰后被测物体的高度信息，若没有则直接计算被测物体高度信息。具体地，高度计算单元包括：
85.外部干扰判断单元，根据设定高于所述基准平面设定阈值的点数的阈值；当所述判定范围内高于所述基准平面设定阈值的点数达到设定的阈值时，则认为检测范围存在外部干扰，并执行外部干扰排除单元。
86.外部干扰排除单元，用于提醒人员排除外部干扰。
87.具体地，外部干扰可以为操作人员的手或其他物体。
88.计算单元，用于计算被测物体高度信息。
89.在本实施例中，长宽信息获取单元，用于根据深度图像信息计算高度分布的最频值，再根据2d信息和深度图像信息得到长宽的像素个数值，所述长宽的像素个数值结合所述最频值计算像素比，最终获取所述被测物体长宽信息。具体地，在执行长宽信息获取单元之前还包括根据被测物体的矩形度大小判断被测物体上是否有异物，若有则进行开运算，去除异物。进一步地，当所述矩形度小于设定阈值时，则认为被测物体上是有异物。
90.在本实施例中，采集单元、空间划分单元、信息处理单元、高度信息获取单元、长宽信息获取单元和被测物体的体积计算单元配置在终端中。
91.本发明还提供了一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例所公开的基于3d相机的体积计算方法的步骤。
92.实施本发明的基于3d相机的体积计算方法，至少具有以下有益效果：规避环境带来的影响，排除检测范围的外部干扰，识别并去除被测物体上的异物，结合3d和2d信息进行体积测量，极大地提高体积测量效率和精度，节约成本。
93.可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。