基于摄像机组三维重建的堆石粒径识别与监控装置及方法与流程

1.本技术涉及堆石粒径识别技术领域，特别涉及一种基于摄像机组三维重建的堆石粒径识别与监控装置及方法。


背景技术：

2.堆石粒径分布是影响堆石混凝土密实程度的影响因素。堆石太小难以保证混凝土的填充率，直接影响工程质量，带来安全隐患；而堆石过大增加了筛选堆石的成本，同时使得混凝土的体积百分比升高，造成了原材料浪费，使得工程成本大大增加。
3.在施工过程中为了能够让施工顺利进行，一般要求堆石的最小粒径不小于300mm，使得堆石空隙有足够的横截面积，保证自密实混凝土能够顺利通过堆石空隙。常见的堆石粒径控制方法是使用钢筛筛除粒径小于300mm的堆石。但是对于大规模的工程堆石，筛分法成本太高，工程中普遍采用检测人员人工目测的办法。目前还没有快速获取大量堆石粒径信息的方法。
4.目前已有一些粒径识别的设备和仪器，但由于堆石体量较大、结构的复杂，其粒径识别中并没有合适的方法。目前已有的其他颗粒体粒径识别方法中，如一种混凝土堆石级配识别与调控装置，其利用小型箱与传送带相结合的设备来识别砂石粒径。相对大小均匀的砂石而言，堆石的粒径更大，并不适合室内箱体尺度进行实验和检查；另一方面，在施工现场进行堆石操作时，是由铲车直接运送到仓面铺平，传送带的方式会附加操作和设备成本，因此并不适用。又如一种天然河流中泥沙浓度级配原位实时测量装置及其方法，此设备基于对泥沙颗粒光斑的识别，使用公式计算每个泥沙颗粒光斑对应的泥沙颗粒粒径。而堆石的粒径形态变化范围更大，更没有统一的计算公式，伴随着光影、块石棱角等因素影响，进而要求在更多种环境背景下的准确识别。因此，堆石粒径识别对方法和相应设备有更高的要求。


技术实现要素：

5.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本技术的一个目的在于提出一种基于摄像机组三维重建的堆石粒径识别与监控装置，该装置利用双目或多目摄像头结合图像识别神经网络算法实现堆石粒径的识别与监控。
7.本技术的另一个目的在于提出一种基于摄像机组三维重建的堆石粒径识别与监控方法。
8.为达到上述目的，本技术一方面实施例提出了一种基于摄像机组三维重建的堆石粒径识别与监控装置，包括：
9.通过摄像机支架固定在堆石仓面周围的摄像机组，所述摄像机组至少包括两个摄像头，用于在不同角度采集待识别堆石在堆石过程中不同高度的堆石多角度图像；
10.标定模块，用于在所述摄像机组的采集视野内放置标志物，对所述摄像机组的参
数进行标定；
11.识别监控模块，与所述摄像机组相连，用于对所述堆石多角度图像进行图像处理，根据所述堆石多角度图像确定所述待识别堆石中每块堆石粒径的分类结果，并根据所述分类结果建立所述待识别堆石的级配曲线，根据所述级配曲线对所述待识别堆石进行识别和监测；
12.结果反馈模块，用于将所述待识别堆石的识别和检测结果发送至预设终端。
13.为达到上述目的，本技术另一方面实施例提出了一种基于摄像机组三维重建的堆石粒径识别与监控方法，包括以下步骤：
14.s1，调整摄像机组位置：将选取的标志物置于待识别堆石的堆石仓面区域的中心，调整所述摄像机组的每个摄像头使其可以采集到所述标志物，且所述标志物位于摄像头采集的堆石多角度图像的中心；
15.s2，摄像机组姿态标定：测量所述标志物到堆石仓面的实际距离，根据所述摄像机组的位置信息，计算摄像机姿态参数；
16.s3，采集堆石照片：采集堆石仓面不同高度处的所述堆石多角度图像，获取堆石过程中不同高度处从不同角度拍摄的所述堆石多角度图像；
17.s4，矫正摄像机组照片畸变：结合s1和s2获取到的摄像机组内外参数信息，通过摄像头畸变校正算法计算校正所述堆石多角度图像；
18.s5，选取特征点：选取待识别堆石中的特征点，找到其在不同角度照片上的对应位置，测量特征点在所述堆石多角度图像上的像素距离；
19.s6，三维重建：分析摄像机组采集的不同角度的堆石照片，通过立体视觉重建方法计算特征点的实际距离，根据所述实际距离测量每张堆石多角度图像的比例尺；
20.s7，识别堆石粒径：利用图像识别算法识别所述堆石多角度图像中的堆石粒径，通过步骤s6算的比例尺解算的堆石粒径数据。
21.本技术实施例的基于摄像机组三维重建的堆石粒径识别与监控装置及方法，具有以下有益效果：
22.1、工程实用性好：基于立体视觉法不受外部光线的影响，会保证后期图像处理结果的精度，适合堆石混凝土施工现场。实现了远距离监测堆石粒径，多组摄像头拍摄的角度的精准化，进一步的保证了拍摄的精度和结果的准确度，可有效提升堆石粒径级配计算的速度和精确度，提升了施工过程中对混合堆石粒径大小的监测精度。
23.2、设备简易、稳定性好：基于摄像机组的三维重建技术不需要添加其他光源，适用于光照条件复杂的堆石混凝土施工现场；另一方面，立体视觉法针对单目或多目摄像头都有成熟的算法，即使摄像头组中有一个或多个摄像头损坏或数据误差较大，仍旧可以通过调整算法来获得最后的结果，系统的抗干扰能力强，鲁棒性好，这对提高工程检测效率、保证工程质量有重要意义。
24.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
25.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得
明显和容易理解，其中：
26.图1为根据本技术一个实施例的基于摄像机组三维重建的堆石粒径识别与监控装置结构示意图；
27.图2为根据本技术一个实施例的摄像机组的结构图；
28.图3为根据本技术一个实施例的基于摄像机组三维重建的堆石粒径识别与监控方法流程图；
29.图4为根据本技术一个实施例的基于摄像机组三维重建的堆石粒径识别与监控方法流程框图。
30.附图标记：1
‑
摄像机组，包括摄像头、可调节高度的支架、2
‑
螺栓、3
‑
堆石仓面、4
‑
标志物、5
‑
识别监控模块、6
‑
结果反馈模块；7a
‑
摄像头、7b
‑
激光测距器、7c
‑
水准器、7d
‑
支架可移动的轮盘。
具体实施方式
31.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
32.下面参照附图描述根据本技术实施例提出的基于摄像机组三维重建的堆石粒径识别与监控装置及方法。
33.首先将参照附图描述根据本技术实施例提出的基于摄像机组三维重建的堆石粒径识别与监控装置。
34.图1为根据本技术一个实施例的基于摄像机组三维重建的堆石粒径识别与监控装置结构示意图。
35.如图1所示，该基于摄像机组三维重建的堆石粒径识别与监控装置包括：
36.固定在堆石仓面周围的摄像机组1，用于在不同角度采集待识别堆石在堆石过程中不同高度的堆石多角度图像。
37.具体地，摄像机组位置已知，包括的可以水平、俯仰旋转的摄像头、可以通过螺栓2 调节高度的摄像头支架以及用于摄像机组标定的标志物。摄像机组通过可伸缩支架固定在堆石仓面周围。
38.标定模块，用于在摄像机组的采集视野内放置标志物，对摄像机组的参数进行标定。
39.识别监控模块，与摄像机组相连，用于对堆石多角度图像进行图像处理，根据堆石多角度图像确定待识别堆石中每块堆石粒径的分类结果，并根据分类结果建立待识别堆石的级配曲线，根据级配曲线对待识别堆石进行识别和监测。
40.结果反馈模块，用于将待识别堆石的识别和检测结果发送至预设终端。
41.可选地，在本技术的实施例中，还包括：可调节位置的摄像机支架；用于固定和移动摄像机组
42.可选地，在本技术的实施例中，摄像机支架包括：可伸缩支架；移动滚轮盘。
43.可选地，在本技术的实施例中，如图2所示，可伸缩支架还包括水准器，水准器设置在摄像头的侧壁。
44.可选地，在本技术的实施例中，可伸缩支架还包括螺旋伸缩杆或调节螺栓，螺旋伸缩杆从下而上依次包括粗螺纹部、细螺纹部和光滑部。
45.可选地，在本技术的实施例中，可伸缩支架还包括粗调螺旋和微调螺旋。
46.可选地，在本技术的实施例中，如图2所示，摄像机组包括：激光测距器，用于确认堆石中特征点在摄像头采集的堆石多角度图像中的位置。
47.可选地，在本技术的实施例中，激光测距器安装于每个摄像头顶壁，用于测量摄像头到特征点间的实际距离以及光轴方向。
48.在本技术的实施例中，标志物可以为颜色明显、大小合适的参照物，放置于堆石区域的每个摄像机中均可拍摄到的位置，用于标定摄像头内部和外部的参数。
49.摄像机组包括多个已知相对位置的摄相头，其中摄相头可以水平、上下旋转，并安装了可以调节高度的支架上，支架可以通过螺栓调节高度，以确保每个摄像头均可拍摄到目标堆石识别区域和标志物。
50.摄像头组中的摄像头可以按照一定的时间间隔拍取仓面堆石的图像，即堆石过程中不同高度堆石层的图像。
51.识别监控模块还可以显示摄像机组拍摄到的堆石照片，并标定特征点或特征块石在不同角度的堆石照片的对应位置，根据摄像机组的内外部参数对拍到同一区域堆石进行畸变矫正和比例换算。
52.需要说明的是，算法为立体视觉法三维重建方法：当只有两个摄像头时，通过两幅图像推测三维信息进行双目立体视觉重建；当有多个摄像头时多目测距算法，利用多幅图像恢复三维信息，结合上述的标定的特征点来获得目标区域堆石的实际大小。并通过直接利用测距器获取程距信息。
53.结果反馈模块指的是将识别监控模块获取的堆石粒径信息反馈给现场工作人员和相关监理人员，以便对施工现场的堆石进程进行调整。
54.根据本技术实施例提出的基于摄像机组三维重建的堆石粒径识别与监控装置，采用摄像机组实现了堆石多角度图像的获取，充分考虑了待识别堆石的三维特性，而且设置了相机组标定装置，可以在拍摄前对摄像机组进行快速标定，这种简易快捷的标定方法适用于施工现场人员和机械复杂的情况，保证了整套装备的稳定性和工程实用性。本装置结合三维重建算法，可以获取堆石多角度图像，并据此确定待识别堆石中的粒径结果，进一步建立待识别堆石的级配曲线，实现待识别堆石的数字化识别和监测，并将监测结果反馈给现场工程师。本发明的装置相比于现有的人工或机械筛分法，提高了级配效率和精度，实现了堆石级配的数字化识别和监控。
55.其次参照附图描述根据本技术实施例提出的基于摄像机组三维重建的堆石粒径识别与监控方法。
56.图3为根据本技术一个实施例的基于摄像机组三维重建的堆石粒径识别与监控方法流程图。
57.图4为根据本技术一个实施例的基于摄像机组三维重建的堆石粒径识别与监控方法流程框图
58.如图3和图4所示，该基于摄像机组三维重建的堆石粒径识别与监控方法包括以下步骤：
59.s1，调整摄像机组位置：将选取的标志物置于待识别堆石的堆石仓面区域的中心，调整摄像机组的每个摄像头使其可以采集到标志物，且标志物位于摄像头采集的堆石多角度图像的中心。
60.s2，摄像机组姿态标定：测量标志物到堆石仓面的实际距离，根据摄像机组的位置信息，计算摄像机姿态参数。
61.s3，采集堆石照片：采集堆石仓面不同高度处的堆石多角度图像，获取堆石过程中不同高度处从不同角度拍摄的堆石多角度图像。
62.可以理解的是，在采集时，可以以一定的时间间隔进行采集。但并不限于按照一定的时间间隔拍摄照片，而是根据目标堆石区域堆石的层面更新状态调整拍照的频率。
63.s4，矫正摄像机组照片畸变：结合s1和s2获取到的摄像机组内外参数信息，通过摄像头畸变校正算法计算校正堆石多角度图像。
64.矫正摄像机组照片畸变的方法，包括但不限于对摄像机进行标定的传统摄像机标定法、摄像机自标定法等，以及非量测畸变矫正方法等。
65.s5，选取特征点：选取待识别堆石中的特征点，找到其在不同角度照片上的对应位置，测量特征点在堆石多角度图像上的像素距离。
66.s6，三维重建：分析摄像机组采集的不同角度的堆石照片，通过立体视觉重建方法计算特征点的实际距离，根据实际距离测量每张堆石多角度图像的比例尺。
67.s7，识别堆石粒径：利用图像识别算法识别堆石多角度图像中的堆石粒径，通过步骤 s6算的比例尺解算的堆石粒径数据。
68.可选地，在本技术的实施例中，s6包括：
69.通过两个摄像头集堆石截面图像时，根据两个摄像头采集堆石截面图像推测堆石三维信息并进行双目视觉重建；通过至少三个摄像头采集堆石截面图像时，利用至少三个摄像头采集的堆石截面图像恢复堆石三维信息，并结合标定的特征点得到堆石截面图像中每块堆石的实际大小，并结合步骤s5的特征点，计算每张堆石多角度图像的比例尺。
70.识别堆石粒径的关键在于通过图像识别算法准确识别照片中堆石的轮廓，也可以通过其他算法对堆石轮廓进行识别，不进行具体限定。
71.在本技术的实施例中，利用已知相对位置或可以计算出相对位置的摄像机组采集装置采集堆石的数字图片，只要能够采集质量较好的颗粒数字图片的方法都可以完成从不同角度对数字图像的采集。
72.利用置于仓面目标区域的标志物，采集多幅高质量的靶标图像，并且要获得标志物三维场景点的准确坐标，一方面基于此解算摄像机组间的相对位置；另一方面利用张正友的平面靶标的标定方法标定摄像机并求解畸变系数和畸变中心，利用标定结果矫正堆石照片。
73.用调整后的摄像机组采集多幅高质量的堆石图像，利用在多角度摄像机所摄照片中都可以找到对应点的特征点进行三维重构，计算特征点间的实际距离；并利用软件获取特征点的像素距离，据此计算堆石图片的像素比例尺。
74.编写目标检测的神经网络算法划分的矫正后的堆石数字图像中块石的轮廓，并获取块石的粒径信息，结合图片的像素比例尺计算改区域中堆石的实际粒径大小，从而确定堆石的级配曲线。不同的图像识别算法都可能完成对图片中堆石颗粒几何信息的提取。
75.对整个仓面重复进行上述四步操作，对计算结果进行统计学处理，可以确定整个仓面堆石的粒径部分情况，从而监测施工现场的堆石是否符合规范要求。
76.需要说明的是，前述对装置实施例的解释说明也适用于该实施例的方法，此处不再赘述。
77.根据本技术实施例提出的基于摄像机组三维重建的堆石粒径识别与监控方法，采用摄像机组实现了待识别堆石多角度图像的获取，充分考虑了待识别堆石的三维特性，而且进行目标标定，可以在拍摄前对摄像机组进行快速标定，这种简易快捷的标定方法适用于施工现场人员和机械复杂的情况，保证了整套装备的稳定性和工程实用性，利用三维重建算法，根据获取的多层堆石多角度图像确定待识别堆石中每块堆石的粒径结果，进一步建立待识别堆石的级配曲线，实现待识别堆石的数字化识别和监测，并将监测结果反馈给现场工程师。相比于现有的人工或机械筛分法，提高了级配效率和精度，实现了堆石级配的数字化识别和监控。
78.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
79.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
80.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。