一种基于机器视觉的混凝土检测方法与装置与流程

1.本发明属于数据处理技术领域，具体涉及一种基于机器视觉的混凝土检测方法与装置。


背景技术：

2.传统的混凝土质检费时、费力，能耗较大，而且检测结果不能实时反馈。随着ai与机器视觉技术的迅速发展，在生产过程中通过机器视觉装置，综合运用物联网、边/云计算、大数据、人工智能等技术，研究面向商砼行业的原料检测、质量检测、过程控制,从而帮助生产商节省成本、优化品质，同时减少碳排放，已经成为未来发展的必然趋势。
3.为了实现对混凝土的实时检测，在发明专利公告号cn110610061a《一种融合多源信息的混凝土塌落度高精度预测方法》中通过使用原料配比，结合改进的粒子群优化神经网络得到塌落度预测模型一；通过湿度传感器，检测混凝土的湿度值；训练卷积神经网络模型，结合lstm神经网络得到基于机器视觉方法的塌落度预测模型二；将塌落度预测模型一，与湿度值以及塌落度预测模型二进行训练，得到最终的神经网络预测模型，用于对混凝土的塌落度进行实时的预测，从而避免了传统工业测量混凝土塌落度方法的局限，单一的传感器物理值的局限性，以及单一的通过图像处理的抗干扰性能差等对预测值造成的影响，但是却存在一下技术问题：
4.1、单独的采用基于图像采集装置实现的预测坍落度2的预测准确率较差，当混凝土处于非均匀的状态下，由于图像采集装置往往采集得到的是局部且表面的图像，并不能准确的反应实际的坍落度。
5.2、忽视了搅拌主机的电流和振动频率的监测，当搅拌主机的电流稳定且搅拌频率稳定时，可以实现对混凝土处于均匀状态的判断，同时也属于混凝土的坍落度的表征信号，从而可以使得坍落度的监测结果变得更加准确。
6.基于上述技术问题，需要设计及一种基于机器视觉的混凝土检测方法与装置。


技术实现要素：

7.本发明的目的是提供一种基于机器视觉的混凝土检测方法与装置。
8.为了解决上述技术问题，本发明第一方面提供了一种基于机器视觉的混凝土检测方法，包括：
9.s11基于时间监测模块对混凝土搅拌主机的搅拌时间进行监测，并当所述混凝土搅拌主机的搅拌时间大于第一时间阈值时，进入步骤s12；
10.s12基于混凝土搅拌主机的电流监测模块对主机电流进行监测，当所述主机电流处于稳定状态时进入步骤s13；
11.s13基于混凝土搅拌主机的振动监测模块对主机振动频率进行监测，判断所述主机振动频率是否处于稳定状态，若是，则进入步骤s14，若否则返回步骤s12；
12.s14基于含水率监测模块、温度监测模块、图像监测模块分别获取混凝土的含水
率、温度、监测图像，并基于所述混凝土的监测图像进行监测图像的特征提取，获取混凝土图像特征；
13.s15基于所述混凝土图像特征、温度、含水率、主机电流、主机振动频率、原料配比，采用基于智能算法的预测模型，获取所述混凝土的坍落度。
14.通过第一时间阈值的设置，从而使得对于混凝土搅拌主机的均匀度判断的基础变得更加的准确，防止由于时间不足而仅仅依靠主机电流或者主机振动频率导致的判断不够准确的问题，保证了最终的混凝土的坍落度判断的准确性。
15.通过分别结合主机电流和主机振动频率实现对混凝土的均匀性的判断，从而不仅使得均匀性的判断标准更加严格且准确，从而进一步保证了最终的坍落度判断的准确性。
16.通过首先基于时间、再基于电流、最后再对主机振动频率进行判断，不仅只有在一定的搅拌时间基础上再对电流和主机振动频率进行判断才可靠，而且电流的判断难度明显要比主机振动频率的难度要低，效率更高，不仅具有较好的精度，而且具有很好的判断效率。
17.通过基于混凝土图像特征、温度、含水率、主机电流、主机振动频率、原料配比，采用基于智能算法的预测模型，获取所述混凝土的坍落度，从而不仅仅考虑到图像特征，而且考虑到原材料的情况，同时还包括搅拌机的实时数据和混凝土的实时数据，从而使得最终的判断结果变得更加的准确。
18.进一步的技术方案在于，所述第一时间阈值根据混凝土的原料配比、坍落度要求所对应的搅拌时间阈值确定。
19.进一步的技术方案在于，判断主机电流处于稳定状态的具体步骤为：
20.s21基于所述混凝土的含水率，判断所述混凝土的含水率是否小于第一含水率阈值，若是，则进入步骤s22，若否，则继续对所述混凝土的湿度进行判断；
21.s22判断所述主机电流在最近的第二时间阈值内的最大幅值是否大于第一电流阈值，若是，则返回步骤s21，若否，则进入步骤s23；
22.s23判断所述最大幅值与当前的主机电流的差值是否大于第二电流阈值，若是，则返回步骤s21，若否，则进入步骤s24；
23.s24判断主机电流处于稳定状态。
24.通过第一含水率阈值的设置，从而保证了混凝土在进行主机电流判断之前已经处于比较均匀的状态，从而提升了判断的精度和效率，减少了不必要的判断和监测。
25.通过首先对最大幅值判断，再对差值进行判断，从而使得主机电流的稳定状态判断不仅仅考虑实时的电流差值即电流的均匀性，而且考虑到了主机电流的最大幅值，从两个角度出发实现了对稳定性的判断，使得稳定性和均匀性的判断变得更加的准确。
26.进一步的技术方案在于，所述第一含水率阈值根据混凝土的原料配比、坍落度要求所对应的含水率要求确定。
27.进一步的技术方案在于，所述混凝土图像特征包括所述监测图像的lbp特征、hog特征、信息熵、灰度方差。
28.通过基于监测图像的lbp特征、hog特征、信息熵、灰度方差，从而实现了从灰度值的层面以及图像的纹理特征方面实现对图像的识别和判断，从而进一步保证了最终的判断结果的准确性。
29.进一步的技术方案在于，基于所述搅拌时间、含水率、主机电流、主机振动频率构建混凝土匀质度，当且仅当所述混凝土的匀质度大于第一匀质阈值后，再进行所述混凝土的坍落度的构建，其中所述混凝土的匀质度的计算公式为：
[0030][0031]
其中t、i、p分别为搅拌时间、主机电流的稳定性、主机振动频率的稳定性，其中i的取值范围为0到1之间，p的取值范围在0到1之间，θm、θ
m1
分别为含水率和第一含水率阈值，k1、k2、k3为常数，i、p通过第一时间阈值内的主机电流、主机振动频率，采用最值差值法求得。
[0032]
进一步的技术方案在于，所述混凝土的坍落度构建的具体步骤为：
[0033]
s31提取所述监测图像的lbp特征、hog特征，并基于lbp特征、hog特征、温度、含水率、主机电流、主机振动频率、原料配比，采用基于pso-bp算法的预测模型，得到所述混凝土的特征坍落度；
[0034]
s32提取所述监测图像的信息熵、灰度方差，并基于所述信息熵、灰度方差、温度、含水率、主机电流、主机振动频率、原料配比，采用基于gwo-lssvr算法的预测模型，得到所述混凝土的灰度坍落度；
[0035]
s33基于所述灰度坍落度、特征坍落度得到所述混凝土的坍落度。
[0036]
通过分别基于灰度坍落度以及特征坍落度实现对混凝土的坍落度的确定，从而实现了从多个角度对混凝土的坍落度的判断，进一步保证了坍落度判断的准确性和可靠性。
[0037]
进一步的技术方案在于，所述混凝土的坍落度的计算公式为：
[0038][0039]
其中w、t1、t2分别为混凝土的匀质度、灰度坍落度、特征坍落度，k4、k5、k6均为取值在0到1之间的常数，其中w
min
为第一匀质阈值。
[0040]
另一方面，本发明提供了一种基于机器视觉的混凝土检测装置，采用上述的一种基于机器视觉的混凝土检测方法，包括电流监测模块，振动监测模块，时间监测模块，含水率监测模块，温度监测模块，图像监测模块，坍落度生成模块；
[0041]
其中所述时间监测模块负责对混凝土搅拌主机的搅拌时间进行监测；
[0042]
所述电流监测模块负责对主机电流进行监测；
[0043]
所述振动监测模块负责对主机振动频率进行监测；
[0044]
所述含水率监测模块负责获取混凝土的含水率；
[0045]
所述温度监测模块负责获取混凝土的温度；
[0046]
所述图像监测模块负责获取混凝土的监测图像
[0047]
所述坍落度生成模块负责基于混凝土的监测图像进行监测图像的特征提取，并采用基于智能算法的预测模型，获取所述混凝土的坍落度。
[0048]
另一方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种基于机器视觉的混凝土检测方法。
[0049]
其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指
出的结构来实现和获得。
[0050]
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0051]
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
[0052]
图1是根据实施例1的一种基于机器视觉的混凝土检测方法的流程图；
[0053]
图2是实施例2中的一种基于机器视觉的混凝土检测装置的框架图。
具体实施方式
[0054]
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。
[0055]
用语“一个”、“一”、“该”、“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
[0056]
实施例1
[0057]
为解决上述问题，根据本发明的一个方面，如图1所示，提供了一种基于机器视觉的混凝土检测方法，包括：
[0058]
s11基于时间监测模块对混凝土搅拌主机的搅拌时间进行监测，并当所述混凝土搅拌主机的搅拌时间大于第一时间阈值时，进入步骤s12；
[0059]
具体的举个例子，时间监测模块可以是利用任何特定的原理来测量时间的模块，具体的可以采用机械时钟、电子时钟、秒表、基于处理芯片的电子计时器等等。
[0060]
具体的举个例子，第一时间阈值根据混凝土的标号所对应的最低搅拌时间确定，只有大于第一时间阈值后，再与主机电流和振动监测模块进行稳定性判断才具有意义。
[0061]
s12基于混凝土搅拌主机的电流监测模块对主机电流进行监测，当所述主机电流处于稳定状态时进入步骤s13；
[0062]
具体的举个例子，依据测量原理不同，电流监测模块可以采用分流器、电磁式电流互感器、电子式电流互感器等。电子式电流互感器包括霍尔电流传感器、罗柯夫斯基电流传感器及专用于变频电量测量的anyway变频功率传感器(可用于电压、电流和功率测量)等。光纤电流传感器是以法拉第磁光效应为基础、以光纤为介质的新型电流传感器。
[0063]
具体的举个例子，可以通过时间数据的稳定性来进行稳定状态的判断，其属于衡量数据波动性与离散性的指标，数据波动越小，离散程度越小，则稳定性越高。通常以属性评价值的熵作为数据稳定性的度量，具体的可以采用最值差值法、统计学方法、百分数衡量法任意一种或者多种组合的方式实现对时间的稳定状态的判断。
[0064]
s13基于混凝土搅拌主机的振动监测模块对主机振动频率进行监测，判断所述主机振动频率是否处于稳定状态，若是，则进入步骤s14，若否则返回步骤s12；
[0065]
具体的举个例子，振动监测模块将工程振动的参量转换成电信号，按照功能的不能的不同，振动监测模块可以采用按机械接收原理分：相对式、惯性式；按机电变换原理分：电动式、压电式、电涡流式、电感式、电容式、电阻式、光电式；按所测机械量分：位移传感器、速度传感器、加速度传感器、力传感器、应变传感器、扭振传感器、扭矩传感器。
[0066]
具体的举个例子，可以通过振动数据的稳定性来进行稳定状态的判断，其属于衡量数据波动性与离散性的指标，数据波动越小，离散程度越小，则稳定性越高。通常以属性评价值的熵作为数据稳定性的度量，具体的可以采用最值差值法、统计学方法、百分数衡量法任意一种或者多种组合的方式实现对振动的稳定状态的判断。
[0067]
s14基于含水率监测模块、温度监测模块、图像监测模块分别获取混凝土的含水率、温度、监测图像，并基于所述混凝土的监测图像进行监测图像的特征提取，获取混凝土图像特征；
[0068]
具体的举个例子，温度监测模块可以采用基于热电偶温度测量原理或者电阻温度测量原理或者半导体热敏电阻测量原理构建的电子式温度测量仪器。
[0069]
具体的举个例子，混凝土图像特征可以采用图像的颜色特征、纹理特征、形状特征和空间关系特征任一种或者多种。
[0070]
s15基于所述混凝土图像特征、温度、含水率、主机电流、主机振动频率、原料配比，采用基于智能算法的预测模型，获取所述混凝土的坍落度。
[0071]
具体的举个例子，智能算法可以采用机器学习和深度学习任意一种，机器学习涉及我们在表中看到的结构化数据。用于此的算法包括线性和非线性变量。线性算法训练更快，而非线性算法则针对它们可能面临的问题(通常是非线性的)进行了更好的优化。
[0072]
通过第一时间阈值的设置，从而使得对于混凝土搅拌主机的均匀度判断的基础变得更加的准确，防止由于时间不足而仅仅依靠主机电流或者主机振动频率导致的判断不够准确的问题，保证了最终的混凝土的坍落度判断的准确性。
[0073]
通过分别结合主机电流和主机振动频率实现对混凝土的均匀性的判断，从而不仅使得均匀性的判断标准更加严格且准确，从而进一步保证了最终的坍落度判断的准确性。
[0074]
通过首先基于时间、再基于电流、最后再对主机振动频率进行判断，不仅只有在一定的搅拌时间基础上再对电流和主机振动频率进行判断才可靠，而且电流的判断难度明显要比主机振动频率的难度要低，效率更高，不仅具有较好的精度，而且具有很好的判断效率。
[0075]
通过基于混凝土图像特征、温度、含水率、主机电流、主机振动频率、原料配比，采用基于智能算法的预测模型，获取所述混凝土的坍落度，从而不仅仅考虑到图像特征，而且考虑到原材料的情况，同时还包括搅拌机的实时数据和混凝土的实时数据，从而使得最终的判断结果变得更加的准确。
[0076]
在另外一种可能的实施例中，所述第一时间阈值根据混凝土的原料配比、坍落度要求所对应的搅拌时间阈值确定。
[0077]
在另外一种可能的实施例中，判断主机电流处于稳定状态的具体步骤为：
[0078]
s21基于所述混凝土的含水率，判断所述混凝土的含水率是否小于第一含水率阈值，若是，则进入步骤s22，若否，则继续对所述混凝土的湿度进行判断；
[0079]
具体的举个例子，混凝土的含水率为混凝土中含的水的重量除以混凝土的总重，
第一含水率阈值根据混凝土的标号的含水率要求的范围确定，一般都在3％-5％之间。
[0080]
s22判断所述主机电流在最近的第二时间阈值内的最大幅值是否大于第一电流阈值，若是，则返回步骤s21，若否，则进入步骤s23；
[0081]
具体的举个例子，第一电流阈值根据混凝土搅拌主机在进行相同标号的混凝土的搅拌过程中的最大的电流值或者大于第一时间阈值后的最大的电流值进行确定。
[0082]
s23判断所述最大幅值与当前的主机电流的差值是否大于第二电流阈值，若是，则返回步骤s21，若否，则进入步骤s24；
[0083]
s24判断主机电流处于稳定状态。
[0084]
通过第一含水率阈值的设置，从而保证了混凝土在进行主机电流判断之前已经处于比较均匀的状态，从而提升了判断的精度和效率，减少了不必要的判断和监测。
[0085]
通过首先对最大幅值判断，再对差值进行判断，从而使得主机电流的稳定状态判断不仅仅考虑实时的电流差值即电流的均匀性，而且考虑到了主机电流的最大幅值，从两个角度出发实现了对稳定性的判断，使得稳定性和均匀性的判断变得更加的准确。
[0086]
在另外一种可能的实施例中，所述第一含水率阈值根据混凝土的原料配比、坍落度要求所对应的含水率要求确定。
[0087]
在另外一种可能的实施例中，所述混凝土图像特征包括所述监测图像的lbp特征、hog特征、信息熵、灰度方差。
[0088]
具体的举个例子，lbp特征指局部二值模式，英文全称：local binary pattern，是一种用来描述图像局部特征的算子，lbp特征具有灰度不变性和旋转不变性等显著优点。它是由t.ojala,和d.harwood在1994年提出，由于lbp特征计算简单、效果较好，因此lbp特征在计算机视觉的许多领域都得到了广泛的应用。
[0089]
hog特征为方向梯度直方图(histogram of oriented gradient,hog)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。
[0090]
通过基于监测图像的lbp特征、hog特征、信息熵、灰度方差，从而实现了从灰度值的层面以及图像的纹理特征方面实现对图像的识别和判断，从而进一步保证了最终的判断结果的准确性。
[0091]
在另外一种可能的实施例中，基于所述搅拌时间、含水率、主机电流、主机振动频率构建混凝土匀质度，当且仅当所述混凝土的匀质度大于第一匀质阈值后，再进行所述混凝土的坍落度的构建，其中所述混凝土的匀质度的计算公式为：
[0092][0093]
其中t、i、p分别为搅拌时间、主机电流的稳定性、主机振动频率的稳定性，其中i的取值范围为0到1之间，p的取值范围在0到1之间，θm、θ
m1
分别为含水率和第一含水率阈值，k1、k2、k3为常数，i、p通过第一时间阈值内的主机电流、主机振动频率，采用最值差值法求得。
[0094]
在另外一种可能的实施例中，所述混凝土的坍落度构建的具体步骤为：
[0095]
s31提取所述监测图像的lbp特征、hog特征，并基于lbp特征、hog特征、温度、含水率、主机电流、主机振动频率、原料配比，采用基于pso-bp算法的预测模型，得到所述混凝土
的特征坍落度；
[0096]
s32提取所述监测图像的信息熵、灰度方差，并基于所述信息熵、灰度方差、温度、含水率、主机电流、主机振动频率、原料配比，采用基于gwo-lssvr算法的预测模型，得到所述混凝土的灰度坍落度；
[0097]
s33基于所述灰度坍落度、特征坍落度得到所述混凝土的坍落度。
[0098]
通过分别基于灰度坍落度以及特征坍落度实现对混凝土的坍落度的确定，从而实现了从多个角度对混凝土的坍落度的判断，进一步保证了坍落度判断的准确性和可靠性。
[0099]
在另外一种可能的实施例中，所述混凝土的坍落度的计算公式为：
[0100][0101]
其中w、t1、t2分别为混凝土的匀质度、灰度坍落度、特征坍落度，k4、k5、k6均为取值在0到1之间的常数，其中w
min
为第一匀质阈值。
[0102]
实施例2
[0103]
如图2所示，本发明提供了一种基于机器视觉的混凝土检测装置，采用上述的一种基于机器视觉的混凝土检测方法，包括电流监测模块，振动监测模块，时间监测模块，含水率监测模块，温度监测模块，图像监测模块，坍落度生成模块；
[0104]
其中所述时间监测模块负责对混凝土搅拌主机的搅拌时间进行监测；
[0105]
所述电流监测模块负责对主机电流进行监测；
[0106]
所述振动监测模块负责对主机振动频率进行监测；
[0107]
所述含水率监测模块负责获取混凝土的含水率；
[0108]
所述温度监测模块负责获取混凝土的温度；
[0109]
所述图像监测模块负责获取混凝土的监测图像
[0110]
所述坍落度生成模块负责基于混凝土的监测图像进行监测图像的特征提取，并采用基于智能算法的预测模型，获取所述混凝土的坍落度。
[0111]
实施例3
[0112]
本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种基于机器视觉的混凝土检测方法。
[0113]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0114]
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0115]
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0116]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。