基于机器视觉的混凝土砂浆搅拌机控制方法及系统与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于机器视觉的混凝土砂浆搅拌机控制方法及系统。


背景技术：

2.混凝土砂浆作为当下建筑行业的主要材料之一，其自身质量的好坏直接影响整个建筑的结构安全性，而觉得混凝土砂浆质量的主要原因除了其本身的用料配比之外，还与搅拌混合的过程有关。
3.在对混凝土砂浆搅拌过程中会因为混凝土砂浆的细骨料中含水率过高或由于未搅拌均匀而产生结块，结块之后可能会对搅拌机容器内整盘混凝土砂浆的质量产生影响，甚至无法使用造成浪费。
4.现有技术通常对搅拌机进行定时控制，但对于不同质量的砂浆原料所需要搅拌的时间也不相同，所以会导致搅拌机在空转或者停机后的仍然存在混凝土砂浆未混合均匀的情况，影响混凝土砂浆的质量。


技术实现要素：

5.为了解决上述技术问题，本发明的目的在于提供一种基于机器视觉的混凝土砂浆搅拌机控制方法及系统，所采用的技术方案具体如下：
6.第一方面，本发明一个实施例提供了一种基于机器视觉的混凝土砂浆搅拌机控制方法，该方法包括：
7.获取砂浆搅拌机在搅拌过程中的多帧灰度图像；
8.获取单帧所述灰度图像中任意像素点与其邻域内所有像素点的灰度值差值；计算所述灰度值差值的均值为第一均值；获取所述邻域内每个像素点对应的第一均值，计算所述邻域内所有像素点的第一均值的均值为第二均值；以所述第一均值和所述第二均值获取单帧所述灰度图像的聚合熵；
9.根据多帧所述灰度图像的聚合熵得到聚合熵时间序列；通过时间窗口滑动获取所述聚合熵时间序列对应的重构分量序列，对所述重构分量序列中每个重构分量内的元素进行排序得到索引符号序列；
10.获取所述聚合熵时间序列内相邻元素之间的差异量，所述差异量为增量；对所述增量进行聚类得到不同的类别，根据所述类别获取所述聚合熵时间序列所对应的增量类别序列；获取每个所述类别的权重，根据所述权重、所述索引符号序列以及所述增量类别序列获取增量熵；
11.获取多个所述聚合熵时间序列的增量熵序列，根据所述增量熵序列判断所述砂浆搅拌机的停机时间。
12.优选的，所述以所述第一均值和所述第二均值获取单帧所述灰度图像的聚合熵的步骤，包括：
13.以所述第一均值和所述第二均值构建二元组，获取该二元组在单帧所述灰度图像中出现的概率，根据所述概率获取单帧所述灰度图像的聚合熵。
14.优选的，所述通过时间窗口滑动获取所述聚合熵时间序列对应的重构分量序列的步骤，包括：
15.对所述聚合熵时间序列中的插入预设维度的时间窗口以及预设步长的时间延迟，以得到所述聚合熵时间序列中每个时间窗口的重构分量，所有所述时间窗口的重构分量构成所述重构分量序列。
16.优选的，所述对所述重构分量序列中每个重构分量内的元素进行排序得到索引符号序列的步骤，包括：
17.对所述重构分量序列中的每个所述重构分量内的元素按照升序排列，排序后的重构分量在原重构分量序列中所对应的位置构成索引符号序列。
18.优选的，所述获取所述聚合熵时间序列所对应的增量类别序列的步骤，包括：
19.获取每个所述增量对应所述类别的平均增量，根据所述平均增量的大小将所述类别划分不同的级别，以所有所述增量所对应的级别组成所述增量类别序列。
20.优选的，所述获取每个所述类别的权重的步骤，包括：
21.每个级别所对应类别的权重为：
[0022][0023]
其中，ci表示第i个级别所对应类别的权重；z表示级别的数量。
[0024]
优选的，所述根据所述权重、所述索引符号序列以及所述增量类别序列获取增量熵的步骤，包括：
[0025]
以所述索引符号序列以及所述增量类别序列构成二元组，计算所述二元组在所述聚合熵时间序列中出现的概率，以所述增量类别序列中的元素对应权重的乘积与所述概率获取所述增量熵。
[0026]
优选的，所述根据所述增量熵序列判断所述砂浆搅拌机的停机时间的步骤，包括：
[0027]
获取所述增量熵序列中的最小值，当所述最小值之后的元素波动范围小于预设阈值时，所述砂浆搅拌机立即停机。
[0028]
第二方面，本发明另一个实施例提供了一种基于机器视觉的混凝土砂浆搅拌机控制系统，该系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0029]
本发明具有如下有益效果：通过获取砂浆搅拌机搅拌过程中的多帧连续的灰度图像，计算灰度图像中每个像素点及其周围像素点灰度值差值获取每帧灰度图像的聚合熵，进一步获取多帧灰度图像的聚合熵序列，通过时间窗口滑动对聚合熵时间序列进行重构得到重构分量序列，对重构分量序列中的每个重构分量内的元素进行排序得到索引符号序列；根据聚合熵时间序列中每个元素的差异量获取该聚合熵时间序列所对应的增量类别序列，获取每个类别的权重，根据权重、索引符号序列以及增量类别序列获取增量熵，进一步获取增量熵序列，根据增量熵序列判断该砂浆搅拌机的停机时间。根据砂浆搅拌机内混凝土砂浆的混合程度实时控制砂浆搅拌机的停机时间，能够使得搅拌机停机时混凝土砂浆混合的基本均匀，减少材料浪费，提高混凝土砂浆的混合质量。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0031]
图1为本发明一个实施例所提供的一种基于机器视觉的混凝土砂浆搅拌机控制的方法流程图。
具体实施方式
[0032]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于机器视觉的混凝土砂浆搅拌机控制方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0033]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0034]
本发明实施例应用于砂浆搅拌机的停机控制，为了解决现有的定时停机后混凝土搅拌不均匀的问题，本发明实施例通过获取多帧连续的灰度图像，计算图像中每个像素点及其周围像素点灰度值差值获取每帧灰度图像的聚合熵，进一步获取多帧灰度图像的聚合熵序列，通过时间窗口滑动对聚合熵时间序列进行重构得到重构分量序列，对重构分量序列中的每个重构分量内的元素进行排序得到索引符号序列；根据聚合熵时间序列中每个元素的差异量获取该聚合熵时间序列所对应的增量类别序列，获取每个类别的权重，根据权重、索引符号序列以及增量类别序列获取增量熵，进一步获取增量熵序列，根据增量熵序列判断该砂浆搅拌机的停机时间。能够根据搅拌机内材料的混合程度实时对搅拌机的关机时间进行控制，使得搅拌机停机时混凝土砂浆混合的基本均匀，减少材料浪费，提高混凝土砂浆的混合质量。
[0035]
下面结合附图具体的说明本发明所提供的一种基于机器视觉的混凝土砂浆搅拌机控制方法及系统的具体方案。
[0036]
请参阅图1，其示出了本发明一个实施例提供的基于机器视觉的混凝土砂浆搅拌机控制的方法流程图，该方法包括以下步骤：
[0037]
步骤s100，获取砂浆搅拌机在搅拌过程中的多帧灰度图像。
[0038]
利用相机对砂浆搅拌机的搅拌过程进行监控，从砂浆搅拌机启动时开始记录，采集一段砂浆搅拌机的混合过程视频，将连续的视频帧进行截取，将每一帧图像转化为灰度图像，得到连续的多帧灰度图像。
[0039]
步骤s200，获取单帧灰度图像中任意像素点与其邻域内所有像素点的灰度值差值；计算灰度值差值的均值为第一均值；获取邻域内每个像素点对应的第一均值，计算邻域内所有像素点的第一均值的均值为第二均值；以第一均值和第二均值获取单帧灰度图像的聚合熵。
[0040]
在砂浆搅拌机进行搅拌过程中，砂子与水泥最开始的状态是各自聚集在一起，随
着搅拌的进行，砂子和水泥逐渐聚合成同一种砂浆细颗粒；而当其原料中含有结块时，结块有可能会出现在料筒内部，随着砂浆搅拌机的不断搅拌，结块有可能会运动到可观察的混合物表面，破坏混合物表面的混合均匀程度，因此根据像素点灰度差均值与周围邻域内像素点的灰度差均值来反映某个像素点对应的砂浆混合区域的混合均匀程度。
[0041]
具体的，以任意单帧灰度图像上的任意像素点为中心像素点，选取该中心像素点及其周围像素点为一个邻域，计算该中心像素点与其邻域内的像素点的灰度值差值的均值：
[0042][0043]
其中，表示中心像素点与其邻域内像素点的灰度值差值的均值，即第一均值；k表示该中心像素点邻域内的像素点数量；δik表示该中心像素点与邻域内第k像素点的灰度值的差值。
[0044]
需要说明的是，本发明实施例中取中心像素点的周围相邻的八个像素点为一个邻域；当中心像素点为图像的边界的像素点时，其周围相邻的五个像素点为一个邻域；当中心像素点为角点像素点时，其周围相邻的三个像素点为一个邻域。以此类推，计算出该邻域内每一个像素点对应一个第一均值。
[0045]
进一步的，获取该邻域内每个像素点对应的第一均值的均值，即计算该邻域内每个像素点所对应的第一均值的和，将该第一均值的和比上该邻域内所有像素点的数量得到第二均值
[0046]
以第一均值和第二均值构建二元组，获取该二元组在单帧灰度图像中出现的概率，根据概率获取单帧灰度图像的聚合熵。
[0047]
具体的，获取到该单帧灰度图像中所有像素点所对应的第一均值和第二均值，以第一均值和第二均值构建每个像素点所对应的二元组计算该二元组在单帧灰度图像中出现的概率为：
[0048][0049]
其中，表示二元组在单帧灰度图像中出现的概率；表示二元组在单帧灰度图像中出现的次数；n表示单帧灰度图像中像素点的数量。
[0050]
根据二元组出现的概率获取单帧灰度图像的聚合熵为：
[0051][0052]
其中，h表示单帧灰度图像的聚合熵；表示二元组在单帧灰度图像中出现的概率。
[0053]
步骤s300，根据多帧灰度图像的聚合熵得到聚合熵时间序列；通过时间窗口滑动获取聚合熵时间序列对应的重构分量序列，对重构分量序列中每个重构分量内的元素进行
排序得到索引符号序列。
[0054]
由步骤s200中获取到单帧灰度图像的聚合熵，以此类推，获取多帧连续灰度图像的聚合熵组成聚合熵时间序列{h(t)}＝h(1),h(2),
…
,h(t)。其中，h(1)表示第一帧灰度图像对应的聚合熵；h(2)表示第二帧灰度图像对应的聚合熵；h(t)表示第t帧灰度图像对应的聚合熵。
[0055]
需要说明的是，每个聚合熵为等时间间隔的多帧灰度图像求得，聚合熵时间序列由t个聚合熵组成。
[0056]
进一步的，在砂浆搅拌机的搅拌过程中，结块的出现与被搅碎至消失是随机出现的，但随着搅拌的进行，结块出现的频率会越来越少直至消失，也即聚合熵时间序列的波动周期随机性越来越小，进而聚合熵时间序列的排列熵越来越小，但排列熵对序列中的噪声点并不敏感，这就导致对于不同幅度的聚集熵突变无法识别，因此需要对排列熵进行改进，利用聚合熵时间序列中的增量进行评估。
[0057]
对聚合熵时间序列中插入预设维度的时间窗口以及预设步长的时间延迟，以得到聚合熵时间序列中每个时间窗口的重构分量，所有时间窗口的重构分量构成重构分量序列。
[0058]
具体的，对聚合熵时间序列{h(t)}＝h(1),h(2),
…
,h(t)进行重构，对该聚合熵时间序列插入一个m维的时间窗口与步长为t的时间延迟，获得重构分量序列矩阵：
[0059][0060]
其中，k＝t-(m-1)t，表示重构分量的数量；t为聚合熵时间序列的元素的数量；m表示时间窗口的维数；t表示时间延迟的步长。
[0061]
为了便于后续的计算，本发明实施例中设置维数m＝3，步长t＝1。
[0062]
对重构分量序列中的每个重构分量内的元素按照升序排列，排序后的重构分量在原重构分量序列中所对应的位置构成索引符号序列。
[0063]
矩阵中的每一行代表一个重构分量，本发明实施例中对重构好的每一个重构分量内的元素进行升序排列，得到每个元素所在位置的列索引构成符号索引序列：
[0064]
s(l)＝{j1,j2,
…
,jm},l＝1,2,
…
,q；(q≤m！)
[0065]
其中，s(l)表示符号索引序列；q表示重构分量序列中出现的符号索引序列的类别数量；jm表示第m个元素对应的符号。
[0066]
作为一个示例，假设原始聚合熵序列为{2,6,8,7,9,4}，则重构分量序列矩阵为
[0067][0068]
矩阵中的每一行代表一个重构分量，以最后一行重构分量{7,9,4}为例，则该重构分量内的元素按照升序排列之后为{4,7,9}，相应的索引符号序列为{3,1,2}。
[0069]
步骤s400，获取聚合熵时间序列内相邻元素之间的差异量，差异量为增量；对增量进行聚类得到不同的类别，根据类别获取聚合熵时间序列所对应的增量类别序列；获取每
个类别的权重，根据权重、索引符号序列以及增量类别序列获取增量熵。
[0070]
获取每个增量对应类别的平均增量，根据平均增量的大小将类别划分不同的级别，以所有增量所对应的级别组成增量类别序列。
[0071]
具体的，由步骤s200中获取到聚合熵时间序列，进一步获取该聚合熵时间序列中所有元素之间的增量，即聚合熵时间序列中相邻两帧灰度图像所对应聚合熵的差值的绝对值。获取到的所有增量构建聚合熵时间序列的增量直方图，根据增量直方图中增量的大小自定义的对所有的增量进行聚类。
[0072]
作为优选，本发明实施例中根据增量的大小将所有的增量聚为3类。
[0073]
进一步的，计算3个类别的平均增量，相应的，根据得到的平均增量的大小将3个类别分为3个级别，每个级别所对应的权重如下：
[0074][0075]
其中，ci表示第i个级别所对应类别的权重；z表示级别的数量，本实施例中z＝3。
[0076]
获取索引符号序列所对应的排序后的重构分量，计算该重构分量中各元素之间增量的级别得到增量类别序列。
[0077]
需要说明的是，每一个重构分量中含有m-1个增量，每个增量都存在z种不同的级别，则每个重构分量对应的增量类别序列有d＝z
(m-1)
种，本发明实施例中d＝32＝9。
[0078]
以索引符号序列以及增量类别序列构成二元组，计算二元组在聚合熵时间序列中出现的概率，以增量类别序列中的元素对应权重的乘积与概率获取增量熵。
[0079]
具体的，对于一个原始聚合熵时间序列中的每一个元素都对应一个重构分量序列和增量类别序列，将重构分量序列和增量类别序列构成二元组《α,β》，统计该二元组在聚合熵时间序列上出现的次数f《α,β》，以及所有的二元组的类别数量
[0080]
作为一个示例，以步骤s300中提到的重构分量{7,9,4}为例，该重构分量内相邻元素之间的增量分别为2,5；假设本发明实施例中根据平均增量大小划分的增量级别为：第1级为[0,3]，第2级为[4,7]，第3级为[8,11]；则重构分量{7,9,4}对应的增量2,5的级别分别为第1级和第2级；相应的，重构分量{7,9,4}对应的增量类别序列为{1,2}；进一步的，根据索引符号序列以及增量类别序列构成二元组为《{3,1,2},{1,2}》。
[0081]
则二元组《α,β》在聚合熵时间序列中出现的概率为：
[0082][0083]
其中，p
《α,β》
表示二元组《α,β》在聚合熵时间序列中出现的概率；f《α,β》表示二元组《α,β》在聚合熵时间序列上出现的次数；k表示重构分量的数量。
[0084]
以此类推，能够获取每个二元组在聚合熵时间序列中出现的概率。
[0085]
进一步的，获取到聚合熵时间序列的增量熵为：
[0086][0087]
其中，h
ze
表示增量熵；pj表示第j类二元组出现的概率；表示所有二元组类别的数
量；表示第(m-1)个增量所对应的第i个级别的权重；表示第j类二元组对应的增量类别序列中所有增量所对应权重的乘积。
[0088]
步骤s500，获取多个聚合熵时间序列的增量熵序列，根据增量熵序列判断砂浆搅拌机的停机时间。
[0089]
由上述步骤获取到了一个时间段内多帧灰度图像对应的增量熵，该增量熵代表了混合物中结块整体的量，当在某一时刻后增量熵处于连续平稳下降的状态时，表示砂浆混合的较为均匀，可以停止砂浆搅拌机的搅拌。
[0090]
获取增量熵序列中的最小值，当最小值之后的元素波动范围小于预设阈值时，砂浆搅拌机立即停机。
[0091]
具体的，在一个时间段内多帧灰度图像对应的聚合熵时间序列为{h(t)}＝h(1),h(2),
…
,h(t)，每个聚合熵时间序列对应着一个增量熵h
ze
，则多个连续的时间段对应多个聚合熵时间序列，进一步对应多个增量熵，根据多个聚合熵时间序列构成增量熵序列：{h
ze
(t
′
)}＝h
ze
(t0),h
ze
(t1),
…hze
(tn)，其中t
′
＝t0,t1,
…
,tn，表示多个连续的时间段。获取增量熵序列的最小值，当该最小值之后的元素与最小值相比，波动范围在最小值的倍之内且持续时长不少于m帧时，立即停机；若不满足该条件，则继续寻找最小值。
[0092]
需要说明的是，与m是人为预设阈值，本发明实施例中m＝10。
[0093]
综上所述，本发明实施例中通过获取多帧连续的灰度图像，计算图像中每个像素点及其周围像素点灰度值差值获取每帧灰度图像的聚合熵，进一步获取多帧灰度图像的聚合熵序列，通过时间窗口滑动对聚合熵时间序列进行重构得到重构分量序列，对重构分量序列中的每个重构分量内的元素进行排序得到索引符号序列；根据聚合熵时间序列中每个元素的差异量获取该聚合熵时间序列所对应的增量类别序列，获取每个类别的权重，根据权重、索引符号序列以及增量类别序列获取增量熵，进一步获取增量熵序列，根据增量熵序列判断该砂浆搅拌机的停机时间。能够根据搅拌机内材料的混合程度实时对搅拌机的关机时间进行控制，使得搅拌机停机时混凝土砂浆混合的基本均匀，减少材料浪费，提高混凝土砂浆的混合质量。
[0094]
基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于机器视觉的混凝土砂浆搅拌机控制系统，该系统包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于机器视觉的混凝土砂浆搅拌机控制方法实施例中的步骤，例如图1所示的步骤。该一种基于机器视觉的混凝土砂浆搅拌机控制方法在上述实施例中已经详细说明，不再赘述。
[0095]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0096]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0097]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。