物料量测量系统的制作方法

1.本公开一般地涉及电气工程领域。更具体地，本公开涉及一种物料量测量系统。


背景技术：

2.传统的测量物料量(例如煤量)的装置是采用激光扫描的测量方法，该方法在使用时会由于物料(例如煤炭)的形状不规则而出现比较大的测量误差，而且在空气中含有较多杂质(例如煤尘和/或水雾)的场合，由于大量的杂质漂浮在空气中，使得激光扫描仪发射的激光会在遇到空气中的杂质后发生反射，从而导致使用传统的物料量测量系统所获得的结果存在较大的测量误差。
3.因此，需要研发一种物料量测量系统，以改善使用传统的物料量测量系统所获得的结果存在较大的测量误差的问题。


技术实现要素：

4.本公开的目的在于提供一种物料量测量系统，以改善使用传统的物料量测量系统所获得的结果存在较大的测量误差的问题。
5.具体地，本公开公开了一种物料量测量系统，其用于测量输送带上的物料的量，物料量测量系统包括：光源发射装置，其用于向物料发射光，以在物料表面形成光包络线；成像装置，其用于采集包含光包络线的图像；以及图像处理装置，其用于根据图像和输送带的速度确定物料的量。
6.在一个实施例中，光源发射装置为线结构光源。
7.在另一个实施例中，线结构光源发射的光为红光。
8.在又一个实施例中，红光为波长为622纳米至760纳米范围内的红光。
9.在另一个实施例中，图像处理装置配置成：基于图像中的光包络线，采用色域分割法，提取图像中的光包络线的位置特征；以及根据位置特征和输送带的速度确定物料的量。
10.在一个实施例中，图像处理装置配置成：基于图像中光包络线的二维高度和像素宽度，确定光包络线的截面积；以及基于截面积和输送带的速度，确定物料的量。
11.在另一个实施例中，光源发射装置和成像装置之间按照预置的角度固定。
12.在又一个实施例中，系统还包括物料高度测量装置，其用于利用激光三角法测量形成在物料表面的光包络线的三维高度；图像处理装置配置成：基于光包络线的三维高度、光包络线的二维高度和像素宽度，确定光包络线的截面积。
13.在另一个实施例中，物料高度测量装置包括：激光器，其用于向物料发射激光束；以及成像透镜，其用于接受从物料反射的激光束并在成像透镜中成像。
14.在又一个实施例中，激光器和成像透镜之间按照预置的角度固定。
15.本公开提供的物料量测量系统，首先通过光源发射装置向物料表面发射光，并在物料表面形成光包络线；然后通过成像装置采集输送带上物料的实时画面/图像，其中，该实时画面/图像中包含光包络线；最后通过图像处理装置，根据包含光包络线的图像和输送
带的速度确定物料的实时量，进而提高了物料检测的准确率和鲁棒性。
附图说明
16.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
17.图1示出了根据本发明的物料量测量系统的组成示意图；
18.图2示出了根据本实施例的物料高度测量装置的结构示意图；
19.图3示出了本发明的一些实施例可以应用于其中的示例性系统框架图；
20.图4示出了本发明的成像装置的实施例可以应用于其中的视频采集流程示意图；以及
21.图5示出了根据本发明的图像处理算法的一个实施例的流程示意图。
具体实施方式
22.下面将结合本公开实施方式中的附图，对本公开实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。
23.下面结合附图来详细描述本公开的具体实施方式。
24.图1是示出根据本发明的物料量测量系统的组成示意图。如图1所示，本发明的物料量测量系统包括光源发射装置101、成像装置102、图像处理装置103。成像装置102和图像处理装置103之间可以通过通信链路的介质进行交互。通信链路的介质可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等。图像处理装置103可以是硬件，也可以是软件。当图像处理装置103为硬件时，可以是具有显示屏并且支持信息输入的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当图像处理装置103为软件时，可以安装在上述所列举的电子设备中。其可以实现例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
25.如图1所示，输送带105用于承载并运输物料，输送带105与驱动装置(图1未示出)相连。通过控制驱动装置可以改变输送带105的运动速度。输送带105上的箭头表示其运动方向，即从右向左运输物料。
26.下面将对本发明的物料量测量系统的工作过程进行简要描述。
27.首先，光源发射装置101可以向输送带105上的物料发射光，以在物料表面形成光包络线104。其中，物料的数量越多，其在输送带105上堆积的高度越高，进而形成的光包络线就越凸出。例如，图1中的光包络线104在中间位置相对凸出，因此该凸出位置处的物料的数量也越多。
28.其次，成像装置102采集包含光包络线104的图像。成像装置102可以是扫描仪、高拍仪、摄像头、手机摄像头等图像采集装备。示例性地，成像装置102可以采用网络摄像机。可选地，成像装置102还可以对采集到的图像进行格式转换，将图像转换成适配于预设图像
处理算法的目标格式。例如，可以对采集到的原始视频进行视频解码，得到rgb格式的视频数据，并将其输入至集成了预设图像处理算法的图像处理装置。
29.最后，图像处理装置103根据成像装置102采集的图像和输送带105的速度确定物料的量。其中，图像处理装置103可以集成预设图像处理算法。该预设图像处理算法的输入为图像中光包络线104的坐标和输送带105的速度，输出为物料的数量。示例性地，将成像装置102采集的某一帧图像中的光包络线104的坐标和当前时刻输送带105的速度记为图像处理算法a的输入集合x，则当前时刻物料的数量f＝a*x，其中，a为图像处理算法a的标定因子。
30.本公开上述实施例提供的物料量测量系统，通过成像装置采集输送带上物料的实时画面/图像，然后通过图像处理装置，根据包含光包络线的图像和输送带的速度确定物料的实时量，进而提高了物料检测的准确率和鲁棒性。
31.在本实施例的一些可选的实现方式中，光源发射装置101为线结构光源。其中，线结构光源朝向输送带105上的物料照射并形成用于反应物料表面轮廓特征的光条曲线(即光包络线)。可选地，线结构光源可以是线激光器。
32.在本实施例的一些可选的实现方式中，光源发射装置101为线结构光源，该线结构光源发射的光为红光。其中，红光可以是波长为622纳米至760纳米的可见光，优选地，红光的波长为650纳米。采用红光照射物料，其形成的光包络线更清晰，也更容易被识别。
33.在本实施例的一些可选的实现方式中，图像处理装置103配置成：基于图像中的光包络线，采用色域分割法，提取图像中的光包络线的位置特征；以及根据位置特征和输送带的速度确定物料的量。
34.在一些实施例中，图像处理装置103可以集成预设图像处理算法。该预设图像处理算法可以采用opencv编写。opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在linux、windows、android和macos操作系统上。
35.在一些实施例中，可以通过色域分割的方式去确定图像中的光包络线，为了提高光包络线识别的准确性，本实施例中光包络线的识别可以从两种图片入手：一是将原始图像转换为灰度图像后，利用图像像素值对灰度图像进行遍历，获取光包络线在图片中的位置。像素值遍历的方法有很多，例如opencv中就有多重遍历像素值的函数(例如迭代器遍历法、mat_数组遍历法等)，用户可根据需求选用；二是通过opencv中的颜色空间转换函数“cvcolor()”，将原始图像转为hsv或hsi图像后，先取hsv或hsi图片一定区域的色素平均值，然后利用这个锚在图像窗口滑动，寻找色素极具变化的区域，然后通过对该区域的色素矢量、面积去判断光包络线的位置；最后将处理一得到的结果与处理二得到的结果相结合，去拟合一个较为准确的光包络线位置特征。
36.其中，可以将采用色域分割法得到的光包络线的位置特征和当前时刻输送带的速度作为预设图像处理算法的输入集合x，则当前时刻物料的数量f＝a*x，其中，a为预设图像处理算法的标定因子。
37.在本实施例的一些可选的实现方式中，其中图像处理装置103配置成：基于图像中光包络线的二维高度和像素宽度，确定光包络线的截面积；以及基于截面积和输送带的速度，确定物料的量。在一个场景中，前述光包络线的二维高度指的是在图像所在的二维坐标系中，光包络线中每个被测点的高程。
38.就本发明而言，光源发射装置101发射的光会在物料表面形成光包络线，对光包络线进行积分就能得到物料截面积，对于已知的输送带瞬时速度，可以得到物料体积：
[0039][0040]
其中，v为物料体积，xi为被测点的高程，hi为被测点的像素宽度，hj为根据输送带的速度确定的物料行进方向宽度。其中，可以将物料体积v作为表征物料的量的指标。
[0041]
在本实施例的一些可选的实现方式中，光源发射装置101和成像装置102之间按照预置的角度固定。其中，预置的角度可以是任何给定的角度值，例如45
°
夹角。优选地，光源发射装置101位于物料的垂直上方，成像装置102以给定的夹角实时采集物料图像/画面。
[0042]
在本实施例的一些可选的实现方式中，物料量测量系统还包括物料高度测量装置，其用于利用激光三角法测量形成在物料表面的光包络线的三维高度；图像处理装置103配置成：基于光包络线的三维高度、光包络线的二维高度和像素宽度，确定光包络线的截面积。其中，物料高度测量装置可以是激光位移传感器，激光位移传感器根据测量光路的不同分为斜射式和直射式激光位移传感器。激光束不垂直被测物料表面入射，该种测量的方式称为斜射式测量；激光束垂直被测物料表面入射，该种测量方式称为直射式测量。
[0043]
正如所知，激光三角法的原理是基于平面三角几何，让一束激光经发射透镜准直后照射到被测物料表面上，由物料表面散射的光线通过接收透镜会聚到高分辨率的光电检测器件上，形成一个散射光斑。该散射光斑的中心位置由传感器与被测物料表面之间的距离决定，而光电检测器件输出的电信号与光斑的中心位置相关。因此，通过对光检测器件输出的电信号进行处理就可获得传感器与被测物料表面之间的距离信息。
[0044]
其中，光包络线的三维高度指的是物料在输送带105上堆积的实际高度。当成像装置102以给定的夹角实时采集物料图像时，通过图像处理装置103可以求出图像中的光包络线二维高度，再通过激光三角法即可算出物料垂直光包络线高度(即光包络线的三维高度)。然后再根据光包络线的二维高度与三维高度的比例关系，确定图像中像素宽度所对应的光包络线的实际宽度。最后将光包络线的三维高度和实际宽度进行积分，即可得到光包络线的截面积。
[0045]
在本实施例的一些可选的实现方式中，物料高度测量装置包括：激光器，其用于向物料发射激光束；以及成像透镜，其用于接受从物料反射的激光束并在成像透镜中成像。
[0046]
图2示出了根据本实施例的物料高度测量装置的结构示意图。如图2所示，该物料高度测量装置包括激光器和成像透镜。激光器垂直向被测物表面照射，激光束经被测物表面反射后成像于成像透镜中。被测物实际高度为：
[0047][0048]
其中，α为光束轴心线与成像透镜光轴的夹角，β为成像面与成像透镜光轴的夹角，s为成像透镜光轴上的等效物距，s
‘
为成像透镜光轴上的等效像距，δh为被测物实际高度，δd为成像面上激光光斑像点的移动距离。
[0049]
在本实施例的一些可选的实现方式中，激光器和成像透镜之间按照预置的角度固定。其中，预置的角度可以是任何给定的角度值，例如45
°
夹角。优选地，激光器位于物料的垂直上方，成像透镜以给定的夹角接受从物料反射的激光束。
[0050]
继续参考图3，图3示出了本发明的一些实施例可以应用于其中的示例性系统框架图。
[0051]
如图3所示，该系统可以采用qt作为主程序框架，以事件驱动与信号槽的模式设计各模块。qt是跨平台c 图形用户界面应用程序开发框架，可以开发gui(graphical user interface，图形用户界面)程序。主程序负责系统的初始化和维护界面gui，时间敏感的数据处理程序以子线程的形式运行，以数据驱动。
[0052]
该系统启动后，主程序先进行初始化并配置启动各子线程(包括摄像机子程序、图像子线程序1、图像子线程序2)。其中，摄像机子程序可以获取成像装置102采集的视频数据。初始时，各子线程处于等待状态。当视频数据经过回调函数被读入，图像子线程1随之被事件驱动唤醒，进行视频软解码。
[0053]
此后可以开始运行图像处理程序，其中图像被左右分为独立的两个部分。当图像处理程序完成图像分割后，图像子线程序2被唤醒，与图像子线程1并行处理图像。其中，灰度图像大多通过算子寻找边缘和区域生长融合来分割图像。彩色图像可以通过不同的色彩值来分割图像，常用彩色空间hsv/hsi,rgb,lab等都可以用于分割。
[0054]
当图像处理程序执行完成后，图像子线程序2进入休眠状态，图像子线程序1进行参数化。其中，所谓参数化是指将图像中的光包络线的位置特征转化为表征物料的量的参数。最终图像子线程序1输出光包络线以及物料的流量结果，并驱动主程序显示结果，图像子线程序1进入休眠状态。于此同时串口子线程(具有通讯功能)独立工作，当有视频数据传输功能时被唤醒工作，其他时间处于休眠状态。
[0055]
继续参考图4，其示出了本发明的成像装置的实施例可以应用于其中的视频采集流程示意图。
[0056]
成像装置102可以采用网络摄像机，该网络摄像机可以支持rtsp流媒体视频协议。在一个实施场景中，前述的网络摄像机参数可以配置为满足这样的技术参数，即：分辨率为1080p，帧率为25帧/秒，通信方式为udp通讯，并且数据压缩是yv12数据压缩。如图4所示，该视频采集流程包括：初始化sdk、用户注册设备、设置异常消息回调函数、码流相关参数配置、启动采集、实时数据回调函数、数据解码、图像处理函数启动、停止采集、注销设备、释放sdk资源。该视频采集流程主要完成两个功能：(1)采集实时视频，完成1080p、25帧数据的缓存读入；(2)对原始数据进行视频解码，得到rgb24视频数据，注入图像处理装置103。其中，图像处理装置103集成了图像处理函数。
[0057]
在一些场景中，网络摄像机的制造商可以提供底层摄像机驱动与sdk(software development kit，软件开发工具包)。在使用过程中，开发者需要遵循前述的sdk定义的函数调用与开发规范，包括：sdk初始化，设备注册，视频采集启动，视频采集停止，设备注销和sdk释放。例如，sdk初始化采用net_dvr_init函数、用户注册设备采用net_dvr_login_v40函数、设备异常消息回调函数采用net_dvr_seexceptioncallback_v30、启动采集采用net_dvr_realplay_v40函数、停止采集采用net_dvr_stoprealplay函数、注销设备采用net_dvr_logout函数、释放sdk资源采用net_dvr_cleanup函数等。
[0058]
用户程序的开发通过实时数据回调函数的形式进行。当底层摄像机驱动接收到摄像机发出的yv12格式视频数据，就会调用回调函数。在回调函数中缓存原始视频数据，并启动新线程来处理后续图像操作。同时，回调函数返回，摄像机驱动函数等待下一帧视频图
像。其中，数据解码指的是将yv12格式的视频数据转换成rgb24格式的视频数据。
[0059]
继续参考图5，其示出了根据本发明的图像处理算法的一个实施例的流程示意图。其中，前述的图像处理算法可以集成在图像处理装置103中。
[0060]
如图5所示，该图像处理算法例如可以包括yv12格式视频读入、ffmpeg软解码、中值滤波、颜色空间转换、色域分割与二值化、形态学运算、包络线特征提取、标定与参数化、输出显示。在一个实施场景中，该图像处理算法可以采用opencv编写。下文将结合图5对该图像处理算法的各个组成进行详细的描述。
[0061]
1、摄像头缓存得到的视频可以是yv12格式的视频数据。在本发明的示例性应用场景中，可以将该格式的视频数据进行解码，以转换成rgb24格式的视频数据。由此，方便后续图像处理函数识别和处理。就前述的解码而言，本实施例采用ffmpeg视频库进行软解码。该ffmpeg软解码不需要过多的硬件支持且兼容性良好。另外，该ffmpeg软解码还具有丰富的滤镜、字幕和画面处理优化等效果。
[0062]
2、中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。在本发明的示例性应用场景中，中值滤波可以采用二维滑动模板，将模板内像素按照像素值的大小进行排序，生成单调上升(或下降)的二维数据序列。这里，可以采用medianblur()函数进行中值滤波。
[0063]
3、opencv中的函数cvcolor()是一个颜色空间转换函数，在本发明的示例性应用场景中，可以采用函数cvcolor()实现rgb颜色向hsv，hsi等颜色空间转换。
[0064]
4、opencv中的inrange()函数可实现二值化功能，其可以同时针对多通道进行操作，其可以将在设定的阈值区间内的像素值设置为白色(255)，而不在该阈值区间内的像素值设置为黑色(0)。在本发明的示例性应用场景中，可以采用inrange()函数实现二值化。在本发明的示例性应用场景中，对于灰度图像，可以通过算子(例如prewitt算子、roberts算子、laplacian算子、sobel算子等)寻找边缘和区域生长融合来分割图像。对于，彩色图像可以通过不同的色彩值来分割图像，常用彩色空间hsv/hsi,rgb,lab等都可以用于分割。
[0065]
5、在本发明的示例性应用场景中，可以利用形态学图像处理技术对包络线的位置特征进行提取。其中，数学形态学(也称图像代数)表示以形态为基础对图像进行分析的数学工具。其是利用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的。数学形态学是形态学图像处理技术的数学基础。通过形态学图像处理可以简化图像数据，保持它们基本的形状特性，并除去不相干的结构。形态学图像处理的基本运算有：膨胀、腐蚀、开操作和闭操作，击中与击不中变换，top-hat变换，黑帽变换等。其中，形态学图像处理技术的应用有：消除噪声、边界提取、区域填充、连通分量提取、凸壳、细化、粗化等；分割出独立的图像元素，或者图像中相邻的元素；求取图像中明显的极大值区域和极小值区域；求取图像梯度。这里，可以使用opencv中的morpholog()函数进行形态学运算。经过形态学运算后，可以对包络线特征进行提取，这里指的是包络线的位置特征。
[0066]
6、物料量监测设备使用时，根据不同的使用环境，可以进行初值标定。优选地，可以将输送带空跑一段时间后再放入等质量的物料进行初值标定。然后，将包络线的特征进行参数化，这里的参数化是指将图像中的光包络线的位置特征转化为表征物料的量的参数。最后，根据标定和参数确定物料的量。
[0067]
7、这里的输出显示指的是显示包络线视频和物料流量数据曲线。
[0068]
本实施例的图像处理算法可以实现对1080p、25帧的原始数据进行识别处理，得到物料包络线特征及物料流量数据。该算法采用opencv编写，以子线程的形式并行运行，提高处理速度。该算法以数据流驱动，以视频软解码触发，以包络线视频显示与煤流量数据曲线显示结束。
[0069]
在本说明书的上述描述中，除非另有明确的规定和限定，术语“固定”、“安装”、“相连”或“连接”等术语应该做广义的理解。例如，就术语“连接”来说，其可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，或者可以是两个元件内部的连通或两个元件的相互作用关系。因此，除非本说明书另有明确的限定，本领域技术人员可以根据具体情况理解上述术语在本公开中的具体含义。
[0070]
根据本说明书的上述描述，本领域技术人员还可以理解如下使用的术语，例如“上”、“下”、“前”、“后”、“左”、“右”、“长度”、“宽度”、“厚度”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”、“中心”、“纵向”、“横向”、“顺时针”或“逆时针”等指示方位或位置关系的术语是基于本说明书的附图所示的方位或位置关系的，其仅是为了便于阐述本公开的方案和简化描述的目的，而不是明示或暗示所涉及的装置或元件必须要具有特定的方位、以特定的方位来构造和进行操作，因此上述的方位或位置关系术语不能被理解或解释为对本公开方案的限制。
[0071]
另外，本说明书中所使用的术语“第一”或“第二”等用于指代编号或序数的术语仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的量。由此，限定有“第一”或“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个或更多个等，除非另有明确具体的限定。
[0072]
虽然本说明书已经示出和描述了本公开的多个实施方式，但对于本领域技术人员显而易见的是，这样的实施方式只是以示例的方式提供的。本领域技术人员会在不偏离本公开思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本公开的过程中，可以采用对本文所描述的本公开实施方式的各种替代方案。所附权利要求书旨在限定本公开的保护范围，并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。