一种核电厂圆盘指针式仪表读数方法与流程

1.本发明属于仪表读数技术领域，具体涉及一种基于最小二乘回归模型和深度可分卷积神网络的核电厂圆盘指针式仪表读数方法。


背景技术：

2.圆盘指针式仪表是核电站监测各种设备状态的重要工具，然而这类仪表通常没有数据接口，无法自动输出数据，实现数据的收集和传输。过去依靠人工方式进行仪表读数和数据采集，这种方式局限性较大，无法在危险场地进行读数，更无法做到实时监测。现在，仪表自动读数技术与巡检机器人相结合，能够自动、实时、灵活地采集数据。但由于摄像头采集角度不同、表盘样式多样、以及指针宽窄不一，导致准确判读表计示数十分困难。如何使得指针式仪表判读模型自适应这些干扰因素，准确判读成为研究难点。
3.目前，多数方法基于图像变换、区域生长等算法，直接检测表盘的指针和刻度。这类方法处理拍照角度多样、表计样式复杂、指针宽窄不一的情况，需要复杂的人工参数调节工作，以适应不同干扰下的指针式表计识别，难以满足核电厂复杂环境的自适应性要求。


技术实现要素：

4.本发明的目的是提供一种核电厂圆盘指针式仪表读数方法，它能够适应不同干扰下的指针式表计识别，满足核电厂复杂环境的自适应性要求。
5.本发明的技术方案如下：一种核电厂圆盘指针式仪表读数方法，包括以下步骤：
6.步骤1：摄像头采集现场仪表图像；
7.步骤2：检测图像中的仪表并分离表盘的前景和背景；
8.步骤3：指针直线拟合；
9.步骤4：构建参考标准系；
10.步骤5：表计示数判读。
11.所述的步骤1包括：
12.步骤11：安装在核电厂区内的摄像头采集仪表的图像或视频流，采集得到的仪表图像序列定义为x
t
表示第t时刻的仪表图像，t表示总时长，表示正整数。
13.步骤12：将采集得到的图像序列输入到表盘分割模块中进行表计检测和表盘前景与背景的分离。
14.所述的步骤2包括：
15.步骤21：基于目标检测模型检测图像中的仪表位置，基于目标检测模型pp-yolo对采集的图像数据进行预测，检测采集到的图像中是否存在表计，若存在表计则输出表计的位置信息，所述的pp-yolo模型由主干网络(backbone)、中间结构网络(neck)、检测头网络(head)三部分组成，主干网络为restnet50-vd，用于提取图像的基础特征，中间结构网络为金字塔特征网络(fpn)，将主干网络提取得到的所有尺度的基础特征构建为高级语义特征，
检测头网络由一个3x3卷积和1x1卷积组成，对高级语义特征进行卷积计算，最终输出检测到的表计位置数据信息(x
min
，y
min
，w
meter
，h
meter
)，x
min
表示表计矩形框的左上角顶点的横坐标，y
min
表示表计矩形框左上角顶点的纵坐标，w
meter
表示矩形框的宽，h
meter
表示矩形框的高；
16.步骤22：基于表计位置矩形框坐标分割表计，根据采集图像像素点的横纵坐标的大小进行图像的分割，记图像的像素数组为w，h，3分别表示图像的宽、高、通道数，遍历图像中的像素点，若像素点在表计位置矩形框范围内，则该像素点属于表计；若像素点在表计位置矩形框范围外，则该像素点不属于表计，基于以上原则，从采集的原始图像中分割出表计图像，计算过程可表达为：最终输出的表计图像序列记作
17.步骤23：构建基于深度可分离卷积神经网络模型，在deeplabv3模型基础上，引入深度可分离卷积，从而使得模型用更少的参数达到与普通卷积一样的计算效果，加快模型的计算速度，基于深度可分离卷积神经网络模型主要由编码器和解码器两个模块构成，编码器作用是对输入的图像进行特征提取和特征表达，编码器包括一个主干网络xception和一个aspp网络，xception网络用于提取表计图像的基础特征，由入口流、中间流、出口流三个部分组成，入口流首先是两层3
×
3的普通卷积，然后是三个深度可分离卷积构成的残差模块，中间流是由三个3
×
3的深度可分离卷积组成，出口流由一个普通残差模块和三个深度可分离卷积构成。aspp网络由一个1
×
1、三个3
×
3的空洞卷积、和一个全局池化层组成，最后通过一个1
×
1的卷积层来减少特征的通道数，在编码器输出的特征向量基础上，解码器进行上采样和卷积计算，还原成图像数据，解码器将主干网络输出的低级特征图和aspp网络输出的特征图进行尺寸变换，变换相同大小，并在特征图的通道维度上进行特征拼接，最后连接一个3
×
3的卷积对拼接特征进行处理；
18.步骤24：训练深度可分离卷积神经网络，使用已经标注好前景和背景的表计数据来训练深度可分离卷积神经网络，
19.采用交叉熵损失函数训练网络模型，计算公式如下：
20.l＝(ylog(p) (1-y)log(1-p))，
21.其中，y为标签，1表示像素点属于前景范围(正样本)，p表示样本预测为正样本的概率，以最小化交叉熵损失值为目的，多轮次的模型训练，最终输出最优深度可分离卷积神经网络模型；
22.步骤25：基于已训练的深度可分离卷积神经网络模型分割表盘前景和背景，将表计图像序列输入到深度可分离卷积神经网络模型，模型开始预测表计图像的指针和刻度，并输出分割的前景图像。
23.所述的步骤3包括：
24.步骤31：构建指针像素点的集合，遍历提取得到的前景图像的像素点，若像素点值为1，则为指针像素点，得到指针像素点的集合为d＝{d＝(xi，yj)|i∈[0，w
meter
]，j∈[0，h
meter
]}，w
meter
，h
meter
表示表盘矩形框的宽和长，xi，yi表示像素点的坐标，
[0025]
步骤32：定位指针的端点位置，遍历指针像素点的集合，指针的端点为横坐标和纵
坐标均为最值，则端点横坐标计算如下：
[0026][0027]
第一个端点：
[0028]ds
＝(x
max
，ys)，ys为点集合中横坐标为最大值所对应的纵坐标；
[0029]
第二个端点：
[0030]de
＝(x
min
，ye)，ye为点集合中横坐标为最小值所对应的纵坐标；
[0031]
步骤33：基于欧式距离公式判断指针的起点和终点，设起点为c(x
x
，yc)，终点为指针的指尖p(x
p
，y
p
)，记表盘图像中心o的坐标为(xo，yo)＝(w
meter
/2，h
meter
/2)，根据欧式距离公式分别计算点o到ds和de两点之间的距离，计算如下：
[0032][0033][0034]
若d
os
＜d
oe
，则表盘中心c(xc，yc)＝(x
max
，ys)，p(x
p
，y
p
)＝(x
min
，ye)；若d
os
＞d
oe
，
[0035]
则表盘中心c(xc，yc)＝(x
min
，ye)，p(x
p
，y
p
)＝(x
max
，ys)，
[0036]
步骤34：基于最小二乘法的线性回归模型拟合指针直线，已得出指针上的n个像素点d1，d2，...，dn，使用最小二乘法线性回归函数拟合指针像素点，得到一条直线处于样本数据的中心位置，最小二乘法的核心是以“残差平方和最小”确定直线位置，假设需计算直线公式为：残差平方和计算公式如下：
[0037][0038]
其中，以上函数要使得q取最小值，为变量，因此分别对两个变量求偏导，值为零，得到变量取值为：
[0039][0040][0041]
求解得到的拟合直线为：
[0042][0043]
所述的步骤4包括：
[0044]
步骤41：基于文本识别模型提取表盘中的文本信息，输出被识别的文本及文本位置框的字典，记作
[0045]
[0046]
其中，m表示识别到的文本总数，表示文本矩形框的左上，右上，右下，左下四个顶点的位置坐标，
[0047]
步骤42：根据表盘的文本信息集合，基于模板匹配法，得到中间刻度和最大刻度对应的刻度位置，即表盘的中间刻度为v
mid
，则中间刻度位置坐标计算中间刻度的中心点位置表盘的最大刻度值v
max
，则最大刻度位置坐标计算最大刻度中心位置确定了夹角与量程大小的关系，即夹角θ所对应的量程为v
max-v
min
。
[0048]
所述的步骤5包括：
[0049]
步骤51：根据a，b，c，p四点，计算指针在表盘中的相对角度位置，计算方法如下：
[0050]
向量与之间的夹角：
[0051]
向量与之间的夹角：
[0052]
步骤52：计算指针p点在中心线l
ca
的相对位置，l
ca
直线方程写为：
[0053]
当xc≠xa且yc≠ya，
[0054]
带入p的横坐标x
p
到直线方程中计算相应的纵坐标若则p在直线l
ca
的右边，反之，则p在直线l
ca
的左边，
[0055]
步骤53：计算表计示数如公式所示：
[0056]
本发明的有益效果在于：本发明利用摄像头等图像采集设备，获取指针式仪表图像；利用深度学习等模型对仪表表盘、关键参数、指针进行了检测、识别、和提取；计算指针在表盘中的相对位置，消除角度偏转带来的读数偏差；基于指针与刻度参考线之间的相对角度计算出当前仪表读数。通过引入该方法，解决了仪表角度倾斜造成的读数偏差问题，表盘花纹和指针样式的干扰问题、提高了仪表读数的精度和识别效率，极大程度上减少人工参与程度并降低人工误读风险，使得核电厂设备监测更加智能和准确。
附图说明
[0057]
图1为本发明所提供的一种核电厂圆盘指针式仪表读数方法流程图；
[0058]
图2为构建的参考标准系。
具体实施方式
[0059]
下面结合附图及具体实施例对本发明作进一步详细说明。
[0060]
为了解决上述问题，本发明提出了一种基于最小二乘回归模型和深度可分卷积神经网络的圆盘指针式仪表自动读数方法。复杂的表盘花纹会干扰表计的判读，因此提出深度卷积可分神经网络分割表盘的前景和背景，表盘的前景包括指针、刻度信息，其他为背景信息。其次，在提取的前景图像基础上，基于指针像素分布特性，提出基于最小二乘回归模型的直线拟合机制，来拟合指针所在直线，解决因指针宽窄导致的指针定位不准确问题。然后，采用本发明的检测算法，检测仪表盘中的刻度数字和精度数字。基于精度数字计算压力表计的读数精确度，确定读数小数点；基于刻度数字的坐标数据，构建表盘的参考标准系，用于解决角度偏转问题。最后，计算指针所在直线在参考标准系中的相对位置，得出表盘示数。
[0061]
本发明包括表盘分割模块、指针直线拟合模块、构建表盘参考系、示数判读模块四个部分。
[0062]
表盘分割模块：基于目标检测模型定位图片中表盘的位置，再基于深度可分离卷积神经网络模型分割出前景图像，去除表盘花纹的干扰。
[0063]
指针直线拟合模块：定位指针的端点位置，并基于最小二乘回归模型拟合出指针所在的直线，从而解决指针宽窄不一的问题。
[0064]
构建参考标准系：基于文字识别模型检测表盘中的刻度并提取刻度的坐标位置，构建角度偏转与量程大小的比例关系，解决角度偏转的影响。
[0065]
示数判读模块：基于指针直线偏角和参考标准系，计算出指针在表盘中的相对倾斜角度，再利用角度偏转与量程大小的比例关系，得到当前仪表读数。
[0066]
如图1所示，一种核电厂圆盘指针式仪表读数方法，包括以下步骤：
[0067]
步骤1：摄像头采集现场仪表图像
[0068]
步骤11：安装在核电厂区内的摄像头采集仪表的图像或视频流，采集的仪表图像包括各种角度，多种仪表样式，采集得到的仪表图像序列定义为x
t
表示第t时刻的仪表图像，t表示总时长，表示正整数。
[0069]
步骤12：将采集得到的图像序列输入到表盘分割模块中进行表计检测和表盘前景与背景的分离。
[0070]
步骤2：检测图像中的仪表并分离表盘的前景和背景
[0071]
步骤21：基于目标检测模型检测图像中的仪表位置。基于目标检测模型pp-yolo对采集的图像数据进行预测，检测采集到的图像中是否存在表计，若存在表计则输出表计的位置信息。pp-yolo模型由主干网络(backbone)、中间结构网络(neck)、检测头网络(head)三部分组成。主干网络为restnet50-vd，用于提取图像的基础特征。中间结构网络为金字塔特征网络(fpn)，将主干网络提取得到的所有尺度的基础特征构建为高级语义特征。检测头
网络由一个3x3卷积和1x1卷积组成，对高级语义特征进行卷积计算，最终输出检测到的表计位置数据信息(x
min
，y
min
，w
meter
，h
meter
)，x
min
表示表计矩形框的左上角顶点的横坐标，y
min
表示表计矩形框左上角顶点的纵坐标，w
meter
表示矩形框的宽，h
meter
表示矩形框的高。
[0072]
步骤22：基于表计位置矩形框坐标分割表计。根据采集图像像素点的横纵坐标的大小进行图像的分割，记图像的像素数组为w，h，3分别表示图像的宽、高、通道数，r表示实数。遍历图像中的像素点，若像素点在表计位置矩形框范围内，则该像素点属于表计；若像素点在表计位置矩形框范围外，则该像素点不属于表计。基于以上原则，从采集的原始图像中分割出表计图像。计算过程可表达为：最终输出的表计图像序列记作
[0073]
步骤23：构建基于深度可分离卷积神经网络模型。在经典的deeplabv3模型基础上，我们引入深度可分离卷积，从而使得模型用更少的参数达到与普通卷积一样的计算效果，加快模型的计算速度。基于深度可分离卷积神经网络模型主要由编码器和解码器两个模块构成。编码器作用是对输入的图像进行特征提取和特征表达。编码器包括一个主干网络xception和一个aspp网络。xception网络用于提取表计图像的基础特征，由入口流、中间流、出口流三个部分组成。入口流首先是两层3
×
3的普通卷积，然后是三个深度可分离卷积构成的残差模块。中间流是由三个3
×
3的深度可分离卷积组成。出口流由一个普通残差模块和三个深度可分离卷积构成。aspp网络由一个1
×
1、三个3
×
3的空洞卷积、和一个全局池化层组成。最后通过一个1
×
1的卷积层来减少特征的通道数。在编码器输出的特征向量基础上，解码器进行上采样和卷积计算，还原成图像数据。解码器将主干网络输出的低级特征图和aspp网络输出的特征图进行尺寸变换，变换相同大小，并在特征图的通道维度上进行特征拼接。最后连接一个3
×
3的卷积对拼接特征进行处理。
[0074]
步骤24：训练深度可分离卷积神经网络。使用已经标注好前景和背景的表计数据来训练深度可分离卷积神经网络。
[0075]
采用交叉熵损失函数训练网络模型，计算公式如下：
[0076]
l＝-(ylog(p) (1-y)log(1-p))，
[0077]
其中，y为标签，1表示像素点属于前景范围(正样本)，0表示像素点不属于前景范围(负样本)。p表示样本预测为正样本的概率。以最小化交叉熵损失值为目的，多轮次的模型训练，最终输出最优深度可分离卷积神经网络模型。
[0078]
步骤25：基于已训练的深度可分离卷积神经网络模型分割表盘前景和背景。将表计图像序列输入到深度可分离卷积神经网络模型，模型开始预测表计图像的指针和刻度，并输出分割的前景图像。
[0079]
步骤3：指针直线拟合
[0080]
步骤31：构建指针像素点的集合。遍历提取得到的前景图像的像素点，若像素点值为1，则为指针像素点，得到指针像素点的集合为d＝{d＝(xi，yj)|i∈[0，w
meter
]，j∈[0，h
meter
]}，w
meter
，h
meter
表示表盘矩形框的宽和长，xi，yi表示像素点的坐标，d表示像素点，i和j表示像素点的索引。
[0081]
步骤32：定位指针的端点位置。遍历指针像素点的集合，指针的端点为横坐标和纵坐标均为最值。则端点横坐标计算如下：
[0082][0083]
第一个端点：
[0084]ds
＝(x
max
，ys)，ys为点集合中横坐标为最大值所对应的纵坐标。
[0085]
第二个端点：
[0086]de
＝(x
min
，ye)，ye为点集合中横坐标为最小值所对应的纵坐标。
[0087]
步骤33：基于欧式距离公式判断指针的起点和终点。设起点为c(xc，yc)，终点为指针的指尖p(x
p
，y
p
)。记表盘图像中心o的坐标为(xo，yo)＝(w
meter
/2，h
meter
/2)。根据欧式距离公式分别计算点o到ds和de两点之间的距离，计算如下：
[0088][0089][0090]
若d
os
＜d
oe
，则表盘中心c(xc，yc)＝(x
max
，ys)，p(x
p
，y
p
)＝(x
min
，ye)；若d
os
＞d
oe
，
[0091]
则表盘中心c(xc，yc)＝(x
min
，ye)，p(x
p
，y
p
)＝(x
max
，ys)。
[0092]
步骤34：基于最小二乘法的线性回归模型拟合指针直线。已得出指针上的n个像素点d1，d2，...，en，使用最小二乘法线性回归函数拟合指针像素点，得到一条直线处于样本数据的中心位置。最小二乘法的核心是以“残差平方和最小”确定直线位置。假设需计算直线公式为：残差平方和计算公式如下：补充ei的含义
[0093][0094]
其中，以上函数要使得q取最小值，为变量，因此分别对两个变量求偏导，值为零，得到变量取值为：
[0095][0096][0097]
求解得到的拟合直线为：
[0098][0099]
步骤4：构建参考标准系
[0100]
步骤41：基于文本识别模型提取表盘中的文本信息，输出被识别的文本及文本位置框的字典，记作
[0101][0102]
其中，m表示识别到的文本总数，表示文本矩形框的左上，右上，右下，左下四个顶点的位置坐标。
[0103]
步骤42：根据表盘的文本信息集合，基于模板匹配法，得到中间刻度和最大刻度对应的刻度位置。即表盘的中间刻度为v
mid
，则中间刻度位置坐标计算中间刻度的中心点位置表盘的最大刻度值v
max
，则最大刻度位置坐标计算最大刻度中心位置因此，构建的参考标准系如图2所示。
[0104]
该标准系的含义是，确定了夹角与量程大小的关系，即夹角θ所对应的量程为v
max-v
min
。
[0105]
步骤5：表计示数判读
[0106]
步骤51：根据a，b，c，p四点，计算指针在表盘中的相对角度位置。计算方法如下：
[0107]
向量与之间的夹角：
[0108]
向量与之间的夹角：
[0109]
步骤52：计算指针p点在中心线l
ca
的相对位置，l
ca
直线方程写为：当xc≠xa且yc≠ya，
[0110]
带入p的横坐标x
p
到直线方程中计算相应的纵坐标若则p在直线l
ca
的右边，反之，则p在直线l
ca
的左边，
[0111]
步骤53：计算表计示数如公式所示：