异常工况监测定位方法、系统、电子设备及存储介质与流程

1.本发明涉及工业设备噪声源定位、泄漏检测、设备运行状态在线监测技术领域，特别涉及一种异常工况监测定位方法、系统、电子设备及存储介质。


背景技术：

2.随着信号处理技术的不断进步，声源定位技术发展的越来越成熟。目前的声源定位技术主要使用多个设置于不同空间位置的声传感器采集到多路音频信号，分析多路音频信号的特征，利用时延算法得到由声源到多个声传感器距离，再利用立体几何计算方法得到声源的所在空间位置。
3.声相仪又称声学相机，可同时采集麦克风阵列得到的声场分布图像与摄像头可见光视频，经过内部处理后将声场图像与视频图像叠加，可以直观看到视频画面中的实物表面的声场信息。但是声场分布图像与可见光视频都是二维图像画面，声源点的真实位置可以是在以麦克风阵列为起点的一条射线上的任意点，考虑到监测对象可能存在多层管线等复杂结构，依靠单一声学相机无法在三维空间内定位，无法准确实现噪声源识别、泄漏监测等功能。
4.中国发明专利申请cn109254266a公开了一种基于麦克风阵列的声源定位方法、装置。该现有技术中的方法在定位过程中，首先针对各个麦克风子阵列建立各自对应的子阵列坐标系，以及建立共同对应的公共坐标系；然后使用srp-phat算法对预处理后的声音信号进行计算，得到声源在各子阵列坐标系中分别对应的方向向量；最后将各个方向向量归化到公共坐标系中，计算得到声源在公共坐标系中的位置坐标。此方法对声音信号进行二次处理实现声源定位，第一次处理得到声源的子阵列坐标，第二次处理得到声源的公共坐标，二次处理可能存在误差偏大的情况。并且在实际应用中，以石化装置为例，监测对象存在多层交叉覆盖等复杂结构，声音信号容易出现干涉、衍射、反射等现象，二次处理依赖高精度计算，可能导致声源定位产生较大的误差。
5.因此，亟需一种工业设备异常工况的监测定位方法和系统，在声学相机的基础上，将声场分布信息、可见光视频图像映射到三维空间中，再与监测对象的三维空间结构融合，可以准确定位噪声源的空间位置，结合监测对象的信息判断引起噪声的异常工况。
6.公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。


技术实现要素：

7.本发明的目的在于提供一种异常工况监测定位方法及系统，在声学相机的基础上，将其二维信息映射到三维空间中，再与监测对象的三维空间结构融合，可以准确定位噪声源的空间位置，结合监测目标的信息判断引起噪声的异常工况。
8.为实现上述目的，根据本发明的第一方面，本发明提供了一种异常工况监测定位方法，包括如下步骤：a、对安装后的多个声学相机分别进行空间标定，将声学相机的二维平
面画面与真实三维空间形成对应关系；b、将监测目标的三维模型按照真实尺寸融合至真实三维空间的坐标系中；c、根据监测目标部件和/或部位的划分，获取部件和/或部位的空间坐标范围；d、将监测到的异常噪声源通过计算获取噪声源在所述真实三维空间的坐标系中的空间坐标值，并与部件和/或部位的空间坐标范围进行比对，获得噪声源的位置；e、根据噪声源的位置以及采集到的噪声信号特征，对异常工况进行监测。
9.进一步，上述技术方案中，声学相机可包括第一声学相机和第二声学相机，两者相对于监测目标为非对侧设置。
10.进一步，上述技术方案中，将声学相机进行空间标定可采用如下具体步骤：
11.首先，在二维平面画面中记录所述声学相机位置为点a；在真实三维空间中选择一个点b0，使其位于二维平面画面的正中央位置，则声学相机的指示方向为由点a至点b0的方向向量在真实三维空间中另外选择一个点b1，使其在二维平面画面中可见；
12.其次，在真实三维空间中的坐标系中测量点a、b0、b1的坐标分别为a(x0,y0,z0)、b0(x
b0
,y
b0
,z
b0
)、b1(x
b1
,y
b1
,z
b1
)；
13.再次，设点b`1坐标为(x
b1
,y
b1
,z
b0
)，计算方向向量与方向向量的夹角β1；同时计算方向向量与x坐标轴的夹角θ1；通过声学相机的二维平面画面，获取点b1与点b0在画面中的映射点b
11
与点b
01
，测量方向向量与水平线的夹角α1；
14.最后，在二维平面画面中以所述映射点b
01
为原点，建立平面坐标系x1b
01
y1，设投影在x1轴的长度为l1，投影在y1轴的长度为l2，计算映射系数记录映射系数完成声学相机的空间标定。
15.进一步，上述技术方案中，步骤d中的将监测到的异常噪声源通过计算获取噪声源在真实三维空间的坐标系中的空间坐标值可具体包括如下步骤：
16.d1、当异常噪声源在所述二维平面画面中出现时，将该噪声源的中心点在平面坐标系x
1 b
01 y1中表示为m1(x
1m1
,y
1m1
)，计算点m1距离坐标系x1轴与y1轴的距离l
1m1
与l
2m1
；
17.d2、计算cosβ
m1
＝φ1·
l
1m1
；
18.d3、通过的方向向量，获取第一声学相机的点线式直线方程如下：
[0019][0020]
d4、重复步骤d1至步骤d3，获取第二声学相机的点线式直线方程如下：
[0021][0022]
d5、计算所述方程(1)和方程(2)的交点，所述交点的坐标值即为所述异常噪声源
的所述真实三维空间的坐标值。
[0023]
进一步，上述技术方案中，步骤e可具体为：将噪声源的位置以及采集到的噪声信号特征与故障数据库中的异常工况数据进行比对，判断可能发生的故障类型及程度并发出预警信息。
[0024]
进一步，上述技术方案中，在空间标定之前，可对声学相机的二维平面画面进行桶形畸变和枕形畸变的消除处理。
[0025]
根据本发明的第二方面，本发明提供了一种异常工况监测定位系统，包括：空间标定单元，用于对安装后的多个声学相机分别进行空间标定，将声学相机的二维平面画面与真实三维空间形成对应关系；目标融合单元，用于将监测目标的三维模型按照真实尺寸融合至真实三维空间的坐标系中；目标划分单元，用于根据监测目标部件和/或部位的划分，获取部件和/或部位的空间坐标范围；噪声位置获取单元，用于将监测到的异常噪声源通过计算获取噪声源在真实三维空间的坐标系中的空间坐标值，并与部件和/或部位的空间坐标范围进行比对，获得噪声源的位置；异常工况监测单元，用于根据噪声源的位置以及采集到的噪声信号特征，对异常工况进行监测。
[0026]
进一步，上述技术方案中，异常工况监测单元可具体包括：数据比对子单元，用于将噪声源的位置以及采集到的噪声信号特征与故障数据库中的异常工况数据进行比对；故障判断子单元，用于判断可能发生的故障类型及程度并发出预警信息。
[0027]
进一步，上述技术方案中，该系统还可包括画面预处理单元，用于在空间标定之前，对声学相机的二维平面画面进行桶形畸变和枕形畸变的消除处理。
[0028]
根据本发明的第三方面，本发明提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行前述任意一项所述的方法。
[0029]
根据本发明的第四方面，本发明提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如前述任意一项所述的方法。
[0030]
与现有技术相比，本发明具有如下一个或多个有益效果：
[0031]
1)本发明将监测目标的三维空间结构、二维视频图像、声场分布信息与声源定位信息融合，可实现基于听觉和视觉的异常快速识别与定位，且直观性较强，将可视化监测与识别结果及时反馈给运维人员，可应用于工业噪声监测、泄漏监测、设备状态监测等领域；
[0032]
2)本发明只需要对音频信号进行一次处理，生成各阵列子坐标系中的声场坐标；再将声场坐标与平面图像叠加，得到声源图像子坐标系坐标；然后将两组以上的二维平面图像坐标映射到三维空间，得到噪声源在三维空间中的坐标，进而判断其真实位置。声音信号只经过一次处理，避免误差扩大；
[0033]
3)本发明在初步得到噪声源的三维空间坐标后，可将坐标值与监测目标的三维模型进行比对，结合监测目标的结构特点进行定位，可降低因结构复杂引起的定位误差。
[0034]
4)本发明在使用多个声学相机的基础上，将二维信息映射到三维空间中，再与监测对象的三维空间结构叠加，定位异常噪声的点位；再将异常噪声音频特征、声源的位置、声源所在的部位部件与监测目标的故障库进行比对，综合判断可能发生的故障类型和程
度，并向运维人员发出预警或报警信息。
[0035]
上述说明仅为本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段并可依据说明书的内容予以实施，同时为了使本发明的上述和其他目的、技术特征以及优点更加易懂，以下列举一个或多个优选实施例，并配合附图详细说明如下。
附图说明
[0036]
图1是本发明实施例1异常工况监测定位方法中声学相机的布置示意图。
[0037]
图2是本发明实施例1异常工况监测定位方法的流程示意图。
[0038]
图3是本发明实施例1异常工况监测定位方法中空间标定计算过程第一示意图。
[0039]
图4是本发明实施例1异常工况监测定位方法中空间标定计算过程第二示意图。
[0040]
图5是本发明实施例2异常工况监测定位系统的结构示意图。
[0041]
图6是本发明实施例5异常工况监测定位电子设备的结构示意图。
具体实施方式
[0042]
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0043]
除非另有其他明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其他元件或其他组成部分。
[0044]
在本文中，为了描述的方便，可以使用空间相对术语，诸如“下面”、“下方”、“下”、“上面”、“上方”、“上”等，来描述一个元件或特征与另一元件或特征在附图中的关系。应理解的是，空间相对术语旨在包含除了在图中所绘的方向之外物件在使用或操作中的不同方向。例如，如果在图中的物件被翻转，则被描述为在其他元件或特征“下方”或“下”的元件将取向在元件或特征的“上方”。因此，示范性术语“下方”可以包含下方和上方两个方向。物件也可以有其他取向(旋转90度或其他取向)且应对本文使用的空间相对术语作出相应的解释。
[0045]
在本文中，术语“第一”、“第二”等是用以区别两个不同的元件或部位，并不是用以限定特定的位置或相对关系。换言之，在一些实施例中，术语“第一”、“第二”等也可以彼此互换。
[0046]
下面以具体实施例的方式更详细地说明本发明的方法、系统、电子设备及存储介质，应了解的是，实施例仅为示例性的，本发明并不以此为限。
[0047]
如图1所示，本发明是基于声学相机的工业设备装置异常工况监测定位方法及系统，异常工况监测定位系统由第一声学相机1、第二声学相机2、数据处理系统3及其他支持部分组成，用于监测目标4的异常工况监测和定位。异常工况是指工业现场设备与装置运行在能够发出异常声音的异常工作状态。本发明的方法及系统可以根据使用需求灵活部署，全面覆盖石化装置的监测，可以准确定位异常声源的三维空间位置，并与监测目标装置的二维视频图像、三维模型结合，使异常声源定位更加直观，该方法和系统只使用一次音频信号进行定位处理与计算，可降低异常声源定位误差。
[0048]
实施例1
[0049]
如图2所示，本发明的异常工况监测定位方法，包括如下步骤：
[0050]
步骤101，对安装后的多个声学相机分别进行空间标定，将所述声学相机的二维平面画面与真实三维空间形成对应关系。本发明采用不少于两台声学相机，本实施例以两台声学相机为例进行说明(即第一声学相机1和第二声学相机2)。第一声学相机1与第二声学相机2分别放置在监测目标4的两侧，为了避免信号干扰，当声学相机数量为两个时则不能放置在对侧，声学相机分别通过有线或无线方式与数据处理系统3连接。优选而非限制性地，在空间标定前，声学相机的二维视频画面进行畸变矫正，以消除视频画面的桶形畸变和枕形畸变。
[0051]
进一步如图3、4所示，本实施例的声学相机进行空间标定可采用如下具体步骤：
[0052]
首先，调整第一声学相机1的方向，使其满足监测目标4的要求，调整二维视频画面的下边缘与地面水平，记录第一声学相机1的位置为点a。
[0053]
其次，以第一声学相机1为标定对象，在真实三维空间中选择一个点b0，使其位于二维视频画面的正中央位置，则第一声学相机1的指示方向为由点a至点b0的方向向量在真实三维空间中另外选择一个点b1，使其在二维视频画面中可见。
[0054]
再次，在真实三维空间中设定坐标系xoyz，在该坐标系中测量点a、b0、b1的坐标分别为a(x0,y0,z0)、b0(x
b0
,y
b0
,z
b0
)、b1(x
b1
,y
b1
,z
b1
)。
[0055]
然后，设点b`1坐标为(x
b1
,y
b1
,z
b0
)，则有与水平面平行，与水平面平行。使用平面几何算法计算方向向量与方向向量的夹角β1；同时使用平面几何算法计算方向向量与x坐标轴的夹角θ1；通过声学相机的二维视频画面，得到点b1与点b0在画面中的映射点b
11
与点b
01
，测量方向向量与水平线的夹角α1。
[0056]
最后，在二维视频画面中以映射点b
01
为原点，建立平面坐标系x
1 b
01 y1，设投影在x1轴的长度为l1，投影在y1轴的长度为l2，计算映射系数记录这两个映射系数完成第一声学相机1的空间标定。
[0057]
用以上相同的方法可完成第二声学相机2的空间标定。通过对第一声学相机1和第二声学相机2的分别标定，可将两个声学相机的二维视频画面与真实三维空间形成对应关系。
[0058]
步骤s102，将监测目标的三维模型按照真实尺寸融合至真实三维空间的坐标系中，即将监测目标的三维模型在坐标系xoyz中按照真实尺寸进行表示。该步骤可将出现的异常噪声源标定在与现场的实际位置相同模型中的位置，使得识别和定位更加直观。
[0059]
步骤s103，根据监测目标部件和/或部位的划分，获取部件和/或部位的空间坐标范围。考虑监测目标的不同结构特点，可进行部件、部位的划分，得到a、b、c、d
……
部件，并取得各个部件和/或部位的空间坐标范围。
[0060]
步骤s104，将监测到的异常噪声源通过计算获取噪声源在真实三维空间的坐标系
中的空间坐标值，并与部件和/或部位的空间坐标范围进行比对，获得所述噪声源的位置。
[0061]
该步骤中的“将监测到的异常噪声源通过计算获取噪声源在真实三维空间的坐标系中的空间坐标值”具体包括如下步骤：
[0062]
首先，当异常噪声源在第一声学相机1的二维视频画面中出现时，取该噪声源的中心位置，即将该噪声源的中心点在平面坐标系x
1 b
01 y1中表示为m1(x
1m1
,y
1m1
)，计算点m1距离坐标系x1轴与y1轴的距离l
1m1
与l
2m1
；
[0063]
其次，依据前述步骤s101中的计算，
[0064]
计算cosβ
m1
＝φ1·
l
1m1
；
[0065]
再次，由β
m1
、α
m1
、θ
m1
三个角度值，可计算得到的方向向量(cosβ
m1
,cosα
m1
,cosθ
m1
)，则可得到第一声学相机1的的点线式直线方程如下：
[0066][0067]
然后，重复该步骤中的上述计算方法，获取所述第二声学相机2的的点线式直线方程如下：
[0068][0069]
最后，计算两条直线方程(1)和方程(2)的交点，交点的坐标值即为异常噪声源的真实三维空间的坐标值。
[0070]
步骤s105，根据步骤s104获得的噪声源的位置以及采集到的噪声信号特征，对异常工况进行监测。具体地，将异常噪声源的空间坐标值与各部件和/或部位的空间坐标范围进行比对，得到异常噪声源所在的部件和/或部位名称，再根据采集到的异常声音信号特征，判断可能出现的异常工况，向运维人员发出报警，例如提示“某某部件出现异常，可能出现某某工况”。
[0071]
实施例2
[0072]
结合图5所示，本实施例的异常工况监测定位系统，包括空间标定单元201、目标融合单元202、目标划分单元203、噪声位置获取单元204以及异常工况监测单元205。其中，空间标定单元201用于对安装后的多个声学相机分别进行空间标定，将声学相机的二维平面画面与真实三维空间形成对应关系；目标融合单元202用于将监测目标的三维模型按照真实尺寸融合至真实三维空间的坐标系中；目标划分单元203用于根据监测目标部件和/或部位的划分，获取部件和/或部位的空间坐标范围；噪声位置获取单元204用于将监测到的异常噪声源通过计算获取噪声源在真实三维空间的坐标系中的空间坐标值，并与部件和/或部位的空间坐标范围进行比对，获得噪声源的位置；异常工况监测单元205用于根据噪声源的位置以及采集到的噪声信号特征，对异常工况进行监测。优选而非限制性地，该异常工况监测定位系统还可包括画面预处理单元206，用于在空间标定之前，对声学相机的二维平面画面进行桶形畸变和枕形畸变的消除处理。
[0073]
进一步如图5所示，异常工况监测单元205可具体包括：数据比对子单元和故障判断子单元，数据比对子单元可用于将噪声源的位置以及采集到的噪声信号特征与故障数据库中的异常工况数据进行比对；故障判断子单元可用于判断可能发生的故障类型及程度并发出预警信息。
[0074]
实施例3
[0075]
本实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的异常工况监测定位方法，并实现相同的技术效果。
[0076]
实施例4
[0077]
本实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以上各个方面所述的异常工况监测定位方法，并实现相同的技术效果。
[0078]
实施例5
[0079]
图6是本实施例的异常工况监测定位电子设备的硬件结构示意图。该设备包括一个或多个处理器610以及存储器620。以一个处理器610为例。该设备还可以包括：输入装置630和输出装置640。
[0080]
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接。
[0081]
存储器620作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器610通过运行存储在存储器620中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
[0082]
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0083]
输入装置630可接收输入的数字或字符信息，以及产生信号输入。输出装置640可包括显示屏等显示设备。
[0084]
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行以下步骤：
[0085]
步骤a、对安装后的多个声学相机分别进行空间标定，将所述声学相机的二维平面画面与真实三维空间形成对应关系；
[0086]
步骤b、将监测目标的三维模型按照真实尺寸融合至所述真实三维空间的坐标系中；
[0087]
步骤c、根据所述监测目标部件和/或部位的划分，获取所述部件和/或部位的空间坐标范围；
[0088]
步骤d、将监测到的异常噪声源通过计算获取所述噪声源在所述真实三维空间的坐标系中的空间坐标值，并与所述部件和/或部位的空间坐标范围进行比对，获得所述噪声源的位置；
[0089]
步骤e、根据所述噪声源的位置以及采集到的噪声信号特征，对异常工况进行监测。
[0090]
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明其他实施例所提供的方法。
[0091]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0092]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0093]
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。针对上述示例性实施方案所做的任何简单修改、等同变化与修饰，都应落入本发明的保护范围。