基于多模态学习策略的多源数据编织系统处理方法及装置与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于多模态学习策略的多源数据编织系统处理方法及装置。


背景技术：

2.在电网中电力设备的运行过程中，会具有多种参数信息，例如温度、湿度等等。电力设备的温度又分为内在的部件温度、外在温度等等，相同的设备在处于不同的温度、湿度的情况下，其可能会具有不同的使用情况，使用状态，进而导致电力设备的故障情况是不同的。电力设备在运行过程中，正常的电力设备和故障的电力设备的热分布状态一般是不相同的，所以可以根据电力设备在运行过程中的湿度、温度等状态判断相应的电力设备是否可能出现故障，进而进行及时的维修处理。


技术实现要素：

3.本发明实施例提供一种基于多模态学习策略的多源数据编织系统处理方法及装置，能够将电网中待检测的电力设备的多模态信息与源数据编织结构相应的电力设备的多模态信息进行比对，判断相应的电力设备是否具有出现故障的可能，并进行有效的电力设备诊断提醒。
4.为解决上述问题，本发明提供以下技术方案：第一方面，本发明实施例提供一种基于多模态学习策略的多源数据编织系统处理方法，包括：获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息；获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合；获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合；根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度；对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息。
5.进一步地，获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息，包括：所述第一图像模态信息包括红外图像，根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域；统计每个子设备区域内的所有像素点的像素值生成相对应的子设备集合，根据所述子设备集合生成相对应的子设备热量；建立与所述第一图像模态信息所对应的图像信息栏，根据所述子设备热量、子设备区域生成与所述第一图像模态信息所对应的第一图像信息，将所述第一图像信息填充至所述图像信息栏。
6.进一步地，根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域，包括：选中红外图像中所有处于预设像素区间内的像素值所对应的像素点作为第一像素点，将所有相邻的第一像素点相连接生成多个一次初始区域；将所有未与其他第一像素点连接的第一像素点作为第二像素点，获取所述第二像素点与其相邻的多个第一像素点间的多个像素距离，以及多个第一像素点所处的一次初始区域内第一像素点的第一数量；根据所述多个像素距离、多个初始区域内第一像素点的第一数量确定与所述第二像素点对应的一次初始区域，将所有第二像素点分别划分至相对应的一次初始区域，得到所有一次初始区域分别对应的二次初始区域；获取所有二次初始区域内像素点的第二数量，若判断存在第二数量小于预设区域数量的二次初始区域，则将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域。
7.进一步地，获取所有二次初始区域内像素点的第二数量，若判断存在第二数量小于预设数量的二次初始区域，则将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域，包括：获取小于预设数量的二次初始区域内的第一中心像素点，以及获取相邻的二次初始区域内的第二中心像素点；获取所述第一中心像素点与每个第二中心像素点的距离得到区域间距离，将第一中心像素点所对应的二次初始区域作为第一待合并区域，将区域间距离最小的第二中心像素点所对应的二次初始区域作为第二待合并区域；对所述红外图像坐标化处理，获取所述第一待合并区域和第二待合并区域内每个像素点的第一坐标和第二坐标；分别提取所述第一待合并区域所有第一坐标的第一x轴坐标和第一y轴坐标，以及第二待合并区域所有第二坐标的第二x轴坐标和第二y轴坐标；若所有的第一x轴坐标分别与所有的第二x轴坐标相对应，且第一y轴坐标分别与所有的第二y轴坐标相对应，则根据所述第一x轴坐标、第一y轴坐标、第二x轴坐标、第二y轴坐标确定额外添加区域；将所述额外添加区域、第一待合并区域以及第二待合并区域合并得到子设备区
域。
8.进一步地，若所有的第一x轴坐标分别与所有的第二x轴坐标相对应，且第一y轴坐标分别与所有的第二y轴坐标相对应，则根据所述第一x轴坐标、第一y轴坐标、第二x轴坐标、第二y轴坐标确定额外添加区域，包括：选取所述第一y轴坐标中的第一y轴最大值和第一y轴最小值，标记所述第一y轴最大值所对应的坐标为第一连接点，标记所述第一y轴最小值所对应的坐标为第二连接点；选取所述第二y轴坐标中的第二y轴最大值和第二y轴最小值，标记所述第二y轴最大值所对应的坐标为第三连接点，标记所述第二y轴最小值所对应的坐标为第四连接点；根据所述第一连接点和所述第三连接点形成第一连接线，根据所述第二连接点和所述第四连接点形成第二连接线；基于所述第一连接线、所述第二连接线、第一待合并区域的边缘线、第二待合并区域的边缘线确定额外添加区域。
9.进一步地，获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合，包括：获取多源系统数据编织结构内每个编织节点的设备信息，若所述设备信息与第一设备相对应，则判断相应编织节点所对应的图像信息为与第一图像信息关联的第二图像信息；获取图像信息栏中第一图像信息所对应的所有子设备区域的第一区域数量，以及第二图像信息所对应的所有子设备区域的第二区域数量；若所述第一区域数量和第二区域数量相对应，则分别获取每个第一图像信息的子设备区域的第一区域中心坐标，以及每个第二图像信息的子设备区域的第二区域中心坐标；若所述第一区域中心坐标和第二区域中心坐标的距离小于预设区域距离，则判断第一图像信息和第二图像信息的相似度大于第一预设相似度，将第二图像信息作为第三图像信息；所述第一设备标签为故障或非故障，所述第一图像集合表征第一设备标签为故障的第三图像信息的集合，所述第二图像集合表征第一设备标签为非故障的第三图像信息的集合。
10.进一步地，根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，包括：将第一图像信息中每个子设备区域的像素点的像素值之和，与第一图像集合中每个第三图像信息的每个子设备区域的像素点的像素值之和进行比对，根据子设备区域的数量进行计算得到子故障图像差异信息；根据所有的子故障图像差异信息、第一图像集合中的图像数量，得到总故障图像差异信息；通过以下公式计算总故障图像差异信息：
其中，为总故障图像差异信息，为第个子故障图像差异信息，为子故障图像差异信息的数量的上限值，为子故障图像差异信息的数量值，为第一计算权重值，为第一图像集合中的图像数量，为第一常数值，为第个子故障图像差异信息，为第一图像信息中第个子设备区域的像素点的像素值之和，为子设备区域的数量的上限值，为第三图像信息中第个子设备区域的像素点的像素值之和，为第二常数值，为子设备区域的数量，为预设区域数量，为第一归一化值。
11.将第一图像信息中每个子设备区域的像素点的像素值之和，与第二图像集合中每个第三图像信息的每个子设备区域的像素点的像素值之和进行比对，根据子设备区域的数量进行计算得到子非故障图像差异信息；根据所有的子非故障图像差异信息、第二图像集合中的图像数量，得到总非故障图像差异信息。
12.进一步地，获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息，包括：所述第一传感模态信息包括湿度信息和温度信息，所述第二学习策略根据预设的湿度区间和温度区间对多个时刻的湿度信息和温度信息进行提取，得到异常温度检测值及异常湿度检测值；建立与所述第一传感模态信息所对应的传感信息栏，根据所述异常温度检测值、异常湿度检测值生成与所述第一传感模态信息所对应的第一传感信息，将所述第一传感信息填充至所述传感信息栏。
13.进一步地，获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合，包括：获取所述第一传感信息中的第一温度位置信息和第一湿度位置信息；确定与所述第一温度位置信息和第一湿度位置信息最接近的子设备区域作为温度子设备区域和湿度子设备区域；若其他第二传感信息的温度子设备区域和湿度子设备区域与第一传感信息的温度子设备区域和湿度子设备区域相对应，则判断所述第二传感信息与第一传感信息的数据相似度大于第二预设相似度。
14.进一步地，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中
每个检测值进行计算得到传感差异度，包括：获取传感信息栏中的异常温度检测值、异常湿度检测值，将异常温度检测值、异常湿度检测值与第一传感集合中的每个第三传感信息的节点温度检测值和节点湿度检测值进行比对，得到子故障传感差异信息；根据子故障传感差异信息、以及第一传感集合中第三传感信息的数量进行计算，得到总故障传感差异信息；通过以下公式计算总故障传感差异信息：其中，为总故障传感差异信息，为第一传感集合第个第三传感信息的子故障传感差异信息，为子故障传感差异信息的上限值，为子故障传感差异信息数量值，为第二计算权重值，为第二常数值，为第一传感集合中第三传感信息的数量，为第一传感集合第个第三传感信息的子故障传感差异信息，为湿度检测权重，为异常温度检测值，为节点温度检测值，为温度常数值，为湿度检测权重，为异常湿度检测值，为节点湿度检测值，为湿度常数值；将异常温度检测值、异常湿度检测值与第二传感集合中的每个第三传感信息的节点温度检测值和节点湿度检测值进行比对，得到子非故障传感差异信息；根据子非故障传感差异信息、以及第二传感集合中第三传感信息的数量进行计算，得到总非故障传感差异信息。
15.进一步地，对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息，包括：将总故障图像差异信息、总故障传感差异信息进行融合相加得到第一融合差异信息；将总非故障图像差异信息、总非故障传感差异信息进行融合相加得到第二融合差异信息；若所述第一融合差异信息小于等于第二融合差异信息，则输出故障提醒的第一故障提醒信息；若所述第一融合差异信息大于第二融合差异信息，则输出非故障提醒的第一故障提醒信息。
16.第二方面，本发明实施例提供一种基于多模态学习策略的多源数据编织系统处理装置，包括：处理模块，用于获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息；第一划分模块，用于获取多源系统数据编织结构内每个编织节点与所述第一图像
信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合；第二划分模块，用于获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合；计算模块，用于根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度；比对模块，用于对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息。
17.本发明具有以下有益效果：1、本方案利用对第一设备的第一图像模态信息（红外图像）和第一传感模态信息（温度、湿度）的处理，综合对第一设备是否故障进行准确判断；针对第一图像模态信息的处理，对本方案的多个编织节点内存储有的图像信息进行分类，得到故障的第一图像集合，以及非故障的第二图像集合，然后，会得到第一图像与以上两个集合的图像差异度，从而可以得到第一设备在工作部件是否过热维度上的故障判断；针对第一传感模态信息，本方案通过温度值、湿度值及对应位置的判断，以及对多个编织节点内存储的传感信息进行分类，得到故障的第一传感集合和非故障的第二传感集合的差异度，从而得到第一设备在某个部位是否过热或者过湿维度上的故障判断；最后，结合两个维度上的差值，综合准确的对第一设备进行故障的判断。
18.2、本方案会对红外图像进行分区拆分处理得到多个子设备区域，使得在进行故障检测时能够结合多个子设备区域的红外图像进行诊断，使得本发明会分别对每一个第一设备进行拆分，分区域比对、诊断，进而达到对总的第一设备化整为零、故障诊断的目的。并且，本发明会对红外图像进行坐标化处理，并根据第一x轴坐标、第一y轴坐标、第二x轴坐标、第二y轴坐标确定额外添加区域，使得本发明在根据像素点划分子设备区域时更加的精准。并且本发明可以根据连接点的连接线、边缘线确定额外添加区域。基于连接线和边缘线，使得本发明能够将无法通过像素值划分至相应子设备区域的像素点进行划分，合理确定子设备区域所对应的像素点，保障每个子设备区域的准确性，使得每个子设备区域与实际的子设备的对应度大幅提高。
19.3、本方案在对红外图像进行处理的过程中，设计了对第二像素点的划分方案，实现对第二像素点的精准归类；设计了将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域，实现对小部件区域的精准归类，其中，还对额外添加区域进行了确定，以实现小部件区域与对应的二次初始区域的连通；本方案通过以上方式的配合得到了红外图像精准的区域划分方案，来对红外图像的区域进行精准划分；4、本方案在计算总故障图像差异信息时，会计算第一图像信息中第个子设备区域的像素点的像素值之和与第三图像信息中第个子设备区域的像素点的像素值之和的
差值，可以得到较为准确的子故障图像差异信息，从而得到较为准确的总故障图像差异信息；此外，本方案还考虑到参与计算的数量，来对子故障图像差异信息和总故障图像差异信息进行偏移，进一步提高结果的准确性；本方案在计算总故障传感差异信息时，会计算温度影响值以及湿度影响值，来形成综合值，得到第一传感集合中第三传感信息的子故障传感差异信息，最后得到总故障传感差异信息，此外，在计算总故障传感差异信息时，本方案还考虑到第一传感集合中第三传感信息的数量的影响，来对总故障传感差异信息进行偏移，得到较为准确的总故障传感差异信息。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明实施例提供的一种基于多模态学习策略的多源数据编织系统处理方法的流程示意图；图2是本发明实施例提供的一种基于多模态学习策略的多源系统数据编织架构处理装置的结构示意图。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
23.图1是本发明实施例提供的一种基于多模态学习策略的多源数据编织系统处理方法的流程示意图，图1所示方法的执行主体可以是软件和/或硬件装置，本实施例对此不做限制。该方法包括步骤s1至步骤s5，具体如下：s1，获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息。
24.其中，第一设备可以是变压器、配电柜等需要监测的电力设备。
25.第一图像模态信息是针对第一设备生成的初始红外图像，例如可以是利用热成像设备针对第一设备采集到的初始红外图像。可以理解的是，电力设备在运行中，一般会产生热量，热成像设备可以据此对第一设备采集，得到第一设备的红外图像。可以理解的是，如果第一图像模态信息显示第一设备中某个区域过热，说明该第一设备可能会出现故障。
26.第一传感模态信息可以是第一设备中设置的传感器的采集信息，例如可以是初始温度信息、初始湿度信息等。可以理解的是，如果第一传感模态信息显示超出了阈值，会对第一设备的正常运行产生影响。
27.本方案在得到第一图像模态信息和第一传感模态信息后，会利用第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，利用第二学习策略对所述第一传感模态信息进行处理得到第一传感信息。
28.为了得到第一图像信息和第一传感信息，在一些实施例中，步骤s1（获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息）包括步骤s11至步骤s13，具体如下：s11，所述第一图像模态信息包括红外图像，根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域。
29.步骤s1中已经阐述第一图像模态信息包括红外图像，本方案会根据红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域。
30.可以理解的是，由于设备各区域的零部件不同，其工作时所产生的热量也不同，红外图像中所展示的各个区域的像素值也会有所不同，本方案会根据红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域。
31.为了得到多个子设备区域，在一些实施例中，步骤s11（所述第一图像模态信息包括红外图像，根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域）包括步骤s111至步骤s114，具体如下：s111，选中红外图像中所有处于预设像素区间内的像素值所对应的像素点作为第一像素点，将所有相邻的第一像素点相连接生成多个一次初始区域。
32.首先，本方案设置有预设像素区间，此预设像素区间可以是对应红外图像中指示该区域具备一定热量的像素值区间，可以理解的是，预设像素区间内像素点相较于黑色的像素点较亮，即在红外图像中位于该像素值区间内的像素点可以指示该处具有一定热量。
33.选中像素点之后，本方案会将所有相邻的第一像素点相连接生成多个一次初始区域，一次初始区域可以理解为第一设备中针对发热部位所在的区域，一个设备可能有多个发热部位，则对应的一次初始区域也具备对应的多个。
34.s112，将所有未与其他第一像素点连接的第一像素点作为第二像素点，获取所述第二像素点与其相邻的多个第一像素点间的多个像素距离，以及多个第一像素点所处的一次初始区域内第一像素点的第一数量。
35.在步骤s111得到一次初始区域后，本方案考虑到会存在一些未与其他第一像素点连接的第一像素点。为了对其进行归类，本方案会对所有未与其他第一像素点连接的第一像素点进行标记，将其标记为第二像素点。
36.在得到第二像素点之后，本方案会获取到第二像素点与其相邻的多个第一像素点间的多个像素距离，以及多个第一像素点所处的一次初始区域内第一像素点的第一数量。
37.示例性的，第二像素点a1相邻的多个第一像素点分别为第一像素点a2、第一像素点a3以及第一像素点a4，第二像素点a1与第一像素点a2、第一像素点a3以及第一像素点a4之间的像素距离分别为10cm、11cm和12cm，同时获取到第一像素点a2、第一像素点a3以及第一像素点a4所处的一次初始区域内第一像素点的第一数量分别为1000个、2000个以及3000个。
38.s113，根据所述多个像素距离、多个初始区域内第一像素点的第一数量确定与所述第二像素点对应的一次初始区域，将所有第二像素点分别划分至相对应的一次初始区域，得到所有一次初始区域分别对应的二次初始区域。
39.在步骤s112得到像素距离以及第一数量后，本方案会利用像素距离以及第一数量
对第二像素点进行划分，将所有第二像素点分别划分至相对应的一次初始区域，得到所有一次初始区域分别对应的二次初始区域。
40.在一些实施例中，本方案可以先根据像素距离对第二像素点进行划分，例如第二像素点a1与第一像素点a2、第一像素点a3以及第一像素点a4之间的像素距离分别为10cm、11cm和12cm，那么此时可以直接将第二像素点a1直接划分到第一像素点a2所在的一次初始区域内。
41.在另一些实施例中，如果像素距离相等的情况下，本方案可以依据第一数量来对第二像素点进行划分，例如，第二像素点a1与第一像素点a2和第一像素点a3之间的像素距离均为10cm，此时，第一像素点a2和第一像素点a3所处的一次初始区域内第一像素点的第一数量分别为1000个、2000个，那么就可以将第二像素点a1划分到第一数量较多的第一像素点a2所处的一次初始区域内。可以理解的是，第一数量越多的区域面积越大，第二像素点a1位于其区域内的概率越大，本方案可以依据该方式对第二像素点a1进行划分。
42.在第二像素点划分完毕后，本方案可以得到所有一次初始区域分别对应的二次初始区域，以上方式可以较为精准的实现区域的划分，以对后续的计算确保精准的数据基础。
43.s114，获取所有二次初始区域内像素点的第二数量，若判断存在第二数量小于预设区域数量的二次初始区域，则将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域。
44.本方案在得到二次初始区域后，会计算出所有二次初始区域内像素点的第二数量，例如可以是50个，然后将第二数量与预设区域数量进行比对，预设区域数量例如可以是1000个，将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域。
45.可以理解的是，在第一设备的发热部件周围可能会存在一些小部件，例如塑料件、固定件等部件，其在发热部件的影响下，也会具备一定热量，但是其像素点所构成的区域会比较小，区域像素值的数量也会较少，此时，本方案会对这种小区域进行归类，将其合并到对应的二次初始区域内。
46.为了对小区域进行归类，将其合并到对应的二次初始区域内，在一些实施例中，步骤s114（获取所有二次初始区域内像素点的第二数量，若判断存在第二数量小于预设区域数量的二次初始区域，则将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域）包括步骤s1141至步骤s1146，具体如下：s1141，获取小于预设数量的二次初始区域内的第一中心像素点，以及获取相邻的二次初始区域内的第二中心像素点。
47.示例性的，本方案将小于预设数量的二次初始区域标记为区域h1，将与其相邻的多个二次初始区域分别标记为区域h2和区域h3，则上述的第一中心像素点q1为区域h1的中心的像素点，第二中心像素点q2为区域h2的中心的像素点，第二中心像素点q3为区域h3的中心的像素点。
48.s1142，获取所述第一中心像素点与每个第二中心像素点的距离得到区域间距离，将第一中心像素点所对应的二次初始区域作为第一待合并区域，将区域间距离最小的第二中心像素点所对应的二次初始区域作为第二待合并区域。
49.在步骤s1141得到第一中心像素点和第二中心像素点之后，本方案会计算第一中心像素点与每个第二中心像素点的距离得到区域间距离。然后将第一中心像素点所对应的
二次初始区域作为第一待合并区域，将区域间距离最小的第二中心像素点所对应的二次初始区域作为第二待合并区域。
50.示例性的，第一中心像素点q1所对应的区域h1为第一待合并区域，第一中心像素点q1与第二中心像素点q2和第二中心像素点q3之间的区域间距离分别为3cm和5cm。此时，第二中心像素点q2的区域间距离最小，那么第二中心像素点q2所对应的区域h2为第二待合并区域。
51.s1143，对所述红外图像坐标化处理，获取所述第一待合并区域和第二待合并区域内每个像素点的第一坐标和第二坐标。
52.本方案为了将第一待合并区域和第二待合并区域合并到一起，需要先对红外图像坐标化处理，得到第一待合并区域和第二待合并区域内每个像素点的第一坐标和第二坐标。
53.s1144，分别提取所述第一待合并区域所有第一坐标的第一x轴坐标和第一y轴坐标，以及第二待合并区域所有第二坐标的第二x轴坐标和第二y轴坐标。
54.在得到第一坐标和第二坐标之后，本方案会统计所有的第一坐标的第一x轴坐标和第一y轴坐标，以及第二待合并区域所有第二坐标的第二x轴坐标和第二y轴坐标，然后利用以上坐标进行计算。
55.s1145，若所有的第一x轴坐标分别与所有的第二x轴坐标相对应，且第一y轴坐标分别与所有的第二y轴坐标相对应，则根据所述第一x轴坐标、第一y轴坐标、第二x轴坐标、第二y轴坐标确定额外添加区域。
56.其中，若所有的第一x轴坐标分别与所有的第二x轴坐标相对应的含义是指所有的第二x轴坐标均位于所有的第一x轴坐标的范围内，例如，第一x轴坐标的跨度为100-1000，第二x轴坐标的跨度为200-500，说明第二待合并区域在横向上是位于第一待合并区域的范围内的。
57.同理，若所有的第一y轴坐标分别与所有的第二y轴坐标相对应的含义是指所有的第二y轴坐标均位于所有的第一y轴坐标的范围内，例如，第一y轴坐标的跨度为50-500，第二y轴坐标的跨度为200-300，说明第二待合并区域在竖向上是位于第一待合并区域的范围内的。
58.如果第二待合并区域在横向上是位于第一待合并区域的范围内，且第二待合并区域在竖向上是位于第一待合并区域的范围内，那么就可以利用第一x轴坐标、第一y轴坐标、第二x轴坐标、第二y轴坐标确定出额外添加区域。
59.为了利用第一x轴坐标、第一y轴坐标、第二x轴坐标、第二y轴坐标确定出额外添加区域，在一些实施例中，步骤s1145（若所有的第一x轴坐标分别与所有的第二x轴坐标相对应，且第一y轴坐标分别与所有的第二y轴坐标相对应，则根据所述第一x轴坐标、第一y轴坐标、第二x轴坐标、第二y轴坐标确定额外添加区域）包括步骤s11451至步骤s11454，具体如下：s11451，选取所述第一y轴坐标中的第一y轴最大值和第一y轴最小值，标记所述第一y轴最大值所对应的坐标为第一连接点，标记所述第一y轴最小值所对应的坐标为第二连接点。
60.本方案为了确定额外添加区域，会在第一待合并区域和第二待合并区域上找到相
应的连接点，然后由连接点构造连接线，从而与第一待合并区域和第二待合并区域形成额外添加区域。
61.本步骤是找到第一y轴最大值所对应的坐标为第一连接点（第一待合并区域的最上边的点），并找到第一y轴最小值所对应的坐标为第二连接点（第一待合并区域最下方的点）。
62.s11452，选取所述第二y轴坐标中的第二y轴最大值和第二y轴最小值，标记所述第二y轴最大值所对应的坐标为第三连接点，标记所述第二y轴最小值所对应的坐标为第四连接点。
63.与步骤s11451同理，本方案会找到第二y轴最大值所对应的坐标为第三连接点（第二待合并区域的最上边的点），并找到第二y轴最小值所对应的坐标为第四连接点（第二待合并区域最下方的点）。
64.s11453，根据所述第一连接点和所述第三连接点形成第一连接线，根据所述第二连接点和所述第四连接点形成第二连接线。
65.本方案在确定第一连接点、第二连接点、第三连接点和第四连接点后，会将对应的最高点连接，以及将对应的最低点连接，即本方案中的第一连接点和第三连接点形成第一连接线，第二连接点和第四连接点形成第二连接线。
66.s11454，基于所述第一连接线、所述第二连接线、第一待合并区域的边缘线、第二待合并区域的边缘线确定额外添加区域。
67.可以理解的是，在得到第一连接线和第二连接线后，第一连接线、第二连接线与第一待合并区域和第二待合并区域的边缘线之间会形成一个区域，把该区域确定为额外添加区域即可。
68.需要说明的是，上述实施例中，第一连接点、第二连接点、第三连接点和第四连接点会存在有多个的情况，这种情况下，本方案只需要找到距离最短的点即可。示例性的，第一连接点有多个，只需要找到距离第二待合并区域最近的第一连接点，将其作为最终的第一连接点即可，其他连接点也是类似，在此不再赘述。
69.s12，统计每个子设备区域内的所有像素点的像素值生成相对应的子设备集合，根据所述子设备集合生成相对应的子设备热量。
70.在步骤s11对子设备区域进行精准划分后，本方案会计算每个子设备区域内的所有像素点的像素值生成相对应的子设备集合，然后对子设备集合生成相对应的子设备热量。可以理解的是，本方案是以像素值大小来体现子设备热量的，例如，像素值越大，说明子设备热量越高。
71.s13，建立与所述第一图像模态信息所对应的图像信息栏，根据所述子设备热量、子设备区域生成与所述第一图像模态信息所对应的第一图像信息，将所述第一图像信息填充至所述图像信息栏。
72.本方案还会建立与第一图像模态信息所对应的图像信息栏，然后将子设备热量、子设备区域生成的第一图像信息填充到图像信息栏中，对该第一图像模态信息进行标记。
73.s2，获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集
合与第二图像集合。
74.多源系统数据编织结构可以看作是具有多个不同的电力数据源所构建的数据结构，多源系统数据编织结构中会包括多个区域，每个区域对应一个电力数据源，每个电力数据源会具有多种不同的设备，不同的设备会具有与其相对应的图像模态信息、传感模态信息，并且具有该设备在相应图像模态信息、传感模态信息的故障状态，故障状态包括该设备故障或非故障。
75.可以理解的是，现有技术中，可以利用多源数据编织系统形成数据编织结构，对多源数据融合，多源数据编织系统结构内具备多个用于编织电力设备数据的编织节点。编织节点内例如可以存储电力设备的图像信息、温度信息、湿度信息等多种维度的信息，本方案所需要用到的维度信息均可以在编织节点内得到。
76.本方案会获取到每个编织节点与第一图像信息关联的第二图像信息，然后对第二图像信息进行分类，将其划分为第一图像集合和第二图像集合。
77.在一些实施例中，步骤s2包括步骤s21至步骤s25，具体如下：s21，获取多源系统数据编织结构内每个编织节点的设备信息，若所述设备信息与第一设备相对应，则判断相应编织节点所对应的图像信息为与第一图像信息关联的第二图像信息。
78.可以理解的是，多源系统数据编织结构内存在多个编织节点，每个编织节点所编织的数据可以是不同的。
79.本方案会先找到多源系统数据编织结构内每个编织节点的设备信息，设备信息例如可以是变压器等电力设备，如果说有编织节点内的设备信息与第一设备相对应，那么可以判断相应编织节点所对应的图像信息为与第一图像信息关联的第二图像信息。
80.例如，第一设备为变压器，编织节点a对应的设备信息也为变压器，那么可以将编织节点a所对应的图像信息作为与第一图像信息关联的第二图像信息。
81.可以理解的是，二者都是变压器的图像信息，只有设备信息相同的图片才具有可比度。
82.s22，获取图像信息栏中第一图像信息所对应的所有子设备区域的第一区域数量，以及第二图像信息所对应的所有子设备区域的第二区域数量。
83.本方案会先得到对应第一图像信息的子设备区域的第一区域数量，以及对应第二图像信息的所有子设备区域的第二区域数量。然后会对第一区域数量和第二区域数量进行比对，以判断二者的子设备区域是否相对应。
84.s23，若所述第一区域数量和第二区域数量相对应，则分别获取每个第一图像信息的子设备区域的第一区域中心坐标，以及每个第二图像信息的子设备区域的第二区域中心坐标。
85.可以理解的是，如果说第一区域数量和第二区域数量相对应，那么说明二者具有一定相似度，再进行步骤s24的判断操作；如果说第一区域数量和第二区域数量不对应，那么说明二者不具备相似度，无需再进行步骤s24的判断操作，直接得到比对结果即可，可以减少服务器的数据处理量。
86.本方案在第一区域数量和第二区域数量相对应后，会获取到每个第一图像信息的子设备区域的第一区域中心坐标，以及每个第二图像信息的子设备区域的第二区域中心坐
标，用于后续计算。
87.s24，若所述第一区域中心坐标和第二区域中心坐标的距离小于预设区域距离，则判断第一图像信息和第二图像信息的相似度大于第一预设相似度，将第二图像信息作为第三图像信息。
88.本方案会先计算第一区域中心坐标和第二区域中心坐标的距离，如果说第一区域中心坐标和第二区域中心坐标的距离小于预设区域距离，说明两个图像中的子设备区域在图片中的位置相同，说明二者具有一定相似度，此时会判断第一图像信息和第二图像信息的相似度大于第一预设相似度，将第二图像信息作为第三图像信息。
89.本步骤可以筛选出具有一定相似度的第二图像信息作为第三图像信息，无需对所有的第二图像进行处理，可以减少服务器的数据处理量。
90.s25，所述第一设备标签为故障或非故障，所述第一图像集合表征第一设备标签为故障的第三图像信息的集合，所述第二图像集合表征第一设备标签为非故障的第三图像信息的集合。
91.得到第三图像信息后，本方案会利用故障或非故障的第一设备标签来对第三图像进行划分，将其分为两类，即第一图像集合和第二图像集合，其中，第一图像集合为故障的第三图像信息的集合，第二图像集合为非故障的第三图像信息的集合。
92.s3，获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合。
93.可以理解的是，步骤s1和步骤s2是对第一图像信息进行处理的，步骤s3是对第一传感信息进行处理的。
94.本方案会先找到多源系统数据编织结构内与第一传感信息关联的第二传感信息，将与第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合。
95.其中，得到第三图像信息后，本方案会利用故障或非故障的第二设备标签来对第三传感信息进行划分，将其分为两类，即第一传感集合和第二传感集合，其中，第一传感集合为故障的第三传感信息的集合，第二传感集合为非故障的第三传感信息的集合。
96.s4，根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度。
97.本方案在得到第一图像信息后，会将第一图像信息中的像素点与第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，然后利用图像差异度得到与第一图像信息相关的比对结果。
98.同理，本方案在得到第一传感信息后，会将第一传感信息中的检测值与第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度，然后利用传感差异度得到与第一传感信息相关的比对结果。
99.在一些实施例中，步骤s4中的（在根据第一图像信息中的像素点与所述第一图像
集合和第二图像集合中每个图像的像素点进行计算得到图像差异度）包括s41至步骤s45，具体如下：s41，将第一图像信息中每个子设备区域的像素点的像素值之和，与第一图像集合中每个第三图像信息的每个子设备区域的像素点的像素值之和进行比对，根据子设备区域的数量进行计算得到子故障图像差异信息。
100.s42，根据所有的子故障图像差异信息、第一图像集合中的图像数量，得到总故障图像差异信息；通过以下公式计算总故障图像差异信息：其中，为总故障图像差异信息，为第个子故障图像差异信息，为子故障图像差异信息的数量的上限值，为子故障图像差异信息的数量值，为第一计算权重值，为第一图像集合中的图像数量，为第一常数值，为第个子故障图像差异信息，为第一图像信息中第个子设备区域的像素点的像素值之和，为子设备区域的数量的上限值，为第三图像信息中第个子设备区域的像素点的像素值之和，为第二常数值，为子设备区域的数量，为预设区域数量，为第一归一化值。
101.上述计算公式的基本构思为：本方案首先利用第一图像信息中第个子设备区域的像素点的像素值之和和第三图像信息中第个子设备区域的像素点的像素值之和，计算出二者的差值，然后对差值进行求和，最后与第二常数值进行比对，得到初始的子故障图像差异信息。
102.此外，本方案还考虑到子故障图像差异信息越多，处理的数据量就会越大，对于子故障图像差异信息的影响也就越多，那么本方案可以将子故障图像差异信息调整的相对小一些，使其更加偏向于实际子故障图像差异信息；同理，子故障图像差异信息越少，处理的数据量就会越少，对于子故障图像差异信息的影响也就越少，那么本方案可以将子故障图像差异信息调整的相对大一些，使其更加偏向于实际子故障图像差异信息。
103.本方案设置的第一归一化值可以是人为设置的，用于对子故障图像差异信息进行调整，使其更加精准。
104.在得到子故障图像差异信息之后，本方案会根据所有的子故障图像差异信息、第一图像集合中的图像数量，得到总故障图像差异信息，其中，的含义
是说第一图像集合中的图像数量越多，处理的数据量就会越大，对于总故障图像差异信息的影响也就越多，那么本方案可以将总故障图像差异信息调整的相对小一些，使其更加偏向于实际总故障图像差异信息；同理，第一图像集合中的图像数量越少，处理的数据量就会越少，对于总故障图像差异信息的影响也就越大，那么本方案可以将总故障图像差异信息调整的相对大一些，使其更加偏向于实际总故障图像差异信息；第一计算权重值可以是人为设置的，用于对总故障图像差异信息进行调整，使其更加精准。
105.s43，将第一图像信息中每个子设备区域的像素点的像素值之和，与第二图像集合中每个第三图像信息的每个子设备区域的像素点的像素值之和进行比对，根据子设备区域的数量进行计算得到子非故障图像差异信息。
106.s44，根据所有的子非故障图像差异信息、第二图像集合中的图像数量，得到总非故障图像差异信息。
107.步骤s43与步骤s44的计算方式以及原理与步骤s41和步骤s42类似，在此不再赘述。
108.在上述实施例的基础上，所述获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息具体包括：所述第一传感模态信息包括湿度信息和温度信息，所述第二学习策略根据预设的湿度区间和温度区间对多个时刻的湿度信息和温度信息进行提取，得到异常温度检测值及异常湿度检测值。
109.可以理解的是，本方案预设有湿度区间和温度区间，然后利用湿度区间和温度区间对湿度信息和温度信息进行提取，得到异常温度检测值及异常湿度检测值。
110.例如，在某个时刻，温度信息不在温度区间内，或者湿度信息不在湿度区间内，本方案会判断其为异常温度检测值和异常湿度检测值，然后对其进行记录。
111.需要说明的是，本方案只提取异常值，而不是所有采集值都会提取，可以减少服务器的数据处理量。
112.建立与所述第一传感模态信息所对应的传感信息栏，根据所述异常温度检测值、异常湿度检测值生成与所述第一传感模态信息所对应的第一传感信息，将所述第一传感信息填充至所述传感信息栏。
113.本方案在得到异常温度检测值、异常湿度检测值后，生成第一传感信息，然后将第一传感信息填充到传感信息栏中进行记录。
114.在一些实施例中，获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合具体包括：获取所述第一传感信息中的第一温度位置信息和第一湿度位置信息。
115.确定与所述第一温度位置信息和第一湿度位置信息最接近的子设备区域作为温度子设备区域和湿度子设备区域。
116.首先，本方案会得到第一传感信息中的第一温度位置信息和第一湿度位置信息，第一温度位置信息可以是温度传感器所监测的位置，第一湿度位置新可以是湿度传感器所监测的位置；然后，找到与第一温度位置信息和第一湿度位置信息最接近的子设备区域作为对应的温度子设备区域和湿度子设备区域。在某种情况下，如果第一温度位置信息和第一湿度位置信息较为接近，则此时根据第一温度位置信息和第一湿度位置信息所对应的温度子设备区域和湿度子设备区域可以是同一个子设备区域。
117.若其他第二传感信息的温度子设备区域和湿度子设备区域与第一传感信息的温度子设备区域和湿度子设备区域相对应，则判断所述第二传感信息与第一传感信息的数据相似度大于第二预设相似度。
118.本方案会判断其他第二传感信息的温度子设备区域和湿度子设备区域与第一传感信息的温度子设备区域和湿度子设备区域是否相对应，如果对应，说明第二传感信息与第一传感信息的数据相似度大于第二预设相似度。
119.在一些实施例中，步骤s4中的（根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度）包括s46至s49，具体如下：s46，获取传感信息栏中的异常温度检测值、异常湿度检测值，将异常温度检测值、异常湿度检测值与第一传感集合中的每个第三传感信息的节点温度检测值和节点湿度检测值进行比对，得到子故障传感差异信息。
120.s47，根据子故障传感差异信息、以及第一传感集合中第三传感信息的数量进行计算，得到总故障传感差异信息。
121.通过以下公式计算总故障传感差异信息：其中，为总故障传感差异信息，为第一传感集合第个第三传感信息的子故障传感差异信息，为子故障传感差异信息的数量的上限值，为子故障传感差异信息数量值，为第二计算权重值，为第二常数值，为第一传感集合中第三传感信息的数量，为第一传感集合第个第三传感信息的子故障传感差异信息，为湿度检测权重，为异常温度检测值，为节点温度检测值，为温度常数值，为湿度检测权重，为异常湿度检测值，为节点湿度检测值，为湿度常数值。
122.上述技术公式的基本构思为：本方案利用异常温度检测值与节点温度检测值的差值计算出温度差异信息，利用异常湿度检测值和节点湿度检测值的差值，计算出湿度差异信息，然后将温度差异信息和湿度差异信息综合，得到第一传感集合第个第三传感信息的子故障传感差
异信息；本方案设置的湿度检测权重和湿度检测权重可以是人为设置的，用于使得对应的温度差异信息和湿度差异信息较为准确。
123.在得到第一传感集合第个第三传感信息的子故障传感差异信息之后，本方案可以利用得到初始总故障传感差异信息；其中，的含义是说第一传感集合中第三传感信息的数量越多，处理的数据量就会越大，对于总故障传感差异信息的影响也就越多，那么本方案可以将总故障传感差异信息调整的相对小一些，使其更加偏向于实际总故障传感差异信息；同理，第一传感集合中第三传感信息的数量越少，处理的数据量就会越小，对于总故障传感差异信息的影响也就越大，那么本方案可以将总故障传感差异信息调整的相对大一些，使其更加偏向于实际总故障传感差异信息；第二计算权重值可以是人为设置的，用于对总故障传感差异信息进行调整，使其更加精准。
124.s48，将异常温度检测值、异常湿度检测值与第二传感集合中的每个第三传感信息的节点温度检测值和节点湿度检测值进行比对，得到子非故障传感差异信息。
125.s49，根据子非故障传感差异信息、以及第二传感集合中第三传感信息的数量进行计算，得到总非故障传感差异信息。
126.步骤s48与步骤s49的计算方式以及原理与步骤s46和步骤s47类似，在此不再赘述。
127.s5，对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息。
128.本方案在得到图像差异度和传感差异度之后，会对图像差异度和传感差异度进行融合比对，得到第一比对结果，以更加全面准确的生成第一故障提醒信息。
129.在一些实施例中，对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息具体包括：将总故障图像差异信息、总故障传感差异信息进行融合相加得到第一融合差异信息；将总非故障图像差异信息、总非故障传感差异信息进行融合相加得到第二融合差异信息。
130.首先，本方案会先将总故障图像差异信息、总故障传感差异信息采用相加的方式得到第一融合差异信息，然后将总非故障图像差异信息、总非故障传感差异信息采用相加的方式得到第二融合差异信息。
131.在实际应用中，融合不一定采用相加的方式，也可以是相乘等方式，能过将对应的数据融合在一起即可，本方案对此不做限制。
132.若所述第一融合差异信息小于等于第二融合差异信息，则输出故障提醒的第一故障提醒信息；若所述第一融合差异信息大于第二融合差异信息，则输出非故障提醒的第一故障提醒信息。
133.可以理解的是，如果说第一融合差异信息小于等于第二融合差异信息，那么说明
第一设备存在故障的可能性较大，此时可以输出故障提醒的第一故障提醒信息；同理，如果说第一融合差异信息大于第二融合差异信息，那么说明第一设备存在故障的可能性较小，则输出非故障提醒的第一故障提醒信息。
134.参见图2，是本发明实施例提供的一种基于多模态学习策略的多源系统数据编织架构处理装置的结构示意图，该基于多模态学习策略的多源系统数据编织架构处理装置包括：处理模块，用于获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息；第一划分模块，用于获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合；第二划分模块，用于获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合；计算模块，用于根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度；比对模块，用于对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息。
135.图2所示实施例的装置对应地可用于执行图1所示方法实施例中的步骤，其实现原理和技术效果类似，此处不再赘述。
136.通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
137.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。