一种变电站视频三维场景融合方法与流程

1.本发明涉及变电站视频三维场景融合领域，尤其涉及一种变电站视频三维场景融合方法。


背景技术：

2.无人值守和远程监控是我国变电站近年来的重要发展方向。三维场景可以更为直观、清晰的展示变电站内的建筑结构、设备部署及设备实时状态。因此，在变电站远程监控系统中得到越来越广泛的引用。
3.目前，变电站内三维场景对于设备状态的实时展示，主要是通过三维动画的方式展示后台监控系统采集到的设备状态数据。然而，变电站中许多表计、开关等监测点状态还不能通过传感器等监测设备采集到数据，因此难以在三维场景上得到展示。


技术实现要素：

4.针对上述技术问题，本发明的主要目的在于提供一种变电站视频三维场景融合方法，用于将视频图像中的表计、开关等状态的实时图像切割、分离后，融入三维场景中，从而实现在变电站三维场景中实时展示各种设备状态的功能，为变电站无人值守和远程监控的实现提供技术支撑。
5.为实现上述目的，本发明提供一种变电站视频三维场景融合方法，包括步骤：s1，获取变电站的建筑与设备的三维模型，在所述三维模型中定义欲进行融合的视频监测点位；s2，逐个获取每个所述视频监测点位对应的摄像头采集到的视频数据，并根据所述视频数据逐一计算得到对每个所述视频监测点的监测参数和图形融合匹配参数；其中，所述监测参数包括所述摄像头的拍摄对准方向参数和放大倍数，所述图形融合匹配参数包括从所述视频数据中进行图像切割提取的位置参数，切割提取后的图像数据在所述三维模型进行投影的拼接参数；s3，根据预设的视频推送帧率获取每个所述视频监测点位对应的摄像头采集的到的所述视频数据，根据所述图形融合匹配参数对所述视频数据中的图像进行切割与分离后，在所述三维模型中进行拼接，得到视频三维场景融合图像。
6.进一步的，所述步骤s1之前包括：基于变电站设计图纸与现场勘察数据与照片，通过网格建模法建立所述变电站的建筑与设备三维模型，所述三维模型展示内容包括：建筑结构与表计、开关等设备的外观形状、坐标与尺寸。
7.进一步的，所述步骤s2中的根据所述视频数据逐一计算得到对每个所述视频监测点的监测参数和图形融合匹配参数的步骤，包括：s21，在所述三维模型的场景中获取所需替换的设备的边界点t：t1，t2……
t
n
，根据所述边界点t计算出该边界的中心点t
c
；其中，n大于3；s22，将所述边界点t围绕形成的所需替换的设备区域分割为n个由任意两个连续
的边界点t与中心点t
c
构成的三角形tr：tr
12c
，tr
23c
……
tr
(n
‑
1)nc
，tr
n1c
；并将所述三角形tr对应的三维模型片元分解为对应的三维模型片元序列trp：trp
12c
，trp
23c
……
trp
(n
‑
1)nc
，trp
n1c
s23，在所述视频数据中获取所述需替换设备的边界点s：s1，s2……
s
n
，根据所述边界点s计算出该边界的中心点s
c
；s24，将所述边界点s围绕形成的所需替换的设备区域分割为n个由任意两个连续的边界点s与中心点s
c
构成的三角形sr：sr
12c
，sr
23c
……
sr
(n
‑
1)nc
，sr
n1c
；s25，将所述三角形sr对应的图像从所述视频数据中提取出来，并对应投影到所述三角形tr中，并覆盖到对应的三维模型片元序列trp
12c
，trp
23c
……
trp
(n
‑
1)nc
，trp
n1c
中，将当前的所述边界点t、中心点t
c
、三角形tr、边界点s、中心点s
c
以及三角形sr记录为所述图形融合匹配参数。
8.进一步的，所述步骤s25包括：s251，从所述视频数据中提取所述三角形sr对应的图像；s252，基于三角投影算法，将提取出来的所述三角形sr对应的图像投影到所述三角形tr中；s253，将提取出来的所述三角形sr对应的图像覆盖到对应的三维模型片元序列trp
12c
，trp
23c
……
trp
（n
‑
1n）c
，trp
n1c
中。
9.进一步的，所述步骤s21之前还包括：调整所述三维模型的场景摄像头到场景设备平面的距离、方向以及放大倍数，使实际三维变电站摄像头到设备中心点的距离和方向与所述三维模型一致，以使所述三维场景中展示的所述频监测点位所监控到的是所述表计、开关等设备的正面图像，并将所述距离、方向以及放大倍数作为所述视频监测点的监测参数。
10.进一步的，步骤s2还包括：对所述步骤s25融合后的三维场景的效果及覆盖到对应的所述三维模型片元中的效果进行确认，在效果符合预设条件时，进入后续步骤，在效果不符合预设条件时，返回步骤s21。
11.进一步的，步骤s2还包括步骤：根据所述三维场景展示和/或监控需要设置视频推送帧率。
12.进一步的，步骤s25还包括步骤：s253，将提取出来的所述三角形sr对应的图像进行校正投影后，覆盖到对应的三维模型片元序列trp
12c
，trp
23c
……
trp
(n
‑
1)nc
，trp
n1c
中。
13.进一步的，所述校正投影的图像投影校正方法为：计算sr
(n
‑
1)nc
中任意一个像素sp
i
到s
(n
‑
1)
、s
n
和s
(n 1)
的距离l
is(n
‑
1)
、l
isn
和l
is(n 1)
，设sp
i
在trp
(n
‑
1)nc
中对应的投影点tp
i
坐标为（x，y），则分别对应满足该投影点到t
(n
‑
1)
、t
n
和t
(n 1)
的距离l
it(n
‑
1)
、l
i
t
n
和l
it(n 1)
应满足方程式：l
it(n
‑
1)
=k*l
is(n
‑
1)
ꢀꢀ
（式1）l
itn
=k*l
isn
ꢀꢀꢀꢀꢀ
ꢀꢀꢀꢀ
（式2）l
it(n 1)
=k*l
is(n 1)
ꢀꢀꢀꢀꢀꢀ
（式3）所述k为固定常数，联立所述的三个方程式，解出所述tp
i
坐标x，y。
14.本发明的技术方案中，变电站视频三维场景融合方法将视频图像中的表计、开关等状态的实时图像切割、分离、校正后，融入三维场景中，从而实现在变电站三维场景中实时展示各种设备状态的功能。相对于将变电站中的各种表计和开关改造为带数据采集功能
的数字化设备，能更简便的实现变电站的无人值守和远程监控。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
16.图1为本发明中一个实施例变电站视频三维场景融合方法的整体流程图；图2为本发明一个实施例中步骤s2的子步骤流程图；图3为本发明一个实施例中步骤s25的子步骤流程图；图4为本发明一个具体实施例中视频图像和三维场景边界标定和图像投影校正方法示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.参考图1，本发明提供一种变电站视频三维场景融合方法，包括步骤：s1，获取变电站的建筑与设备的三维模型，在三维模型中定义欲进行融合的视频监测点位。
19.具体来说，变电站由建筑与设备组成，建筑包括固定建筑物、道路间隙等；设备包括各种仪器、电器、开关等。
20.进一步的，步骤s1包括：基于变电站设计图纸与现场勘察数据与照片，通过网格建模法建立变电站的建筑与设备三维模型，三维模型展示内容包括：建筑结构与表计、开关等设备的外观形状、坐标与尺寸。依据变电站内的设计图纸、现场测量和拍照，采用网格建模法建立变电站内的建筑和设备三维模型，本实施例中三维模型的精度应达到可准确展示设备表计、开关外观形状且坐标、尺寸数据准确。
21.在三维模型中定义欲进行融合的视频监测点位的确定可以是直接接收用户的指定，在三维模型中进行定义，可以在三维模型的建立时设定需要进行视频监测的点位，本领域技术人员只需要能够进行点位的指定即可，在此不再赘述。
22.s2，逐个获取每个所述视频监测点位对应的摄像头采集到的视频数据，并根据视频数据逐一计算得到对每个所述视频监测点的监测参数和图形融合匹配参数；其中，监测参数包括摄像头的拍摄对准方向参数和放大倍数，图形融合匹配参数包括从视频数据中进行图像切割提取的位置参数，切割提取后的图像数据在所述三维模型进行投影的拼接参数。
23.其中，确定所述监测参数可以是用户对每个视频数据进行确认，手动调整出或者根据建筑物和设备的已知参数自动匹配对应的摄像头的拍摄对准方向参数和放大倍数等。
24.其中，确定图形融合匹配参数，可以是用户对每个视频数据进行确认，按照预设的
融合算法进行模拟融合，选择最佳的模拟效果后，记录最佳效果的当前融合参数。
25.s3，根据预设的视频推送帧率获取每个视频监测点位对应的摄像头采集的到的视频数据，根据图形融合匹配参数对视频数据中的图像进行切割与分离后，在所述三维模型中进行拼接，得到视频三维场景融合图像。
26.通过上述步骤，变电站视频三维场景融合方法通过获取变电站的建筑与设备的三维模型，对三维模型中的视频监测点位进行预定义后获取对应采集的视频数据并计算出监测参数和图形融合的匹配参数，根据图形融合匹配参数对视频数据中的图像进行切割与分离后，在所述三维模型中进行拼接，得到视频三维场景融合图像。本融合方法通过将视频图像中的表计、开关等状态的实时图像切割、分离、校正后，融入三维场景中，从而实现在变电站三维场景中实时展示各种设备状态的功能，相对于将变电站中的各种表计和开关改造为带数据采集功能的数字化设备，能更简便的实现变电站的无人值守和远程监控，节省人力物力。
27.进一步的，步骤s2中根据视频数据逐一计算得到对每个视频监测点的监测参数和图形融合匹配参数的步骤，包括：s21，在三维模型的场景中获取所需替换的设备的边界点t：t1，t2……
t
n
，根据边界点t计算出该边界的中心点t
c
；其中，n大于3。本实施例中手动在三维场景中逐点标出所需替换设备的边界点：t1，t2……
t
n
，系统自动计算出边界的中心点位t
c
。
28.s22，将边界点t围绕形成的所需替换的设备区域分割为n个由任意两个连续的边界点t与中心点t
c
构成的三角形tr：tr
12c
，tr
23c
……
tr
(n
‑
1)nc
，tr
n1c
；并将所述三角形tr对应的三维模型片元分解为对应的三维模型片元序列trp：trp
12c
，trp
23c
……
trp
(n
‑
1)nc
，trp
n1c
。本实施例中将整个所需替换设备区域分割为n个由任意两个连续的边界点与中心点构成的三角形：tr
12c
，tr
23c
……
tr
（n
‑
1）nc
，tr
n1c
；并将对应的三维模型片元分解为对应的片元序列trp
12c
，trp
23c
……
trp
（n
‑
1）nc
，trp
n1c
。
29.s23，在视频数据中获取需替换设备的边界点s：s1，s2……
s
n
，根据边界点s计算出该边界的中心点s
c
。本实施例中手动在对应的视频图像中逐点标出所需替换设备的边界点：s1，s2……
s
n
，系统自动计算出边界的中心点位s
c
。
30.s24，将边界点s围绕形成的所需替换的设备区域分割为n个由任意两个连续的边界点s与中心点sc构成的三角形sr：sr
12c
，sr
23c
……
sr
（n
‑
1）nc
，sr
n1c
。本实施例中将整个所需替换设备区域分割为n个由任意两个连续的边界点与中心点构成的三角形：sr
12c
，sr
23c
……
sr
（n
‑
1）nc
，sr
n1c
。
31.s25，将所述三角形sr对应的图像从视频数据中提取出来，并对应投影到三角形tr中，并覆盖到对应的三维模型片元序列trp
12c
，trp
23c
……
trp
（n
‑
1）nc
，trp
n1c
中。系统会基于三角形投影算法，将sr
12c
，sr
23c
……
sr
（n
‑
1）nc
，sr
n1c
区域中的图像分别分离出来，投影变换到tr
12c
，tr
23c
……
tr
（n
‑
1）nc
，tr
n1c
区域中，并覆盖到对应的三维模型片元序列trp
12c
，trp
23c
……
trp
（n
‑
1）nc
，trp
n1c
中，将当前的所述边界点t、中心点t
c
、三角形tr、边界点s、中心点s
c
以及三角形sr记录为所述图形融合匹配参数。图形融合后如果效果不理想，可以重新返回步骤s21，重新标注边界点位，直到获得理想的效果。
32.进一步的，所述步骤s25包括：s251，从视频数据中提取三角形sr对应的图像；
s252，基于三角投影算法，将提取出来的三角形sr对应的图像投影到三角形tr中；s253，将提取出来的三角形sr对应的图像覆盖到对应的三维模型片元序列trp
12c
，trp
23c
……
trp
n
‑
1nc
，trp
n1c
中进行融合。
33.进一步的，步骤s21之前还包括：调整所述三维模型的场景摄像头到场景设备平面的距离、方向以及放大倍数，使实际三维变电站摄像头到设备中心点的距离和方向与所述三维模型一致，以使所述三维场景中展示的所述频监测点位所监控到的是所述表计、开关等设备的正面图像，并将所述距离、方向以及放大倍数作为所述视频监测点的监测参数。本实施例中让三维场景摄像头视角正对该监测点位关注的设备平面，三维场景摄像头到设备平面的距离与实际视频摄像头到设备中心点的距离保持一直，在三维场景中展示该监测点位关注的设备正面图像。
34.进一步的，步骤s2还包括：对所述步骤s25融合后的三维场景的效果及覆盖到对应的三维模型片元中的效果进行确认，在效果符合预设条件时，进入后续步骤，在效果不符合预设条件时，返回步骤s21。融合后的三维场景的效果是否理想，可以认为判定也可以通过预设条件判定。
35.进一步的，步骤s2还包括步骤：根据所述三维场景展示和/或监控需要设置视频推送帧率。本实施例依据三维场景展示和设备监控设置需要的视频推送的帧率，通常该帧率低于摄像头视频拍摄的帧率。
36.进一步的，步骤s25还包括步骤：s253，将提取出来的三角形sr对应的图像进行校正投影后，覆盖到对应的三维模型片元序列trp
12c
，trp
23c
……
trp
n
‑
1nc
，trp
n1c
中。调取该监测点位的图像融合匹配参数，对视频图像进行切割、分离，发送到系统，系统将视频图像进行校正投影后，贴合到对应的三维模型片元上。
37.在一具体实例中，在视频数据中提取三角形sr对应的图像后，基于三角投影算法，将提取出来的三角形sr对应的图像投影到三角形tr中；再将提取出来的三角形sr对应的图像覆盖到对应的三维模型片元序列trp中，在图像覆盖到对应的三维模型片元序列trp中会出现对应偏差，需要进行投影校正。校正投影的图像投影校正方法为：计算sr
(n
‑
1)nc
中任意一个像素sp
i
到s
(n
‑
1)
、s
n
和s
(n 1)
的距离l
is(n
‑
1)
、l
isn
和l
is(n 1)
，设sp
i
在trp
(n
‑
1)nc
中对应的投影点tp
i
坐标为（x，y），则分别对应满足该投影点到t
(n
‑
1)
、t
n
和t
(n 1)
的距离l
it(n
‑
1)
、l
itn
和l
it(n 1)
应满足方程式：l
it(n
‑
1)
=k*l
is(n
‑
1)
ꢀꢀ
（式1）l
itn
=k*l
isn
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（式2）l
it(n 1)
=k*l
is(n 1)
ꢀꢀꢀꢀꢀꢀ
（式3）所述k为固定常数，联立所述的三个方程式，解出所述tpi坐标（x，y）。
38.具体的，参考图4，以sr
12c
的投影为例来说明：计算sr
12c
中任意一个像素sp
i
到s1、s2和s3的距离l
is1
、l
is2
和l
is3
，设sp
i
在trp
12c
中对应的投影点tp
i
坐标为（x,y）,分别为则应满足该投影点到t1、t2和t3的距离l
it1
、l
it2
和l
it3
应满足：l
it1
=k*l
is1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（式1）l
it2
=k*l
is2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（式2）l
it3
=k*l
is3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（式3）其中k为一固定常数，可以由管理人员设定。联立上面的三个方程，即可解出tp
i
坐
标x,y。
39.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。