一种基于数据融合的动态物体可视化三维重建方法及系统与流程

1.本发明涉及三维场景重建技术领域，具体而言涉及一种基于数据融合的动态物体可视化三维重建方法及系统。


背景技术：

2.动态物体具有速度、位置、偏移量等信息特征，将节点的现场信息采集进行三维重建并模拟运行，供建设方参考以及用户进行现场观测。三维重建技术需要结合现场图像信息或者数据信息恢复现场或物体，需要对动态物体运行状态和数据进行采集。故一个三维动态可视化的监测系统在动态物体运动和场景运行的过程中显得尤为重要。
3.目前，静态三维重建不能直观反映动态物体运动情况，常规动态三维重建主要采用三种，第一种是现场无人机视频流等影像，但需要人工干预处理，室外安全隐患大；第二种是卫星图像、深度图像，又或者是仅使用kinect、lidar(激光雷达)等获得的矢量信息数据来进行三维重建，时间和物质成本很高，此种方法更偏向于静态三维物体的重建；第三种vr技术进行三维场景搭建，这种方法仅仅适用于白天，夜晚动态场景的建立依靠红外夜视做到的效果并不好，且数据共享也较为困难。因此，需要一种成本低，安全系数高，数据准确且视觉效果好的动态物体三维重建方法和模拟、监测的系统。


技术实现要素：

4.本发明的目的在于提供一种基于数据融合的动态物体可视化三维重建方法及系统，以解决现有技术中的问题。
5.为实现上述目的，本发明提供如下技术方案：
6.一种基于数据融合的动态物体可视化三维重建方法，用于对目标场景内的目标物体进行可视化三维重建，收集不同目标场景下预设数量个目标物体对应的各个动态物体图像，获得动态物体图像中包含动态物体对应的数据信息，所述数据信息包括动态物体的地理坐标、以及动态物体运动数据，基于数据信息，通过以下步骤a至步骤d对目标物体进行动态可视化三维重建：
7.步骤a、分别针对各个动态物体图像，基于各个动态物体场景，获得各个动态物体所对应的地理坐标，进一步获得对应场景所在地理坐标，得到各个场景分别所对应的场景三维模型，随后进入步骤b；
8.步骤b、分别针对各个动态物体图像，提取动态物体图像中的各个动态物体，基于动态物体图像所对应的数据信息，获得各个动态物体所对应的三维点云数据，应用三维点云数据对各个动态物体进行三维重建，得到动态物体图像对应的动态物体三维模型，即获得该场景对应的各动态物体三维模型，随后进入步骤c；
9.步骤c、分别针对各个场景对应的各个动态物体三维模型，提取对应动态物体三维模型中各个动态物体的特征点，基于动态物体的特征点对该动态物体三维模型与对应的场景三维模型进行匹配，将动态物体三维模型对应的动态物体及其特征点嵌入整合至匹配的
场景三维模型中，获得包含动态物体及其场景的静态三维模型，进一步得到各个动态物体三维模型对应的各个静态三维模型，随后进入步骤d；
10.步骤d、分别针对各个包含动态物体的静态三维模型，将动态物体的实时数据信息同步至静态三维模型中，并利用动态物体运动数据对静态三维模型中失真或丢失的状态数据进行模拟预测，获得对应的预测结果，利用预测结果对静态三维模型进行更新，得到包含动态物体的数据信息及其对应场景的瞬时三维模型。
11.进一步地，动态物体对应的数据信息包括：动态物体的实时状态数据、动态物体坐标、动态物体所在场景的实时环境数据、所在场景边界坐标、以及所在场景的数字高程矢量信息。
12.进一步地，前述步骤a中，分别针对各个动态物体图像，根据该动态物体图像中各个动态物体的坐标，利用场景边界对角两点的坐标，获得动态物体的参考平面，按照预设比例在参考平面的基础上建立区域平面模型，并以参考平面为中心建立平面模型对应的坐标系，遍历平面模型中动态物体所在场景的数字高程矢量信息，根据各个场景的数字高程矢量信息并结合场景边界坐标获得各个场景分别所对应的场景三维模型。
13.进一步地，前述步骤b分别针对各个场景，执行以下步骤b1
‑
b2，获得各个场景中的动态物体三维模型：
14.步骤b1、针对各个场景下的各个动态物体图像，提取各个动态物体图像中的各个动态物体，根据动态物体坐标，获得不同场景下的相同动态物体其所对应的三维点云数据，进一步得到各个动态物体图像对应的三维点云数据集，对三维点云数据集进行滤波、降噪处理，获得滤波、降噪处理后的三维点云数据集；
15.步骤b2、分别针对各个动态物体图像，根据步骤b1所获滤波、降噪处理后的三维点云数据集，对该动态物体图像进行切片，获得该动态物体图像对应的顶视图、前视图、右视图的截面信息，基于截面信息对动态物体图像进行三维重建，获得该动态物体图像对应的动态物体三维模型，即获得该场景中的动态物体三维模型。
16.进一步地，前述步骤d中，利用动态物体的实时数据信息对该静态三维模型进行模拟预测，预测方法采用自回归滑动平均模型或向量ar模型预测模型，预测方法对短期内的历史数据进行训练并生成新的状态数据。
17.进一步地，动态物体的实时状态数据信息包括：采集的运动物体的实时视频信息、动态物体自身采集的实时运动参数、采集的实时环境数据、预测的环境数据；
18.对静态三维模型进行模拟预测时，采用以下优先级进行预测：
19.当采集的动态物体的实时视频信息具有有效性时，预测结果由实时视频信息决定瞬时三维模型，由vr技术直接重建瞬时三维模型或者提取实时视频信息中的运动物体的状态信息并更新瞬时三维模型；
20.当采集的运动物体的实时视频信息不具有有效性，但动态物体自身采集的实时运动参数具有有效性时，预测结果由动态物体自身采集的实时运动参数决定瞬时三维模型；
21.当采集的运动物体的实时视频信息和动态物体自身采集的实时运动参数都不具有有效性时，但采集的实时环境数据具有有效性时，预测结果由采集的实时环境数据决定瞬时三维模型；
22.当采集的运动物体的实时视频信息、动态物体自身采集的实时运动参数和采集的
实时环境数据都不具有有效性时，预测结果由预测的环境数据决定瞬时三维模型。
23.进一步地，动态物体为运动物体，包括离岸型风车、船舶；
24.当动态物体为离岸型风车时，采集的实时运动参数包括风车转速、转向、偏航角、风车间距、离岸间距；采集的实时环境数据包括实时的环境风速、风向、天气预报参数；预测的环境数据包括气象预报部门发布的预测的风速、风向、以及根据风电场历史数据预测的风速、风向；
25.当动态物体为船舶时，其采集的实时运动参数包括区域内各个船舶的实时坐标、航速、航向；采集的实时环境数据包括实时的环境风速、风向；预测的数据包括预测的航速、航向、航行坐标。
26.本发明的第二方面提出一种基于数据融合的动态物体可视化三维重建系统，包括：
27.一个或多个处理器；
28.存储器，存储可被执行的指令，所述指令在通过所述一个或多个处理器执行时，使得所述一个或多个处理器执行以下操作，通过以下步骤a至步骤d对目标物体进行动态可视化三维重建：
29.步骤a、分别针对各个动态物体图像，基于各个动态物体场景，获得各个动态物体所对应的地理坐标，进一步获得对应场景所在地理坐标，得到各个场景分别所对应的场景三维模型，随后进入步骤b；
30.步骤b、分别针对各个动态物体图像，提取动态物体图像中的各个动态物体，基于动态物体图像所对应的数据信息，获得各个动态物体所对应的三维点云数据，应用三维点云数据对各个动态物体进行三维重建，得到动态物体图像对应的动态物体三维模型，即获得该场景对应的各动态物体三维模型，随后进入步骤c；
31.步骤c、分别针对各个场景对应的各个动态物体三维模型，提取对应动态物体三维模型中各个动态物体的特征点，基于动态物体的特征点对该动态物体三维模型与对应的场景三维模型进行匹配，将动态物体三维模型对应的动态物体及其特征点嵌入整合至匹配的场景三维模型中，获得包含动态物体及其场景的静态三维模型，进一步得到各个动态物体三维模型对应的各个静态三维模型，随后进入步骤d；
32.步骤d、分别针对各个包含动态物体的静态三维模型，将动态物体的实时数据信息同步至静态三维模型中，并利用动态物体运动数据对静态三维模型中失真或丢失的状态数据进行模拟预测，获得对应的预测结果，利用预测结果对静态三维模型进行更新，得到包含动态物体的数据信息及其对应场景的瞬时三维模型。
33.本发明的第三方面提出一种存储软件的计算机可读取介质，该软件包括能通过一个或多个计算机执行的指令，所述指令在被所述一个或多个计算机执行时，执行如前述可视化三维重建方法的操作。
34.本发明所述一种基于数据融合的动态物体可视化三维重建方法，采用以上技术方案与现有技术相比，具有以下技术效果：
35.本发明在采集数据较为单一的条件下，结合实时数据对动态物体所在场景通过数据融合进行动态重建，提高了模型重建的还原度，同时采用数据融合三维模型，以动态物体三维模型与场景三维模型为基础进行数据采集与融合，可以节省后期建设可视化系统的成
本；
36.本发明既包含基础物理场景模型，又包含动态实时数据采集，既能对场景建设过程的工作进度进行监测，又能为可视化系统提供观测模型，在具体应用至动态船舶或离岸型风车时，对其所在场景进行可视化三维重建，简化了系统建设周期与步骤，通过多种数据融合进行场景动态重建，并且重建效果不受暴雨、大雪、雾霾等极端天气影响，又可以保证数据采集精确，由此得到一种便捷、快速、低成本且较为精确的可视化系统，降低了三维重建的成本，方便用户观测。
附图说明
37.图1为本发明示例性实施例的一种动态物体可视化三维重建的流程示意图；
38.图2为本发明示例性实施例的多数据融合优先级示意图；
39.图3为本发明示例性实施例的离岸型风车模型中风车浆距角与风速的关系示意图。
具体实施方式
40.为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
41.在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
42.具体实施例一
43.结合图1本发明示例性实施例动态物体可视化三维重建方法的流程，本发明利用收集的动态物体图像信息，通过以下步骤a至步骤d构建融合模型，再通过以下步骤1至步骤2，应用融合模型，对待重建动态物体图像进行三维重建：
44.步骤a、分别针对各个动态物体图像，基于各个动态物体图像所对应的数据信息，分别针对各个场景，获得各个动态物体图像中各个动态物体所对应的地理坐标，进一步获得对应场景所在地理坐标，得到各个场景分别所对应的场景三维模型，随后进入步骤b；
45.步骤b、分别针对各个动态物体图像，提取动态物体图像中的各个动态物体，基于动态物体图像所对应的数据信息，获得各个动态物体所对应的三维点云数据，应用三维点云数据对各个动态物体进行三维重建，得到动态物体图像对应的动态物体三维模型，即获得该场景对应的各动态物体三维模型，随后进入步骤c；
46.步骤c、分别针对各个场景对应的各个动态物体三维模型，提取对应动态物体三维模型中各个动态物体的特征点，基于动态物体的特征点对该动态物体三维模型与对应的场景三维模型进行匹配，将动态物体三维模型对应的动态物体及其特征点嵌入整合至匹配的场景三维模型中，获得包含动态物体及其场景的静态三维模型，进一步得到各个动态物体三维模型对应的各个静态三维模型，随后进入步骤d；
47.步骤d、分别针对各个包含动态物体的静态三维模型，将动态物体图像的数据信息同步至静态三维模型中，并利用实时物体状态数据对该静态三维模型中失真或丢失的状态
数据进行模拟预测，得到对应的预测结果，利用预测结果对静态三维模型中失真或丢失的数据信息进行更新，基于更新后的静态三维模型，以动态物体的特征点为输入，以更新后的静态三维模型为输出，模拟预测静态三维模型，得到包含动态物体及其对应场景的瞬时三维模型。
48.步骤1、分别针对各个待重建动态物体图像，按照步骤a至步骤c中方法获得各个待处理动态物体图像对应的静态三维模型，随后进入步骤2；
49.步骤2、分别针对各个静态三维模型，按照步骤d的方法对静态三维模型进行更新，并构建对应的融合模型，执行对待重建动态物体图像的三维重建，得到包含动态物体及其对应场景的动态物体三维模型。
50.在对动态物体的可视化三维重建过程中涉及的动态物体包括但不仅限于离岸型风车、船舶，当动态物体为离岸型风车时，进行风车三维模型重建，基于图1所示流程方法，具体的，离岸型风车三维模型重建基于基础风力发电场的构建，包括以下步骤：
51.s1、利用卫星定位技术与遥感倾斜摄影技术对该风力发电站进行规模信息采集，初步获得每个风车点位经纬度，获得区域边界角点坐标，获得地理高程信息，通过坐标距离转换，获得风车离岸间距，从而采集的数据处理得到初步规模的地理场景模型，建成风力发电站基础的场景；
52.s2、选择任一时间节点，现场数据采集三维重建模型，由s1得到的场景建立基本风车的点位、距离基础，通过若干无人机飞行器设备搭载多镜头摄像机和激光雷达imu设备，利用lidar激光雷达技术以及倾斜摄影技术采集区域内每一个风车多角度倾斜摄影的影像数据、imu/dgps组合的高精度位置与姿态测量系统数据；
53.s3、将s2采集的点云数据进行滤波、降噪处理加工，快速得到风车多角度且高精度的点云数据，通过点云切片获得顶视图、前视图、右视图的截面信息，参照截面信息勾画轮廓线，从而基于线、面来重建风车模型三角网，得到风车三维模型；
54.s4、根据得到的风车三维模型，选取风车三维模型的特征顶点坐标，将当下的三维重建风车模型进行匹配与尺寸坐标转换，嵌入整合到具有实际的点位关系和尺寸大小的风电场区域场景模型上，得到包含风车群的风力发电站三维静态模型；
55.s5、通过风车转速、风车转向多传感器装置，采集风车物体状态数据、物体偏向角以及气象数据，三维可视化系统，在所述软件计划模型的基础上，进一步的，连接数据库系统，数据库系统中的数据具体包括实际风车转速、实际风车偏航角、环境实时风速、环境实时风向、环境预报风速、环境预报风向，各种不同类型的数据之间的融合方式结合图2，数据融合优先级如下：
56.(1)风车模型转速、转向、浆距角默认由采集的实际风车数据决定；
57.(2)若当前采集的实际风车转速数据失真或丢失，则风车模型转速、转向、浆距角由采集的实时环境气象数据决定；
58.(3)若当前采集的实时环境气象数据失真或丢失，则风车模型转速、转向、浆距角由采集的预测气象数据决定；
59.(4)当前采集的预测气象数据失真或丢失，则将具有时间序列特性的历史气象数据通过自回归滑动平均模型(arima)生成风速预测数据，通过向量自回归模型(vector arma)生成风向预测数据，由生成的预测数据决定风车模型实际转速与转向，浆距角则由预
测的风速生成。
60.其中，自回归滑动平均模型将具有时间序列特性的历史气象数据生成风速预测数据，对历史气象数据进行差分处理，得到平稳的时间序列数据，然后依据贝叶斯信息准则识别模型的样本偏自相关函数滞后p阶截尾和样本自相关函数q阶截尾，最后进行拟合预测；
61.向量自回归模型生成风向预测数据中，根据以下公式：
[0062][0063]
将风向转换为线性变量，其中φ
‑1是概率单位函数，然后采用自回归滑动平均模型对先行变量进行预测，获得线性变量后，使用上述公式转换为风向；
[0064]
当风车模型的转速由采集的环境风速或者预测的环境风速决定时，风速与软件模型的叶片转速的具体转换关系如下，近地的风速边界层越厚，n值越小：
[0065][0066]
上述公式获得近地风速后，根据以下公式转换：
[0067][0068]
获得吹过一定面积风的机械功率p
m
，空气密度ρ，功率转换效率c
p
，获得风车的机械功率，根据转矩t与机械功率获得风车的转速n，转换关系如下：
[0069]
p
m
＝t
×
n
[0070]
为了更好模拟真实、细节的风车运转情况，其中模型浆距角与风速有关，当采集的风车数据正常时，风车模型变桨距机构中浆距角直接由采集的风车数据恢复；当采集的风车数据丢失或者失真时，则以采集的环境风速或者预测的风速为准。风速与模型浆距角的关系如图3所示，风速未超过额定风速，风车模型变桨距机构中浆距角保持0
°
；超过额定风速，则根据功率转换效率生成浆距角；超过安全风速，模型转动停止，浆距角拨到全顺浆90
°
附近，模拟实际情况的自锁保护机制，并向上上传发送并在软件平台显示警报数据；
[0071]
此数据融合的方法，既可以模拟出真实的、全部的风车转动情况，又能动态的模拟出风车物理结构浆距角与偏航角的细节转动，还能较好的显示在可视化系统并及时的上传极端环境数据。
[0072]
在上述软件模型上进行合理的数据融合，增加天气数据和短期预测天气数据等多种数据的输入，用来补充驱动动态场景输入的数据单一情况，最终快速得到一个可观测模拟的、实时的、动态的三维风力发电场可视化系统，且观测效果不受暴雨、大雪、雾霾等极端天气影响，具有良好的视觉感官体验和同步模拟机制。另外，该系统可以通过连接网络服务器，可以进行进度对比判断结果与风电机组运行模拟情况的数据上传。
[0073]
具体实施例二
[0074]
基于图1所示流程方法，具体的，船舶三维模型重建包括以下步骤：
[0075]
s1、通过若干飞行器搭载激光雷达对船舶进行外部信息采集，采集船舶的多角度倾斜影像，得到多组三维点云数据与rgb图像，构建轮廓模型和纹理模型，通过重建得到船舶三维模型，并整合到具有实际尺寸缩放大小与坐标信息的区域场景模型上。
[0076]
s2、根据船舶的静态模型融合采集的船舶物理信息，在此基础上，对船舶模型进行
动态驱动和模拟观测，其中对船舶模型进行动态驱动的方案为：
[0077]
获得船舶的坐标点位数据，通过实际坐标到区域坐标转换，直接决定船舶模型在区域中的位置；
[0078]
获得船舶的航向数据，通过实际方向到区域方向转换，决定船舶模型在区域中的航向；
[0079]
获得船舶的航速数据，通过数据值转换，决定船舶模型在区域中的速度；
[0080]
若一定时间内未采集到船舶实际数据，则由采集的短时预测坐标、预测航向、预测航速进行驱动，模拟当前船舶的状态。
[0081]
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。