一种数字孪生的虚实同步终端设备及系统

1.本发明涉及智能监测技术领域，尤其涉及一种数字孪生的虚实同步终端设备及系统。


背景技术：

2.数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生是一种超越现实的概念，可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统，是一个物理产品的数字化表达，以便于我们能够在这个数字化产品上看到实际物理产品可能发生的情况，与此相关的技术包括增强现实和虚拟现实，随着物联网和云平台技术的发展，设备“上云”成为趋势，支持远程监测、智慧运维和专业性优化等增值服务。新一代信息技术的发展为这些服务提供了强有力的支撑，而数字孪生提供了信息域与物理域交互融合的技术手段，近年来受到学术界和工业界的广泛关注；
3.经检索，中国专利号cn202010584589.x公开了基于数字孪生的虚实同步系统及实现方法，该发明虽然有利于在安全要求高、网络能力受限状况下的设备实体与其数字孪生体的虚实同步，但是物体位置的监测精度低，会出现因匹配机会过少而出现漏匹配的情况；此外，现有的数字孪生的虚实同步终端设备及系统无法保证数字孪生模型与现实场景的一致性，不便于管理人员进行管控，为此，我们提出一种数字孪生的虚实同步终端设备及系统。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种数字孪生的虚实同步终端设备及系统。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种数字孪生的虚实同步系统，包括信息采集设备、图像处理模块、仿真优化模块、动态匹配模块、服务器、管理终端、客户终端以及云端数据库；
7.其中，所述信息采集设备用于采集区域信息；
8.所述图像处理模块用于接收信息采集设备采集的区域信息，并对其进行图像优化；
9.所述仿真优化模块用于依据区域信息构建相对应的数字孪生模型，同时对该数学模型进行优化；
10.所述动态匹配模块用于对区域内各物体进行关联匹配以生成数字孪生模型；
11.所述服务器用于接收并存储各子模块上传的数据，并定期进行数据回收处理；
12.所述管理终端用于管理人员对各子模块运行数据进行查看，并对运行异常的子模块进行维护；
13.所述客户终端用于接收数字孪生模型并进行查看，同时上传用户评价；
14.所述云端数据库用于存储管理人员编辑的逻辑规则，并实时接收各子模块的调用信息以进行数据传输。
15.作为本发明的进一步方案，所述信息采集设备具体包括摄像头、阵列相机、红外传感器、超声波传感器以及激光传感器；
16.所述管理终端具体为内网电脑；
17.所述客户终端具体包括智能收集、平板电脑、台式电脑以及笔记本电脑。
18.作为本发明的进一步方案，所述图像处理模块图像优化具体步骤如下：
19.步骤一：逐帧提取区域图像，并依据各区域图像的显示比例来确定分块数量，并对该区域图像进行分块处理，同时对分块完成的视频图像通过低通滤波进行模糊处理；
20.步骤二：对处理完成的区域图像中的每一个像素逐点进行阈值计算，通过傅里叶正负变换对各组区域图像进行频率空间转换，并通过滤波处理减少各组区域图像中的噪声干扰。
21.作为本发明的进一步方案，所述仿真优化模块数学模型具体优化步骤如下：
22.步骤(1)：仿真优化模块构建一组调整神经网络，并实时对该调整神经网络进行迭代训练，之后通过内置编码器对各组区域信息进行符值转换，再对转换后的区域信息进行尺度归一化处理，并提取归一化后的各组区域信息的特征数据；
23.步骤(2)：对各组特征数据进行特征降维后将处理后的数据分为验证集、测试集以及训练集，同时通过验证集对该数字孪生模型精度进行验证，并统计测试集中各数据均方根误差，同时对每组数据都进行一次预测；
24.步骤(3)：将预测结果最好的数据作为最优参数输出，并依据最优参数对训练集进行标准化处理生成训练样本，之后将训练样本输送到数字孪生模型中进行参数更新，并采用长期迭代法对该数字孪生模型进行实时优化。
25.作为本发明的进一步方案，所述动态匹配模型关联匹配具体步骤如下：
26.第一步：收集各信息采集设备采集的各组影像信息后，离线处理固定帧率的单相机视频或图像序列帧，并对实际视频帧的间隔时间进行计算，之后记录计算出的实际视频帧的间隔时间，并通过卡尔曼滤波理论建立运动模型，同时通过构建的运动模型实时获取物体的运动状态；
27.第二步：运动模型依据对物体的线性运动假设，对其在视频帧中的运动状态进行定义，收集物体在当前视频帧中的运动状态，并构建预测方程对各物体在下一视频帧中的运动状态进行估计，依据多目标实时检测算法计算出的第i个信息采集设备当前视频帧中所有目标的检测结果，并逐一提取外观特征向量；
28.第三步：依据物体特征向量以及外观特征向量计算检测结果与跟踪目标之间的余弦距离，并使用人工设定的阈值进行过滤以得到余弦距离表征的代价矩阵，并根据马氏距离矩阵和相关约束条件对余弦距离表征的代价矩阵再次进行过滤，之后对余弦距离表征的代价矩阵进行二分匹配求解以得到匹配结果，并将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中；
29.第四步：在第i个信息采集设备内，计算未成功匹配的检测结果与未成功匹配的跟踪目标之间的杰卡德距离表征的代价矩阵，通过阈值过滤后进行二分匹配求解，同时针对未成功匹配的检测结果，若连续多组视频帧中的待定物体都能与某个检测结果成功匹配，
则认为该待定跟踪目标是一个新增的确定物体；
30.第五步：对于最终匹配失败的物体的运动模型中的卡尔曼增益和协方差矩阵进行更新，更新完成后，重新对最终匹配失败的各组物体进行匹配，匹配完成后，动态匹配模块依次并行处理每一路视频流的视频帧数据，并对每一路视频流中下采样后得到的视频帧依次执行目标标记、估计物体的运动状态、匹配关联以及跨相机多目标实时跟踪。
31.作为本发明的进一步方案，所述服务器数据回收具体步骤如下：
32.s1：服务器依据管理人员设定的更新时间定期对回收率进行计算，并根据服务器时间周期，自动触发运算指令，同时将每次计算出的回收率数值反馈至管理终端供管理人员进行查看；
33.s2：服务器依据系统默认或管理人员设定的循环时间值定期对各组子模块数据进行回收率计算更新，之后依据设定的循环时间值，抽取存储的相对应子模块数据，并按照计算出的回收率对子模块数据进行回收，并将回收信息反馈至管理终端以供管理人员查看数据回收详情。
34.一种数字孪生的虚实同步终端设备，包括主体箱，所述主体箱内部靠近后端中心处开设有收纳槽，所述收纳槽底端中心处镶嵌有电动伸缩杆，所述电动伸缩杆上端固定连接有活动板，所述活动板通过电动伸缩杆活动连接在收纳槽内部，所述活动板前端中心处镶嵌有显示屏。
35.作为本发明的进一步方案，所述活动板上端固定连接有限位板，所述主体箱上端靠近前侧镶嵌有触控屏，所述主体箱前端内部上侧开设有回收槽，所述回收槽内部活动连接有转轴，所述转轴外部活动套接有帘片，所述帘片上端后侧中心处固定连接有拉板。
36.相比于现有技术，本发明的有益效果在于：
37.1、本发明系统设置有动态匹配模块，动态匹配模块收集各信息采集设备采集的各组影像信息后，并对实际视频帧的间隔时间进行计算，之后记录计算出的实际视频帧的间隔时间，并通过卡尔曼滤波理论建立运动模型，同时通过构建的运动模型实时获取物体的运动状态，并构建预测方程并逐一提取各物体外观特征向量，之后计算检测结果与跟踪目标之间的余弦距离，并计算结果进行过滤以进行多次匹配，并对最终匹配失败的物体的运动模型中进行更新以进行重新匹配，匹配完成后，动态匹配模块对各组视频帧依次执行目标标记、估计物体的运动状态、匹配关联以及跨相机多目标实时跟踪，通过构建运动模型，有效的提高物体位置的监测精度，避免因匹配机会过少而出现漏匹配，同时实现多目标实时跟踪，保证监测结果的全面性；
38.2、本发明相较于以往数字孪生的虚实同步系统，本系统通过仿真优化模块构建一组调整神经网络，并实时对该调整神经网络进行迭代训练，之后通过内置编码器对各组区域信息进行符值转换，并对转换完成的区域信息进行归一化以及特征降维处理，之后将处理后的数据将处理后的数据分为验证集、测试集以及训练集以对数字孪生模型进行参数更新以及实时优化以供管理人员查看，同时服务器依据管理人员设定的更新时间定期对回收率进行计算，并根据服务器时间周期，自动触发运算指令，再依据系统默认或管理人员设定的循环时间值定期对各组子模块数据进行回收率计算更新，之后依据设定的循环时间值，抽取存储的相对应子模块数据，并按照计算出的回收率对子模块数据进行回收，通过构建调整神经网络实现数字孪生模型的实时更新，能够保证其与现实场景一致性，便于管理人
员进行管控，同时服务器定期回收内部多余数据，能够保证数据传输稳定性，减少管理人员工作量，提高工作效率。
附图说明
39.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
40.图1为本发明提出的一种数字孪生的虚实同步系统的系统框图；
41.图2为本发明提出的一种数字孪生的虚实同步终端设备的整体结构示意图；
42.图3为本发明提出的一种数字孪生的虚实同步终端设备的侧面剖视图。
43.图中：1、主体箱；2、活动板；3、限位板；4、显示屏；5、帘片；6、拉板；7、收纳槽；8、电动伸缩杆；9、回收槽；10、转轴；11、触控屏。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
45.在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
46.实施例1
47.参照图1，一种数字孪生的虚实同步系统，包括信息采集设备、图像处理模块、仿真优化模块、动态匹配模块、服务器、管理终端、客户终端以及云端数据库。
48.信息采集设备用于采集区域信息。
49.需要进一步说明的是，信息采集设备具体包括摄像头、阵列相机、红外传感器、超声波传感器以及激光传感器。
50.图像处理模块用于接收信息采集设备采集的区域信息，并对其进行图像优化。
51.具体的，图像处理模块逐帧提取区域图像，并依据各区域图像的显示比例来确定分块数量，并对该区域图像进行分块处理，同时对分块完成的视频图像通过低通滤波进行模糊处理，之后对处理完成的区域图像中的每一个像素逐点进行阈值计算，通过傅里叶正负变换对各组区域图像进行频率空间转换，并通过滤波处理减少各组区域图像中的噪声干扰。
52.仿真优化模块用于依据区域信息构建相对应的数字孪生模型，同时对该数学模型进行优化。
53.具体的，仿真优化模块构建一组调整神经网络，并实时对该调整神经网络进行迭代训练，之后通过内置编码器对各组区域信息进行符值转换，再对转换后的区域信息进行尺度归一化处理，并提取归一化后的各组区域信息的特征数据，再对各组特征数据进行特征降维后将处理后的数据分为验证集、测试集以及训练集，同时通过验证集对该数字孪生模型精度进行验证，并统计测试集中各数据均方根误差，同时对每组数据都进行一次预测，之后将预测结果最好的数据作为最优参数输出，并依据最优参数对训练集进行标准化处理
生成训练样本，之后将训练样本输送到数字孪生模型中进行参数更新，并采用长期迭代法对该数字孪生模型进行实时优化。
54.动态匹配模块用于对区域内各物体进行关联匹配以生成数字孪生模型。
55.具体的，动态匹配模块收集各信息采集设备采集的各组影像信息后，离线处理固定帧率的单相机视频或图像序列帧，并对实际视频帧的间隔时间进行计算，之后记录计算出的实际视频帧的间隔时间，并通过卡尔曼滤波理论建立运动模型，同时通过构建的运动模型实时获取物体的运动状态，运动模型依据对物体的线性运动假设，对其在视频帧中的运动状态进行定义，收集物体在当前视频帧中的运动状态，并构建预测方程对各物体在下一视频帧中的运动状态进行估计，依据多目标实时检测算法计算出的第i个信息采集设备当前视频帧中所有目标的检测结果，并逐一提取外观特征向量，之后依据物体特征向量以及外观特征向量计算检测结果与跟踪目标之间的余弦距离，并使用人工设定的阈值进行过滤以得到余弦距离表征的代价矩阵，并根据马氏距离矩阵和相关约束条件对余弦距离表征的代价矩阵再次进行过滤，之后对余弦距离表征的代价矩阵进行二分匹配求解以得到匹配结果，并将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中，在第i个信息采集设备内，计算未成功匹配的检测结果与未成功匹配的跟踪目标之间的杰卡德距离表征的代价矩阵，通过阈值过滤后进行二分匹配求解，同时针对未成功匹配的检测结果，若连续多组视频帧中的待定物体都能与某个检测结果成功匹配，则认为该待定跟踪目标是一个新增的确定物体，最后对于最终匹配失败的物体的运动模型中的卡尔曼增益和协方差矩阵进行更新，更新完成后，重新对最终匹配失败的各组物体进行匹配，匹配完成后，动态匹配模块依次并行处理每一路视频流的视频帧数据，并对每一路视频流中下采样后得到的视频帧依次执行目标标记、估计物体的运动状态、匹配关联以及跨相机多目标实时跟踪。
56.服务器用于接收并存储各子模块上传的数据，并定期进行数据回收处理。
57.具体的，服务器依据管理人员设定的更新时间定期对回收率进行计算，并根据服务器时间周期，自动触发运算指令，同时将每次计算出的回收率数值反馈至管理终端供管理人员进行查看，再依据系统默认或管理人员设定的循环时间值定期对各组子模块数据进行回收率计算更新，之后依据设定的循环时间值，抽取存储的相对应子模块数据，并按照计算出的回收率对子模块数据进行回收，并将回收信息反馈至管理终端以供管理人员查看数据回收详情。
58.管理终端用于管理人员对各子模块运行数据进行查看，并对运行异常的子模块进行维护。
59.需要进一步说明的是，管理终端具体为内网电脑。
60.客户终端用于接收数字孪生模型并进行查看，同时上传用户评价。
61.需要进一步说明的是，客户终端具体包括智能收集、平板电脑、台式电脑以及笔记本电脑。
62.云端数据库用于存储管理人员编辑的逻辑规则，并实时接收各子模块的调用信息以进行数据传输。
63.实施例2
64.参照图2-3，一种数字孪生的虚实同步终端设备，包括主体箱1，主体箱1内部靠近后端中心处开设有收纳槽7，收纳槽7底端中心处镶嵌有电动伸缩杆8，电动伸缩杆8上端固
定连接有活动板2，活动板2通过电动伸缩杆8活动连接在收纳槽7内部，活动板2前端中心处镶嵌有显示屏4。
65.活动板2上端固定连接有限位板3，主体箱1上端靠近前侧镶嵌有触控屏11，主体箱1前端内部上侧开设有回收槽9，回收槽9内部活动连接有转轴10，转轴10外部活动套接有帘片5，帘片5上端后侧中心处固定连接有拉板6。
66.本设备在使用时，电动伸缩杆8通电启动并伸长，活动板2在电动伸缩杆8的带动下离开收纳槽7，当活动板2到达管理人员设定的高度后电动伸缩杆8停止伸长，之后管理人员拉动拉板6，帘片5向回收槽9内部移动，转轴10受到来自帘片5的力进行转动，并对帘片5进行回收，之后显示屏4通电显示，管理人员通过触控屏11对需要显示的数字孪生模型进行选择查看。
67.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。