基于数字孪生场景的视频画面与三维建模融合方法及系统与流程

本公开涉及数字孪生，尤其涉及一种基于数字孪生场景的视频画面与三维建模融合方法及系统、存储介质、电子设备。

背景技术：

1、在智慧园区管理领域，数字孪生技术被广泛应用于构建物理园区的虚拟映射，以实现可视化的实时态势感知。现有技术中，将人员位置信息叠加到数字孪生模型中的主流方案，通常依赖于在人员身上佩戴uwb标签、蓝牙或rfid卡片等额外定位装置，通过定位基站获取坐标后在模型中展示静态点位。然而，这类方案不仅需要高昂的硬件部署成本和持续的标签维护成本，而且定位精度受信号遮挡影响较大，更重要的是，数字孪生模型中呈现的人员位置往往只是离散的点或最后已知位置，无法真实、连续地反映人员在园区道路、广场、楼宇间的实时移动过程，导致虚实融合程度较低，难以满足园区安防、应急调度等场景对实时态势感知的需求。

2、另一方面，园区内部署的大量视频监控摄像头虽然能够捕捉人员的真实活动画面，但现有视频分析与数字孪生系统的结合方式较为粗放，仅能实现基于监控画面通过纹理贴图的方式完成对数字孪生模型的渲染，并不能实时反馈园区内的人员流动，且需要消耗大量的计算资源。在真实园区环境中，由于建筑遮挡、绿化隔离、摄像头安装角度限制等因素，视野盲区普遍存在，现有技术无法有效解决人员在盲区过渡期间的连续定位问题，使得数字孪生模型中的人员实例频繁出现位置冻结、凭空消失或错误跳跃等现象，严重制约了数字孪生系统在智慧园区中的实用价值。

技术实现思路

1、本公开实施例的目的在于提供一种基于数字孪生场景的视频画面与三维建模融合方法及系统、存储介质、电子设备，用以解决现有技术中存在的问题。

2、本公开的实施例采用如下技术方案：一种基于数字孪生场景的视频画面与三维建模融合方法，应用于具有视频监控的智慧园区，包括：

3、实例生成步骤：监听园区入口速通门的第一刷卡事件，根据所述第一刷卡事件的触发时间和卡id确定目标员工的身份信息以及初始模型位置，创建与所述目标员工对应的人员实例，并在园区的数字孪生模型中的所述初始模型位置处实时渲染所述人员实例，将拍摄到所述初始模型位置的摄像头设置为当前摄像头；

4、视野盲区预判步骤：基于园区摄像头拓扑关系，确定所述当前摄像头的下一个摄像头，并判断所述下一个摄像头与所述当前摄像头之间是否存在视野盲区；

5、协同追踪步骤：在所述下一个摄像头和所述当前摄像头之间不存在视野盲区的情况下，驱动所述当前摄像头和所述下一个摄像头对所述目标员工进行目标跟踪，并更新所述目标员工的实时模型位置，根据所述实时模型位置在所述数字孪生模型中更新所述人员实例的渲染，将所述下一个摄像头作为新的当前摄像头并返回所述视野盲区预判步骤；

6、盲区跨越处理步骤：在所述下一个摄像头和所述当前摄像头之间存在视野盲区的情况下，驱动所述当前摄像头对所述目标员工进行目标跟踪并更新所述目标员工的实时模型位置，根据所述目标员工在所述当前摄像头的拍摄画面中消失的时间计算合理时间范围，并在所述合理时间范围内对进入所述下一个摄像头的人员进行身份认证，在认证通过时驱动所述下一个摄像头对所述目标员工进行目标跟踪并更新所述目标员工的实时模型位置，根据所述实时模型位置在所述数字孪生模型中更新所述人员实例的渲染，将所述下一个摄像头作为新的当前摄像头并返回所述视野盲区预判步骤；

7、邻域拓展处理步骤：在所述合理时间范围内不存在进入所述下一个摄像头的人员或者认证未通过的情况下，确定所有与所述当前摄像头的拍摄视野相邻的目标摄像头，在各所述目标摄像头的拍摄范围内分别进行身份认证，若所述目标员工出现在任一所述目标摄像头的拍摄范围内且身份认证通过时，将所述目标摄像头作为新的当前摄像头，对所述目标员工进行目标跟踪并更新所述目标员工的实时模型位置，返回所述视野盲区预判步骤；若所述目标员工未出现在任一所述目标摄像头的拍摄范围内或身份认证未通过，在所述数字孪生模型中将所述人员实例标记为异常状态。

8、本公开实施例还提供了一种基于数字孪生场景的视频画面与三维建模融合系统，应用于具有视频监控的智慧园区，包括：

9、实例生成模块，用于监听园区入口速通门的第一刷卡事件，根据所述第一刷卡事件的触发时间和卡id确定目标员工的身份信息以及初始模型位置，创建与所述目标员工对应的人员实例，并在园区的数字孪生模型中的所述初始模型位置处实时渲染所述人员实例，将拍摄到所述初始模型位置的摄像头设置为当前摄像头；

10、视野盲区预判模块，用于基于园区摄像头拓扑关系，确定所述当前摄像头的下一个摄像头，并判断所述下一个摄像头与所述当前摄像头之间是否存在视野盲区；

11、协同追踪模块，用于在所述下一个摄像头和所述当前摄像头之间不存在视野盲区的情况下，驱动所述当前摄像头和所述下一个摄像头对所述目标员工进行目标跟踪，并更新所述目标员工的实时模型位置，根据所述实时模型位置在所述数字孪生模型中更新所述人员实例的渲染，将所述下一个摄像头作为新的当前摄像头；

12、盲区跨越处理模块，用于在所述下一个摄像头和所述当前摄像头之间存在视野盲区的情况下，驱动所述当前摄像头对所述目标员工进行目标跟踪并更新所述目标员工的实时模型位置，根据所述目标员工在所述当前摄像头的拍摄画面中消失的时间计算合理时间范围，并在所述合理时间范围内对进入所述下一个摄像头的人员进行身份认证，在认证通过时驱动所述下一个摄像头对所述目标员工进行目标跟踪并更新所述目标员工的实时模型位置，根据所述实时模型位置在所述数字孪生模型中更新所述人员实例的渲染，将所述下一个摄像头作为新的当前摄像头；

13、邻域拓展处理模块，用于在所述合理时间范围内不存在进入所述下一个摄像头的人员或者认证未通过的情况下，确定所有与所述当前摄像头的拍摄视野相邻的目标摄像头，在各所述目标摄像头的拍摄范围内分别进行身份认证，若所述目标员工出现在任一所述目标摄像头的拍摄范围内且身份认证通过时，将所述目标摄像头作为新的当前摄像头，对所述目标员工进行目标跟踪并更新所述目标员工的实时模型位置，返回所述视野盲区预判步骤；若所述目标员工未出现在任一所述目标摄像头的拍摄范围内或身份认证未通过，在所述数字孪生模型中将所述人员实例标记为异常状态。

14、本公开实施例还提供了一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于数字孪生场景的视频画面与三维建模融合方法的步骤。

15、本公开实施例还提供了一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述的基于数字孪生场景的视频画面与三维建模融合方法的步骤。

16、本公开实施例的有益效果在于：通过监听速通门刷卡事件作为员工的实时跟踪触发条件，结合对应的员工身份以及基于摄像头的实时位置更新，可以无需额外设备部署的情况下完成员工位置在数字孪生模型中的实时渲染，提升园区对员工的整体管理效果；并且通过摄像头拓扑关系预测下一个摄像头，避免全区盲目检索造成计算量的浪费；最后结合合理时间范围，在窗口内对进入人员身份认证，实现盲区跨越，解决非连续覆盖下目标员工跟踪的中断，实现视频与孪生模型的深度融合。