一种面向建筑数字孪生的视频检测方法及系统与流程

技术特征：
1.一种面向建筑数字孪生的视频检测方法，其特征在于，所述视频检测方法用于对连续视频图像帧中出现的目标实体对象进行图像目标检测；其中，所述连续视频图像帧用于表征拍摄装置连续拍摄到的实体建筑场景内的多帧场景图像；所述目标实体对象至少包括：所述实体建筑场景内具有拼接结构的第一实体对象和/或在所述连续视频图像帧中处于静止状态的第二实体对象；所述视频检测方法包括：获取所述连续视频图像帧，对所述连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；当检测到任意一帧待检测图像中出现所述第一实体对象时，则从该帧待检测图像中，获取所述第一实体对象所在的图像连通区域，得到第一图像连通区域；将所述第一图像连通区域输入预先训练好的直线检测模型中，得到所述第一图像连通区域的直线检测结果；其中，所述直线检测模型用于对不同实体对象在所述第一图像连通区域内显示出的图像边缘进行直线段检测；从所述直线检测结果包括的多个图像边缘直线段中，确定平行于第一直角边方向的第一平行线，以及平行于第二直角边方向的第二平行线；其中，所述第一直角边方向与所述第二直角边方向互相垂直；所述第一直角边方向是根据所述第一实体对象在所述第一图像连通区域内显示出的图像边缘确定的；根据所述第一平行线与所述第二平行线在所述第一图像连通区域内形成的交点，确定所述第一实体对象在所述第一图像连通区域内的图像位置。2.根据权利要求1所述的视频检测方法，其特征在于，在所述确定每一帧待检测图像中包括的实体对象类别之后，所述视频检测方法还包括：从所述连续视频图像帧中，获取多组包括同一实体对象的相邻帧待检测图像；当检测到所述相邻帧检测图像中出现所述第二实体对象时，从所述连续视频图像帧中，获取所述第二实体对象所在的每组相邻帧待检测图像作为目标检测图像帧组；根据所述第二实体对象在第一待检测图像中的目标图像位置，将所述第二实体对象在每一所述目标检测图像帧组中的图像位置统一校正为所述目标图像位置；其中，所述第一待检测图像用于表征每一所述目标检测图像帧组中拍摄时间最早的待检测图像。3.根据权利要求2所述的视频检测方法，其特征在于，在所述连续视频图像帧的拍摄过程中，通过实体移动跟踪装置对所述实体建筑场景内的每一实体对象的位置变化进行跟踪检测，得到同一实体对象在所述连续视频图像帧中的真实位置变化结果；所述检测到所述相邻帧检测图像中出现所述第二实体对象，包括：根据同一实体对象在每一帧待检测图像中对应的图像区域边界，确定同一实体对象在所述相邻帧待检测图像中的图像位置变化结果；从所述真实位置变化结果中，获取同一实体对象在所述相邻帧待检测图像中的目标位置变化结果；当检测到所述图像位置变化结果与所述目标位置变化结果之间的结果相似度不符合预先设置的实体运动条件时，则确定检测到所述相邻帧检测图像中出现所述第二实体对象。4.根据权利要求2所述的视频检测方法，其特征在于，所述检测到所述相邻帧检测图像中出现所述第二实体对象，还包括：
根据同一实体对象在所述相邻帧待检测图像中对应的图像区域边界，对同一实体对象在所述相邻帧待检测图像中对应的图像区域进行帧间差分处理，得到每一实体对象在所述相邻帧待检测图像中对应的帧间差分处理结果；其中，所述帧间差分结果用于通过同一实体对象在所述相邻帧待检测图像中的图像亮度差异，来表征该实体对象在所述相邻帧待检测图像中处于运动状态/静止状态；当检测到所述帧间差分结果表征该实体对象在所述相邻帧待检测图像中处于静止状态时，则确定检测到所述相邻帧检测图像中出现所述第二实体对象，并确定该实体对象为所述第二实体对象。5.根据权利要求1所述的视频检测方法，其特征在于，所述视频检测方法还包括：获取所述实体建筑场景在虚拟空间中映射的建筑信息模型；其中，所述建筑信息模型中虚拟对象模型的模型位置符合虚拟空间世界坐标系；根据每一实体对象在每一帧待检测图像中的图像位置坐标，在像素坐标系与所述虚拟空间世界坐标系之间，对该图像位置坐标进行坐标转换，以坐标转换结果作为目标模型位置；其中，所述目标模型位置表征该实体对象在所述建筑信息模型中映射的目标虚拟对象的模型位置；在所述建筑信息模型内的所述目标模型位置处，放置所述目标虚拟对象，以使所述建筑信息模型与所述实体建筑场景在场景信息上保持同步。6.根据权利要求5所述的视频检测方法，其特征在于，所述目标实体对象还包括：需要在方向上区分实体对象在所述实体建筑场景与所述建筑信息模型之间显示差异的第三实体对象；在所述确定每一帧待检测图像中包括的实体对象类别之后，所述视频检测方法还包括：当检测到任意一帧待检测图像中出现所述第三实体对象时，对第二待检测图像进行二维目标检测，得到所述第三实体对象在所述第二待检测图像中的二维目标检测结果；其中，所述第二待检测图像用于表征当前检测到所述第三实体对象的待检测图像；所述二维目标检测结果至少包括：所述第三实体对象在所述第二待检测图像中所在的二维图像区域边界框；将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，通过所述三维位姿检测模型，对所述第三实体对象在所述实体建筑场景内的实体位置与实体方向进行预测，得到所述第三实体对象在所述第二待检测图像中的三维位姿检测结果；根据所述三维位姿检测结果，对所述第三实体对象在所述建筑信息模型中映射的虚拟对象模型进行同步更新。7.根据权利要求6所述的视频检测方法，其特征在于，在所述得到所述第三实体对象在所述第二待检测图像中的二维目标检测结果之后，所述将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，还包括：以所述二维图像区域边界框在所述第二待检测图像中的边界框中心点作为缩放基准点，按照多种预先设置的缩放倍率参数，分别对所述二维图像区域边界框内的图像区域进行缩放处理，得到所述第三实体对象的多张缩放处理图像；将所述二维目标检测结果与所述多张缩放处理图像输入至预先训练好的图像特征提
取模型中，通过所述图像特征提取模型，从所述二维目标检测结果中，提取置信度高于预设置信度阈值的目标图像特征；其中，所述多张缩放处理图像表征所述第三实体对象在不同缩放倍率参数下表现出的局部图像特征；所述多张缩放处理图像用于辅助所述图像特征提取模型对所述二维目标检测结果的多个图像特征提取结果进行置信度排序；以所述目标图像特征作为角度校正数据，将所述角度校正数据、所述二维目标检测结果与所述相机内参矩阵输入至所述三维位姿检测模型中；其中，所述角度校正数据用于辅助所述三维位姿检测模型对所述第三实体对象在所述实体建筑场景内的实体方向预测结果进行校正。8.一种面向建筑数字孪生的视频检测系统，其特征在于，所述视频检测系统至少包括终端设备以及一个拍摄装置，所述终端设备用于对连续视频图像帧中出现的目标实体对象进行图像目标检测；其中，所述连续视频图像帧用于表征所述拍摄装置连续拍摄到的实体建筑场景内的多帧场景图像；所述目标实体对象至少包括：所述实体建筑场景内具有拼接结构的第一实体对象和/或在所述连续视频图像帧中处于静止状态的第二实体对象；所述终端设备用于：获取所述连续视频图像帧，对所述连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；当检测到任意一帧待检测图像中出现所述第一实体对象时，则从该帧待检测图像中，获取所述第一实体对象所在的图像连通区域，得到第一图像连通区域；将所述第一图像连通区域输入预先训练好的直线检测模型中，得到所述第一图像连通区域的直线检测结果；其中，所述直线检测模型用于对不同实体对象在所述第一图像连通区域内显示出的图像边缘进行直线段检测；从所述直线检测结果包括的多个图像边缘直线段中，确定平行于第一直角边方向的第一平行线，以及平行于第二直角边方向的第二平行线；其中，所述第一直角边方向与所述第二直角边方向互相垂直；所述第一直角边方向是根据所述第一实体对象在所述第一图像连通区域内显示出的图像边缘确定的；根据所述第一平行线与所述第二平行线在所述第一图像连通区域内形成的交点，确定所述第一实体对象在所述第一图像连通区域内的图像位置。9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的视频检测方法的步骤。10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的视频检测方法的步骤。

技术总结
本申请提供了一种面向建筑数字孪生的视频检测方法及系统，该方法包括：对连续视频图像帧中的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；当检测到任意一帧待检测图像中出现第一实体对象时，则从该帧待检测图像中，获取第一实体对象所在的图像连通区域；将该图像连通区域输入直线检测模型中，得到该图像连通区域的直线检测结果；从直线检测结果中，确定平行于第一直角边方向的第一平行线和平行于第二直角边方向的第二平行线；根据第一平行线与第二平行线在该图像连通区域内形成的交点，确定第一实体对象的图像位置。这样，本申请在对具备拼接结构的实体对象进行视频检测时，可以提高实体位置定位精度。位置定位精度。位置定位精度。


技术研发人员：王佳 周小平 冯驰原 郑洋 傅文峰 陈丹燕
受保护的技术使用者：盈嘉互联（北京）科技有限公司
技术研发日：2022.03.08
技术公布日：2022/4/12