基于物联网的虚拟场景展示方法、系统、设备和存储介质与流程

1.本发明涉及虚拟现实技术领域，尤其涉及一种基于物联网的虚拟场景展示方法、系统、设备和存储介质。


背景技术：

2.虚拟现实技术(virtual reality，简称vr)，又称灵境技术，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对vr技术的需求日益旺盛。vr技术也取得了巨大进步，并逐步成为一个新的科学技术领域。
3.现有的虚拟实现技术通常为根据用户需求开发后，用户使用vr设备观看虚拟场景，缺少根据环境变化而变化的虚拟场景展示功能。


技术实现要素：

4.有鉴于此，有必要针对现有的虚拟场景缺乏用户参与感和创造性的问题，提供一种基于物联网的虚拟场景展示方法、装置、设备和存储介质。
5.一种基于物联网的虚拟场景展示方法，所述方法包括以下步骤：
6.定时调用数据接口，根据所述数据接口获取实时数据，将所述实时数据根据预设的处理方式进行处理，得到目标数据；
7.获取当前虚拟场景，将所述目标数据采用预设的嵌入方式，将所述目标数据通过嵌入的方式与所述虚拟场景一起渲染成新的虚拟场景；
8.将所述虚拟场景进行刷新并展示。
9.可选地，所述定时调用数据接口，根据所述数据接口获取实时数据，将所述实时数据根据预设的处理方式进行处理，得到目标数据，包括：
10.所述数据接口包括并不限于温度传感器接口、烟雾传感器接口、消防传感器接口、地磁传感器接口、门吸传感器接口、电流传感器接口；
11.定时调用多个所述数据接口，获取包括温度数据、烟雾数据、消防信息数据、地磁数据、门吸数据及电流数据在内的实时数据；
12.获取多张历史表单，所述历史表单内包含历史时间及对应的历史数据，将多个所述实时数据及当前时间分类插入对应的历史表单中，形成目标数据。
13.可选地，所述获取当前虚拟场景，将所述目标数据采用预设的嵌入方式，将所述目标数据通过嵌入的方式与所述虚拟场景一起渲染成新的虚拟场景，包括：
14.对所述实时数据与预设的预警算法进行计算，若达到告警范围，则获取所述告警范围对应的标签，对所述实时数据进行标签标记，将所述目标数据通过嵌入的方式与所述虚拟场景一起渲染时，将标签一起嵌入新的所述虚拟场景中；
15.若未达到告警范围，则跳过标记步骤，直接对实时数据进行处理后得到所述目标
数据，将所述目标数据通过嵌入的方式与所述虚拟场景一起渲染成新的虚拟场景。
16.可选地，所述定时调用数据接口，根据所述数据接口获取实时数据，将所述实时数据根据预设的处理方式进行处理，得到目标数据，包括：
17.所述数据接口包括并不限于多个摄像头接口；
18.定时调用多个所述摄像头接口，获取视频信息，对视频信息生成一帧一帧的图片，选择一张图片输入预设的目标检测模型中进行预测，得到含有多个特征的人头图片，每个特征均包含有四个边界框坐标信息；
19.将人头图片中的多个特征进行统计，得到当前人数，并根据每个特征中的所述每个特征中的四个边界框坐标信息，对含有多个特征的人头图片分别进行标注，将所述人头图片和所述视频信息一起定义为所述目标数据。
20.可选地，所述将人头图片中的多个特征进行统计，得到当前人数，并根据每个特征中的所述每个特征中的四个边界框坐标信息，对含有多个特征的人头图片分别进行标注，将所述人头图片和所述视频信息一起定义为所述目标数据前，包括：
21.将人头图片的rgb图像转换到指定的颜色空间yuv；
22.根据所述颜色空间yuv的三个通道y、u和v的图像分别计算lbp直方图，即先计算单个通道的lbp直方图，然后将三个通道的lbp直方图合并起来构成颜色纹理；
23.将所述颜色纹理输入svm分类器中进行分类，得到真实或假的人头，假的人头为误检人头，将误检人头对应的特征从人头图片中去除。
24.可选地，所述获取当前虚拟场景，将所述目标数据采用预设的嵌入方式，将所述目标数据通过嵌入的方式与所述虚拟场景一起渲染成新的虚拟场景，包括：
25.获取所述人头图片中的多个特征，对每个所述特征与预设的多张人员照片通过预设的人脸识别模型进行比较，确定出每个人头图片对应的人员信息；
26.根据所述标注信息将所述目标数据通过嵌入的方式与所述虚拟场景一起渲染时，也将对应的人员信息一起嵌入新的所述虚拟场景中。
27.可选地，获取所述虚拟场景的缩放等级，根据所述缩放等级对所述虚拟场景进行切割，切割成预设张数预设像素的子图，将所述子图采用分布式存储方式进行存储；
28.获取用户发送的展示请求，通过异步加载的方式将所述子图依次发送给用户进行展示。
29.进一步地，为实现上述目的，本发明还提供一种基于物联网的虚拟场景展示装置，包括：
30.获取目标数据模块，用于定时调用数据接口，根据所述数据接口获取实时数据，将所述实时数据根据预设的处理方式进行处理，得到目标数据；
31.渲染虚拟场景模块，用于获取当前虚拟场景，将所述目标数据采用预设的嵌入方式，将所述目标数据通过嵌入的方式与所述虚拟场景一起渲染成新的虚拟场景；
32.展示模块，用于将所述虚拟场景进行刷新并展示。
33.为实现上述目的，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述基于物联网的虚拟场景展示方法的步骤。
34.为实现上述目的，本发明还提供一种存储有计算机可读指令的存储介质，所述计
算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述基于物联网的虚拟场景展示方法的步骤。
35.本发明提供的基于物联网的虚拟场景展示方法，可灵活调用各类数据接口，包括温度、烟雾、消防、地磁、门吸、电流等传感器、各类摄像头，并将实时数据以表单等方式嵌入虚拟场景，实现全景智能物联网功能。本发明还可对采集数据进行处理分析，达到对数据实施监控，标定可疑行为的目的，并最终将预警结果以告警及标签的方式反馈至虚拟场景中供用户实时查看。
附图说明
36.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
37.图1为本发明一个实施例中基于物联网的虚拟场景展示方法的流程图；
38.图2为本发明一个实施例中基于物联网的虚拟场景展示装置的结构图。
具体实施方式
39.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
40.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
41.参照图1，为本发明一个实施例中的基于物联网的虚拟场景展示方法的流程图，如图1所示，一种基于物联网的虚拟场景展示方法，包括以下步骤：
42.步骤s1，获取目标数据：定时调用数据接口，根据数据接口获取实时数据，将实时数据根据预设的处理方式进行处理，得到目标数据。
43.本步骤中的数据接口包括并不限于温度传感器接口、烟雾传感器接口、消防传感器接口、地磁传感器接口、门吸传感器接口、电流传感器接口。当包含上述数据接口时，本步骤包括：
44.步骤s101，定时调用多个数据接口，获取包括温度数据、烟雾数据、消防信息数据、地磁数据、门吸数据及电流数据在内的实时数据。
45.本步骤可以采用定时调用的方式，及时获取物联网系统中各类传感器的当前数据。本步骤中的定时可以根据用户需求设置，例如1小时或1天等。
46.步骤s102，获取多张历史表单，历史表单内包含历史时间及对应的历史数据，将多个实时数据及当前时间分类插入对应的历史表单中，形成目标数据。
47.历史表单内可以包含若干组历史时间及对应的历史数据，例如包括最近采集的二十组历史数据，当获取了最新的实时数据时，可以舍去最早的一组历史数据。每个传感器可以根据类别分别设置一张历史表单，也可以共用一张历史表单，且预先确定好每个传感器
的存储位置即可。
48.本步骤中的数据接口也可也包括多个摄像头接口，当包含多个摄像头接口时，本步骤包括：
49.步骤s111，定时调用多个摄像头接口，获取视频信息，对视频信息生成一帧一帧的图片，选择一张图片输入预设的目标检测模型中进行预测，得到含有多个特征的人头图片，每个特征均包含有四个边界框坐标信息。
50.本步骤对多个摄像头分别获取多段视频信息，针对每段视频信息分别进行上述处理得到含有多个特征的人头图片。对一段视频均生成多张图片后，可随机获取一张图片进行预测。在进行预测时，目标检测模型采用yolov3目标检测算法，yolov3算法具有对小目标物体检测效果好并且检测速度快等优点。本yolov3算法的网络结构主要是主干网络加检测网络，其中主干网络使用了darknet53特征提取网络，即使用了一个53层的全卷积网络，且大量使用残差的跳层连接，由残差单元叠加而成，使得yolov3算法训练结果只分人头和非人头两类，相对于多标物体检测任务简单很多。
51.本步骤还通过k-means聚类方法预测多个特征的边界框，使用二元交叉熵损失函数进行类别预测，最后去除多余的预测边界框，输出最终的预测边界框和类别。每个预测任务得到的特征大小都为n
×
n
×
[3＊(4 1 80)]，n为格子大小，3为每个格子得到的边界框数量，4是4个边界框坐标信息，1是目标预测值，80是类别数量。
[0052]
步骤s112，将含有多个特征的人头图片输入活体检测模型中，去除误检人头，最终得到精确的人头图片，人头图片中含有多个特征。
[0053]
本步骤在检测到人头之后再将该人头图片传入活体检测算法中。本步骤的活体检测模型采用基于颜色纹理的人脸活体检测算法，具体的检测过程如下：
[0054]
1)将人头图片的rgb图像转换到指定的颜色空间yuv。“y”表示明亮度，“u”表示色度，“v”表示饱和度。
[0055]
2)根据颜色空间yuv的三个通道y、u和v的图像分别计算lbp直方图，即先计算单个通道的lbp直方图，然后将三个通道的lbp直方图合并起来构成颜色纹理。
[0056]
本步骤中lbp直方图的计算方法如下：
[0057]
在3*3的采样窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，将二进制数转换为十进制数，即得到该窗口中心像素点的lbp值，并用这个值来反映该区域的纹理信息。对于八采样点的lbp算子来说，特征值范围为0～255，对每个特征值进行统计，比如得到特征值为1的lbp值有多少个、特征值为245的lbp值有多少个等等。这样就形成了一个直方图，该直方图有256个bin，即256个分量，也可以把该直方图当做一个长度为256的向量。因此本步骤三个通道的lbp直方图合并起来构成3*256维的颜色纹理。
[0058]
3)将颜色纹理输入svm分类器中进行分类，得到真实或假的人头，假的人头为误检人头，将误检人头对应的特征从人头图片中去除。
[0059]
本步骤相对于深度学习算法，无需大量训练数据集，且推断速度更快。
[0060]
步骤s113，将人头图片中的多个特征进行统计，得到当前人数，并根据每个特征中的每个特征中的四个边界框坐标信息，对含有多个特征的人头图片分别进行标注，将人头
图片和视频信息一起定义为目标数据。
[0061]
步骤s2，渲染虚拟场景：获取当前虚拟场景，将目标数据采用预设的嵌入方式，将目标数据通过嵌入的方式与虚拟场景一起渲染成新的虚拟场景。
[0062]
当数据接口包括多个传感器接口时，步骤s2包括：
[0063]
步骤s201，对所实时数据与预设的预警算法进行计算，若达到告警范围，则获取告警范围对应的标签，对实时数据进行标签标记，将目标数据通过嵌入的方式与虚拟场景一起渲染时，将标签一起嵌入新的虚拟场景中。
[0064]
对于每个传感器，可以分别设置对于的预警算法。预设的预警算法可以为多等级预警阈值，例如设有三档预警阈值，当实时数据超过第一档预警阈值未超过第二档预警阈值时，对应的标签可以是黄色标签，当超过第二档预警阈值未超过第三档预警阈值时，对应的标签可以是橙色标签，当超过第三档预警阈值时，对应的标签可以是红色标签。在渲染时，在将目标数据嵌入虚拟场景中时，将标签同时嵌入，以示告警。
[0065]
步骤s202，若未达到告警范围，则跳过标记步骤，直接对实时数据进行处理后得到目标数据，将目标数据通过嵌入的方式与虚拟场景一起渲染成新的虚拟场景。
[0066]
例如，当实时数据未超过第一档预警阈值，则无需标记任何标签，表示数据安全可靠，直接将实时数据处理得到的目标数据嵌入虚拟场景供用户查看。
[0067]
当数据接口包括多个摄像头接口时，步骤s2包括：
[0068]
步骤s211，获取人头图片中的多个特征，对每个特征与预设的多张人员照片通过预设的人脸识别模型进行比较，确定出每个人头图片对应的人员信息。
[0069]
本步骤还可以结合人脸识别技术，预先存储每个人员的多张人头照片及对应的姓名或工号等人员信息，并可以通过人脸识别模型确定出每个人头图片对于的人员信息。
[0070]
步骤s212，根据标注信息将目标数据通过嵌入的方式与虚拟场景一起渲染时，也将对应的人员信息一起嵌入新的虚拟场景中。
[0071]
在通过摄像头接口获取视频信息后，可以将视频信息、人头图片及人头图片对于的人员信息一起嵌入到虚拟场景中，展示给用户，以便用户查看虚拟场景内人员构成及位置，实现更好的监控。
[0072]
步骤s3，展示虚拟场景：将虚拟场景进行刷新并展示。
[0073]
在得到了新的虚拟场景后，对新的虚拟场景进行刷新后进行展示，在展示时，本步骤还包括：
[0074]
步骤s301，获取虚拟场景的缩放等级，根据缩放等级对虚拟场景进行切割，切割成预设张数预设像素的子图，将子图采用分布式存储方式进行存储。
[0075]
对步骤s2渲染完成的虚拟场景，可以照缩放等级进行切割，最多切割成600张512*512像素的小图，并采用分布式技术存储。分布式存储是一种数据存储技术，通过网络使用中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在各个角落。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
[0076]
步骤s302，获取用户发送的展示请求，通过异步加载的方式将子图依次发送给用
户进行展示。
[0077]
异步加载又叫非阻塞，在加载图片时，本步骤先加载一个默认的图片，然后在后台加载图片，加载完成后显示出来。当用户在滑动时，停止加载图片的线程，当停止滑动时，看哪几个子图在显示屏内，只加载这几个，其它线程保持阻止。这样在前端展示过程中使用异步加载技术，可很好的实现不同前端设备的流畅展示。
[0078]
本实施例基于物联网的虚拟场景展示方法，通过定时调用各类数据接口，包括各类传感器和各类摄像头，并将实时数据以表单或图像等方式嵌入虚拟场景中，实现了实时全景智能物联网功能。
[0079]
在一个实施例中，提出了一种基于物联网的虚拟场景展示装置，如图2所示，该装置包括：
[0080]
获取目标数据模块，用于定时调用数据接口，根据数据接口获取实时数据，将实时数据根据预设的处理方式进行处理，得到目标数据；
[0081]
渲染虚拟场景模块，用于获取当前虚拟场景，将目标数据采用预设的嵌入方式，将目标数据通过嵌入的方式与虚拟场景一起渲染成新的虚拟场景；
[0082]
展示模块，用于将虚拟场景进行刷新并展示。
[0083]
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机可读指令时实现上述各实施例的基于物联网的虚拟场景展示方法中的步骤。
[0084]
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例的基于物联网的虚拟场景展示方法中的步骤。其中，存储介质可以易失性存储介质，存储介质也可以为非易失性存储介质。
[0085]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
[0086]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0087]
以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。