一种基于目标识别的安全提示方法及设备与流程

本申请涉及虚拟现实(Virtual Reality，VR)技术领域，尤其涉及一种基于目标识别的安全提示方法及设备。

背景技术

VR设备通常会存在一个预先标注的安全区域，如图1所示，用户在安全区域进行沉浸式体验。

目前，大多基于视觉的空间定位法来识别体验者是否移出安全区域，当识别到体验者离开安全区域时，VR设备会暂停当前人机交互过程，通过VR设备的摄像头显示真实视野场景以使体验者躲避障碍物。而当目标对象在安全区域时，则无法感知进入安全区域内的障碍物，给体验者带来安全隐患。

技术实现要素：

本申请实施例提供了一种基于目标识别的安全提示方法及设备，用以提高VR设备体验者体验过程的安全性。

第一方面，本申请实施例提供一种基于目标识别的安全提示方法，应用于VR设备，包括：

分别获取当前时刻双目摄像头采集的视场角区域内的RGB图像，以及惯性传感器采集的所述VR设备的运动数据；

根据两张RGB图像以及所述运动数据，确定表征所述视场角区域内真实场景深度信息的多维向量矩阵；

根据当前时刻的多维向量矩阵与上一时刻的多维向量矩阵，确定两相邻时刻的多维向量矩阵差值；

根据所述多维向量矩阵差值，识别所述视场角区域内是否存在目标对象；

若识别出目标对象，则在目标对象位于所述VR设备的预设安全区域内时，给出安全提示信息。

第一方面，本申请实施例提供一种VR设备，包括显示屏、透镜、双目摄像头、惯性传感器、存储器、处理器：

所述显示屏，被配置为显示VR图像；

所述透镜，被配置为利用光线原理将所述显示屏上显示的画面映射到视网膜上；

所述双目摄像头，被配置为采集的视场角区域内真实场景的RGB图像；

所述惯性传感器，被配置为采集的所述VR设备的运动数据；

所述存储器，被配置为存储计算机程序指令；

所述处理器，被配置为根据所述计算机程序指令，执行以下操作：

分别获取当前时刻双目摄像头采集的视场角区域内的RGB图像，以及惯性传感器采集的所述VR设备的运动数据；

根据两张RGB图像以及所述运动数据，确定表征所述视场角区域内真实场景深度信息的多维向量矩阵；

根据当前时刻的多维向量矩阵与上一时刻的多维向量矩阵，确定两相邻时刻的多维向量矩阵差值；

根据所述多维向量矩阵差值，识别所述视场角区域内是否存在目标对象；

若识别出目标对象，则在目标对象位于所述VR设备的预设安全区域内时，给出安全提示信息。

第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的基于目标识别的安全提示方法。

本申请的上述实施例中，根据两相邻时刻双目摄像头采集的RGB图像，确定两相邻时刻表征双目摄像头的视场角区域内真实场景深度信息的多维向量矩阵的差值，根据多维向量矩阵差值识别出视场角区域内的目标对象，当目标对象位于VR设备的预设安全区域时，给出安全提示信息，以使VR设备的体验者躲避安全区域内的目标对象，在不影响体验者沉浸感的同时，提高体验的安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请的实施例提供的安全区域示意图；

图2示例性示出了本申请的实施例提供的VR一体机示意图；

图3示例性示出了本申请的实施例提供的VR一体机的操作方式示意图；

图4示例性示出了本申请的实施例提供的外接设备控制VR设备显示的界面图；

图5示例性示出了本申请的实施例提供的识别安全区域内的物体示意图；

图6示例性示出了本申请的实施例提供的基于目标识别的安全提示方法流程图；

图7示例性示出了本申请的实施例提供的双目摄像头位姿计算方法示意图；

图8示例性示出了本申请的实施例提供的三角形测量三维信息方法示意图；

图9示例性示出了本申请的实施例提供的安全区域划分方式示意图；

图10示例性示出了本申请的实施例提供的提示界面图；

图11示例性示出了本申请的实施例提供的VR设备的硬件结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

为清楚描述本申请的实施例，下面对本申请的名词进行解释说明。

3自由度(Degree of Freedom，DoF)：VR设备可以检测到体验者头部向不同方向的自由转动，但是不能检测到头部上下前后左右的空间位移。

6DOF：VR设备除了检测体验者头部的转动带来的视场角的变化外，还能够检测到由于体验者身体移动带来的上下前后左右位移的变化。

视场角(Field of View，FOV)：又称视场，决定了光学仪器(如相机)的视野范围，视场角大小由光学仪器硬件本身决定。

安全区域：VR设备体验者的安全活动范围，根据VR设备的不同，安全区域的设置方式也不同。例如，针对无外接设备的VR设备，通常以VR设备为中心，以固定长度为半径建立一个安全区域；针对有外接设备(例如手柄)的VE设备，根据外接设备的信号范围，围绕VR设备建立一个安全区域。

下面结合附图详细描述本申请的实施例。

图2示例性示出了本申请实施例提供的VR一体机的结构示意图。如图2所示，VR设备本身带有多个摄像头，包括但不限于普通摄像头、鱼眼摄像头。利用摄像头采集的图像可以实现基于计算机视觉(Computer Vision，CV)的6 DOF算法。

如图2示出的，VR设备还存在关联的外接设备(例如手柄)，外接设备可以向外发射超声波，从而实现外接设备基于CV或者超声波的6 DOF算法。

基于图2示出的VR一体机，VR设备的体验者可基于图3所示的操作方式进行交互类游戏的沉浸式体验。交互过程中，体验者可通过操作手柄控制VR设备显示屏的显示内容，如图4所示。

需要说明的是，图1-图4仅是一种示例，本申请实施例对外接设备的数量不做限制性要求。例如，对于具有手势识别功能的VR设备，可以不存在外接设备。

基于上述VR设备本申请实施例提供一种基于目标识别的安全提示方法。如图5所示，VR设备的安全区域可视为圆柱体，对于进入安全区域内的物体，给出相应的安全提示信息。具体的，通过不同时刻双目摄像头采集的图像，确认视场角区域内的真实场景的深度信息是否变化，基于表征深度信息变化的多维向量矩阵差值，进行3D信息的物体形状识别，并确定物体是否位于VR设备预设的安全区域内，若位于，则将识别出的物体以虚拟模型的形态显示在当前时刻的3D界面内，在不影响体验者沉浸感的同时，确保体验者得到相应的提醒以避免安全隐患。

图6示例性示出了本申请实施例提供的基于目标识别的安全提示方法流程图，如图5所示，该流程由VR设备执行，主要包括以下几步：

S601：分别获取当前时刻双目摄像头采集的视场角区域内的RGB图像，以及惯性传感器采集的VR设备的运动数据。

在S601中，VR设备包括惯性传感器(Inertial Measurement Unit，IMU)。一般而言，IMU要安装在被测物体的重心上，即VR设备的重心位置。通常的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计用于测量VR设备的加速度，陀螺仪用于测量VR设备的角速度。因此，运动数据包括VR设备的加速度和角速度。

本申请的实施例中，VR设备的(左右)双目摄像头的视场角大小决定了可视区域范围，在S601中，双目摄像头的视场角大小约为105°，通过双目摄像头，采集当前时刻视场角区域内的RGB图像，结合IMU采集的当前时刻的VR设备的运动数据，可以解算出VR设备的位姿信息。

S602：根据两张RGB图像以及运动数据，确定表征视场角区域内真实场景深度信息的多维向量矩阵。

在S602中，由于IMU测量的VR设备的角速度和加速度存在明显的漂移，对获取的运动数据进行多次积分时，位姿估算的误差较大，而双目摄像头采集的视觉图像不存在漂移，且纹理信息丰富，这样，可通过IMU采集的运动数据和双目摄像头采集的RGB图像确定VR设备的位姿信息，实现利用视觉数据优化IMU估算的位姿误差，从而提高估算精度。具体估算过程相关技术中的已有介绍，由于此部分不作为本申请的重点，在此不再详细描述。

在S602中，位姿信息包括位置信息和旋转角度信息，由于IMU一般设置于VR设备的重心，因此，S602中估算的位姿信息为VR设备的整体位姿信息。进一步地，根据VR设备的位姿信息，分别确定左、右双目摄像头的位姿信息。

具体的，如图7所示，假设VR设备的位置信息为P0，旋转角度信息为R0，测得的左摄像头相对于VR设备的位置偏差L1，左摄像头相对于VR设备的角度偏差R01，右摄像头相对于VR设备的位置偏差L2，右摄像头相对于VR设备的角度偏差R02，则左摄像头的位置信息P1＝P0-L1，左摄像头的旋转角度信息R1＝R0*R01，右摄像头的位置信息P2＝P0 L2，右摄像头的旋转角度信息R2＝R0*R02。

得到左、右(双目)摄像头的位姿信息后，结合采用深度学习模型(例如卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN))，分别从左、右(双目)摄像头采集的RGB图像中提取的视场角区域内真实场景的二维信息，确定真实场景的三维信息(包含深度信息)，得到表征真实场景深度信息的多维向量矩阵。

其中，可采用三角形测量法确定深度信息。如图8所示，O1为左摄像头的光心，O2为右摄像头的光心，I1为左摄像头采集的RGB图像(记为左RGB图像)，I2为右摄像头采集的RGB图像(记为右RGB图像)，p1为左RGB图像上像素点，p2为右RGB图像中的像素点，t为右RGB图像相对于左RGB图像的变换矩阵(或者左RGB图像相对于右RGB图像的变换矩阵)。理论上，O1p1和O2p2在三维空间中相交于一点P，但是由于噪声的影响，O1p1和O2p2往往无法相交，可通过最小二乘法来求解出与P点距离最近的点P′，得到真实场景的三维深度信息，并用向量矩阵的形式表示。

具体计算过程已封装在OpenCV函数中，可通过函数调用直接确定真实场景的三维深度信息，具体函数如下：

cv：：triangulatePoints(PoseL，PoseR，Point2DL，Point2DR，Point3D)

其中，PoseL表示左摄像头的位姿信息，PoseR表示右摄像头的位姿信息，Point2DL表示三维空间中的点P在左RGB图像中的2D坐标，Point2DR表示三维空间中的点P在右RGB图像中的2D坐标，Point3D为求解后的点P的3D坐标，包含深度信息。

S603：根据当前时刻的多维向量矩阵与上一时刻的多维向量矩阵，确定两相邻时刻的多维向量矩阵差值。

在S603中，上一时刻的多维向量矩阵的确定方式与当前时刻的多维向量矩阵的确定方式相同，在此不再重复。

在S603中，根据当前时刻和上一时刻的多维向量矩阵的差值，可以得到两相邻时刻视角区域内真实场景的深度信息变化情况，从而识别出真实场景中物体的形状。

在一些实施例中，针对关联的外接设备(例如手柄)的VR设备，利用外接设备控制VR显示屏内容时，外接设备可进入双目摄像头的视场角区域内，因此，在S602确定两相邻时刻的多维向量矩阵差值之后，还包括：根据上一时刻至当前时刻VR设备关联的外接设备的位置变化矩阵，更新多维向量矩阵差值，以减少外接设备对识别目标对象的干扰。具体的，在确定的多维向量矩阵差值的基础上，减去外接设备的位置变化矩阵，得到更新后的多维向量矩阵差值。

需要说明的是，VR设备支持外接设备的空间定位，可以获取外接设备的位置变化信息，并用矩阵形式表示。

实验结果证明，本申请实施例对人形、球形、椭圆形、圆柱体等形状的目标对象，均有较好的识别效果。

S604：根据多维向量矩阵差值，识别视场角区域内是否存在目标对象，若存在，执行S605，否则返回S601。

在S604中，将多维向量矩阵差值，输入预先训练好的形状识别模型，基于形状识别模型的输出各个形状的置信度结果，识别视场角区域内是否存在目标对象。可选的，将大于置信度阈值的置信度中最高置信度对应的形状作为视场角区域内目标对象的形状。其中，形状识别模型是基于包含深度信息的多种形状轮廓的物体数据训练得到的。

S605：确定目标对象是否位于VR设备的预设安全区域内，若是，执行S606，否则返回S601。

在S605中，识别到目标对象后，确定目标对象的中心点，并确定中心点是否在预设安全区域内，若确定中心点在预设安全区域内，则确定目标对象在安全区域内。

S606：给出安全提示信息。

在S606中，目标对象位于VR设备的预设安全区域内时，会给VR体验者带来安全隐患，因此，需要给出提示信息以使体验者躲避该目标对象。

需要说明的是，本申请实施例对提示信息的方式不做限制性要求，例如可以是显示在VR设备的显示屏中，也可以通过语音方式播报，还可以通过震动方式进行提示。

在本申请的一些实施例中，根据双目摄像头的视场角范围，可预先将VR设备的预设安全区域划分为不同安全等级的区域，如图9所示，双目摄像头用1、2表示，视场角范围用点画线表示，将预设安全区域(用虚线表示)分为A、B、C三个区域，其中，A区域的安全等级为二级，B、C区域的安全等级为一级，小于A区域的安全等级。在S606中，根据目标对象所在的安全区域对应的安全等级，给出与安全等级相匹配的安全提示信息。

例如，当目标对象位于A区域时，A区域的安全等级为二级，则将识别得到的目标对象以特殊方式(例如频闪、添加虚线框等)显示在显示屏中，并进行语音提醒，从而引起体验者的关注。

再例如，当目标对象位于C区域时，C区域的安全等级为一级，则直接在显示屏中显示目标对象(球形物体)以提醒体验者绕过该对象，显示界面如图10所示。

在一些实施例中，可能有多个物体同时进入视场角范围内，即在S604中识别出多个目标对象时，可先确定多个目标对象的优先级等级。

一种可选的方式为，根据多个目标对象各自的面积大小，确定优先级等级，面积越大，表明该目标对象的危险系数越高，对应的优先级应越高，即优先级等级的高低与面积大小呈正相关。另一种可选的方式为，根据多个目标对象与VR设备的距离大小，确定优先级等级，距离越近，表明该目标对象的危险系数越高，对应的优先级应越高，优先级等级的高低与距离大小呈负相关。

进一步地，在S605中，根据确定的优先级等级，分别确定多个目标对象的中心点是否位于VR设备的预设安全区域内。

需要说明的是，当两个或两个以上目标对象的面积组成一个联通区域时，可视为一个目标对象。

在一些实施例中，设置目标对象的识别频率为20fps，为了减少安全提示信息对VR体验者的干扰，对于小于预设门限的目标对象，例如目标对象的形状所占面积的像素数＜32*40，或者，目标对象的中心点与VR设备的距离＞5m，可给出5s左右的震动音以提示有物体进入安全区域。

基于相同的技术构思，本申请实施例提供一种VR设备，该设备可实现本申请实施例提供的基于目标识别的安全提示方法，且能达到相同的技术效果，在此不再重复。

如图11所示该设备包含显示屏1101、透镜1102、双目摄像头1103、惯性传感器1104、存储器1105、处理器1106。其中，显示屏1101被配置显示VR图像，透镜1102被配置为利用光线折射原理，将显示屏1101上显示的画面映射到视网膜上，双目摄像头1103被配置为采集真实场景中的双目图像，惯性传感器1104被配置为采集VR设备的运动数据，存储器1105被配置为存储计算机程序指令，处理器1106被配置为根据存储器1105存储的计算机程序指令，执行以下操作：

分别获取当前时刻双目摄像头采集的视场角区域内的RGB图像，以及惯性传感器采集的VR设备的运动数据；

根据两张RGB图像以及运动数据，确定表征视场角区域内真实场景深度信息的多维向量矩阵；

根据当前时刻的多维向量矩阵与上一时刻的多维向量矩阵，确定两相邻时刻的多维向量矩阵差值；

根据多维向量矩阵差值，识别视场角区域内是否存在目标对象；

若识别出目标对象，则在目标对象位于VR设备的预设安全区域内时，给出安全提示信息。

可选的，VR设备存在关联的外接设备1107，则确定两相邻时刻的多维向量矩阵差值之后，处理器1106还被配置为：

根据上一时刻至当前时刻VR设备关联的外接设备的位置变化矩阵，更新多维向量矩阵差值。

可选的，视场角区域内包含多个目标对象时，处理器1106具体被配置为：

确定多个目标对象的优先级等级；

根据优先级等级，分别确定多个目标对象的中心点是否位于VR设备的预设安全区域内，若位于，则确定相应的目标对象位于VR设备的预设安全区域内。

可选的，处理器1106具体被配置为：

根据多个目标对象各自的面积大小，确定优先级等级，优先级等级的高低与面积大小呈正相关；或者

根据多个目标对象与VR设备的距离大小，确定优先级等级，优先级等级的高低与距离大小呈负相关。

可选的，预设安全区域被划分为多个安全等级的区域，处理器1106具体被配置为：

根据目标对象所在的安全区域对应的安全等级，给出与安全等级相匹配的安全提示信息。

可选的，安全等级是根据双目摄像头的视场角划分的。

需要说明的是，本申请实施例上述涉及的处理器可以是中央处理器(central processing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行上述实施例中的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。