一种基于图像识别的虚拟数字人视线控制方法与流程

1.本发明涉及计算机软件领域，尤其涉及一种基于图像识别的虚拟数字人视线控制方法。


背景技术：

2.21世纪初，传统手绘被cg、动作捕捉等技术取代，虚拟数字人进入探索阶段。近5年，得益于深度学习算法的突破，数字人的制作过程得到简化，虚拟人进入初级阶段。当前，虚拟人理论和技术日益成熟，应用范围不断扩大，产业逐步形成和丰富，虚拟人逐渐成为下一代人机交互平台。
3.虚拟数字人(简称虚拟人)指具有数字化外形的虚拟人物，拥有人物特征和行为，并能识别外界环境，与人交流互动。虚拟数字人系统一般由人物形象、语音生成、动画生成、音视频合成显示、交互5个模块构成。根据有无交互功能模块，可将虚拟人分为交互型和非交互型两种。
4.但是，市面上多数虚拟人产品不具备实时注视用户面部的功能，或者限定特定的观察角度，才具有注视用户面部的功能，对用户观察位置有强制要求，无法带来趋近真实社交的用户体验。


技术实现要素：

5.(一)解决的技术问题
6.为了解决以上技术不足，本发明提供一种基于图像识别的虚拟数字人视线控制方法，能够使虚拟人在交互过程中，目光实时准确地注视运动中的用户面部，改善交互中的用户体验。
7.(二)技术方案
8.为了实现上述通过人脸识别驱动虚拟人视线的目的，本发明提供如下技术方案，该方案共分为4个计算步骤，通过前两个步骤采集真实相机图像中的人脸位置信息，通过后两个步骤将真实空间中的人脸位置转换为虚拟相机中的空间位置，最后调整虚拟数字人眼球旋转角度和移动虚拟相机视点。其中，
9.步骤(1)：规范化相机空间关系，即对真实相机间与虚拟相机间两种空间位置关系进行规范化；
10.步骤(2)：计算真实空间的人脸位置，即通过图像识别技术，实时捕捉真实相机图像的人脸位置信息，推算真实空间中人脸的位置；
11.步骤(3)：计算虚拟空间的人脸位置，即将真实空间的人脸位置变换到虚拟相机空间中，得到人脸的虚拟空间位置；
12.步骤(4)：调整虚拟人视线方向，即调整虚拟人视线方向以朝向人脸的虚拟空间位置。
13.(三)有益效果
14.与现有技术相比，本发明具备以下有益效果：在用户与虚拟人交互场景中，虚拟人能够根据真实相机画面实时准确地捕捉人脸位置，然后自我调整视线角度，从而达到实时注视用户面部的目的。同时，从用户视角观察屏幕画面，也能呈现出虚拟人自然注视的效果。实现虚拟空间与真实空间自然的眼神交流，改善了人机交互中的用户体验感。
附图说明
15.图1为真实相机空间示意图
16.图2为虚拟相机空间示意图
17.图3为虚拟相机透视投影示意图
18.图4为真实相机与虚拟相机空间关系图
具体实施方式
19.下面结合附图对本发明的具体实施方式做进一步详细描述。
20.步骤(1)：规范相机空间
21.为了使虚拟人能准确的注视人脸，需要实时采集真实相机的图像数据及距离数据。因此有必要规范真实相机空间，使得真实相机拍摄画面与显示屏幕平面重合(参考图1)。
22.除了真实相机空间，还需要规范虚拟相机空间。虚拟空间的相机作用是将虚拟空间里的物体投影到二维显示屏上，从而通过显示屏向外界呈现虚拟空间画面 (参考图2)。该功能的实现使用到了透视投影矩阵的数学工具，将虚拟空间场景往虚拟相机视点方向的近截面进行投影变换，得到二维图像，最终渲染到显示屏上(参考图3)。
23.透视投影技术已在计算机图像渲染领域广泛使用，因此虚拟相机空间规范化不再赘述。规范相机空间，使得将真实人脸位置精准变换到虚拟相机空间成为可能。
24.步骤(2)：计算真实空间的人脸位置
25.首先，根据真实相机(例如深度相机)实时采集的图像与深度信息，可获得图像每个像素的颜色与距离数据。采用基于图像识别的人脸检测技术，例如libfacedetection框架(https://github.com/shiqiyu/libfacedetection)，可以帮助定位图像中的人脸位置，结合图像位置的深度信息，可以计算真实空间坐标位置。
26.图4所示为真实相机与虚拟相机图像投影面重合后的俯视剖面图，其中，
27.点0为真实相机视点位置；点q为虚拟相机视点位置；
28.点p为人脸位置；点t为虚拟人眼球位置；
29.点s为屏幕中心位置；
30.角a为虚拟相机水平视域半张角；
31.角b为真实相机水平视域半张角；
32.w为矩形屏幕半长；h为矩形屏幕半宽；
33.假设真实相机镜片位于屏幕中心s处(实际上位于屏幕中心正上方，可以通过阶段1进行误差校正)，采用人脸检测技术定位图像坐标系中双目连线的中点位置a，从而可从深度图中查找点a到显示屏的垂直距离l。结合图像尺寸对a 坐标归一化，得到归一化二维坐标b。为方便处理，将图像坐标系的原点由图像左上角移动到图像中心，得到移动坐标系后
的二维坐标c,有。
34.这样通过归一化的坐标c，可以推导出位置的三维空间坐标，。此处仅推导水平平面的坐标，竖直平面同理。到此，我们通过人脸到屏幕距离l与人脸的图像坐标a，成功推算p的空间坐标。
35.步骤(3)：计算虚拟空间的人脸位置
36.通过阶段2可以知道，位置p的坐标与屏幕中心位置s相关联，所以计算出位置s相对虚拟相机视点q的坐标，即可推导出人脸位置p相对虚拟相机视点位置q的坐标。根据透视投影矩阵的原理，|sq|为虚拟相机视锥体的近截面距离n，这个数值可以从渲染引擎配置中获取。接下来根据虚拟相机在虚拟空间的变换矩阵m，可以推导出位置s在虚拟空间中的坐标，。
37.到此，将位置s的坐标代入阶段2的方程，可以推导出位置p在虚拟相机空间中的绝对坐标。
38.步骤(4)：调整虚拟人视线方向
39.假设虚拟人的眼球位于虚拟空间的位置t上，且t坐标已知，则根据阶段3 推导的人脸位置p，可以获得视线向量tq，从而调整虚拟人眼球转动角度，达到望向人脸的目的。


技术特征：
1.一种基于图像识别的虚拟数字人视线控制方法，其特征在于，包括以下步骤：步骤(1)：规范化相机空间关系，即对真实相机间与虚拟相机间两种空间位置关系进行规范化；步骤(2)：计算真实空间的人脸位置，即通过图像识别技术，实时捕捉真实相机图像的人脸位置信息，推算真实空间中人脸的位置；步骤(3)：计算虚拟空间的人脸位置，即将真实空间的人脸位置变换到虚拟相机空间中，得到人脸的虚拟空间位置；步骤(4)：调整虚拟人视线方向，即调整虚拟人视线方向以朝向人脸的虚拟空间位置。2.根据权利要求1所述的一种基于图像识别的虚拟数字人视线控制方法，其特征在于，使用真实相机(例如深度相机)实时捕捉真实空间中的注视目标位置。3.根据权利要求1所述的一种基于图像识别的虚拟数字人视线控制方法，其特征在于，将真实空间中的注视目标位置通过空间变换，转移到虚拟空间中。

技术总结
本发明一种基于图像识别的虚拟数字人视线控制方法，涉及：图像识别、计算机几何、计算机图形学、虚拟现实，具体为一种采用人脸检测技术识别真实相机图像中的用户面部位置，从而驱动虚拟数字人眼球实时、精准注视面部的方法。该方法基于图像识别、计算几何等相关算法，先基于开源的人脸检测系统框架从深度相机图像中，实时计算人脸在真实空间的三维坐标，再通过空间坐标变换得到人脸在虚拟空间的位置，最后调整虚拟数字人眼球转动角度，实现虚拟人在人机交互场景中目光实时、精准地注视用户面部，改善人机交互的用户体验。改善人机交互的用户体验。改善人机交互的用户体验。


技术研发人员：高春鸣 张喜文
受保护的技术使用者：长沙千博信息技术有限公司
技术研发日：2022.03.28
技术公布日：2022/7/15