一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种视角调整方法及装置与流程

2023-01-02 11:15:43 来源:中国专利 TAG:


1.本技术涉及通信技术,应用于互联网、大数据等领域,尤其涉及一种视角调整方法及装置。


背景技术:

2.扩展坞又称为端口复制器,是专为笔记本电脑设计的一种外置设备。通过复制甚至扩展笔记型计算机的端口,可使笔记本电脑与多个配件或外置设备(如电源适配器、网线、鼠标、外置键盘、打印机及外置显示器)方便的一站式连接。
3.由于通信技术的迅速发展,在视频会议的场景下,市面上存在有传统模式和pro模式的视频共享扩展坞,其中,传统模式的视频共享扩展坞的成本低,能够高度集成摄像头 音箱 麦克风以及软件适配问题,直接连接电脑等设备即可方便使用。另外,pro模式的视频共享扩展坞内置操作系统机内下载会议软件,能够直连大屏设备,但该类视频共享扩展坞的成本较高。但上述两种不同模式的视频共享扩展坞,均无法解决因远程用户影像的会议室大屏位置和视频共享扩展坞的位置的空间位置较大,导致会议室用户视角和远程用户视角跟真实面对面交流场景中的视角存在差异性的问题,使得用户的视频会议体验感较差。


技术实现要素:

4.本技术实施例提供了一种视角调整方法及装置,能够针对性地调整会议室用户视角和远程用户视角跟真实面对面交流场景中的视角之间的差异性,提升参会人员的体验感。
5.第一方面,本技术实施例提供了一种视角调整方法,应用于第一视频共享扩展坞,所述第一视频共享扩展坞应用于会议场景,所述会议场景还包括第二视频共享扩展坞、第一显示设备和第二显示设备,所述第一视频共享扩展坞和所述第一显示设备为多个参会人员加入会议所用到的设备,第二视频共享扩展坞和所述第二显示设备为第一参会人员加入会议所用到的设备,所述第一视频共享扩展坞、所述第二视频共享扩展坞、所述第一显示设备和所述第二显示设备建立通信连接,所述第一参会人员通过所述第二显示设备与所述多个参会人员进行会议交流,所述多个参会人员通过所述第一显示设备与所述第一参会人员进行会议交流,所述方法包括:获取所述第一参会人员的行为信息和所述多个参会人员的行为信息,其中,所述行为信息包括语言信息、动作信息和面部信息;根据所述第一参会人员的行为信息和所述多个参会人员的行为信息确定所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度;根据所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度,从所述多个参会人员中选择第二参会人员;确定会议视频中所述第一参会人员当前针对所述第二参会人员的眼球视线方向,其中,所述眼球视线方向包括主视角方向或非主视角方向;
若所述第一参会人员当前针对所述第二参会人员的眼球视线方向为所述非主视角方向,则将所述第一参会人员当前针对所述第二参会人员的眼球视线方向由所述非主视角方向调整为所述主视角方向。
6.在视频会议的场景下,由于会议室用户视角和远程用户视角跟真实面对面交流场景中的视角存在差异性,导致用户的视频会议体验感较差。现有技术中,通过对第一图像中的人脸部分的人眼部分进行调整处理,以便获得与第一图像对应且人脸图像中用户的人眼部分处于正视状态的第二图像,从而实现在视频通信过程中,通过调整参数对采集单元实时采集的视频图像进行处理,获得对应的处于正视状态的图像,以实现在显示单元中显示的图像均为调整后的、在视觉上具有对视感的图像,但现有技术中并未对如何确定需要调整视线方向的用户的过程进行说明。而本技术首先通过第一视频共享扩展坞根据第一参会人员(即远程参会人员)的行为信息和多个参会人员(会议室内的参会人员)的行为信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,然后再根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,从多个参会人员中选择第二参会人员(即根据行为信息确定出第一参会人员实际上想注视的人为第二参会人员),若确定第一参会人员当前针对第二参会人员的眼球视线方向为非主视角方向(即基于会议室中第一视频共享扩展坞的角度来看,第一参会人员当前注视第二参会人员的方向为非正视方向),则第一视频共享扩展坞将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向。本技术能够针对性地调整会议室用户视角和远程用户视角跟真实面对面交流场景中的视角之间的差异性,提升参会人员的体验感。
7.在一种可能的实施方式中,还包括:接收第二视频共享扩展坞发送的第一信息和第二信息,其中,所述第一信息为采集的所述第一参会人员的眼球运动轨迹图像信息,所述第二信息为获取的所述多个参会人员显示在所述第二显示设备上的区域;根据所述第一参会人员的眼球运动轨迹图像信息和所述多个参会人员显示在所述第二显示设备上的区域,确定所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度;所述根据所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度,从所述多个参会人员中选择第二参会人员,包括:根据所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度、所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度,从所述多个参会人员中选择所述第二参会人员。
8.在上述方法中,第一视频共享扩展坞在根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,从多个参会人员中选择第二参会人员之前,还可以接收第二视频共享扩展坞发送的第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域,根据第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度。进一步的,根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度、第一参会人员的视角与多个参会人员中每个参会人员的匹配度,从多个参会人员中选择第二参会人员。本方案通过根据第一参会人员与多个参会人员中每个参会人员之间的沟通密
切程度、第一参会人员的视角与多个参会人员中每个参会人员的匹配度,从多个参会人员中选择第二参会人员,综合两个不同的维度从多个参会人员中选择第二参会人员,能够有效提高从多个参会人员中选择第二参会人员的准确率。
9.在另一种可能的实施方式中,所述根据所述第一参会人员的眼球运动轨迹图像信息和所述多个参会人员显示在所述第二显示设备上的区域,确定所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度,包括:根据所述第一参会人员的眼球运动轨迹图像信息确定所述第一参会人员的眼球视线位置的变化量;根据所述第一参会人员的眼球视线位置的变化量确定所述第一参会人员落在所述多个参会人员中每个参会人员的视点位置;根据所述第一参会人员落在所述多个参会人员中每个参会人员的视点位置,确定所述第一参会人员注视所述第二显示设备的目标区域;根据所述第一参会人员注视所述第二显示设备的目标区域和所述多个参会人员显示在所述第二显示设备上的区域,确定所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度。
10.在上述方法中,第一视频共享扩展坞根据第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度的具体过程可以为:先根据第一参会人员的眼球运动轨迹图像信息确定第一参会人员的眼球视线位置的变化量(比如第一参会人员注视第二显示设备的眼球视线方向由北偏东30
°
变成东偏南45
°
,再变成正西方向),再根据第一参会人员的眼球视线位置的变化量和多个参会人员中每个参会人员所在的位置确定第一参会人员落在多个参会人员中每个参会人员的视点位置(比如多个参会人员中的参会人员2在第二显示设备上所在的位置为正西方向,参会人员3在第二显示设备上所在的位置为正北方向,参会人员4在第二显示设备上所在的位置为西北方向,参会人员5在第二显示设备上所在的位置为正东方向),然后根据第一参会人员落在多个参会人员中每个参会人员的视点位置确定第一参会人员注视第二显示设备的目标区域(根据上述信息确定出第一参会人员注视第二显示设备的目标区域为正西方向),最后根据第一参会人员注视第二显示设备的目标区域和多个参会人员显示在第二显示设备上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度(即由于参会人员2在第二显示设备上所在的位置为正西方向,参会人员3在第二显示设备上所在的位置为正北方向,参会人员4在第二显示设备上所在的位置为西北方向,参会人员5在第二显示设备上所在的位置为正东方向,而第一参会人员注视第二显示设备的目标区域为正西方向,则确定出第一参会人员的视角与参会人员2的匹配度为95%、第一参会人员的视角与参会人员3的匹配度为10%、第一参会人员的视角与参会人员4的匹配度为54%、第一参会人员的视角与参会人员5的匹配度为2%)。本技术能够通过确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度,来提高从多个参会人员中选择第二参会人员的准确率。
11.在又一种可能的实施方式中,若所述第一参会人员注视所述第二显示设备的目标区域为所述第二参会人员显示在所述第二显示设备上的区域,则所述第一参会人员的视角与所述第二参会人员的匹配度最高。
12.在上述方法中,第一视频共享扩展坞可以通过界定第一参会人员注视第二显示设备的目标区域和多个参会人员显示在第二显示设备上的区域之间重合的面积,来确定多个参会人员中与第一参会人员的视角的匹配度最高的参会人员,举例来说,若多个参会人员包括参会人员2、参会人员3、参会人员4、参会人员5,参会人员1注视第二显示设备的目标区域为正西方向,参会人员2在第二显示设备上所在的位置为正西方向(与参会人员1注视第二显示设备的目标区域重合的面积为5cm2),参会人员3在第二显示设备上所在的位置为正北方向(与参会人员1注视第二显示设备的目标区域重合的面积为1cm2),参会人员4在第二显示设备上所在的位置为西北方向(与参会人员1注视第二显示设备的目标区域重合的面积为2.8cm2),参会人员5在第二显示设备上所在的位置为正东方向(与参会人员1注视第二显示设备的目标区域重合的面积为0cm2),由上述可知,参会人员1注视第二显示设备的目标区域与参会人员2显示在第二显示设备上的区域之间重合的面积最大,则参会人员1的视角与参会人员2的匹配度最高。本方案通过具体的确定匹配度的方式,能够提高从多个参会人员中选择第二参会人员的准确率。
13.在又一种可能的实施方式中,所述根据所述第一参会人员的行为信息和所述多个参会人员的行为信息确定所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度,包括:获取所述多个参会人员中每个参会人员的身份信息,其中,所述身份信息不同的参会人员的职责范围不同;根据所述第一参会人员的行为信息和所述多个参会人员的行为信息生成所述第一参会人员在会议过程中的目标关键词,其中,所述目标关键词包括所述第一参会人员提出的问题内容的关键词、所述多个参会人员针对所述问题的回答内容的关键词以及所述第一参会人员与所述多个参会人员中每个参会人员的沟通对话内容的关键词;将所述目标关键词与所述多个参会人员中每个参会人员的身份信息进行匹配,得到所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度。
14.在上述方法中,第一视频共享扩展坞根据第一参会人员的行为信息和多个参会人员的行为信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度的具体过程可以为:先获取多个参会人员中每个参会人员的身份信息(举例来说,若此次会议视频的主题为各个项目组负责人进行项目汇报,则第一视频共享扩展坞可以获取上述四人的身份信息,身份信息不同的参会人员的职责范围不同,其中,参会人员2负责项目a、参会人员3负责项目b、参会人员4负责项目c、参会人员5负责项目d,上述四人负责的项目各不相同),然后根据第一参会人员的行为信息和多个参会人员的行为信息生成第一参会人员在会议过程中的目标关键词(其中,该目标关键词可以包括参会人员1提出的问题1的内容的关键词;还可以包括参会人员2、参会人员3、参会人员4、参会人员5分别针对该问题1的回答内容的关键词;还可以包括参会人员1分别与参会人员2、参会人员3、参会人员4、参会人员5的沟通对话内容的关键词),最后将目标关键词与多个参会人员中每个参会人员的身份信息进行匹配,得到第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度(比如第一视频共享扩展坞将目标关键词与参会人员2、参会人员3、参会人员4、参会人员5的身份信息进行匹配,得到参会人员1与参会人员2、参会人员3、参会人员4、参会人员5之间的沟通密切程度分别为80%、30%、56%、78%)。本技术根据目标关键词与多个参会人员中每个
参会人员的身份信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,能够有效提高从多个参会人员中选择第二参会人员的准确率。
15.在又一种可能的实施方式中,所述确定所述第一参会人员当前针对所述第二参会人员的眼球视线方向,包括:计算所述多个参会人员中每个参会人员的位置与所述第一显示设备的位置之间的偏差值;若所述多个参会人员中的所述第二参会人员的位置与所述第一显示设备的位置之间的偏差值满足预设条件,则确定所述第一参会人员当前针对所述第二参会人员的眼球视线方向为所述非主视角方向。
16.在上述方法中,第一视频共享扩展坞从多个参会人员中选择第二参会人员之后,还需要确定第一参会人员当前针对第二参会人员的眼球视线方向,具体的,第一视频共享扩展坞可以先计算多个参会人员中每个参会人员的位置与第一显示设备的位置之间的偏差值(举例来说,第一视频共享扩展坞确定出多个参会人员(包括参会人员2、参会人员3、参会人员4、参会人员5)中的参会人员2的位置与会议室的显示设备的位置之间的偏差值为6cm、参会人员3的位置与会议室的显示设备的位置之间的偏差值为1cm、参会人员4的位置与会议室的显示设备的位置之间的偏差值为2cm、参会人员5的位置与会议室的显示设备的位置之间的偏差值为6cm),其中,参会人员2的位置与第一显示设备的位置之间的偏差值满足预设条件(比如参会人员2的位置与第一显示设备的位置之间的偏差值大于预设阈值2cm),则第一视频共享扩展坞确定参会人员1(第一参会人员)当前针对参会人员2(第二参会人员)的眼球视线方向为非主视角方向。本方案基于第一视频共享扩展坞从多个参会人员中选择第二参会人员之后,需要确定第一参会人员当前针对第二参会人员的眼球视线方向,若第一参会人员当前针对第二参会人员的眼球视线方向为非主视角方向,才执行后续将非主视角方向调整为主视角方向的操作。
17.在又一种可能的实施方式中,所述将所述第一参会人员当前针对所述第二参会人员的眼球视线方向由所述非主视角方向调整为所述主视角方向,包括:根据预设的调整参数通过矫正算法对所述会议视频中所述第一参会人员的眼球中眼白和瞳仁的位置和大小比例进行调整,以使所述第一参会人员针对所述第二参会人员的眼球视线方向由所述非主视角方向变为所述主视角方向。
18.在上述方法中,第一视频共享扩展坞将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向的具体过程可以为:根据预设的调整参数通过矫正算法对会议视频中第一参会人员的眼球中眼白和瞳仁的位置和大小比例进行调整,举例来说,若第一视频共享扩展坞确定会议视频中参会人员1当前注视参会人员2的眼球视线方向为南偏西45
°
,则将参会人员1的眼球中的眼白和瞳仁的位置顺时针旋转45
°
后向上平移1cm,并将眼白和瞳仁缩小1倍,以使参会人员1针对参会人员2的眼球视线方向由非主视角方向变为主视角方向。本方案能够对将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向,从而调整会议室用户视角和远程用户视角跟真实面对面交流场景中的视角之间的差异性,提升参会人员的体验感。
19.第二方面,本技术实施例提供一种视角调整装置,该视角调整装置包括获取单元、确定单元、选择单元和调整单元,该视角调整装置用于实现第一方面或第一方面任一种可
能的实施方式所描述的方法。
20.需要说明的是,上述第二方面所描述的视角调整装置所包含的处理器,可以是专门用于执行这些方法的处理器(便于区别称为专用处理器),也可以是通过调用计算机程序来执行这些方法的处理器,例如通用处理器。可选的,至少一个处理器还可以既包括专用处理器也包括通用处理器。
21.可选的,上述计算机程序可以存在存储器中。示例性的,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(read only memory,rom),其可以与处理器集成在同一块器件上,也可以分别设置在不同的器件上,本技术实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
22.在一种可能的实施方式中,上述至少一个存储器位于上述视角调整装置之外。
23.在又一种可能的实施方式中,上述至少一个存储器位于上述视角调整装置之内。
24.在又一种可能的实施方式之中,上述至少一个存储器的部分存储器位于视角调整装置之内,另一部分存储器位于上述视角调整装置之外。
25.本技术中,处理器和存储器还可能集成于一个器件中,即处理器和存储器还可以被集成在一起。
26.第三方面,本技术实施例提供一种视频共享扩展坞,该视频共享扩展坞包括处理器和存储器;所述存储器中存储有计算机程序;处理器执行计算机程序时,计算设备执行前述第一方面或者第一方面任一项所描述的方法。
27.第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在至少一个处理器上运行时,实现前述第一方面或者第一方面任一项所描述的方法。
28.第五方面,本技术提供了一种计算机程序产品,计算机程序产品包括计算机指令,当所述指令在至少一个处理器上运行时,实现前述第一方面或者第一方面任一项所描述的方法。该计算机程序产品可以为一个软件安装包,在需要使用前述方法的情况下,可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
29.本技术第二至第五方面所提供的技术方法,其有益效果可以参考第一方面的技术方案的有益效果,此处不再赘述。
附图说明
30.下面将对实施例描述中所需要使用的附图作简单的介绍。
31.图1是本技术实施例提供的一种视频共享扩展坞的应用场景图;图2是本技术实施例提供的一种视角调整的系统架构示意图;图3是本技术实施例提供的一种视角调整方法的流程示意图;图4是本技术实施例提供的一种确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度的示意图;图5是本技术实施例提供的一种调整眼球视线方向的示意图;图6是本技术实施例提供的一种视角调整装置60的结构示意图;图7是本技术实施例提供的一种视频共享扩展坞70的结构示意图。
具体实施方式
32.下面结合本技术实施例中的附图对本技术实施例进行描述。
33.请参见图1,图1示意的是本技术实施例提供的一种视频共享扩展坞的应用场景图,在图1中的会议场景具体包括第一参会人员(远程参会人员,如参会人员1)、多个参会人员(会议室内的参会人员,如参会人员2、参会人员3、参会人员4、参会人员5)、第一视频共享扩展坞、第二视频共享扩展坞、第一显示设备(即会议室内多个参会人员用于参会的显示设备)和第二显示设备(即第一参会人员用于参会的显示设备),其中,第一视频共享扩展坞和第一显示设备为多个参会人员加入会议所用到的设备,第二视频共享扩展坞和第二显示设备为第一参会人员加入会议所用到的设备,第一视频共享扩展坞、第二视频共享扩展坞、第一显示设备和第二显示设备建立通信连接,第一参会人员通过第二显示设备与多个参会人员进行会议交流,第二视频共享扩展坞通过采集第一参会人员的多个参会人员通过第一显示设备与第一参会人员进行会议交流。
34.请参见图2,图2是本技术实施例提供的一种视角调整的系统架构示意图,该系统包括第一视频共享扩展坞201、第二视频共享扩展坞202、第一显示设备203和第二显示设备204。其中,第一视频共享扩展坞201、第二视频共享扩展坞202、第一显示设备203和第二显示设备204建立通信连接,连接方式可以是蓝牙、无线、近场通信(near field communication,nfc)、超宽带(ultra wide band,uwb)等连接,或者其他方式的连接,以无线连接为例,该第一视频共享扩展坞201、第二视频共享扩展坞202、第一显示设备203和第二显示设备204都接入了同一个无线网络。第一视频共享扩展坞201和第一显示设备203为多个参会人员加入会议所用到的设备,第二视频共享扩展坞202和第二显示设备204为第一参会人员加入会议所用到的设备。
35.第一视频共享扩展坞201用于获取第一参会人员的行为信息和多个参会人员的行为信息,然后根据第一参会人员的行为信息和多个参会人员的行为信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,再根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,从多个参会人员中选择第二参会人员,最后确定会议视频中第一参会人员当前针对第二参会人员的眼球视线方向,若第一参会人员当前针对第二参会人员的眼球视线方向为非主视角方向,则将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向。
36.第二视频共享扩展坞202用于向第一视频共享扩展坞201发送采集的第一参会人员的眼球运动轨迹图像信息,以及向第一视频共享扩展坞201发送采集的多个参会人员显示在第二显示设备204上的区域,以使得后续第一视频共享扩展坞201根据第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备204上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度,最后综合第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度、第一参会人员的视角与多个参会人员中每个参会人员的匹配度,从多个参会人员中选择第二参会人员。
37.第一显示设备203是具有处理能力和数据收发能力的装置,可以产生发送指令、接收指令。例如,第一显示设备203可以是计算机、笔记本电脑、平板电脑、掌上电脑、台式机、诊断仪、手机、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本、个人数字助理(personal digital assistant,pda)等。
38.第二显示设备204同样是具有处理能力和数据收发能力的装置,可以产生发送指令、接收指令。在本技术实施例中,第二显示设备204可以为会议室内用于进行视频会议的大屏电视。
39.下面对本技术实施例的方法进行详细介绍。
40.请参见图3,图3是本技术实施例提供的一种视角调整方法的流程示意图。可选的,该方法可以应用图2所述系统。
41.如图3所述的视角调整方法至少包括步骤s301至步骤s305。
42.步骤s301:第一视频共享扩展坞获取第一参会人员的行为信息和多个参会人员的行为信息。
43.应说明的是,第一视频共享扩展坞应用于会议场景,会议场景还包括第二视频共享扩展坞、第一显示设备(即会议室内多个参会人员用于参会的显示设备)和第二显示设备(即第一参会人员用于参会的显示设备),第一视频共享扩展坞和第一显示设备为多个参会人员加入会议所用到的设备,第二视频共享扩展坞和第二显示设备为第一参会人员加入会议所用到的设备,第一视频共享扩展坞、第二视频共享扩展坞、第一显示设备和第二显示设备建立通信连接,以无线连接为例,第一视频共享扩展坞、第二视频共享扩展坞、第一显示设备和第二显示设备都接入了同一个无线网络。第一参会人员通过第二显示设备与多个参会人员进行会议交流,多个参会人员通过第一显示设备与第一参会人员进行会议交流。
44.具体的,第一视频共享扩展坞获取第一参会人员的行为信息和多个参会人员的行为信息的种类有很多,其中,行为信息包括语言信息、动作信息和面部信息,比如,在视频会议过程中,第一视频共享扩展坞获取的可以是第一参会人员(如参会人员1)和多个参会人员(如包括参会人员2、参会人员3、参会人员4、参会人员5)输出的语言信息,举例来说,参会人员1在视频会议的过程中,向多个参会人员提出的问题1的内容,以及多个参会人员中的参会人员2和参会人员3针对问题1进行语言回答的内容,还可以包括参会人员1分别与参会人员2、参会人员3、参会人员4、参会人员5进行沟通对话的内容。
45.再如,在视频会议过程中,第一视频共享扩展坞获取的还可以是第一参会人员(如参会人员1)和多个参会人员(如包括参会人员2、参会人员3、参会人员4、参会人员5)输出的动作信息,举例来说,在参会人员1提出问题1时,第一视频共享扩展坞可以获取多个参会人员中是否有人通过积极反馈的行为动作来回答该问题1,如参会人员2和参会人员3对参会人员1提出的问题1进行交互讨论,并积极回答,而参会人员4和参会人员5对参会人员1提出的问题1保持沉默。
46.又如,在视频会议过程中,第一视频共享扩展坞获取的还可以是第一参会人员(如参会人员1)和多个参会人员(如包括参会人员2、参会人员3、参会人员4、参会人员5)输出的面部信息,举例来说,在参会人员1提出问题1时,第一视频共享扩展坞可以分别抓取参会人员1和多个参会人员的面部表情,来获知多个参会人员中哪些参会人员需要对参会人员1提出的问题1进行回答,或者是哪些参会人员对参会人员1提出的问题1感兴趣,如参会人员2和参会人员3在参会人员1提出问题1时,面部表情较为热情,针对该问题1积极思考,而参会人员4和参会人员5在参会人员1提出问题1时,面部表情较为平淡,并无明显的情绪反馈。
47.步骤s302:第一视频共享扩展坞根据第一参会人员的行为信息和多个参会人员的行为信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度。
48.具体的,第一视频共享扩展坞根据第一参会人员的行为信息和多个参会人员的行为信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度的具体过程可以为:先获取多个参会人员中每个参会人员的身份信息(举例来说,若此次视频会议的主题为各个项目组负责人向第一参会人员进行项目汇报,则第一视频共享扩展坞可以获取上述四人的身份信息,身份信息不同的参会人员的职责范围不同,其中,参会人员2负责项目a、参会人员3负责项目b、参会人员4负责项目c、参会人员5负责项目d,上述四人负责的项目各不相同),然后根据第一参会人员的行为信息和多个参会人员的行为信息生成第一参会人员在会议过程中的目标关键词(其中,该目标关键词可以包括参会人员1提出的问题1的内容的关键词,比如参会人员提出的问题1为“项目a目前进度如何,一周内能否交局,项目b的期限也较为紧张,负责人要及时跟进”,则第一视频共享扩展坞提取的关键词可以为“项目a进度”、“项目b期限、跟进”。另外,该目标关键词还可以包括参会人员2、参会人员3、参会人员4、参会人员5分别针对该问题1的回答内容的关键词,如若仅有参会人员2针对该问题1进行回答,则第一视频共享扩展坞可以获取参会人员2针对问题1进行项目进度汇报时的关键词。该目标关键词还可以包括参会人员1分别与参会人员2、参会人员3、参会人员4、参会人员5的沟通对话内容的关键词),最后将提取的目标关键词与多个参会人员中每个参会人员的身份信息进行匹配,得到第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度(比如第一视频共享扩展坞将提取的目标关键词与参会人员2、参会人员3、参会人员4、参会人员5的身份信息进行匹配,得到参会人员1与参会人员2、参会人员3、参会人员4、参会人员5之间的沟通密切程度分别为80%、30%、56%、78%)。本方案根据目标关键词与多个参会人员中每个参会人员的身份信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,能够有效提高从多个参会人员中选择第二参会人员的准确率。
49.可选的,在第一视频共享扩展坞根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,从多个参会人员中选择第二参会人员之前,第一视频共享扩展坞还可以接收第二视频共享扩展坞发送的第一信息和第二信息,其中,第一信息为第二视频共享扩展坞采集的第一参会人员的眼球运动轨迹图像信息,第二信息为第二视频共享扩展坞获取的多个参会人员显示在第二显示设备上的区域;然后再根据第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度。
50.具体的,第一视频共享扩展坞根据第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度的具体过程可以为:先根据第一参会人员的眼球运动轨迹图像信息确定第一参会人员的眼球视线位置的变化量(比如第一参会人员注视第二显示设备的眼球视线方向由北偏东30
°
变成东偏南45
°
,再变成正西方向),再根据第一参会人员的眼球视线位置的变化量和多个参会人员中每个参会人员所在的位置确定第一参会人员落在多个参会人员中每个参会人员的视点位置(比如多个参会人员中的参会人员2在第二显示设备上所在的位置为正西方向,参会人员3在第二显示设备上所在的位置为正北方向,参会人员4在第二显示设备上所在的位置为西北方向,参会人员5在第二显示设备上所在的位置为正东方向),然后根据第一参会人员落在多个参会人员中每个参会人员的视点位置确定第一参会
人员注视第二显示设备的目标区域(根据上述信息确定出第一参会人员注视第二显示设备的目标区域为正西方向),最后根据第一参会人员注视第二显示设备的目标区域和多个参会人员显示在第二显示设备上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度。
51.其中,第一视频共享扩展坞在根据第一参会人员注视第二显示设备的目标区域和多个参会人员显示在第二显示设备上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度的过程中,若确定出第一参会人员注视第二显示设备的目标区域为第二参会人员显示在第二显示设备上的区域,则第一视频共享扩展坞确定第一参会人员的视角与第二参会人员的匹配度最高。
52.具体的,第一视频共享扩展坞可以通过界定第一参会人员注视第二显示设备的目标区域和多个参会人员显示在第二显示设备上的区域之间重合的面积,来确定多个参会人员中与第一参会人员的视角的匹配度最高的参会人员。举例来说,图4是本技术实施例提供的一种确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度的示意图,如图4所示,若多个参会人员包括参会人员2、参会人员3、参会人员4、参会人员5,参会人员1注视第二显示设备的目标区域为正西方向,参会人员2在第二显示设备上所在的位置为正西方向(与参会人员1注视第二显示设备的目标区域重合的面积为5cm2),参会人员3在第二显示设备上所在的位置为正北方向(与参会人员1注视第二显示设备的目标区域重合的面积为1cm2),参会人员4在第二显示设备上所在的位置为西北方向(与参会人员1注视第二显示设备的目标区域重合的面积为2.8cm2),参会人员5在第二显示设备上所在的位置为正东方向(与参会人员1注视第二显示设备的目标区域重合的面积为0cm2),由上述可知,参会人员1注视第二显示设备的目标区域与参会人员2显示在第二显示设备上的区域之间重合的面积最大,则参会人员1的视角与参会人员2的匹配度最高,进而根据参会人员1注视第二显示设备的目标区域与每个参会人员显示在第二显示设备上的区域之间重合的面积,确定出第一参会人员的视角与参会人员2的匹配度为95%、第一参会人员的视角与参会人员3的匹配度为10%、第一参会人员的视角与参会人员4的匹配度为54%、第一参会人员的视角与参会人员5的匹配度为2%。本技术能够通过具体的确定匹配度的方式,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度,来提高从多个参会人员中选择第二参会人员的准确率。
53.步骤s303:第一视频共享扩展坞根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,从多个参会人员中选择第二参会人员。
54.具体的,本方案通过根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度、第一参会人员的视角与多个参会人员中每个参会人员的匹配度,从多个参会人员中选择第二参会人员,综合沟通密切程度和匹配度这两个不同的维度从多个参会人员中选择第二参会人员,能够有效提高从多个参会人员中选择第二参会人员的准确率。
55.步骤s304:第一视频共享扩展坞确定会议视频中第一参会人员当前针对第二参会人员的眼球视线方向。
56.应说明的是,第一视频共享扩展坞从多个参会人员中选择第二参会人员之后,还需要确定第一参会人员当前针对第二参会人员的眼球视线方向,以确定第一参会人员当前针对第二参会人员的眼球视线方向是否为主视角方向,若第一参会人员当前针对第二参会
人员的眼球视线方向为主视角方向,则第一视频共享扩展坞无需对该眼球视线方向进行调整;若第一参会人员当前针对第二参会人员的眼球视线方向不为主视角方向,则第一视频共享扩展坞需要将该眼球视线方向由非主视角方向调整为主视角方向。
57.具体的,第一视频共享扩展坞可以先计算多个参会人员中每个参会人员的位置与第一显示设备的位置之间的偏差值(举例来说,若第一视频共享扩展坞首先确定出多个参会人员(包括参会人员2、参会人员3、参会人员4、参会人员5)中的参会人员2的位置与会议室的显示设备的位置之间的偏差值为6cm、参会人员3的位置与会议室的显示设备的位置之间的偏差值为1cm、参会人员4的位置与会议室的显示设备的位置之间的偏差值为2cm、参会人员5的位置与会议室的显示设备的位置之间的偏差值为6cm),其中,参会人员2的位置与第一显示设备的位置之间的偏差值满足预设条件(该预设条件可以为:比如参会人员2的位置与第一显示设备的位置之间的偏差值大于预设阈值2cm),则第一视频共享扩展坞确定参会人员1(第一参会人员)当前针对参会人员2(第二参会人员)的眼球视线方向为非主视角方向。本方案基于第一视频共享扩展坞从多个参会人员中选择第二参会人员之后,需要确定第一参会人员当前针对第二参会人员的眼球视线方向,若第一参会人员当前针对第二参会人员的眼球视线方向为非主视角方向,才执行后续将非主视角方向调整为主视角方向的操作。
58.步骤s305:若第一参会人员当前针对第二参会人员的眼球视线方向为非主视角方向,则第一视频共享扩展坞将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向。
59.具体的,第一视频共享扩展坞将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向的具体过程可以为:根据预设的调整参数通过矫正算法对会议视频中第一参会人员的眼球中眼白和瞳仁的位置和大小比例进行调整,举例来说,图5是本技术实施例提供的一种调整眼球视线方向的示意图,如图5所示,若第一视频共享扩展坞确定会议视频中参会人员1当前注视参会人员2的眼球视线方向为南偏西45
°
,则将参会人员1的眼球中的眼白和瞳仁的位置顺时针旋转45
°
后向上平移1cm,并将眼白和瞳仁缩小1倍,以使参会人员1针对参会人员2的眼球视线方向由非主视角方向变为主视角方向。本方案能够对将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向,从而调整会议室用户视角和远程用户视角跟真实面对面交流场景中的视角之间的差异性,提升参会人员的体验感。
60.在视频会议的场景下,由于会议室用户视角和远程用户视角跟真实面对面交流场景中的视角存在差异性,导致用户的视频会议体验感较差。现有技术中,通过对第一图像中的人脸部分的人眼部分进行调整处理,以便获得与第一图像对应且人脸图像中用户的人眼部分处于正视状态的第二图像,从而实现在视频通信过程中,通过调整参数对采集单元实时采集的视频图像进行处理,获得对应的处于正视状态的图像,以实现在显示单元中显示的图像均为调整后的、在视觉上具有对视感的图像,但现有技术中并未对如何确定需要调整视线方向的用户的过程进行说明。而本技术首先通过第一视频共享扩展坞根据第一参会人员(即远程参会人员)的行为信息和多个参会人员(会议室内的参会人员)的行为信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,然后再根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,从多个参会人员中选择第二
参会人员(即根据行为信息确定出第一参会人员实际上想注视的人为第二参会人员),若确定第一参会人员当前针对第二参会人员的眼球视线方向为非主视角方向(即基于会议室中第一视频共享扩展坞的角度来看,第一参会人员当前注视第二参会人员的方向为非正视方向),则第一视频共享扩展坞将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向。本技术能够针对性地调整会议室用户视角和远程用户视角跟真实面对面交流场景中的视角之间的差异性,提升参会人员的体验感。
61.上述详细阐述了本技术实施例的方法,下面提供本技术实施例的装置。
62.可以理解的是,本技术实施例提供的多个装置,例如视角调整装置,为了实现上述方法实施例中的功能,其包含了执行各个功能相应的硬件结构、软件模块、或硬件结构和软件结构的组合等。
63.本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本技术实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以在不同的使用场景中,使用不同的装置实现方式来实现前述的方法实施例,对于装置的不同实现方式不应认为超出本技术实施例的范围。
64.本技术实施例可以对装置进行功能模块的划分。例如,可对应各个功能划分各个功能模块,也可将两个或两个以上的功能集成在一个功能模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本技术实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
65.例如,以采用集成的方式划分装置各个功能模块的情况下,本技术例举几种可能的处理装置。
66.请参见图6,图6是本技术实施例提供的一种视角调整装置60的结构示意图,该视角调整装置60可以为图2所示的视频共享扩展坞或者为该视频共享扩展坞中的一个器件,例如芯片、软件模块、集成电路等。该视角调整装置60用于实现前述的视角调整方法,例如图3所述的视角调整方法。
67.一种可能的实施方式中,该视角调整装置60可以包括获取单元601、确定单元602、选择单元603和调整单元604。
68.所述获取单元601,用于获取所述第一参会人员的行为信息和所述多个参会人员的行为信息,其中,所述行为信息包括语言信息、动作信息和面部信息;所述确定单元602,用于根据所述第一参会人员的行为信息和所述多个参会人员的行为信息确定所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度;所述选择单元603,用于根据所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度,从所述多个参会人员中选择第二参会人员;所述确定单元602,还用于确定会议视频中所述第一参会人员当前针对所述第二参会人员的眼球视线方向,其中,所述眼球视线方向包括主视角方向或非主视角方向;若所述第一参会人员当前针对所述第二参会人员的眼球视线方向为所述非主视角方向,则所述调整单元604,用于将所述第一参会人员当前针对所述第二参会人员的眼球
视线方向由所述非主视角方向调整为所述主视角方向。
69.在视频会议的场景下,由于会议室用户视角和远程用户视角跟真实面对面交流场景中的视角存在差异性,导致用户的视频会议体验感较差。现有技术中,通过对第一图像中的人脸部分的人眼部分进行调整处理,以便获得与第一图像对应且人脸图像中用户的人眼部分处于正视状态的第二图像,从而实现在视频通信过程中,通过调整参数对采集单元实时采集的视频图像进行处理,获得对应的处于正视状态的图像,以实现在显示单元中显示的图像均为调整后的、在视觉上具有对视感的图像,但现有技术中并未对如何确定需要调整视线方向的用户的过程进行说明。而本技术首先通过第一视频共享扩展坞根据第一参会人员(即远程参会人员)的行为信息和多个参会人员(会议室内的参会人员)的行为信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,然后再根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,从多个参会人员中选择第二参会人员(即根据行为信息确定出第一参会人员实际上想注视的人为第二参会人员),若确定第一参会人员当前针对第二参会人员的眼球视线方向为非主视角方向(即基于会议室中第一视频共享扩展坞的角度来看,第一参会人员当前注视第二参会人员的方向为非正视方向),则第一视频共享扩展坞将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向。本技术能够针对性地调整会议室用户视角和远程用户视角跟真实面对面交流场景中的视角之间的差异性,提升参会人员的体验感。
70.另一种可能的实施方式中,还包括接收单元;所述接收单元,用于接收第二视频共享扩展坞发送的第一信息和第二信息,其中,所述第一信息为采集的所述第一参会人员的眼球运动轨迹图像信息,所述第二信息为获取的所述多个参会人员显示在所述第二显示设备上的区域;所述确定单元602,还用于根据所述第一参会人员的眼球运动轨迹图像信息和所述多个参会人员显示在所述第二显示设备上的区域,确定所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度;在所述根据所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度,从所述多个参会人员中选择第二参会人员方面,所述选择单元603具体用于:根据所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度、所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度,从所述多个参会人员中选择所述第二参会人员。
71.在本技术实施例中,第一视频共享扩展坞在根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,从多个参会人员中选择第二参会人员之前,还可以接收第二视频共享扩展坞发送的第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域,根据第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度。进一步的,根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度、第一参会人员的视角与多个参会人员中每个参会人员的匹配度,从多个参会人员中选择第二参会人员。本方案通过根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度、第一参会人员的视角与多个参会人员中每个参会人员的匹配度,从多个参会人员中选择第二参会人员,综合两个不同的维度从多个参会人员中选择第二参会人员,
能够有效提高从多个参会人员中选择第二参会人员的准确率。
72.又一种可能的实施方式中,在所述根据所述第一参会人员的眼球运动轨迹图像信息和所述多个参会人员显示在所述第二显示设备上的区域,确定所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度方面,所述确定单元602具体用于:根据所述第一参会人员的眼球运动轨迹图像信息确定所述第一参会人员的眼球视线位置的变化量;根据所述第一参会人员的眼球视线位置的变化量确定所述第一参会人员落在所述多个参会人员中每个参会人员的视点位置;根据所述第一参会人员落在所述多个参会人员中每个参会人员的视点位置,确定所述第一参会人员注视所述第二显示设备的目标区域;根据所述第一参会人员注视所述第二显示设备的目标区域和所述多个参会人员显示在所述第二显示设备上的区域,确定所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度。
73.在本技术实施例中,第一视频共享扩展坞根据第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度的具体过程可以为:先根据第一参会人员的眼球运动轨迹图像信息确定第一参会人员的眼球视线位置的变化量(比如第一参会人员注视第二显示设备的眼球视线方向由北偏东30
°
变成东偏南45
°
,再变成正西方向),再根据第一参会人员的眼球视线位置的变化量和多个参会人员中每个参会人员所在的位置确定第一参会人员落在多个参会人员中每个参会人员的视点位置(比如多个参会人员中的参会人员2在第二显示设备上所在的位置为正西方向,参会人员3在第二显示设备上所在的位置为正北方向,参会人员4在第二显示设备上所在的位置为西北方向,参会人员5在第二显示设备上所在的位置为正东方向),然后根据第一参会人员落在多个参会人员中每个参会人员的视点位置确定第一参会人员注视第二显示设备的目标区域(根据上述信息确定出第一参会人员注视第二显示设备的目标区域为正西方向),最后根据第一参会人员注视第二显示设备的目标区域和多个参会人员显示在第二显示设备上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度(即由于参会人员2在第二显示设备上所在的位置为正西方向,参会人员3在第二显示设备上所在的位置为正北方向,参会人员4在第二显示设备上所在的位置为西北方向,参会人员5在第二显示设备上所在的位置为正东方向,而第一参会人员注视第二显示设备的目标区域为正西方向,则确定出第一参会人员的视角与参会人员2的匹配度为95%、第一参会人员的视角与参会人员3的匹配度为10%、第一参会人员的视角与参会人员4的匹配度为54%、第一参会人员的视角与参会人员5的匹配度为2%)。本技术能够通过确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度,来提高从多个参会人员中选择第二参会人员的准确率。
74.又一种可能的实施方式中,若所述第一参会人员注视所述第二显示设备的目标区域为所述第二参会人员显示在所述第二显示设备上的区域,则所述第一参会人员的视角与所述第二参会人员的匹配度最高。
75.在本技术实施例中,第一视频共享扩展坞可以通过界定第一参会人员注视第二显示设备的目标区域和多个参会人员显示在第二显示设备上的区域之间重合的面积,来确定
多个参会人员中与第一参会人员的视角的匹配度最高的参会人员,举例来说,若多个参会人员包括参会人员2、参会人员3、参会人员4、参会人员5,参会人员1注视第二显示设备的目标区域为正西方向,参会人员2在第二显示设备上所在的位置为正西方向(与参会人员1注视第二显示设备的目标区域重合的面积为5cm2),参会人员3在第二显示设备上所在的位置为正北方向(与参会人员1注视第二显示设备的目标区域重合的面积为1cm2),参会人员4在第二显示设备上所在的位置为西北方向(与参会人员1注视第二显示设备的目标区域重合的面积为2.8cm2),参会人员5在第二显示设备上所在的位置为正东方向(与参会人员1注视第二显示设备的目标区域重合的面积为0cm2),由上述可知,参会人员1注视第二显示设备的目标区域与参会人员2显示在第二显示设备上的区域之间重合的面积最大,则参会人员1的视角与参会人员2的匹配度最高。本方案通过具体的确定匹配度的方式,能够提高从多个参会人员中选择第二参会人员的准确率。
76.又一种可能的实施方式中,在所述根据所述第一参会人员的行为信息和所述多个参会人员的行为信息确定所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度方面,所述确定单元602具体用于:获取所述多个参会人员中每个参会人员的身份信息,其中,所述身份信息不同的参会人员的职责范围不同;根据所述第一参会人员的行为信息和所述多个参会人员的行为信息生成所述第一参会人员在会议过程中的目标关键词,其中,所述目标关键词包括所述第一参会人员提出的问题内容的关键词、所述多个参会人员针对所述问题的回答内容的关键词以及所述第一参会人员与所述多个参会人员中每个参会人员的沟通对话内容的关键词;将所述目标关键词与所述多个参会人员中每个参会人员的身份信息进行匹配,得到所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度。
77.在本技术实施例中,第一视频共享扩展坞根据第一参会人员的行为信息和多个参会人员的行为信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度的具体过程可以为:先获取多个参会人员中每个参会人员的身份信息(举例来说,若此次会议视频的主题为各个项目组负责人进行项目汇报,则第一视频共享扩展坞可以获取上述四人的身份信息,身份信息不同的参会人员的职责范围不同,其中,参会人员2负责项目a、参会人员3负责项目b、参会人员4负责项目c、参会人员5负责项目d,上述四人负责的项目各不相同),然后根据第一参会人员的行为信息和多个参会人员的行为信息生成第一参会人员在会议过程中的目标关键词(其中,该目标关键词可以包括参会人员1提出的问题1的内容的关键词;还可以包括参会人员2、参会人员3、参会人员4、参会人员5分别针对该问题1的回答内容的关键词;还可以包括参会人员1分别与参会人员2、参会人员3、参会人员4、参会人员5的沟通对话内容的关键词),最后将目标关键词与多个参会人员中每个参会人员的身份信息进行匹配,得到第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度(比如第一视频共享扩展坞将目标关键词与参会人员2、参会人员3、参会人员4、参会人员5的身份信息进行匹配,得到参会人员1与参会人员2、参会人员3、参会人员4、参会人员5之间的沟通密切程度分别为80%、30%、56%、78%)。本技术根据目标关键词与多个参会人员中每个参会人员的身份信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,能够有效提高从多个参会人员中选择第二参会人员的准确率。
78.又一种可能的实施方式中,在所述确定所述第一参会人员当前针对所述第二参会人员的眼球视线方向方面,所述确定单元602具体用于:计算所述多个参会人员中每个参会人员的位置与所述第一显示设备的位置之间的偏差值;若所述多个参会人员中的所述第二参会人员的位置与所述第一显示设备的位置之间的偏差值满足预设条件,则确定所述第一参会人员当前针对所述第二参会人员的眼球视线方向为所述非主视角方向。
79.在本技术实施例中,第一视频共享扩展坞从多个参会人员中选择第二参会人员之后,还需要确定第一参会人员当前针对第二参会人员的眼球视线方向,具体的,第一视频共享扩展坞可以先计算多个参会人员中每个参会人员的位置与第一显示设备的位置之间的偏差值(举例来说,第一视频共享扩展坞确定出多个参会人员(包括参会人员2、参会人员3、参会人员4、参会人员5)中的参会人员2的位置与会议室的显示设备的位置之间的偏差值为6cm、参会人员3的位置与会议室的显示设备的位置之间的偏差值为1cm、参会人员4的位置与会议室的显示设备的位置之间的偏差值为2cm、参会人员5的位置与会议室的显示设备的位置之间的偏差值为6cm),其中,参会人员2的位置与第一显示设备的位置之间的偏差值满足预设条件(比如参会人员2的位置与第一显示设备的位置之间的偏差值大于预设阈值2cm),则第一视频共享扩展坞确定参会人员1(第一参会人员)当前针对参会人员2(第二参会人员)的眼球视线方向为非主视角方向。本方案基于第一视频共享扩展坞从多个参会人员中选择第二参会人员之后,需要确定第一参会人员当前针对第二参会人员的眼球视线方向,若第一参会人员当前针对第二参会人员的眼球视线方向为非主视角方向,才执行后续将非主视角方向调整为主视角方向的操作。
80.又一种可能的实施方式中,在所述将所述第一参会人员当前针对所述第二参会人员的眼球视线方向由所述非主视角方向调整为所述主视角方向方面,所述调整单元604具体用于:根据预设的调整参数通过矫正算法对所述会议视频中所述第一参会人员的眼球中眼白和瞳仁的位置和大小比例进行调整,以使所述第一参会人员针对所述第二参会人员的眼球视线方向由所述非主视角方向变为所述主视角方向。
81.在本技术实施例中,第一视频共享扩展坞将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向的具体过程可以为:根据预设的调整参数通过矫正算法对会议视频中第一参会人员的眼球中眼白和瞳仁的位置和大小比例进行调整,举例来说,若第一视频共享扩展坞确定会议视频中参会人员1当前注视参会人员2的眼球视线方向为南偏西45
°
,则将参会人员1的眼球中的眼白和瞳仁的位置顺时针旋转45
°
后向上平移1cm,并将眼白和瞳仁缩小1倍,以使参会人员1针对参会人员2的眼球视线方向由非主视角方向变为主视角方向。本方案能够对将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向,从而调整会议室用户视角和远程用户视角跟真实面对面交流场景中的视角之间的差异性,提升参会人员的体验感。
82.请参见图7,图7是本技术实施例提供的一种视频共享扩展坞70的结构示意图,例如芯片、软件模块、集成电路等。该视频共享扩展坞70可以包括至少一个处理器701。可选的还可以包括至少一个存储器703。进一步可选的,该视频共享扩展坞70还可以包括通信接口
702。更进一步可选的,还可以包含总线704,其中,处理器701、通信接口702和存储器703通过总线704相连。
83.其中,处理器701是进行算术运算和/或逻辑运算的模块,具体可以是中央处理器(central processing unit,cpu)、图片处理器(graphics processing unit,gpu)、微处理器(microprocessor unit,mpu)、专用集成电路(application specific integrated circuit,asic)、现场可编程逻辑门阵列(field programmable gate array,fpga)、复杂可编程逻辑器件(complex programmable logic device,cpld)、协处理器(协助中央处理器完成相应处理和应用)、微控制单元(microcontroller unit,mcu)等处理模块中的一种或者多种的组合。
84.通信接口702可以用于为所述至少一个处理器提供信息输入或者输出。和/或,所述通信接口702可以用于接收外部发送的数据和/或向外部发送数据,可以为包括诸如以太网电缆等的有线链路接口,也可以是无线链路(wi-fi、蓝牙、通用无线传输、车载短距通信技术以及其他短距无线通信技术等)接口。可选的,通信接口702还可以包括与接口耦合的发射器(如射频发射器、天线等),或者接收器等。
85.存储器703用于提供存储空间,存储空间中可以存储操作系统和计算机程序等数据。存储器703可以是随机存储记忆体(random access memory,ram)、只读存储器(read-only memory,rom)、可擦除可编程只读存储器(erasable programmable read-only memory,eprom)、或便携式只读存储器(compact disc read-only memory,cd-rom)等等中的一种或者多种的组合。
86.该视频共享扩展坞70中的至少一个处理器701用于执行前述的方法,例如图3所述实施例所描述的方法。
87.可选的,处理器701,可以是专门用于执行这些方法的处理器(便于区别称为专用处理器),也可以是通过调用计算机程序来执行这些方法的处理器,例如通用处理器。可选的,至少一个处理器还可以既包括专用处理器也包括通用处理器。可选的,在计算设备包括至少一个处理器701的情况下,上述计算机程序可以存在存储器703中。
88.可选的,该视频共享扩展坞70中的至少一个处理器701用于执行调用计算机指令,以执行以下操作:获取所述第一参会人员的行为信息和所述多个参会人员的行为信息,其中,所述行为信息包括语言信息、动作信息和面部信息;根据所述第一参会人员的行为信息和所述多个参会人员的行为信息确定所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度;根据所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度,从所述多个参会人员中选择第二参会人员;确定会议视频中所述第一参会人员当前针对所述第二参会人员的眼球视线方向,其中,所述眼球视线方向包括主视角方向或非主视角方向;若所述第一参会人员当前针对所述第二参会人员的眼球视线方向为所述非主视角方向,则将所述第一参会人员当前针对所述第二参会人员的眼球视线方向由所述非主视角方向调整为所述主视角方向。
89.在视频会议的场景下,由于会议室用户视角和远程用户视角跟真实面对面交流场
景中的视角存在差异性,导致用户的视频会议体验感较差。现有技术中,通过对第一图像中的人脸部分的人眼部分进行调整处理,以便获得与第一图像对应且人脸图像中用户的人眼部分处于正视状态的第二图像,从而实现在视频通信过程中,通过调整参数对采集单元实时采集的视频图像进行处理,获得对应的处于正视状态的图像,以实现在显示单元中显示的图像均为调整后的、在视觉上具有对视感的图像,但现有技术中并未对如何确定需要调整视线方向的用户的过程进行说明。而本技术首先通过第一视频共享扩展坞根据第一参会人员(即远程参会人员)的行为信息和多个参会人员(会议室内的参会人员)的行为信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,然后再根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,从多个参会人员中选择第二参会人员(即根据行为信息确定出第一参会人员实际上想注视的人为第二参会人员),若确定第一参会人员当前针对第二参会人员的眼球视线方向为非主视角方向(即基于会议室中第一视频共享扩展坞的角度来看,第一参会人员当前注视第二参会人员的方向为非正视方向),则第一视频共享扩展坞将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向。本技术能够针对性地调整会议室用户视角和远程用户视角跟真实面对面交流场景中的视角之间的差异性,提升参会人员的体验感。
90.可选的,所述处理器701还用于:接收第二视频共享扩展坞发送的第一信息和第二信息,其中,所述第一信息为采集的所述第一参会人员的眼球运动轨迹图像信息,所述第二信息为获取的所述多个参会人员显示在所述第二显示设备上的区域;根据所述第一参会人员的眼球运动轨迹图像信息和所述多个参会人员显示在所述第二显示设备上的区域,确定所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度;所述根据所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度,从所述多个参会人员中选择第二参会人员,包括:根据所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度、所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度,从所述多个参会人员中选择所述第二参会人员。
91.在本技术实施例中,第一视频共享扩展坞在根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,从多个参会人员中选择第二参会人员之前,还可以接收第二视频共享扩展坞发送的第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域,根据第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度。进一步的,根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度、第一参会人员的视角与多个参会人员中每个参会人员的匹配度,从多个参会人员中选择第二参会人员。本方案通过根据第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度、第一参会人员的视角与多个参会人员中每个参会人员的匹配度,从多个参会人员中选择第二参会人员,综合两个不同的维度从多个参会人员中选择第二参会人员,能够有效提高从多个参会人员中选择第二参会人员的准确率。
92.可选的,所述处理器701还用于:
根据所述第一参会人员的眼球运动轨迹图像信息确定所述第一参会人员的眼球视线位置的变化量;根据所述第一参会人员的眼球视线位置的变化量确定所述第一参会人员落在所述多个参会人员中每个参会人员的视点位置;根据所述第一参会人员落在所述多个参会人员中每个参会人员的视点位置,确定所述第一参会人员注视所述第二显示设备的目标区域;根据所述第一参会人员注视所述第二显示设备的目标区域和所述多个参会人员显示在所述第二显示设备上的区域,确定所述第一参会人员的视角与所述多个参会人员中每个参会人员的匹配度。
93.在本技术实施例中,第一视频共享扩展坞根据第一参会人员的眼球运动轨迹图像信息和多个参会人员显示在第二显示设备上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度的具体过程可以为:先根据第一参会人员的眼球运动轨迹图像信息确定第一参会人员的眼球视线位置的变化量(比如第一参会人员注视第二显示设备的眼球视线方向由北偏东30
°
变成东偏南45
°
,再变成正西方向),再根据第一参会人员的眼球视线位置的变化量和多个参会人员中每个参会人员所在的位置确定第一参会人员落在多个参会人员中每个参会人员的视点位置(比如多个参会人员中的参会人员2在第二显示设备上所在的位置为正西方向,参会人员3在第二显示设备上所在的位置为正北方向,参会人员4在第二显示设备上所在的位置为西北方向,参会人员5在第二显示设备上所在的位置为正东方向),然后根据第一参会人员落在多个参会人员中每个参会人员的视点位置确定第一参会人员注视第二显示设备的目标区域(根据上述信息确定出第一参会人员注视第二显示设备的目标区域为正西方向),最后根据第一参会人员注视第二显示设备的目标区域和多个参会人员显示在第二显示设备上的区域,确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度(即由于参会人员2在第二显示设备上所在的位置为正西方向,参会人员3在第二显示设备上所在的位置为正北方向,参会人员4在第二显示设备上所在的位置为西北方向,参会人员5在第二显示设备上所在的位置为正东方向,而第一参会人员注视第二显示设备的目标区域为正西方向,则确定出第一参会人员的视角与参会人员2的匹配度为95%、第一参会人员的视角与参会人员3的匹配度为10%、第一参会人员的视角与参会人员4的匹配度为54%、第一参会人员的视角与参会人员5的匹配度为2%)。本技术能够通过确定第一参会人员的视角与多个参会人员中每个参会人员的匹配度,来提高从多个参会人员中选择第二参会人员的准确率。
94.可选的,若所述第一参会人员注视所述第二显示设备的目标区域为所述第二参会人员显示在所述第二显示设备上的区域,则所述第一参会人员的视角与所述第二参会人员的匹配度最高。
95.在本技术实施例中,第一视频共享扩展坞可以通过界定第一参会人员注视第二显示设备的目标区域和多个参会人员显示在第二显示设备上的区域之间重合的面积,来确定多个参会人员中与第一参会人员的视角的匹配度最高的参会人员,举例来说,若多个参会人员包括参会人员2、参会人员3、参会人员4、参会人员5,参会人员1注视第二显示设备的目标区域为正西方向,参会人员2在第二显示设备上所在的位置为正西方向(与参会人员1注视第二显示设备的目标区域重合的面积为5cm2),参会人员3在第二显示设备上所在的位置
为正北方向(与参会人员1注视第二显示设备的目标区域重合的面积为1cm2),参会人员4在第二显示设备上所在的位置为西北方向(与参会人员1注视第二显示设备的目标区域重合的面积为2.8cm2),参会人员5在第二显示设备上所在的位置为正东方向(与参会人员1注视第二显示设备的目标区域重合的面积为0cm2),由上述可知,参会人员1注视第二显示设备的目标区域与参会人员2显示在第二显示设备上的区域之间重合的面积最大,则参会人员1的视角与参会人员2的匹配度最高。本方案通过具体的确定匹配度的方式,能够提高从多个参会人员中选择第二参会人员的准确率。
96.可选的,所述处理器701还用于:获取所述多个参会人员中每个参会人员的身份信息,其中,所述身份信息不同的参会人员的职责范围不同;根据所述第一参会人员的行为信息和所述多个参会人员的行为信息生成所述第一参会人员在会议过程中的目标关键词,其中,所述目标关键词包括所述第一参会人员提出的问题内容的关键词、所述多个参会人员针对所述问题的回答内容的关键词以及所述第一参会人员与所述多个参会人员中每个参会人员的沟通对话内容的关键词;将所述目标关键词与所述多个参会人员中每个参会人员的身份信息进行匹配,得到所述第一参会人员与所述多个参会人员中每个参会人员之间的沟通密切程度。
97.在本技术实施例中,第一视频共享扩展坞根据第一参会人员的行为信息和多个参会人员的行为信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度的具体过程可以为:先获取多个参会人员中每个参会人员的身份信息(举例来说,若此次会议视频的主题为各个项目组负责人进行项目汇报,则第一视频共享扩展坞可以获取上述四人的身份信息,身份信息不同的参会人员的职责范围不同,其中,参会人员2负责项目a、参会人员3负责项目b、参会人员4负责项目c、参会人员5负责项目d,上述四人负责的项目各不相同),然后根据第一参会人员的行为信息和多个参会人员的行为信息生成第一参会人员在会议过程中的目标关键词(其中,该目标关键词可以包括参会人员1提出的问题1的内容的关键词;还可以包括参会人员2、参会人员3、参会人员4、参会人员5分别针对该问题1的回答内容的关键词;还可以包括参会人员1分别与参会人员2、参会人员3、参会人员4、参会人员5的沟通对话内容的关键词),最后将目标关键词与多个参会人员中每个参会人员的身份信息进行匹配,得到第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度(比如第一视频共享扩展坞将目标关键词与参会人员2、参会人员3、参会人员4、参会人员5的身份信息进行匹配,得到参会人员1与参会人员2、参会人员3、参会人员4、参会人员5之间的沟通密切程度分别为80%、30%、56%、78%)。本技术根据目标关键词与多个参会人员中每个参会人员的身份信息确定第一参会人员与多个参会人员中每个参会人员之间的沟通密切程度,能够有效提高从多个参会人员中选择第二参会人员的准确率。
98.可选的,所述处理器701还用于:计算所述多个参会人员中每个参会人员的位置与所述第一显示设备的位置之间的偏差值;若所述多个参会人员中的所述第二参会人员的位置与所述第一显示设备的位置之间的偏差值满足预设条件,则确定所述第一参会人员当前针对所述第二参会人员的眼球视线方向为所述非主视角方向。
99.在本技术实施例中,第一视频共享扩展坞从多个参会人员中选择第二参会人员之后,还需要确定第一参会人员当前针对第二参会人员的眼球视线方向,具体的,第一视频共享扩展坞可以先计算多个参会人员中每个参会人员的位置与第一显示设备的位置之间的偏差值(举例来说,第一视频共享扩展坞确定出多个参会人员(包括参会人员2、参会人员3、参会人员4、参会人员5)中的参会人员2的位置与会议室的显示设备的位置之间的偏差值为6cm、参会人员3的位置与会议室的显示设备的位置之间的偏差值为1cm、参会人员4的位置与会议室的显示设备的位置之间的偏差值为2cm、参会人员5的位置与会议室的显示设备的位置之间的偏差值为6cm),其中,参会人员2的位置与第一显示设备的位置之间的偏差值满足预设条件(比如参会人员2的位置与第一显示设备的位置之间的偏差值大于预设阈值2cm),则第一视频共享扩展坞确定参会人员1(第一参会人员)当前针对参会人员2(第二参会人员)的眼球视线方向为非主视角方向。本方案基于第一视频共享扩展坞从多个参会人员中选择第二参会人员之后,需要确定第一参会人员当前针对第二参会人员的眼球视线方向,若第一参会人员当前针对第二参会人员的眼球视线方向为非主视角方向,才执行后续将非主视角方向调整为主视角方向的操作。
100.可选的,所述处理器701还用于:根据预设的调整参数通过矫正算法对所述会议视频中所述第一参会人员的眼球中眼白和瞳仁的位置和大小比例进行调整,以使所述第一参会人员针对所述第二参会人员的眼球视线方向由所述非主视角方向变为所述主视角方向。
101.在本技术实施例中,第一视频共享扩展坞将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向的具体过程可以为:根据预设的调整参数通过矫正算法对会议视频中第一参会人员的眼球中眼白和瞳仁的位置和大小比例进行调整,举例来说,若第一视频共享扩展坞确定会议视频中参会人员1当前注视参会人员2的眼球视线方向为南偏西45
°
,则将参会人员1的眼球中的眼白和瞳仁的位置顺时针旋转45
°
后向上平移1cm,并将眼白和瞳仁缩小1倍,以使参会人员1针对参会人员2的眼球视线方向由非主视角方向变为主视角方向。本方案能够对将第一参会人员当前针对第二参会人员的眼球视线方向由非主视角方向调整为主视角方向,从而调整会议室用户视角和远程用户视角跟真实面对面交流场景中的视角之间的差异性,提升参会人员的体验感。
102.本技术还提供了一种算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在至少一个处理器上运行时,实现前述的视角调整方法,例如图3所述的方法。
103.本技术还提供了一种计算机程序产品,该计算机程序产品包括计算机指令,在被计算设备执行时,实现前述的视角调整方法,例如图3所述的方法。
104.本技术实施例中,“举例来说”或者“比如”等词用于表示作例子、例证或说明。本技术中被描述为“举例来说”或者“比如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“举例来说”或者“比如”等词旨在以具体方式呈现相关概念。
105.本技术中实施例提到的“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b、或c中的至少一项(个),可以表示:a、b、c、(a和b)、(a和c)、(b
和c)、或(a和b和c),其中a、b、c可以是单个,也可以是多个。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a、同时存在a和b、单独存在b这三种情况,其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
106.以及,除非有相反的说明,本技术实施例使用“第一”、“第二”等序数词是用于对多个对象进行区分,不用于限定多个对象的顺序、时序、优先级或者重要程度。例如,第一设备和第二设备,只是为了便于描述,而并不是表示这第一设备和第二设备的结构、重要程度等的不同,在某些实施例中,第一设备和第二设备还可以是同样的设备。
107.上述实施例中所用,根据上下文,术语“当
……
时”可以被解释为意思是“如果
……”
或“在
……
后”或“响应于确定
……”
或“响应于检测到
……”
。以上所述仅为本技术的可选实施例,并不用以限制本技术,凡在本技术的构思和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。
108.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
109.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献