仿生虚拟的视频通话方法、系统、电子设备及存储介质与流程

1.本发明创造属于智能家居与元宇宙的技术领域，具体涉及了一种仿生虚拟的视频通话方法、系统、电子设备及存储介质。


背景技术：

2.智能家居包括各种具备通信系统的智能设备，用户可以使用智能手机、计算机、ar(augmented reality，增强现实)/vr(virtual reality，虚拟现实)眼镜等设备进行视频通信。元宇宙是与现实世界交互和映射的虚拟世界，通过当前科学技术手段进行连接。在智能家居领域内，元宇宙是具备新体系的数字生活空间。本质上，元宇宙是对现实智能家居世界的虚拟化、数字化的过程，需要对实体内容和用户体验进行大量改造与呈现。智能家居和元宇宙的发展是循序渐进的，需要在共享的基础设施、协议和标准的支撑下，由众多工具不断融合而形成。
3.当前的视频通话界面上显示的是参与视频通话的当事人自身的真实形象，视频通话过程缺乏趣味性。


技术实现要素：

4.为解决上述问题，本技术提出了一种仿生虚拟的视频通话方法、装置、电子设备及存储介质，实现在视频通话界面通过虚拟形象模仿参与视频通话的当事人的形态，增加视频通话过程的趣味性。
5.本技术的第一方面，提供了一种仿生虚拟的视频通话方法，包括：
6.确定虚拟对象的显示特征信息，并实时获取用户的生物信息，所述显示特征信息包括所述虚拟对象的声音类别和/或外貌类别；
7.对所述生物信息进行虚拟化处理，得到虚拟化后的生物信息；
8.根据所述虚拟对象的显示特征信息确定所述虚拟对象的化身显示特征参数；
9.将所述化身显示特征参数和所述虚拟化后的生物信息关联至所述虚拟对象的模型中，生成所述虚拟对象的虚拟特征动画；
10.将所述虚拟特征动画融合至通信画面中，生成虚拟通信画面。
11.在一些实施例中，所述确定虚拟对象的显示特征信息，包括：
12.获取用户的偏好信息，所述偏好信息包括用户所偏好的虚拟对象的声音类别和/或外貌类别；
13.根据所述偏好信息确定所述虚拟对象的显示特征信息。
14.在一些实施例中，所述确定虚拟对象的显示特征信息，包括：
15.获取视频通信的主题信息；
16.根据所述视频通信的主题信息确定所述虚拟对象的显示特征信息。
17.在一些实施例中，所述生物信息包括用户的面部表情和/或用户的肢体动作。
18.本技术的第二个方面，提供了一种仿生虚拟的视频通话系统，包括：
19.第一获取模块，用于确定虚拟对象的显示特征信息，所述显示特征信息包括所述虚拟对象的声音类别和/或外貌类别；
20.第二获取模块，用于实时获取用户的生物信息；
21.第一处理模块，用于对所述生物信息进行虚拟化处理，得到虚拟化后的生物信息；
22.第一确定模块，用于根据所述虚拟对象的显示特征信息确定所述虚拟对象的化身显示特征参数；
23.第一生成模块，用于将所述化身显示特征参数和所述虚拟化后的生物信息关联至所述虚拟对象的模型中，生成所述虚拟对象的虚拟特征动画；
24.第二生成模块，用于将所述虚拟特征动画融合至通信画面中，生成虚拟通信画面。
25.在一些实施例中，所述第一获取模块包括：
26.第三获取模块，用于获取用户的偏好信息，所述偏好信息包括用户所偏好的虚拟对象的声音类别和/或外貌类别；
27.第二确定模块，用于根据所述偏好信息确定所述虚拟对象的显示特征信息。
28.在一些实施例中，所述第一获取模块包括：
29.第四获取模块，用于获取视频通信的主题信息；
30.第三确定模块，用于根据所述视频信息的主题信息确定所述虚拟对象的显示特征信息。
31.在一些实施例中，所述生物信息包括用户的面部表情和/或用户的肢体动作。
32.本技术的第三个方面，提供了一种存储介质，该存储介质存储的计算机程序，可被一个或多个处理器执行，用以实现如上所述的仿生虚拟的视频通话方法。
33.本技术的第四个方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述存储器和所述处理器之间互相通信连接，该计算机程序被所述处理器执行时，实现如上所述的仿生虚拟的视频通话方法。
34.本技术技术方案具有的优点或有益效果为：针对智能家居元宇宙用户的需求，根据用户对虚拟对象的外貌、声音等外在形象的偏好信息，或者视频通信的主题信息设定虚拟对象的外貌、声音、服饰等外显的特征类别。并且将实时获取到的且虚拟化处理后的生物信息关联至所述虚拟对象的模型中，使得生成的虚拟特征动画的肢体动作、面部表情等生物特征与现实中用户的生物特征实时同步，从而让用户产生身临其境的感觉，增强了视频通话的趣味性。
附图说明
35.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于所属领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
36.图1为本技术实施例一提供的一种仿生虚拟的视频通话方法的流程图；
37.图2为本技术实施例二提供的一种仿生虚拟的视频通话系统的结构示意图；
38.图3为本技术实施例三提供的一种仿生虚拟的视频通话系统的结构示意图；
39.图4为本技术实施例五提供的一种电子设备的连接框图。
具体实施方式
40.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
41.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
42.如果申请文件中出现“第一\第二\第三”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
43.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
44.实施例一
45.本实施例提供了一种仿生虚拟的视频通话方法，图1为本实施例一提供的一种仿生虚拟的视频通话方法的流程图，如图1所示，本实施例的方法包括：
46.步骤s101，确定虚拟对象的显示特征信息，并在视频通话期间，实时获取用户的生物信息。其中，所述显示特征信息包括所述虚拟对象的声音类别、外貌类别等外显的特征类别。所述外貌类别包括写实外貌、抽象外貌等类别。所述写实外貌为人的外貌形象，包括卡通人物外貌形象、现实人物外貌形象等。所述抽象外貌为非人的外貌形象，包括动物外貌形象、植物外貌形象等。所述生物信息包括用户的面部表情、肢体动作等生物特征。所述生物信息可通过摄像头或追踪器等设备获取。
47.在一些实施例中，所述确定虚拟对象的显示特征信息，具体包括：获取用户的偏好信息，然后根据所述偏好信息确定所述虚拟对象的显示特征信息。所述偏好信息包括用户所偏好的虚拟对象的声音类别、外貌类别等外显特征类别。所述偏好信息的获取方法可以采用用户在用户端输入、根据用户历史选择的所述显示特征信息等。通过获取用户对虚拟对象的外显特征的偏好，能够针对性地显示出用户偏好的虚拟特征动画的形象。
48.在一些实施例中，所述确定虚拟对象的显示特征信息，具体包括：获取视频通信的主题信息，然后根据所述视频通信的主题信息确定所述虚拟对象的显示特征信息。所述视频通信的主题信息包括会议主题、日常主题等。通过所述视频通信的主题信息可以自动的为用户提供适合当前视频通信主题的虚拟特征动画的形象，使得用户容易融入虚拟场景中。
49.步骤s102，根据所述虚拟对象的显示特征信息确定所述虚拟对象的化身显示特征参数。所述化身显示特征参数用于设置在虚拟对象模型中更改所述虚拟对象的外貌、声音等外显的特征。所述化身显示特征参数包括声音特征参数、外貌特征参数等外显特征参数，其中，所述外貌特征参数包括抽象外观参数或写实外观参数。
50.步骤s103，对所述生物信息进行虚拟化处理，得到虚拟化后的生物信息。所述虚拟化处理即是对所述生物信息进行图像预处理、生物特征提取，得到生物特征信息。
51.步骤s104，将所述化身显示特征参数和所述虚拟化后的生物信息关联至所述虚拟对象的模型中，得到更新后的所述虚拟对象的模型，并根据更新后的所述虚拟对象的模型生成所述虚拟对象的虚拟特征动画。实现所生成的虚拟特征动画的如肢体动作、面部表情等生物特征实时同步用户真人的生物特征，实现虚拟形象模拟真人进行互动，增加视频通信的趣味性。
52.步骤s105，将所述虚拟特征动画融合至通信画面中，生成虚拟通信画面。在所述虚拟通信画面中，所述虚拟特征动画可以显示在所述通信画面的中央位置，也可以显示在所述通信画面的其它位置。
53.实施例二
54.本实施例提供了一种仿生虚拟的视频通话系统200，本系统实施例可以用于执行本技术方法实施例，对于本系统实施例中未披露的细节，请参照本技术方法实施例。图2为本技术实施例提供的一种仿生虚拟的视频通话系统的结构示意图，如图2所示，本实施例提供的一种仿生虚拟的视频通话系统200包括：
55.第一获取模块210，用于确定虚拟对象的显示特征信息。其中，所述显示特征信息包括所述虚拟对象的声音类别和/或外貌类别等外显的特征类别。外貌类别包括写实外貌、抽象外貌等类别。写实外貌为人的外貌形象，包括卡通人物外貌形象、现实人物外貌形象等。所述抽象外貌为非人的外貌形象，包括动物外貌形象、植物外貌形象等。
56.在一些实施例中，所述第一获取模块210包括：第三获取模块，用于获取用户的偏好信息，所述偏好信息包括用户所偏好的虚拟对象的声音类别和外貌类别；第二确定模块，用于根据所述偏好信息确定所述虚拟对象的显示特征信息。所述偏好信息包括用户所偏好的虚拟对象的声音类别、外貌类别等外显特征类别。所述偏好信息的获取方法可以采用用户在用户端输入、根据用户历史选择的所述显示特征信息等。通过获取用户对虚拟对象的外显特征的偏好，能够针对性地显示出用户偏好的虚拟特征动画的形象。
57.在一些实施例中，所述第一获取模块210包括：第四获取模块，用于获取视频通信的主题信息；第三确定模块，用于根据所述视频信息的主题信息确定所述虚拟对象的显示特征信息。其中，所述视频通信的主题信息包括会议主题、日常主题等。通过所述视频通信的主题信息可以自动的为用户提供适合当前视频通信主题的虚拟特征动画的形象，使得用户容易融入虚拟场景中。
58.第二获取模块220，用于在视频通话期间获取用户的生物信息。其中，所述生物信息包括用户的面部表情、肢体动作等生物特征。所述生物信息可通过摄像头或追踪器等设备获取。
59.第一确定模块230，用于根据所述虚拟对象的显示特征信息确定所述虚拟对象的化身显示特征参数。所述化身显示特征参数用于设置在虚拟对象模型中更改所述虚拟对象的外貌、声音等外显的特征。所述化身显示特征参数包括声音特征参数、外貌特征参数等外显特征参数，其中，所述外貌特征参数包括抽象外观参数或写实外观参数。
60.第一处理模块240，用于对所述生物信息进行虚拟化处理，得到虚拟化后的生物信息。所述虚拟化处理即是对所述生物信息进行图像预处理、生物特征提取，得到生物特征信息。
61.第一生成模块250，用于将所述化身显示特征参数和所述虚拟化后的生物信息关
联至所述虚拟对象的模型中，得到更新后的所述虚拟对象的模型，并根据更新后的所述虚拟对象的模型生成所述虚拟对象的虚拟特征动画。实现所生成的虚拟特征动画的如肢体动作、面部表情等生物特征实时同步用户真人的生物特征，实现虚拟形象模拟真人进行互动，增加视频通信的趣味性。
62.第二生成模块260，用于将所述虚拟特征动画融合至通信画面中，生成虚拟通信画面。在所述虚拟通信画面中，所述虚拟特征动画可以显示在所述通信画面的中央位置，也可以显示在所述通信画面的其它位置。
63.实施例三
64.本实施例提供了一种仿生虚拟的视频通话系统，包括输入设备、运算设备、网络设备、输出设备。所述输入设备包括数字手柄、智能家居上的摄像头和追踪器等用于采集用户指令或用户的生物信息的设备。所述运算设备包括笔记本电脑、台式电脑、智能电视机等等设备中任意一种设备。网络设备包括路由器、交换机等用于连接网络的设备。所述输出设备包括显示器、头戴式显示屏设备等用于显示虚拟通信画面的任意一种或多种设备。
65.图3为本实施例提供的一种仿生虚拟的视频通话系统的结构示意图，如图3所示，以用户a和用户b进行视频通话为例。用户a对应第一输入设备310、第一运算设备320、第一网络设备330、第一输出设备340。b用户b对应第二输入设备350、第二运算设备360、第二网络设备370、第二输出设备380。
66.当用户a和用户b进行视频通话时，用户a通过第一输入设备310录入第一偏好信息和/或视频通信的主题信息，并实时采集用户a的生物信息。其中，所述第一偏好信息为用户a所偏好的虚拟对象的声音类别和外貌类别。所述生物信息包括用户的面部表情、身体动作姿态等生物特征。
67.第一运算设备320根据所述第一偏好信息或视频通信的主题信息确定第一虚拟对象的显示特征信息，并根据所述第一虚拟对象的显示特征信息确定所述第一虚拟对象的化身显示特征参数。其中，所述显示特征信息包括所述虚拟对象的声音类别和/或外貌类别等外显的特征类别。外貌类别包括写实外貌、抽象外貌等类别。写实外貌为人的外貌形象，包括卡通人物外貌形象、现实人物外貌形象等。所述抽象外貌为非人的外貌形象，包括动物外貌形象、植物外貌形象等。所述化身显示特征参数用于设置在虚拟对象模型中更改所述虚拟对象的外貌、声音等外显的特征。所述化身显示特征参数包括声音特征参数、外貌特征参数等外显特征参数，其中，所述外貌特征参数包括抽象外观参数或写实外观参数。
68.第一运算设备320还对所述用户a的生物信息进行虚拟化处理，得到虚拟化后的用户a的生物信息，并将所述虚拟化后的用户a的生物信息和所述第一虚拟对象的化身显示特征参数关联至所述第一虚拟对象的模型中，得到更新后的所述第一虚拟对象的模型，并根据更新后的所述第一虚拟对象的模型生成所述第一虚拟对象的虚拟特征动画。
69.同时，用户b对应的设备也进行与用户a对应设备相关的操作，生成模仿用户b的第二虚拟对象的虚拟特征动画。
70.用户a对应的第一网络设备330传输所述第一虚拟对象的虚拟特征动画。用户b对应的第二网络设备370传输所述第二虚拟对象的虚拟特征动画。
71.所述第一运算设备320和所述第二运算设备360均将所述第一虚拟对象的虚拟特征动画和所述第二虚拟对象的虚拟特征动画融合至通信画面中，生成虚拟通信画面。在所
述虚拟通信画面中，所述第一虚拟特征动画和所述第二虚拟特征动画可以显示在所述通信画面的中央位置，也可以显示在所述通信画面的其它位置。
72.所述第一输出设备340和所述第二输出设备380均显示所述虚拟通信画面。
73.实施例四
74.本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时可以实现如上述实施例中的方法步骤，本实施例在此不再重复赘述。
75.其中，计算机可读存储介质还可单独包括计算机程序、数据文件、数据结构等，或者包括其组合。计算机可读存储介质或计算机程序可被计算机软件领域的技术人员具体设计和理解，或计算机可读存储介质对计算机软件领域的技术人员而言可以是公知和可用的。计算机可读存储介质的示例包括：磁性介质，例如硬盘、软盘和磁带；光学介质，例如，cdrom盘和dvd；磁光介质，例如，光盘；和硬件装置，具体被配置以存储和执行计算机程序，例如，只读存储器(rom)、随机存取存储器(ram)、闪存；或服务器、app应用商城等。计算机程序的示例包括机器代码(例如，由编译器产生的代码)和包含高级代码的文件，可由计算机通过使用解释器来执行高级代码。所描述的硬件装置可被配置为用作一个或多个软件模块，以执行以上描述的操作和方法，反之亦然。另外，计算机可读存储介质可分布在联网的计算机系统中，可以分散的方式存储和执行程序代码或计算机程序。
76.实施例五
77.图4为本技术实施例提供的一种电子设备的连接框图，如图4所示，该电子设备400可以包括：一个或多个处理器410，存储器412，多媒体组件413，输入/输出(i/o)接口414，以及通信组件415。
78.其中，处理器410用于执行如实施例一方法中的全部或部分步骤。存储器412用于存储各种类型的数据，这些数据例如可以包括电子设备中的任何应用程序或方法的指令，以及应用程序相关的数据。
79.所述处理器412可以是专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中的方法。
80.所述存储器412可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
81.多媒体组件413可以包括屏幕和音频组件，该屏幕可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或通过通信组件发送。音频组件还包括至少一个扬声器，用于输出音频信号。
82.i/o接口414为处理器410和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。
83.通信组件415用于该电子设备400与其他设备之间进行有线或无线通信。
84.有线通信包括通过网口、串口等进行通信；无线通信包括：wi-fi、蓝牙、近场通信(near field communication，简称nfc)、2g、3g、4g、5g，或它们中的一种或几种的组合。因此相应的该通信组件415可以包括：wi-fi模块，蓝牙模块，nfc模块。
85.另外应该理解到，在本技术所提供的实施例中所揭露的方法或系统，也可以通过其它的方式实现。以上所描述的方法或系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的方法和装置的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、计算机程序段或计算机程序的一部分，模块、计算机程序段或计算机程序的一部分包含一个或多个用于实现规定的逻辑功能的计算机程序。
86.也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生，实际上也可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序的组合来实现。
87.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、装置或者设备中还存在另外的相同要素；如果有描述到“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系；在本技术的描述中，除非另有说明，术语“多个”、“多”的含义是指至少两个；如果有描述到服务器，需要说明的是，服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是能够提供云服务器、云数据库、云存储和cdn等基础云计算服务的云服务器；在本技术中如果有描述到智能终端或移动设备，需要说明的是，智能终端或移动设备可以是手机、平板电脑、智能手表、上网本、可穿戴电子设备、个人数字助理(personal digital assistant，pda)、增强现实技术设备(augmented reality，ar)、虚拟现实设备(virtual reality，vr)、智能电视、智能音响、个人计算机(personal computer，pc)等，但并不局限于此，本技术对智能终端或移动设备的具体形式不做特殊限定。
88.最后需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“一个示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式进行结合。
89.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例都是示例性的，所述的内容只是为了便于理解本技术而采用的实施方式，并非用以限定本技术。任
何本技术所属技术领域内的技术人员，在不脱离本技术所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本技术的保护范围，仍须以所附的权利要求书所界定的范围为准。