基于数字孪生技术的数字化人物模型的调整方法与流程

1.本技术涉及数字孪生技术领域，尤其涉及一种基于数字孪生技术的数字化人物模型的调整方法。


背景技术：

2.随着互联网技术的不断发展，数字孪生技术开始在产品设计、产品制造、医学分析以及金融等领域开始广泛应用。数字孪生技术指的是使用传感器收集实际环境中物理对象的相关实时状态，采集物理对象的实时数据并上传到基于云的系统，该云的系统接收并处理传感器收集的数据，根据现实业务和关联数据进行分析，分析结果通过虚拟仿真技术进行对物理对象进行可视化呈现。
3.在一些场景下，在金融行业领域的在线客服的人机对话中，采用数字孪生技术将客服人物虚拟化、数字化后，得到数字化人物模型，对于数字化人物模型的动态尤其是面部动作的幅度大小是保证用户在主观上观感友好体验的关键因素。实际应用的过程中，真人的面部动作较小或过大，在数字化人物模型上体现的并不明显或体现的过度夸张，例如，真人说话时口型幅度较小，在数字化人物模型的口型上体现的并不明显，因此，数字化人物模型的动态可视化显示具有很大的局限性，导致用户的体验感较差。


技术实现要素：

4.本技术实施例的目的是提供一种基于数字孪生技术的数字化人物模型的调整方法、装置及电子设备，以解决数字化人物模型的动态可视化显示局限性大的问题。
5.第一方面，本技术实施例提供了一种基于数字孪生技术的数字化人物模型的调整方法，包括：建立真人的面部变形对象与数字化人物模型的融合变形对象的映射关系、在所述映射关系中设定所述融合变形对象的第一变形参数的初始权重；在获取到目标用户的面部图像后，在所述面部图像中的目标面部变形对象的第二变形参数与标准变形参数不一致的情况下，调整所述目标面部变形对象对应的目标融合变形对象的第一变形参数的初始权重，得到权重调整值，其中，所述第一变形参数和所述第二变形参数相对应；将所述第一变形参数和所述权重调整值和输入至所述数字化人物模型，通过所述数字化人物模型的目标融合变形对象显示权重调整值对应的第一变形参数。
6.第二方面，本技术实施例提供了一种基于数字孪生技术的数字化人物模型的调整装置，包括：建立模块，用于建立真人的面部变形对象与数字化人物模型的融合变形对象的映射关系、在所述映射关系中设定所述融合变形对象的第一变形参数的初始权重；调整模块，用于在获取到目标用户的面部图像后，在所述面部图像中的目标面部变形对象的第二变形参数与标准变形参数不一致的情况下，调整所述目标面部变形对象对应的目标融合变形对象的第一变形参数的初始权重，得到权重调整值，其中，所述第一变形参数和所述第二变形参数相对应；显示模块，用于将所述第一变形参数和所述权重调整值和输入至所述数字化人物模型，通过所述数字化人物模型的目标融合变形对象显示权重调整值对应的第一
变形参数。
7.第三方面，本技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的基于数字孪生技术的数字化人物模型的调整方法步骤。
8.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的基于数字孪生技术的数字化人物模型的调整方法步骤。
9.由以上本技术实施例提供的技术方案可见，通过建立真人的面部变形对象与数字化人物模型的融合变形对象的映射关系、在所述映射关系中设定所述融合变形对象的第一变形参数的初始权重；在获取到目标用户的面部图像后，在所述面部图像中的目标面部变形对象的第二变形参数与标准变形参数不一致的情况下，调整所述目标面部变形对象对应的目标融合变形对象的第一变形参数的初始权重，得到权重调整值；将所述第一变形参数和所述权重调整值和输入至所述数字化人物模型，通过所述数字化人物模型的目标融合变形对象显示权重调整值对应的第一变形参数。能够在真人面部动作幅度较小或过大时，可以调整数字化人物模型上目标融合变形对象的第一变形参数的权重，从而使得在数字化人物模型上的目标融合变形对象更为合适的展示第一变形参数，减小了数字化人物模型的动态可视化显示的局限性。
附图说明
10.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
11.图1为本技术实施例提供的基于数字孪生技术的数字化人物模型的调整方法的第一种流程示意图；
12.图2为本技术实施例提供的基于数字孪生技术的数字化人物模型的调整方法的第二种流程示意图；
13.图3为本技术实施例提供的基于数字孪生技术的数字化人物模型的调整装置的模块组成示意图；
14.图4为本技术实施例提供的电子设备的结构示意图。
具体实施方式
15.本技术实施例提供了一种基于数字孪生技术的数字化人物模型的调整方法、装置及电子设备，解决了数字化人物模型的动态可视化显示局限性大的问题。
16.为了使本技术领域的人员更好地理解本技术中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护
的范围。
17.示例性的，如图1所示，本技术实施例提供一种基于数字孪生技术的数字化人物模型的调整方法，该方法的执行主体可以为终端设备，也就是说，本技术实施例提供的一种基于数字孪生技术的数字化人物模型的调整方法可以由安装在终端设备上的硬件或软件完成。该基于数字孪生技术的数字化人物模型的调整方法具体可以包括以下步骤：
18.在步骤s101中，建立真人的面部变形对象与数字化人物模型的融合变形对象的映射关系、在映射关系中设定融合变形对象的第一变形参数的初始权重。
19.具体来讲，数字化人物模型是利用数字孪生技术将实际的真人的相关实时状态，采集真人的实时数据并上传到基于云的系统，云的系统接收并处理传感器收集的数据，分析数据通过虚拟仿真技术对真人进行可视化呈现。本实施例中，将真人的面部变形对象通过虚拟仿真技术在数字化人物模型上进行可视化呈现，其中，面部变形对象指的是真人的眼睛、嘴巴、鼻子以及眉毛等，例如，真人在正常睁眼、正常合拢嘴巴时，面部变形对象是默认形状的基本形状，当真人大笑、说话、皱眉以及闭合眼皮时，面部变形对象的基本形状发生变化。融合变形对象指的是在数字化人物模型上，对应于面部变形对象建立的，例如，面部变形对象包括眼睛、鼻子、嘴巴、眉毛，则在数字化人物模型上建立融合变形对象为眼睛、鼻子、嘴巴以及眉毛。
20.映射关系指的是，捕捉的真人的面部变形对象的变形参数数据与数字化人物模型的融合变形对象的映射关系，例如，在真人的面部变形对象为嘴巴，嘴巴做出一个左撇嘴的形态时，则为数字化人物模型设计一个融合变形对象，该融合变形对象为嘴巴，并为融合变形对象设计一个左撇嘴的形态，从而建立起面部变形对象和融合变形对象的映射关系。在该映射关系中设定融合变形对象的初始权重，例如，在真人面无表情状态下，数字化人物模型的融合变形对象的初始状态值为0，将融合变形对象的初始权重设定为权重上限值和权重下限值之间(包括权重上限值和权重下限值)的一个中间值，例如，权重值的取值范围为0至1之间，则可以将初始权重设定为0.5，第一变形参数指的是融合变形对象的基本形状发生变化的变形度，一些情况下，其和面部变形对象的变形度是对应的，另一些情况下，相比于面部变形对象的变形度，需要将第一变形参数的初始权重调大或调小。
21.在步骤s103中，在获取到目标用户的面部图像后，在面部图像中的目标面部变形对象的第二变形参数与标准变形参数不一致的情况下，调整目标面部变形对象对应的目标融合变形对象的第一变形参数的初始权重，得到权重调整值。
22.具体来讲，可以采用摄像头采集目标用户的面部图像，目标用户为处于摄像头的图像采集范围内的用户，面部图像包括但不限于目标用户的整个面部的图像、目标用户的脸部的部分区域的图像等。目标面部变形对象指的是目标用户的面部变形对象中基本形状发生变化的变形对象，例如，目标用户在摄像头的采集周期内，嘴巴的口型发生变化，而眼睛、眉毛、鼻子等维持原始状态，则将嘴巴作为目标面部变形对象。第二变形参数为目标面部变形对象的变形度，标准变形参数为数字化人物模型中能明显显示变形形状的标准变形度，其可以根据数字化人物模型的呈现效果具体设定，本技术实施例在此并不作限定。
23.在第二变形参数标准变形参数不一致(偏小或偏大)的情况下，则需要调整目标面部变形对象对应的目标融合变形对象的第一变形参数的权重，例如，目标用户做出一个左撇嘴的形态，当左撇嘴的形态的变形度比标准变形度小，即左撇嘴的幅度较小，在数字化人
物模型上体现的不明显，则可以将数字化人物模型上的左撇嘴的初始权重调大。值得注意的是，第一变形参数和第二变形参数是相对应的，即面部变形对象和融合变形对象是对应的，例如，面部变形对象为嘴巴时，融合变形对象也为嘴巴，第一变形参数为数字化人物模型中嘴巴的变形度，第二变形参数为目标用户的嘴巴的变形度。
24.在步骤s105，将第一变形参数和权重调整值和输入至数字化人物模型，通过数字化人物模型的目标融合变形对象显示权重调整值对应的第一变形参数。
25.具体来讲，在调整目标融合变形对象的第一变形参数的初始权重后，将权重调整值和第一变形参数输入至数字化人物模型，数字化人物模型的目标融合变形对象按照调整了的权重呈现第一变形参数。例如，当左撇嘴的形态的变形度比标准变形度小，即左撇嘴的幅度较小，在数字化人物模型上体现的不明显，则可以将数字化人物模型上的左撇嘴的初始权重调大，从而扩大数字化人物模型上展示嘴巴的口型幅度，从而在数字化人物模型上明显体现出嘴巴的口型形态。
26.由以上本技术实施例提供的技术方案可见，能够在真人面部动作幅度较小或过大时，可以调整数字化人物模型上目标融合变形对象的第一变形参数的权重，从而使得在数字化人物模型上的目标融合变形对象更为合适的展示第一变形参数，减小了数字化人物模型的动态可视化显示的局限性。
27.示例性的，如图2所示，本技术实施例提供一种基于数字孪生技术的数字化人物模型的调整方法，该方法的执行主体可以为终端设备，也就是说，本技术实施例提供的一种基于数字孪生技术的数字化人物模型的调整方法可以由安装在终端设备上的硬件或软件完成。该基于数字孪生技术的数字化人物模型的调整方法具体可以包括以下步骤：
28.在步骤s201中，确定真人的面部图像中各面部变形对象对应的不同变形类型的变形参数，对数字化人物模型设定与面部变形对象对应的融合变形对象，根据变形类型和变形参数建立面部变形对象与融合变形对象的映射关系，确定面部变形对象的第三变形参数的平均值，根据平均值设定融合变形对象的第一变形参数的初始权重。
29.具体来讲，可以通过捕捉大量用户的面部图像来建立融合变形对象和面部变形对象之间的映射关系，每个面部变形对应可以对应不同的变形类型，例如，对于嘴巴而言，其变形类型可以为左撇嘴、右撇嘴、微笑以及大笑等，左撇嘴、右撇嘴、微笑以及大笑对应各自的变形参数，对应于真人的面部图像，计算出面部图像中所有关键点(面部变形对象不同变形类型)的深度信息参数(变形参数)，设计数字化人物模型的融合变形对象，和融合变形对象对应的变形类型的变形参数，并和面部变形对象的变形类型以及变形参数一一对应起来。例如，真人的面无表情状态下融合变形对象的变形参数的初始状态值都为0，在真人做最大幅度的左撇嘴动作是获取一个变形参数，为数字化人物模型设计一个左撇嘴动作的变形参数，做出与真人一样的左撇嘴形态且将状态值设置为1，在实时捕捉目标用户的面部图像时，目标用户只要有做出左撇嘴的动作，就调用数字化人物模型的嘴巴，并调用数字化人物模型的左撇嘴形态。
30.面部变形对象的第三变形参数指的是大量用户的每一个面部变形对象的变形参数，对应每个面部变形对象，计算每个面部变形对象的变形参数的平均值，可以将该变形参数的平均值作为标准变形参数，在确定标准变形参数之后，根据标准变形参数的相对大小对应为每一个融合变形对象设置一个初始权重，初始权重和标准变形参数是关联的，若标
准变形参数较大，可以将初始权重设置的小一些，如将初始权重设置的更接近权重下限值，若标准变形参数较小，可以将初始权重设置的大一些，如将初始权重设置的更接近权重上限值，进一步，还可以将初始权重设定为权重上限值和权重下限值之间的中间值，如权重上限值为1，权重下限值为0时，将初始权重设置为0.5。
31.在步骤s203，在获取到目标用户的面部图像后，在面部图像中的目标面部变形对象的第二变形参数小于标准变形参数的情况下，将第一变形参数的初始权重调大，在目标面部变形对象的第二变形参数大于标准变形参数的情况下，将第一变形参数的初始权重调小。
32.具体来讲，当目标用户的目标面部变形对象的变形参数较大，即目标用户的面部表情过于夸张，则调小第一变形参数的初始权重，当目标用户的目标面部变形对象的变形参数较小，即目标用户的面部表情幅度较小，将第一变形参数的初始权重调大，从而优化数字化人物模型中目标融合变形对象的面部表现，使得数字化人物模型有一个很好地展现效果。例如，目标用户作了一个左撇嘴的动作，当左撇嘴的动作的幅度较小时，在数字化人物模型上展现的效果并不明显，则将第一变形参数的初始权重(如为0.5)调大(即大于0.5)，从而保证目标用户较小幅度的左撇嘴动作能在数字化人物模型上进行明显的展现，提升用户体验感。
33.进一步，在将第一变形参数的初始权重调大或将第一变形参数的初始权重调小时，可以将初始权重保持在权重上限值和权重下限值之间，避免调整后的变形参数在数字化人物模型上变形过度或变形不足的问题。例如，权重上限值为1，权重下限值为0，初始权重为0.5的情况下，若面部变形对象的第二变形参数小于标准变形参数，则调大初始权重且不超过1，若面部变形对象的第二变形参数大于标准变形参数，则调小初始权重且不低于0。
34.在步骤s205，将第一变形参数和权重调整值和输入至数字化人物模型，通过数字化人物模型的目标融合变形对象显示权重调整值对应的第一变形参数。
35.值得注意的是，步骤s205与上述步骤s105具有相同或类似的实现方式，其可以互相参照，本技术实施例在此不再赘述。
36.由以上本技术实施例提供的技术方案可见，能够在真人面部动作幅度较小或过大时，可以调整数字化人物模型上目标融合变形对象的第一变形参数的权重，从而使得在数字化人物模型上的目标融合变形对象更为合适的展示第一变形参数，减小了数字化人物模型的动态可视化显示的局限性。此外，通过调大初始权重或调小初始权重，使得用户看到的数字化人物模型的面部动作的幅度和真人的面部动作的幅度一致，为用户带来观感友好的体验，即使不同的用户驱动数字化人物模型，也能够保证数字化人物模型的面部动作的幅度和真人的面部动作的幅度一致，进一步提升用户体验感。
37.对应上述实施例提供的基于数字孪生技术的数字化人物模型的调整方法，基于相同的技术构思，本技术实施例还提供了一种基于数字孪生技术的数字化人物模型的调整装置，图3本技术实施例提供的基于数字孪生技术的数字化人物模型的调整装置的模块组成示意图，该基于数字孪生技术的数字化人物模型的调整装置用于执行图1至图2描述的基于数字孪生技术的数字化人物模型的调整方法，如图3所示，该基于数字孪生技术的数字化人物模型的调整装置包括：建立模块301，用于建立真人的面部变形对象与数字化人物模型的融合变形对象的映射关系、在映射关系中设定融合变形对象的第一变形参数的初始权重；
调整模块302，用于在获取到目标用户的面部图像后，在面部图像中的目标面部变形对象的第二变形参数与标准变形参数不一致的情况下，调整目标面部变形对象对应的目标融合变形对象的第一变形参数的初始权重，得到权重调整值，其中，所述第一变形参数和所述第二变形参数相对应；显示模块303，用于将第一变形参数和权重调整值和输入至数字化人物模型，通过数字化人物模型的目标融合变形对象显示权重调整值对应的第一变形参数。
38.由以上本技术实施例提供的技术方案可见，能够在真人面部动作幅度较小或过大时，可以调整数字化人物模型上目标融合变形对象的第一变形参数的权重，从而使得在数字化人物模型上的目标融合变形对象更为合适的展示第一变形参数，减小了数字化人物模型的动态可视化显示的局限性。
39.在一种可能的实现方式中，建立模块301，还用于确定真人的面部图像中各面部变形对象对应的不同变形类型的变形参数，对数字化人物模型设定与面部变形对象对应的融合变形对象，根据变形类型和变形参数建立面部变形对象与融合变形对象的映射关系。
40.在一种可能的实现方式中，建立模块301，还用于确定面部变形对象的第三变形参数的平均值，根据平均值设定融合变形对象的第一变形参数的初始权重。
41.在一种可能的实现方式中，调整模块302，还用于在面部图像中的目标面部变形对象的第二变形参数小于标准变形参数的情况下，将第一变形参数的初始权重调大，在目标面部变形对象的第二变形参数大于标准变形参数的情况下，将第一变形参数的初始权重调小。
42.在一种可能的实现方式中，初始权重设定为权重上限值和权重下限值之间的中间值。
43.本技术实施例提供的基于数字孪生技术的数字化人物模型的调整装置能够实现上述基于数字孪生技术的数字化人物模型的调整方法对应的实施例中的各个过程，为避免重复，这里不再赘述。
44.需要说明的是，本技术实施例提供的基于数字孪生技术的数字化人物模型的调整装置与本技术实施例提供的基于数字孪生技术的数字化人物模型的调整方法基于同一申请构思，因此该实施例的具体实施可以参见前述基于数字孪生技术的数字化人物模型的调整方法的实施，重复之处不再赘述。
45.对应上述实施例提供的基于数字孪生技术的数字化人物模型的调整方法，基于相同的技术构思，本技术实施例还提供了一种电子设备，该电子设备用于执行上述的基于数字孪生技术的数字化人物模型的调整方法，图4为实现本技术各个实施例的一种电子设备的结构示意图，如图4所示。电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器401和存储器402，存储器402中可以存储有一个或一个以上存储应用程序或数据。其中，存储器402可以是短暂存储或持久存储。存储在存储器402的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对电子设备中的一系列计算机可执行指令。
46.更进一步地，处理器401可以设置为与存储器402通信，在电子设备上执行存储器402中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源403，一个或一个以上有线或无线网络接口404，一个或一个以上输入输出接口405，一个或一个以上键盘406。
47.具体在本实施例中，电子设备包括有处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现以上方法实施例中的步骤。
48.本实施例中还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现以上方法实施例中的步骤。
49.本领域内的技术人员应明白，本技术的实施例可提供为方法、装置、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
50.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
51.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
52.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
53.在一个典型的配置中，电子设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
54.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。
55.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
56.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包
括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
57.本领域技术人员应明白，本技术的实施例可提供为方法、装置或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
58.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。