全息替身：用于低带宽和高质量远程视觉通信的系统和方法与流程

技术特征：
1.一种用于促进基于实时成像的低带宽远程视觉通信的系统，包括：一个或多个处理器；以及存储指令的一个或多个硬件存储设备，所述指令能由所述一个或多个处理器运行以将所述系统配置用于：接收来自用户的输入以发起生成所述用户的全息替身的过程，所述全息替身包括所述用户的真实感三维(3d)模拟表示；获得由相机从所述用户相对于所述相机的多个视角捕获的环境内的所述用户的图像数据；解构所述图像数据以获得稀疏数据集，所述稀疏数据集识别与所述用户的所述图像数据相关联的一个或多个属性；使用全息替身训练模型基于所述稀疏数据集和所获得的图像数据来生成和训练所述用户的所述全息替身，当获得用于生成和训练所述全息替身的所述图像数据时，能够基于所述用户的新图像数据，从与所述用户相关联的多个不同视角来渲染所述全息替身，以及从所述用户相对于在后续图像处理中捕获所述用户的所述新图像数据的一个或多个相机的一个或多个不同视角来渲染所述全息替身，所述多个不同视角包括所述用户相对于所述相机的多个视角，所述全息替身训练模型包括机器学习的模型或机器学习模型，所述机器学习的模型或机器学习模型已经针对人类的图像数据和与所述人类的所述图像数据相关联的属性的对应稀疏数据被训练，以从不同视角生成和渲染对所述人类的模拟；在捕获所述用户的所述新图像数据的同时并发地向所述用户渲染所述全息替身的表示；接收来自所述用户的包括对所述全息替身的批准的输入；以及通过保存所述全息替身以供后续使用来完成对所述全息替身的训练，所述后续使用包括一个或多个远程视觉通信会话，其中，所述用户在一个或多个第二设备处被视觉地模拟为与在第一设备处的所述一个或多个远程视觉通信会话期间捕获的所述用户的图像相对应并且并发的所述全息替身。2.根据权利要求1所述的系统，其中，所述稀疏数据包括面部标志。3.根据权利要求1所述的系统，其中，所述指令能由所述一个或多个处理器运行以将所述系统进一步配置用于使用所述稀疏数据集作为对用于生成能用作全息替身渲染模型的输入的经变换的全息替身参数集的函数的输入，所述全息替身渲染模型已经针对图像数据和对应参数被训练，以渲染人类的真实感表示，所述经变换的全息替身参数集包括基于所述稀疏数据集的经变换的值。4.根据权利要求3所述的系统，其中，所述经变换的全息替身参数集量化或表示：一个或多个面部表情、头部姿势、面部元素状态、与在由所述相机对所述用户的图像捕获期间存在的所述相机相对于所述用户的视角相关联的方向性、与用于相对于当渲染所述用户的所述全息替身时所使用的转置相机位置而渲染所述用户的期望视角相关联的方向性、或者用于在所述图像数据中的所述用户的一个或多个面部标志的位置数据。5.根据权利要求1所述的系统，其中，所述图像数据在第一上下文内捕获所述用户，并且其中，所述用户的所述全息替身模拟在所述第一上下文内的所述用户，并且其中，所述指令能由所述一个或多个处理器运行以将所述系统进一步配置用于：
在第二上下文内并且从所述用户相对于捕获第二图像数据的一个或多个相机的第二视角集获得所述用户的所述第二图像数据；解构所述第二图像数据以获得第二稀疏数据集，所述第二稀疏数据集在所述第二上下文中在对所述第二图像数据的捕获期间识别至少所述用户的一个或多个属性；以及基于所述第二稀疏数据集和所获得的第二图像数据，使用所述全息替身训练模型来生成和训练所述用户的第二全息替身。6.根据权利要求1所述的系统，其中，所述指令能由所述一个或多个处理器运行以将所述系统进一步配置用于：在从所述用户接收包括对所述全息替身的批准的输入之前，并且响应于接收指示所述全息替身未能包括模拟所述用户的满意表示的用户输入，获得所述用户的额外图像数据；以及利用所述额外图像数据进一步训练所述全息替身。7.一种用于促进基于实时成像的低带宽远程视觉通信的系统，包括：一个或多个处理器；以及存储指令的一个或多个硬件存储设备，所述指令能由所述一个或多个处理器运行以将所述系统配置用于：接收用于在包括相机的第一计算系统与包括用于渲染与视觉通信会话相关联的图像的显示器的第二计算系统之间发起远程视觉通信会话的输入；检测指示在所述视觉通信会话期间由所述相机捕获的用户的图像数据不应当被传输到所述第二计算系统以用于在所述第二计算系统的所述显示器上渲染的输入，所述输入也指示应当在所述第二计算系统的所述显示器处渲染与所述用户相关联的全息替身以模拟所述用户，而不是在所述第一计算系统处显示和使用由所述相机捕获的所述用户的所述图像数据；替代将由所述第一计算系统的所述相机捕获的所述用户的所述图像数据传输到所述第二计算系统，基于所述用户的所述图像数据来获得稀疏数据集或者经变换的全息替身参数集，所述稀疏数据集识别所述用户的一个或多个属性，并且是通过解构由所述相机捕获的所述用户的所述图像数据而获得的，从对所述稀疏数据集的变换或处理来生成所述经变换的全息替身参数集，以使得所述经变换的全息替身参数能用作对全息替身渲染模型的输入，所述全息替身渲染模型被配置为选择和渲染所述用户的全息替身，所述全息替身以与由所述第一计算系统的所述相机捕获的所述图像数据内呈现所述用户不同的上下文或视角在所述用户的真实感三维(3d)表示中模拟所述用户，所述全息替身先前已经被所述用户批准使用，并且先前已经由全息替身训练模型创建，所述全息替身训练模型包括机器学习的模型或机器学习模型，所述机器学习的模型或机器学习模型使用所述用户的先前图像数据来创建所述全息替身，并且针对人类的图像数据被训练，以在与所述人类的所述图像数据相关联的一个或多个上下文和视角中生成和渲染对所述人类的模拟；以及提供指令，以用于基于所述稀疏数据集或所述经变换的全息替身参数集，在避免向所述第二计算系统提供由所述第一计算系统处的所述相机捕获的所述图像数据的同时，在所述显示器处渲染所述用户的所述全息替身或另一模拟以模拟所述用户。8.根据权利要求7所述的系统，其中，所述指令使得所述第二计算系统在所述第二计算
系统的所述显示器处以模拟所述用户的方式渲染所述全息替身，同时通过所述相机捕获所述用户的所述图像数据，但是所述用户的视角不同于由所述相机捕获的所述用户的所述图像数据所表示的所述用户的视角。9.根据权利要求7所述的系统，其中，所述系统包括远离所述第一计算系统和所述第二计算系统两者定位的服务器、或者远离所述第一计算系统定位的服务器。10.根据权利要求7所述的系统，其中，所述系统：从所述第一计算系统获得所述稀疏数据集，并且使用所述稀疏数据集生成所述经变换的全息替身参数，或者接收由所述第一计算系统先前从所述稀疏数据变换的所述经变换的全息替身参数。11.根据权利要求7所述的系统，其中，所述全息替身是与不同用户上下文相关联的多个全息替身中的一个全息替身，并且其中，所述指令能由所述一个或多个处理器运行以将所述系统进一步配置用于：在所述视觉通信会话期间从所述多个全息替身中自动地选择所述全息替身以用于模拟所述用户，而无需在所述视觉通信会话期间从所述用户接收用于选择所述全息替身的明确指令。12.根据权利要求7所述的系统，其中，所述指令能由所述一个或多个处理器运行以将所述系统进一步配置用于：向具有所述显示器的所述第二计算系统以及向所述第一计算系统两者提供用于渲染所述全息替身以模拟所述用户的指令，并且从而由所述指令使得所述第一计算系统在所述视觉通信会话期间在所述第一计算系统的显示器处与所述用户的所述图像数据的表示并发地渲染所述全息替身。13.一种用于促进基于实时成像的低带宽远程视觉通信的系统，包括：一个或多个处理器；显示设备；以及存储指令的一个或多个硬件存储设备，所述指令能由所述一个或多个处理器运行以将所述系统配置用于：参与与远程计算系统的远程视觉通信会话，所述远程计算系统具有在所述视觉通信会话期间捕获用户的图像的相机；接收基于所述用户的所述图像的稀疏数据集或经变换的全息替身参数集，所述稀疏数据集识别所述用户的一个或多个属性，并且是通过解构在所述视觉通信会话期间由所述远程计算系统的所述相机捕获的所述用户的所述图像而获得的，从对所述稀疏数据集的变换或处理来生成所述经变换的全息替身参数集，以使得所述经变换的全息替身参数能够用作对被配置为选择和渲染所述用户的全息替身的全息替身渲染模型的输入，所述全息替身以与在所述视觉通信会话期间由所述远程计算系统的所述相机捕获的所述图像内呈现所述用户不同的上下文或视角在所述用户的真实感三维(3d)表示中模拟所述用户，所述全息替身先前已经被所述用户批准使用，并且先前已经由全息替身训练模型创建，所述全息替身训练模型包括机器学习的模型或机器学习模型，所述机器学习的模型或机器学习模型使用所述用户的先前图像数据来创建所述全息替身，并且针对人类的图像数据被训练，以在与所述人类的所述图像数据相关联的一个或多个上下文和视角中生成和渲染对所述人类的模拟；以及访问所述全息替身渲染模型并且渲染所述用户的所述全息替身，以与在所述视觉通信
会话期间捕获的所述用户的所述图像并发并且对应地在所述视觉通信会话期间模拟所述用户，以与在所述视觉通信会话期间由所述相机捕获的所述用户的所述图像中表示的所述用户的对应上下文或视角不同的所述用户的上下文或视角中的至少一个，在所述显示设备上渲染所述全息替身。14.根据权利要求13所述的系统，其中，在避免接收在所述视觉通信会话期间由所述相机捕获的所述用户的所述图像的同时，所述系统在所述视觉通信会话期间渲染所述用户的所述全息替身。15.根据权利要求13所述的系统，其中，所述系统：获得所述稀疏数据集并且使用所述稀疏数据集来生成所述经变换的全息替身参数，或者在不接收所述稀疏数据集的情况下接收所述经变换的全息替身参数。

技术总结
一种系统接收来自用户的输入以发起生成所述用户的全息替身的过程。所述系统获得所述用户的图像数据，并且解构所述图像数据以获得稀疏数据集，所述稀疏数据集识别与所述用户的所述图像数据相关联的一个或多个属性。所述系统使用全息替身训练模型来基于所述稀疏数据集和所获得的图像数据来生成和训练所述用户的全息替身。所述系统在捕获所述用户的新图像数据的同时并发地向所述用户渲染所述全息替身的表示，接收来自所述用户的包括对所述全息替身的批准的输入，以及通过保存所述全息替身以供后续使用来完成对所述全息替身的训练。所述后续使用包括一个或多个远程视觉通信会话。述后续使用包括一个或多个远程视觉通信会话。述后续使用包括一个或多个远程视觉通信会话。


技术研发人员：J
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：2022.01.20
技术公布日：2023/10/8