在2D或3D化身上动画化生理特性的制作方法

技术特征：
1.一种用于将生理特性应用于视频的一部分的方法，所述方法包括：接收视频序列的帧；接收生理信号；基于所接收的所述生理信号，生成注意力掩码，其中所述注意力掩码包括用于所述视频序列的所述帧的不同部分的、指示所述生理信号的强度的注意力权重；基于所述生理信号和所述注意力掩码，生成像素调整值；以及将所述像素调整值应用于所述视频序列的所述帧中的被标识像素。2.根据权利要求1所述的方法，进一步包括：基于所述生理信号和所述注意力掩码，生成第二像素调整值，所述第二像素调整值不同于所述像素调整值；以及将所述第二像素调整值应用于所述视频序列的所述帧中的第二被标识像素，其中所述第二被标识像素不同于所述被标识像素。3.根据权利要求1所述的方法，其中所述注意力掩码标识在所述视频序列中被描绘的化身的被所述生理信号影响的区域。4.根据权利要求1所述的方法，其中所述注意力掩码是从机器学习模型被生成的，所述机器学习模型被专门训练以基于视频序列的帧和所述生理信号生成注意力掩码。5.根据权利要求1所述的方法，其中所述生理信号是血容量脉搏率、眨眼率或呼吸频率中的至少一项。6.根据权利要求1所述的方法，进一步包括：基于所述生理信号、所述注意力掩码和颜色系数，生成另一像素调整值，其中所述颜色系数特定于所述生理特性。7.根据权利要求6所述的方法，其中应用所述颜色系数包括：针对所述颜色系数的每个颜色生成阿尔法掩码，并且组合多个所述阿尔法掩码以获得输出帧。8.根据权利要求1所述的方法，其中所述像素调整值是与针对一个或多个像素的方向和幅度相对应的向量。9.一种包括指令的计算机可读介质，所述指令在由处理器执行时使所述处理器：接收视频序列的帧；接收生理信号；基于所接收的所述生理信号，生成注意力掩码，其中所述注意力掩码包括用于所述视频序列的所述帧的不同部分的、指示所述生理信号的强度的注意力权重；基于所述视频序列的所述帧、所述生理信号、所述注意力掩码和与第一颜色相关联的颜色通道系数，生成针对所述第一颜色的阿尔法掩码；以及将所生成的针对所述第一颜色的所述阿尔法掩码与第二颜色的阿尔法掩码组合，以生成输出帧。10.根据权利要求9所述的计算机可读介质，其中所述注意力掩码标识在所述视频序列中被描绘的化身的被所述生理信号影响的区域。11.根据权利要求9所述的计算机可读介质，其中所述生理信号是血容量脉搏率、眨眼率或呼吸频率中的至少一项。12.根据权利要求9所述的计算机可读介质，其中所述注意力掩码是从机器学习模型被生成的，所述机器学习模型被专门训练以基于视频序列的帧和所述生理信号生成注意力掩
码。13.根据权利要求9所述的计算机可读介质，其中所述指令在由所述处理器执行时使所述处理器：接收影响所述颜色系数、注意力掩码或生理信号中的至少一项的外部因素。14.一种用于将生理特性应用于视频的一部分的系统，所述系统包括：处理器；以及存储指令的存储器，所述指令在由所述处理器执行时使所述处理器：接收视频序列的帧；接收生理信号；基于所接收的所述生理信号，生成注意力掩码，其中所述注意力掩码包括用于所述视频序列的所述帧的不同部分的、指示所述生理信号的强度的注意力权重；基于所述生理信号和所述注意力掩码，生成像素调整值；以及将所述像素调整值应用于所述视频序列的所述帧中的被标识像素。15.根据权利要求14所述的系统，其中所述指令使所述处理器：基于所述生理信号和所述注意力掩码，生成第二像素调整值，所述第二像素调整值不同于所述像素调整值；以及将所述第二像素调整值应用于所述视频序列的所述帧中的第二被标识像素，其中所述第二被标识像素不同于所述被标识像素。

技术总结
系统和方法涉及直接在化身和照片上动画化细微的生理过程。也就是说，可以对化身的外观进行基于生理的空间、颜色空间和时间修改，以模拟生理特性，诸如血流。更具体地，视频序列的帧和生理信号可以被接收。注意力掩码可以基于所接收的生理信号被生成，其中注意力掩码包括用于视频序列的帧的不同部分的、指示生理信号的强度的注意力权重。相应地，像素调整值可以基于生理信号和注意力掩码被生成，并且被应用于视频序列的帧中的被标识像素。用于视频序列的帧中的被标识像素。用于视频序列的帧中的被标识像素。


技术研发人员：D
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：2021.05.10
技术公布日：2023/2/13