图像处理方法及装置与流程

本技术实施例涉及图像处理领域，尤其涉及一种图像处理方法及装置。

背景技术：

1、随着图像处理技术的发展，视频数据中的部分对象可以与用户实现交互。但是，目前的视频数据生成方式通常是预先生成动画，动画中的对象是按照预定轨迹动作的。其与用户的交互方式较为单一，影响用户视觉体验。

技术实现思路

1、本技术提供一种图像处理方法及装置。在该方法中，可使得第一对象与用户进行交互时，模拟真实世界的动态，提高用户视觉体验。

2、第一方面，本技术提供一种图像处理方法。该方法包括：获取第一图像和材质信息，第一图像中包括第一对象，第一图像中的第一对象对应于第一材质，材质信息指示第二材质。基于第一图像和材质信息，获取第一对象的图像空间模态基和第二图像，其中：图像空间模态基用于模拟由第二材质构成的第一对象在真实世界中的动态，第二图像中的第一对象对应于第二材质。响应于接收到的第一用户操作，基于图像控件模态基和第二图像，获取第一视频数据。其中：第一视频数据中的第一对象对应于第二材质，且第一对象在第一视频数据中随第一用户操作动作。这样，本技术通过生成进行材质迁移之后的图像空间模态基，即对应于第二材质的图像空间模态基，以基于该图像控件模态基，实现对应于第二材质的第一对象与用户之间的交互。在第一对象与用户交互的过程中，第一对象的动作模拟由第二材质构成的第一对象在真实世界中的动态，从而提供一种更加灵活动画生成方式，可按照用户需求或者是场景的需求更换第一对象的材质，且更换材质后的第一对象其与用户在交互过程中所呈现出的振动模式(或振动形状)是模拟由该材质构成的第一对象在现实世界中的振动模式，进而使得视频数据中显示的第一对象的动态更加真实，且可以根据不同的用户操作，模拟出不同的动作，增加图像交互的趣味性，提高用户使用体验。

3、在一种可能的实现方式中，方法还包括：响应于接收到的第二用户操作，获取包含第二对象的动态图像数据，所述第二对象按照预设轨迹动作；基于所述第二对象的动态图像数据、所述图像控件模态基和所述第二图像，获取第二视频数据；显示所述第二视频数据，其中：所述第二视频中的第一对象对应于所述第二材质，且所述第一对象随所述第二对象动作。这样，本技术中的第一对象还可以与第二对象进行交互，进一步丰富交互场景，提高用户使用体验。

4、在一种可能的实现方式中，获取第一图像和材质信息，包括：响应于接收到的第三用户操作，获取所述第一图像；响应于接收到的第四用户操作，从第三图像中提取所述材质信息。这样，本技术可由用户指定一个图像作为第一图像，并由用户指定需要替换的材质，可提高第一对象生成场景的自由度，使得用户可以自定义生成对应的视频数据。

5、示例性的，第二图像和第一视频数据可以作为壁纸、来电背景、聊天背景等。

6、在一种可能的实现方式中，基于第一图像和材质信息，获取第一对象的图像空间模态基和第二图像，包括：识别第一图像中的至少一个对象；对第一图像中的至少一个对象进行分割，得到至少一个对象的图像数据；基于至少一个对象的图像数据和材质信息，获取第一对象的图像空间模态基；其中：至少一个对象中包括第一对象。这样，本技术通过识别出对象，并对对象进行分割，以获取到每个对象的独立图像数据，可在后续过程中生成对应于第一对象的图像空间模态基，而无需对图像中的其它背景图像进行处理，可有效降低图像处理复杂度。

7、在一种可能的实现方式中，基于至少一个对象的图像数据和材质信息，获取第一对象的图像空间模态基，包括：将至少一个对象的图像数据和材质信息作为图像空间模态基生成网络的输入，获取图像空间模态基生成网络输出的第一对象的图像空间模态基；其中：图像空间模态基生成网络是基于图像数据库训练得到的，图像数据库包括多个训练图像和用于指示不同材质的材质信息，训练图像中包括第一对象。这样，通过预先训练图像空间模态基生成网络，可基于该网络生成对应于不同的第一对象和不同材质的图像控件模态基。

8、在一种可能的实现方式中，第一材质为非刚体材质。这样，本技术可针对现实世界中非刚体材质的任意一个对象所对应的图像，生成对应的仿真视频。例如可以是人、动物、植物等。

9、在一种可能的实现方式中，第一用户操作的类型包括以下至少之一：隔空手势类型、触摸手势类型、吹气。

10、在一种可能的实现方式中，响应于接收到的第一用户操作，基于图像控件模态基和第二图像，获取第一视频数据，包括：基于第一用户操作，确定作用于第一对象的作用力信息，作用力信息包括作用力方向和作用力大小；基于作用力信息和图像空间模态基，获取光流信息；其中：光流信息用于指示第一对象的各像素点的光流；基于光流信息和第二图像，获取第一视频数据。

11、第二方面，本技术提供一种图像处理方法，该方法应用于终端设备，所述方法包括：响应于接收到的选择操作，获取第一图像，所述第一图像中包括第一对象，所述第一图像中的第一对象对应于第一材质；响应于接收到的提取操作，从第三图像中提取材质信息，所述材质信息指示第二材质；基于所述第一图像和所述材质信息，获取并显示所述第二图像，其中：所述第二图像中的所述第一对象对应于所述第二材质；响应于接收到的对所述第二图像中的所述第一对象的交互操作，生成并显示第一视频数据；其中：所述第一视频数据中的第一对象对应于所述第二材质，以及，所述第一视频数据中的所述第一对象随所述交互操作动作。

12、在一种可能的实现方式中，所述方法还包括：所述第一视频数据播放结束后，显示所述第二图像；响应于接收到的拖动操作，在所述第二图像中显示第二对象，且所述第二对象的移动轨迹与所述拖动操作一致；响应于接收到的抬手操作，所述第二对象按照预设轨迹动作；在所述第二对象按照预设轨迹动作的过程中，若所述第二对象与所述第一对象之间发生交互，生成并显示所述第二视频数据，其中：所述第二视频中的第一对象对应于所述第二材质，且所述第一对象随所述第二对象动作。

13、在一种可能的实现方式中，所述交互操作的类型包括以下至少之一：隔空手势类型、触摸手势类型、吹气。

14、第三方面，本技术提供一种图像处理装置，包括：获取模块，用于获取第一图像和材质信息，第一图像中包括第一对象，第一图像中的第一对象对应于第一材质，材质信息指示第二材质；获取模块，用于基于第一图像和材质信息，获取第一对象的图像空间模态基和第二图像，其中：图像空间模态基用于模拟由第二材质构成的第一对象在真实世界中的动态，第二图像中的第一对象对应于第二材质；仿真模块，用于响应于接收到的第一用户操作，基于图像控件模态基和第二图像，获取第一视频数据；其中：第一视频数据中的第一对象对应于第二材质，且第一对象在第一视频数据中随第一用户操作动作。

15、在一种可能的实现方式中，获取模块，还用于响应于接收到的第二用户操作，获取第二对象的动态图像数据；仿真模块，还用于基于第二对象的动态图像数据、图像控件模态基和第二图像，获取第二视频数据，第二视频中的第一对象对应于第二材质，且第一对象在第二视频数据中随第二对象动作。

16、在一种可能的实现方式中，获取模块，具体用于：响应于接收到的第三用户操作，获取第一图像；响应于接收到的第四用户操作，获取第三图像；基于第三图像，获取材质信息。

17、在一种可能的实现方式中，获取模块，具体用于：识别第一图像中的至少一个对象；对第一图像中的至少一个对象进行分割，得到至少一个对象的图像数据；基于至少一个对象的图像数据和材质信息，获取第一对象的图像空间模态基；其中：至少一个对象中包括第一对象。

18、在一种可能的实现方式中，获取模块，具体用于：将至少一个对象的图像数据和材质信息作为图像空间模态基生成网络的输入，获取图像空间模态基生成网络输出的第一对象的图像空间模态基；其中：图像空间模态基生成网络是基于图像数据库训练得到的，图像数据库包括多个训练图像和用于指示不同材质的材质信息，训练图像中包括第一对象。

19、在一种可能的实现方式中，第一材质为非刚体材质。

20、在一种可能的实现方式中，第一用户操作的类型包括以下至少之一：隔空手势类型、触摸手势类型、吹气。

21、在一种可能的实现方式中，仿真模块，具体用于：基于第一用户操作，确定作用于第一对象的作用力信息，作用力信息包括作用力方向和作用力大小；基于作用力信息和图像空间模态基，获取光流信息；其中：光流信息用于指示第一对象的各像素点的光流；基于光流信息和第二图像，获取第一视频数据。

22、第四方面，本技术实施例提供一种计算设备集群，包括至少一个计算设备，每个计算设备包括处理器和存储器，至少一个计算设备的处理器用于执行至少一个计算设备的存储器中存储的指令，以使得计算设备集群执行第一方面或第一方面的任意可能的实现方式中的方法。

23、第五方面，本技术实施例提供一种包含指令的计算机程序产品，当指令被计算设备运行时，使得计算设备执行第一方面或第一方面的任意可能的实现方式中的方法。

24、第六方面，本技术实施例提供一种计算机可读存储介质，包括计算机程序指令，当计算机程序指令由计算设备执行时，计算设备执行第一方面或第一方面的任意可能的实现方式中的方法。

25、第七方面，本技术实施例提供一种终端设备，包括存储器和处理器，所述处理器用于执行所述存储器中存储的指令，以使得所述终端设备执行第一方面或第一方面的任意可能的实现方式中的方法。