一种图像处理方法及装置与流程

景为对人像的分割和运动轨迹的融合显示，从而能够实时地生成拍摄的目标主体运动轨 迹的特效图像或者特效视频，丰富用户的拍摄体验。
9.在一种可能的设计方式中，所述获取当前帧和n个历史动作帧之前，该方法还包括： 接收用户的第一选择指令，第一选择指令用于指示进入自动拍摄模式或者手动拍摄模式。
10.上述可能的实现方式中，电子设备通过接收用户的选择指令确定自动拍摄模式或者 手动拍摄模式。从而电子设备可以自动检测或者由用户手动确定出当前获取的视频帧流 中的历史动作帧，根据多个历史动作帧融合出显示运动轨迹的特效视频效果，增加用户 的拍摄乐趣。
11.在一种可能的设计方式中，若第一选择指令用于指示进入自动拍摄模式，则获取历 史动作帧，具体包括：对实时视频流进行运动检测确定目标主体；检测目标主体在实时 视频流包括的每个视频帧中场景的位置；确定目标主体在实时视频流包括的视频帧中场 景的位置变化满足预设阈值的视频帧为历史动作帧。
12.上述可能的实现方式中，电子设备可以根据用户指示的自动拍摄指示，从实时视频 帧流中自动检测出运动的目标主体，并根据运动的目标主体的图像变化确定符合预设条 件的作为历史动作帧。从而自动根据确定的至少一个历史动作帧，实时进行融合显示更 新到当前帧中，合成特效视频，丰富用户的拍摄体验。
13.在一种可能的设计方式中，若第一选择指令用于指示进入手动拍摄模式，则获取历 史动作帧，具体包括：接收用户对实时视频流包括的视频帧的第二选择指令；确定第二 选择指令在视频帧中对应位置的主体为目标主体，并确定该视频帧为历史动作帧。
14.上述可能的实现方式中，电子设备还可以通过与用户的实时交互，根据用户确定的 当前视频帧流中的运动的目标主体，以及用户确定的至少一个历史动作帧，实时进行多 帧图像的融合显示，更新到当前帧中合成特效视频，丰富用户的拍摄体验。
15.在一种可能的设计方式中，对历史动作帧进行图像分割，得到历史动作帧对应的目 标主体的图像，具体包括：对历史动作帧根据运动检测技术缩小历史动作帧中对应目标 主体的图像区域，得到历史动作帧中的目标图像区域；通过深度学习算法对目标图像区 域的图像进行处理，得到历史动作帧对应的目标主体的掩码图像。
16.上述可能的实现方式中，电子设备可以根据历史动作帧进行图像分割得到目标主体 的掩码mask图像，实现对多帧目标主体的运动跟踪与记录，从而根据至少一个目标主体 的mask图像对当前帧进行多帧图像融合，生成运动轨迹的特效视频。另外，在进行图像 分割之前，缩小图像分割的图像区域，可以提高图像分割的精度，并简化算法的复杂度。
17.在一种可能的设计方式中，若掩码图像中存在多个主体重叠的掩码图像，则该方法 还包括：根据历史动作帧中所述多个主体的深度信息，从多个主体重叠的掩码图像中分 离得到目标主体的掩码图像。
18.上述可能的实现方式中，当拍摄的目标主体的图像与其他主体图像存在重叠显示的 问题时，可以根据历史动作帧中多个主体的深度信息与多人重叠的mask图像，分离得到 目标主体的mask图像。除了上述的根据深度图像进行mask图像分割之外，还可以采用 双目视觉深度、单目深度估计、结构光深度或者实例分割等技术实现对多人重叠的mask 图像的分割。从多人重叠的mask图像中分割出目标主体的mask图像，提高图像处理的 精度，使得
生成的目标主体的运动轨迹特效视频更加真实、自然。
19.在一种可能的设计方式中，根据目标主体在历史动作帧的场景中位置以及当前帧的 场景，在当前帧中确定出参考位置，具体包括：根据图像配准技术或者同步定位与建图 slam技术，得到至少一个物体在历史动作帧中的位置与在当前帧中位置的对应关系； 根据对应关系以及目标主体在历史动作帧中的位置，在当前帧中确定出目标主体的参考 位置。
20.上述可能的实现方式中，通过图像配准技术或者同步定位与建图slam技术进行多 帧图像的位置映射，根据多帧图像中不同物体的图像位置对应关系，从而确定出每一个 历史动作帧中的目标主体的图像在当前帧中对应的参考位置，从而能够生成效果真实、 自然的运动轨迹的特效视频，提升用户的拍摄体验。
21.在一种可能的设计方式中，将n个目标主体的图像分别融合在当前帧的n个参考位 置上，具体包括：在当前帧的n个参考位置上，分别将n个目标主体的图像与当前帧中 图像的像素信息进行加权融合处理。
22.上述可能的实现方式中，多个目标主体的图像进行融合显示后，还可以将目标主体 的图像与当前帧中的背景图像等进行边缘融合处理，更新目标帧，使得融合显示的多个 目标主体的图像与背景图像过渡自然。
23.在一种可能的设计方式中，将n个目标主体的图像分别融合在当前帧的n个参考位 置上之后，该方法还包括：对当前帧中的目标主体的图像添加至少一个灰度图像得到目 标帧，其中，若灰度图像与当前帧中的目标主体的图像之间的距离越近，则灰度图像的 灰度值越大。
24.上述可能的实现方式中，通过在当前帧中目标主体的运动方向背后叠加多个留影图 像，该留影图像可以通过灰度图像来显示，并且通过不同的灰度值来体现运动的轨迹， 从而能够更加直观地表示出目标主体的运动方向和轨迹，增加特效视频的趣味性和直观 性，进一步提升用户的拍摄体验。
25.第二方面，提供一种图像处理装置，该装置包括：获取模块，用于获取当前帧和n 个历史动作帧，其中，当前帧和n个历史动作帧均包括目标主体，当前帧和n个历史动 作帧的场景存在交叠，目标主体在n个历史动作帧中场景的位置不同，n为大于等于1 的正整数；图像分割模块，用于对n个历史动作帧进行图像分割，得到n个历史动作帧 分别对应的n个目标主体的图像；映射模块，用于根据n个目标主体分别在n个历史动 作帧的场景中位置以及当前帧的场景，在当前帧中确定出n个参考位置；图像融合模块， 用于将n个目标主体的图像分别融合在当前帧的n个参考位置上，得到目标帧。
26.在一种可能的设计方式中，该装置还包括：接收模块，用于接收用户的第一选择指 令，第一选择指令用于指示进入自动拍摄模式或者手动拍摄模式。
27.在一种可能的设计方式中，若第一选择指令用于指示进入自动拍摄模式，则获取模 块具体用于：对实时视频流进行运动检测确定目标主体；检测目标主体在实时视频流包 括的每个视频帧中场景的位置；确定目标主体在实时视频流包括的视频帧中场景的位置 变化满足预设阈值的视频帧为历史动作帧。
28.在一种可能的设计方式中，若第一选择指令用于指示进入手动拍摄模式，则接收模 块还用于接收用户对实时视频流包括的视频帧的第二选择指令；获取模块具体还用于： 确定第二选择指令在视频帧中对应位置的主体为目标主体，并确定视频帧为历史动作帧。
29.在一种可能的设计方式中，图像分割模块具体用于：根据运动检测技术缩小历史动 作帧中对应目标主体的图像区域，得到历史动作帧中的目标图像区域；通过深度学习算 法对目标图像区域的图像进行处理，得到历史动作帧对应的目标主体的掩码图像。
30.在一种可能的设计方式中，若掩码图像中存在多个主体重叠的掩码图像，则图像分 割模块具体还用于：根据历史动作帧中多个主体的深度信息，从多个主体重叠的掩码图 像中分离得到目标主体的掩码图像。
31.在一种可能的设计方式中，映射模块具体用于：根据图像配准技术或者同步定位与 建图slam技术，得到至少一个物体在历史动作帧中的位置与在当前帧中位置的对应关 系；根据对应关系以及目标主体在历史动作帧中的位置，在当前帧中确定出目标主体的 参考位置。
32.在一种可能的设计方式中，图像融合模块具体用于：在当前帧的n个参考位置上， 分别将n个目标主体的图像与当前帧中图像的像素信息进行加权融合处理。
33.在一种可能的设计方式中，图像融合模块具体还用于：对当前帧中的目标主体的图 像添加至少一个灰度图像得到目标帧，其中，若灰度图像与当前帧中的目标主体的图像 之间的距离越近，则灰度图像的灰度值越大。
34.第三方面，提供一种电子设备，其特征在于，该电子设备包括：处理器；用于存储 所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如 上述第一方面及第一方面中任一种可能的实施方式。
35.第四方面，提供一种计算机可读存储介质，当所述计算机存储介质中的指令由电子 设备的处理器执行时，使得电子设备能够执行如上述第一方面及第一方面中任一种可能 的实施方式。
36.第五方面，提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时， 使得所述计算机执行如上述第一方面及第一方面中任一种可能的实施方式。
37.可以理解地，上述提供的任一种图像处理装置、电子设备、计算机可读存储介质和 计算机程序产品，均可以通过上文所提供的对应的方法来实现，因此，其所能达到的有 益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
附图说明
38.图1a为本技术实施例提供的一种电子设备的硬件结构示意图；
39.图1b为本技术实施例提供的一种电子设备的软件系统架构图
40.图1c为本技术实施例提供的一种图像处理方法的流程示意图；
41.图2为本技术实施例提供的一种电子设备特效视频拍摄的界面示意图；
42.图3为本技术实施例提供的另一种电子设备特效视频拍摄的界面示意图；
43.图4为本技术实施例提供的一种拍摄预览界面的用户交互示意图；
44.图5为本技术实施例提供的另一种图像处理方法的流程示意图；
45.图6为本技术实施例提供的一种确定当前帧为关键动作帧的算法示意图；
46.图7为本技术实施例提供的一种图像分割处理方法的示意图；
47.图8为本技术实施例提供的一种补全掩码图像的示意图；
48.图9a为本技术实施例提供的一种分离重叠人像的示意图；
49.图9b为本技术实施例提供的另一种分离重叠人像的示意图；
50.图10为本技术实施例提供的多帧图像映射的示意图；
51.图11为本技术实施例提供的另一种图像处理方法的流程示意图；
52.图12为本技术实施例提供的另一种图像处理方法的流程示意图；
53.图13为本技术实施例提供的另一种图像处理方法的流程示意图；
54.图14为本技术实施例提供的一种图像处理装置的结构示意图；
55.图15为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
56.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示 或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个
”ꢀ
的含义是两个或两个以上。
57.需要说明的是，本技术中，“示例性的”或者“例如”等词用于表示作例子、例证或说 明。本技术中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比 其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词 旨在以具体方式呈现相关概念。
58.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基 于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有 其他实施例，都属于本技术保护的范围。
59.本技术实施例提供一种图像处理方法和装置，可以应用于视频拍摄的场景中，能够 基于实时拍摄的视频帧流，实时生成目标拍摄对象运动轨迹的特效视频或者特效图像。 其中，运动轨迹特效可以用来记录目标拍摄对象在时间轴上曾经发生过的关键动作，或 者曾经出现的所在位置，并将被记录的历史关键动作中的目标拍摄对象图像融合显示在 当前帧中，并且与当前帧的背景图像、地面等融合在一起。用户在拍摄视频过程中即可 在拍摄预览画面实时看到特效视频拍摄效果，形成交错时间和空间的独特用户体验，同 时也可以实时生成特效视频。从而解决了现有技术中不能实时生成运动轨迹特效视频的 问题，丰富了视频拍摄的趣味性，提升了用户的拍摄和观看体验。
60.本技术实施例提供的图像处理方法可以应用于具备拍摄能力和图像处理能力的电子 设备，该电子设备可以为手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、 车载设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本，以 及蜂窝电话、个人数字助理(personal digital assistant，pda)、增强现实(augmented reality， ar)\虚拟现实(virtual reality，vr)设备等，本公开实施例对该电子设备的具体形态不 作特殊限制。
61.图1a示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部 存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充 电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无 线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口 170d，传感器模块
180，按键190，马达191，指示器192，摄像头193，显示屏194，以 及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块 180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d， 加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传 感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
62.可以理解的是，本技术实施例示意的结构并不构成对电子设备100的具体限定。在 本技术的另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合 某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或 软件和硬件的组合实现。
63.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)， 图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信 号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个 或多个处理器中。
64.其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操 作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
65.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器 110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指 令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。 避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
66.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路 (inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s) 接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universalasynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industryprocessor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用 户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus， usb)接口等。
67.mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi 接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serialinterface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现 电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备 100的显示功能。
68.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数 据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194， 无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c 接口，i2s接口，uart接口，mipi接口等。
69.可以理解的是，本技术实施例示意的各模块间的接口连接关系，只是示意性说明， 并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以 采用
线程管理，安全和异常的管理，以及垃圾回收等功能。
93.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(medialibraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
94.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层 的融合。
95.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库 可以支持多种音视频编码格式，例如：mpeg4，h.264，mp3，aac，amr，jpg，png 等。
96.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
97.2d图形引擎是2d绘图的绘图引擎。
98.内核层是硬件和软件之间的层，也可以称为驱动层。内核层至少包含显示驱动，摄 像头驱动，音频驱动，传感器驱动。
99.下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。
100.当触摸传感器180k接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸 操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存 储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控 件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为 例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头 驱动，通过摄像头193捕获静态图像或视频。
101.在本技术实施例中，用户使用电子设备拍摄视频的过程中，当通过摄像头193捕获 到静态图像或者视频时，可以将捕获到的图像或者视频暂时存储于内容提供器中，当执 行拍照操作或者视频拍摄操作时，可通过视图系统显示拍摄完成的照片或者视频，对于 本技术的实施例，在显示图像之前，还需要经过将多帧图像进行融合处理后再通过视图 系统逐帧显示在预览界面中。
102.在本技术实施例涉及到的上述硬件和软件的基础上，下面将结合附图，对本技术的 实施例进行详细介绍。如图1c所示，该方法可以包括：
103.s01：电子设备获取当前帧和历史动作帧，当前帧和历史动作帧均包括目标主体。
104.首先，需要说明的是，本技术实施例应用的拍摄场景如下，用户需要打开电子设备 的相机应用进行对目标主体进行视频拍摄，目标主体即为电子设备的拍摄对象，是相对 拍摄场景存在相对运动的目标主体，例如，目标主体可以为人物、动物或者运动的装置 等。运动具体可以是指目标主体位置的移动、旋转、跳跃、肢体伸展或者指定动作等。 电子设备的相机实时跟随其运动的目标主体进行拍摄，从而能够通过本技术提供的技术 方法，在拍摄过程中根据实时视频流进行图像处理，实时生成运功轨迹的特效视频并可 以实时预览。
105.其中，电子设备可以根据获取的实时视频流获取当前帧和n个历史动作帧，其中， n可以为大于或者等于1的正整数。实时视频流是指电子设备的相机实时拍摄获取的图 像帧流，也可称为视频帧流，可以包括多个历史动作帧。根据实时视频流的实时获取的 性质，可以将电子设备当前显示或者当前处理的帧称为当前帧。
106.在实时视频流中包括多张图像，动作帧就是指多张图像中，判断目标主体做出类似 起舞、跳跃、转身或者肢体伸展等关键动作时，即将当前帧记录为关键动作帧，可以简 称为动作帧。当前帧之前所确定的关键动作帧都可以称为历史动作帧。
107.目标主体是指电子设备的相机拍摄的一个或多个拍摄对象中，存在运动状态且被确 定为运动目标主体的拍摄对象。确定目标主体的方式可以是电子设备自动检测确定的， 也可以是由用户手动确定的。
108.因此，在一种实施方式中，电子设备获取当前帧和至少一个历史动作帧之前，该方 法还包括：接收用户的第一选择指令，其中，该第一选择指令可以包括自动拍摄指示或 者手动拍摄指示，分别用于指示电子设备进入自动拍摄模式或者手动拍摄模式。
109.其中，若第一选择指令用于指示电子设备进入自动拍摄模式，则电子设备可以自动 检测目标拍摄对象，并自动检测关键动作帧生成运动轨迹的特效视频。若第一选择指令 用于指示电子设备进入手动拍摄模式，则电子设备通过进一步接收用户的第二选择指令， 也就是用户手动操作电子设备，确定目标拍摄对象，并且确定目标拍摄对象的指定拍摄 动作帧的指令，即电子设备可以接收用户输入的至少一个第二选择指令。接下来，将结 合附图详细说明应用的场景。
110.在一种实施方式中，用户的第一选择指令可以包括自动拍摄指示，用户可以通过操 作电子设备确定自动拍摄特效视频，即开启自动拍摄模式。
111.示例性的，以电子设备是手机为例，用户可以通过触摸或者点击操作打开手机的相 机应用，如图2所示，可以点击“特效视频拍摄”图标，切换到特效视频的拍摄界面。 电子设备可以预配置特效视频拍摄的默认状态为自动拍摄，或者也可以由用户手动选择
ꢀ“
自动拍摄”或者“手动拍摄”，即可以开始特效视频的拍摄并可以在预览界面实时查 看目标拍摄图像。
112.进一步的，点击“特效视频拍摄”图标之后，电子设备的预览界面上方可以通过缩 略图显示一个“典型运动轨迹特效视频”片段播放，用户可以点击进行查看，以便用户 预先熟悉特效视频的拍摄操作方法和拍摄的效果等。
113.自动拍摄模式下，电子设备可以根据实时拍摄图像，根据运动物体检测技术或者帧 差法等技术，自动检测出目标主体，并且确定出至少一个关键动作帧。具体的确定目标 主体、确定至少一个历史动作帧以及确定历史动作帧中的目标主体的图像的方法，将在 下文详细介绍，此处不再详述。
114.在另一种实施方式中，用户的第一选择指令可以包括手动拍摄指示，用户可以通过 操作电子设备确定手动拍摄特效视频，即开启手动拍摄模式，并根据用户输入的至少一 个第二选择指令，确定至少一个第二选择指令对应的至少一个目标主体和至少一个关键 动作帧。具体的，电子设备可以根据第二选择指令在视频帧中对应位置，确定出对应的 目标主体，并确定该视频帧为关键动作帧。
115.示例性的，以电子设备是手机为例，用户可以通过触摸或者点击操作打开手机的相 机应用，如图3所示的，可以点击“特效视频拍摄”图标，切换到特效视频的拍摄界面， 再点击选择“手动拍摄”选项，即可以开始特效视频的拍摄并可以在预览界面实时查看目 标拍摄图像。
116.进一步的，为了方便提示用户操作电子设备以确定目标主体以及关键动作帧，电子 设备可以在接收到用户点击“手动拍摄”的操作后，在界面上显示提示信息“请点击选 择主体人像”，以指示用户输入第二选择指令。当用户点击或者触摸电子设备的显示区 域，选择一个目标主体之后，电子设备可以持续在界面上显示提示信息，如“请点击喜 爱的动
作”，提示用户通过触摸操作或者点击操作，继续输入至少一个第二选择指令， 进一步确定多个关键动作帧。
117.在手动拍摄模式下，用户在预览视频帧流的过程中，可以根据提示信息或者主动点 击预览画面中的某个人像或者物体确定为目标主体。在随后的持续视频帧流过程中，用 户也可以点击预览画面确定多个关键动作帧。
118.另外，当用户手动确定目标主体后，在后续的拍摄过程中，当拍摄界面中出现不止 一个主体时，用户也可以自由切换为其他目标主体。此时，电子设备可以在界面上显示 提示信息，如“可选择点击切换主体”。示例性的，如图4所示，用户初始确定人像a 为目标主体，后续又点击拍摄预览界面中的人像b选择为目标主体，用于后续生成该目 标主体b的特效视频。
119.其中，历史动作帧(关键动作帧)中的目标主体的图像是指图像中显示目标主体的 部分区域的图像，具体是指对历史动作帧进行一定图像分割或者抠图处理后，分割得到 或者抠出的显示目标主体对应区域的图像。例如，如图2中所示的，拍摄画面中除背景 图像和静止不动的图像之外的，检测确定当前帧中运动的目标主体的图像为人像。具体 可以通过图像分割技术将关键动作帧中的目标主体的图像区分出来。
120.需要说明的是，电子设备获取的当前帧和多个历史动作帧的场景是存在交叠的，目 标主体在多个历史动作帧中场景的位置不同。也就是说任意一个历史动作帧中都存在与 当前帧中的拍摄场景交叠的部分，其中，拍摄场景可以指目标主体在视频帧中周围存在 的拍摄物体，例如，树木、草坪或者建筑物等。
121.交叠是指任意一个历史动作帧中都存在与当前帧中场景相同的部分，示例性的，如 图4中所示的，历史动作帧中的同一颗树木也显示在当前帧拍摄场景中相同或者不同的 位置，历史动作帧中的建筑物也显示在当前帧拍摄场景中相同或者不同的位置，在历史 动作帧目标主体a的位置在树木的左前方，在当前帧中，该目标主体a的位置移动到了 建筑物的正前方。因此，本技术的实施例可以实现的前提是，确定的任意一个历史动作 帧中都存在与当前帧中场景交叠的部分，如果一个历史动作帧的场景与当前帧没有任何 存在交叠的场景或者物体，则电子设备无法根据历史动作帧与当前帧得到图像映射关系， 从而不能进行多帧融合显示。
122.综上所述，当电子设备接收用户的开始拍摄指令后，电子设备通过镜头获取到实时 视频流，该实时视频流中包括的每一帧视频帧在对应的时刻可以认为是当前帧。无论电 子设备是通过上述自动获取关键动作帧，或者在手动模式下根据用户指示获取的方法确 定关键动作帧之后，相对于确定关键动作帧之后的时刻所对应的当前帧，该关键动作帧 可以称为历史动作帧。结合图5所示的，以实时拍摄的时间轴t为例，电子设备在t0时 刻开始视频拍摄，电子设备将t1时刻对应的实时视频帧确定为关键动作帧(第一动作帧 01)，随后，电子设备又将t2时刻对应的实时视频帧确定为关键动作帧(第二动作帧02)， 则对于当前时刻t3对应的当前帧来说，获取的n个历史动作帧即为第一动作帧01和第 二动作帧02。
123.s02：电子设备对历史动作帧进行图像分割，得到历史动作帧对应的目标主体的图像。
124.在拍摄过程中，当电子设备每获取到一个历史动作帧时，为了能够根据历史动作帧 得到每个历史动作帧中的目标主体的图像，电子设备可以逐个对历史动作帧进行图像
播放按钮上面叠加“运动轨迹”四个字，以此来将运动轨迹的特效视频文件和普通的视 频文件进行区分，方便用户查看。
135.上述本技术的实施方式，通过在实时视频帧流中自动检测或者手动确定至少一个关 键动作帧，将至少一个关键动作帧中的至少一个目标主体的图像通过多帧融合显示的方 法，同时显示在当前帧中，从而能够实时地生成目标主体运动轨迹的特效图像或视频。 同时可以实时将当前生成的目标图像传送到手机的拍摄预览画面和视频生成流，使得用 户既可以在线实时预览运动轨迹的效果，也可以在拍摄完成后查看完整的运动轨迹特效 视频，丰富用户的拍摄体验。
136.在一种实施方式中，上述的步骤s01中，若用户的第一选择指令包括自动拍摄指令， 也就是指示电子设备进入自动拍摄模式下，电子设备能够根据算法自动检测出运动的目 标主体，以及自动检测出至少一个历史动作帧(关键动作帧)。
137.首先，电子设备可以根据运动检测技术对实时视频流中的视频帧确定出目标主体。 目标主体的运动检测可以通过人像识别或者其他目标识别技术确定，能够自动检测出实 时视频帧中的运动物体，例如，人、动物、运动装置、车辆或者足球等。由于本技术的 主要应用场景为人物的运动轨迹特效拍摄，因此实施例中以人像识别和检测作为示例进 行介绍。
138.具体的，电子设备确定实时视频帧中的目标主体，可以通过对图像进行图像分割， 例如人像分割或者实例分割，得到目标主体的掩码图像。如果得到的掩码图像只有一个 人像mask，那确定该人像mask为目标主体；如果分割得到多个掩码图像，则电子设备 可以将mask面积最大的确定为目标主体；如果没有得到人像mask，则电子设备可以通 过在预览界面显示提示信息，提示用户没有检测到人像，请用户移动摄像头靠近被拍摄 者。
139.接着，电子设备可以检测该目标主体在实时视频流包括的每个视频帧中场景的位置， 得到多帧之间目标主体的场景位置变化。目标主体的场景位置变化可以为目标主体相对 于拍摄场景的位置变化，或者目标主体的肢体姿势、肢体角度或肢体位置变化等。
140.电子设备确定目标主体之后，在持续拍摄过程中，逐个确定哪些帧是关键动作帧。 电子设备可以通过帧差法来确定实时视频帧中的关键动作帧，帧差法即是指通过对比相 邻的视频帧中像素点位置得到相邻视频帧之间的场景位置变化等信息。也就是电子设备 可以通过检测出目标主体在实时视频流包括的视频帧中场景的位置变化满足预设阈值的 视频帧，确定为关键动作帧。
141.其中，由于第一个关键动作帧之前没有参考帧，因此，电子设备可以将成功分割出 目标主体的第一帧图像确定为第一个关键动作帧。或者，为保证图像处理算法的时延， 电子设备可以将成功分割出目标主体的第一帧图像之后的第三帧或者第四帧确定为第一 个关键动作帧。
142.第二个及后续的关键动作帧，都可以与前一个关键动作帧做比较进行确定。具体的， 电子设备可以通过确定实时视频帧中的目标主体的图像同时满足以下两个条件的为关键 动作帧：
143.条件一：当前帧中目标主体的图像位置区域与前一个关键动作帧中目标主体的图像 映射到当前帧中的位置区域没有重合。
144.条件二：当前帧中目标主体的图像与前一个关键动作帧中目标主体的图像变化满
为了更加直观显示出当前帧中的目标主体的运动轨迹，该方法还可以包括：对当前帧中 目标主体的图像叠加至少一个留影图像。该留影图像是根据当前帧之前连续若干帧的目 标主体的图像生成的。
205.具体的，至少一个留影图像可以用灰度图像来表示，其中，每个留影图像的灰度值 可以一样，也可以不一样。
206.示例性的，如图11所示，可以在第二动作帧02中的第二目标主体图像的背后，叠 加至少一个留影图像，并且，在当前帧03中的目标主体的运动方向背后叠加多个留影图 像。留影图像距离当前帧03中目标主体的图像越远，留影图像的强度可以越弱；留影图 像距离当前帧03中目标主体的图像越近，则留影图像的强度可以越强。留影图像可以随 着距离当前帧03中目标主体图像逐渐变远，其强度逐渐减弱到0为止。
207.其中，本技术对留影图像的个数不做限定，本领域技术人员可以根据设计需要进行 设置。
208.当留影图像用灰度图像表示的时候，其中，至少一个灰度图像与当前帧中的目标主 体的图像之间的距离越近，则该灰度图像的灰度值越大；至少一个灰度图像与当前帧中 的目标主体的图像之间的距离越远，则该灰度图像的灰度值越小。
209.上述的实施方式，通过在当前帧中目标主体的运动方向背后叠加多个留影图像，能 够更加直观地表示出目标主体的运动方向和轨迹，增加特效视频的趣味性和直观性，进 一步提升用户的拍摄体验。
210.根据上述的任一种实施方式，在实时将记录的所有历史动作帧中的目标主体的图像 映射到当前帧的图像中之后，视频帧流持续更新，并将当前帧输出的图像显示到电子设 备的视频拍摄预览画面。如图12所示，用户在开始拍摄特效视频后，同时能够在电子设 备的视频拍摄预览画面中实时看到特效视频的拍摄效果。另外，也可以将实时生成的视 频帧输出到最终的视频生成流中，在用户完成拍摄之后，即可观看生成的完整的运动轨 迹特效视频。
211.结合上述的任一种可能的实施方式，如图13所示，为本技术实施例提供的一种生成 运动轨迹特效视频的详细实施流程。该流程主要包括：1、拍摄预览界面交互、确定目标 主体和关键动作帧；2、图像分割得到目标主体的图像；3、关键动作帧映射到当前帧， 并将关键动作帧中的目标主体的图像绘制到当前帧；4、在线预览和实时生成视频帧流。
212.其中，图13中所示的处理流程中，并不是全部的处理流程，也不都是必选的处理流 程，本领域技术人员可以根据设计需要，对详细的处理过程和顺序进行调整和设置。同 时，本技术的上述技术方案不仅适用于生成运动轨迹的特效视频，还可以用于快速开发 其他的类似特效视频，例如，多人像特效合成或者成长特效等，本技术对此不做具体限 制。
213.本技术实施例还提供一种图像处理装置，如图14所示，该装置1400可以包括：获 取模块1401、图像分割模块1402、映射模块1403和图像融合模块1404。
214.其中，获取模块1401，用于获取当前帧和n个历史动作帧，其中，所述当前帧和所 述n个历史动作帧均包括目标主体，所述当前帧和所述n个历史动作帧的场景存在交叠， 所述目标主体在所述n个历史动作帧中场景的位置不同，n为大于或者等于1的正整数。
215.图像分割模块1402，用于对所述n个历史动作帧进行图像分割，得到所述n个历史 动作帧分别对应的n个目标主体的图像。
216.映射模块1403，用于根据所述n个目标主体分别在所述n个历史动作帧的场景中位 置以及所述当前帧的场景，在所述当前帧中确定出n个参考位置
217.图像融合模块1404，用于将所述n个目标主体的图像分别融合在所述当前帧的n个 参考位置上，得到目标帧。
218.在一种可能的设计方式中，该装置还可以包括：接收模块，用于接收用户的第一选 择指令，第一选择指令用于指示进入自动拍摄模式或者手动拍摄模式。
219.在一种可能的设计方式中，若第一选择指令用于指示进入自动拍摄模式，则获取模 块1401具体用于：对实时视频流进行运动检测确定目标主体；检测目标主体在实时视频 流包括的每个视频帧中场景的位置；确定目标主体在实时视频流包括的视频帧中场景的 位置变化满足预设阈值的视频帧为历史动作帧。
220.在一种可能的设计方式中，若第一选择指令用于指示进入手动拍摄模式，则接收模 块还用于接收用户对实时视频流包括的视频帧的第二选择指令；获取模块1401具体还用 于：确定第二选择指令在视频帧中对应位置的主体为目标主体，并确定视频帧为历史动 作帧。
221.在一种可能的设计方式中，图像分割模块1402具体用于：根据运动检测技术缩小历 史动作帧中对应目标主体的图像区域，得到历史动作帧中的目标图像区域；通过深度学 习算法对目标图像区域的图像进行处理，得到历史动作帧对应的目标主体的掩码图像。
222.在一种可能的设计方式中，若掩码图像中存在多个主体重叠的掩码图像，则图像分 割模块1402具体还用于：根据历史动作帧中多个主体的深度信息，从多个主体重叠的掩 码图像中分离得到目标主体的掩码图像。
223.在一种可能的设计方式中，映射模块1403具体用于：根据图像配准技术或者同步定 位与建图slam技术，得到至少一个物体在历史动作帧中的位置与在当前帧中位置的对 应关系；根据对应关系以及目标主体在历史动作帧中的位置，在当前帧中确定出目标主 体的参考位置。
224.在一种可能的设计方式中，图像融合模块1404具体用于：在当前帧的n个参考位置 上，分别将n个目标主体的图像与当前帧中图像的像素信息进行加权融合处理。
225.在一种可能的设计方式中，图像融合模块1404具体还用于：对当前帧中的目标主体 的图像添加至少一个灰度图像得到目标帧，其中，若灰度图像与当前帧中的目标主体的 图像之间的距离越近，则灰度图像的灰度值越大。
226.此外，该装置1400具体的执行过程和实施例可以参照上述方法实施例中电子设备执 行的步骤和相关的描述，所解决的技术问题和带来的技术效果也可以参照前述实施例所 述的内容，此处不再一一赘述。
227.在本实施例中，该测试装置以采用集成的方式划分各个功能模块的形式来呈现。这 里的“模块”可以指特定电路、执行一个或多个软件或固件程序的处理器和存储器、集成 逻辑电路、和/或其他可以提供上述功能的器件。在一个简单的实施例中，本领域的技术 人员可以想到该装置可以采用如下图15所示的形式。
228.图15是根据一示例性实施例示出的一种电子设备1500的结构示意图，该电子设备 1500可以用于根据上述实施方式生成拍摄主体的运动轨迹特效视频。如图15所示，该 电子设备1500可以包括至少一个处理器1501，通信线路1502以及存储器1503。
229.处理器1501可以是一个通用中央处理器(central processing unit，cpu)，微处理器， 特定应用集成电路(application-specific integrated circuit，asic)，或一个或多个用于控 制本公开方案程序执行的集成电路。
230.通信线路1502可包括一通路，在上述组件之间传送信息，例如总线。
231.存储器1503可以是只读存储器(read-only memory，rom)或可存储静态信息和指令 的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存 储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器 (electrically erasable programmable read-only memory，eeprom)、只读光盘(compactdisc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、 光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用 于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其 他介质，但不限于此。存储器可以是独立存在，通过通信线路1502与处理器相连接。存 储器也可以和处理器集成在一起。本公开实施例提供的存储器通常可以具有非易失性。 其中，存储器1503用于存储执行本公开方案所涉及的计算机执行指令，并由处理器1501 来控制执行。处理器1501用于执行存储器1503中存储的计算机执行指令，从而实现本 公开实施例提供的方法。
232.可选的，本公开实施例中的计算机执行指令也可以称之为应用程序代码，本公开实 施例对此不作具体限定。
233.在具体实现中，作为一种实施例，处理器1501可以包括一个或多个cpu，例如图 15中的cpu0和cpu1。
234.在具体实现中，作为一种实施例，电子设备1500可以包括多个处理器，例如图15 中的处理器1501和处理器1507。这些处理器中的每一个可以是一个单核(single-cpu) 处理器，也可以是一个多核(multi-cpu)处理器。这里的处理器可以指一个或多个设备、 电路、和/或用于处理数据(例如计算机程序指令)的处理核。
235.在具体实现中，作为一种实施例，电子设备1500还可以包括通信接口1504。通信 接口1504，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网接 口，无线接入网接口(radio access network，ran)，无线局域网接口(wireless local areanetworks，wlan)等。
236.在具体实现中，作为一种实施例，电子设备1500还可以包括输出设备1505和输入 设备15015。输出设备1505和处理器1501通信，可以以多种方式来显示信息。例如， 输出设备1505可以是液晶显示器(liquid crystal display，lcd)，发光二级管(light emittingdiode，led)显示设备，阴极射线管(cathode ray tube，crt)显示设备，或投影仪(projector) 等。输入设备1506和处理器1501通信，可以以多种方式接收用户的输入。例如，输入 设备1506可以是鼠标、键盘、触摸屏设备或传感设备等。
237.在具体实现中，电子设备1500可以是台式机、便携式电脑、网络服务器、掌上电脑 (personal digital assistant，pda)、移动手机、平板电脑、无线终端设备、嵌入式设备 或有图15中类似结构的设备。本公开实施例不限定电子设备1500的类型。
238.在一些实施例中，图15中的处理器1501可以通过调用存储器1503中存储的计算机 执行指令，使得电子设备1500执行上述方法实施例中的方法。
239.示例性的，图14中的获取模块1401、图像分割模块1402、映射模块1403和图像融 合模块1404的功能/实现过程可以通过图15中的处理器1501调用存储器1503中存储的 计算机执行指令来实现。
240.在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器 1503，上述指令可由电子设备1500的处理器1501执行以完成上述方法。
241.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。 当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机 程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部 或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、 计算机网络、或者其他可编程装置。
242.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它 实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途 或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常 识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下 面的权利要求指出。
243.最后应说明的是：以上所述，仅为本技术的具体实施方式，但本技术的保护范围并 不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护 范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。