视频的广告植入方法、装置、电子设备及存储介质与流程

1.本技术涉及视频处理技术领域，特别是涉及一种视频的广告植入方法、装置、电子设备及存储介质。


背景技术：

2.随着广告业务需求的不断扩大，在视频中插入广告逐渐成为了一种普遍的广告投放方式。传统的视频广告投放方式包括视频开始之前插播、视频画面上贴片、视频暂停插播等方式，这些强制侵占用户注意力的广告方式会在视频播放过程中频繁地进行广告加载，势必会对用户的观看体验造成影响，容易导致用户产生抵触甚至反感的情绪。为了能在用户体验和视频广告曝光次数之间找到一种良好的动态平衡，视频广告投放就亟需一种“软”性的广告嵌入方式来代替这些传统的“硬”性嵌入方式。


技术实现要素：

3.本技术主要解决的技术问题是提供一种视频的广告植入方法、装置、电子设备及存储介质，能够提高广告的曝光率和接受程度。
4.为了解决上述问题，本技术第一方面提供了一种视频的广告植入方法，包括：根据待播放的视频流，获取对应的视频帧；从所述视频帧中选取用于植入广告的目标区域；将待植入广告对应的广告帧，按照播放顺序对应植入到所述视频帧的目标区域中，得到植入广告后的视频帧；根据所述植入广告后的视频帧，得到包含广告的视频流。
5.其中，所述从所述视频帧中选取用于植入广告的目标区域，包括：对所有的视频帧进行分类，选择属于预设类别的视频帧作为目标视频帧；从所述目标视频帧中检测得到所述目标区域的关键点；对当前帧目标视频帧的所述目标区域的关键点进行配准，以在当前帧目标视频帧的所述目标区域的关键点的周围查找出与前一帧目标视频帧的所述目标区域的关键点最匹配的点位，作为配准后的关键点；根据当前帧目标视频帧的所有配准后的关键点，确定所述目标区域。
6.其中，所述从所述目标视频帧中检测得到所述目标区域的关键点，包括：从所述目标视频帧中检测出具有平面区域的目标物；从所述目标物中检测出若干个关键点，作为所述目标区域的关键点。
7.其中，所述从所述目标物中检测出若干个关键点，作为所述目标区域的关键点，包括：采用神经网络模型对所述目标物进行特征计算，获取所述目标物的若干个关键点，并按照预设顺序输出，得到所述目标区域的关键点。
8.其中，所述对当前帧目标视频帧的所述目标区域的关键点进行配准，以在当前帧目标视频帧的所述目标区域的关键点的周围查找出与前一帧目标视频帧的所述目标区域的关键点最匹配的点位，作为配准后的关键点，包括：根据第一仿射变换矩阵将前一帧目标视频帧的所述目标区域的关键点所围成的第一图像区域仿射变换到预设尺寸的第一固定图像区域；根据第二仿射变换矩阵将当前帧目标视频帧的所述目标区域的关键点所围成的
第二图像区域仿射变换到预设尺寸的第二固定图像区域；以所述第一固定图像区域和所述第二固定图像区域的结构相似性作为优化函数，对所述第二仿射变换矩阵进行优化，得到优化后的第二仿射变换矩阵；基于所述优化后的第二仿射变换矩阵和所述第二固定图像区域，通过矩阵逆运算得到当前帧目标视频帧的所述目标区域的配准后的关键点。
9.其中，在所述基于所述优化后的第二仿射变换矩阵和所述第二固定图像区域，通过矩阵逆运算得到当前帧目标视频帧的所述目标区域的配准后的关键点之后，还包括：根据前一帧目标视频帧的所述目标区域的关键点，对当前帧目标视频帧的所述目标区域的配准后的关键点进行平滑处理。
10.其中，所述将待植入广告对应的广告帧，按照播放顺序对应植入到所述视频帧的目标区域中，得到植入广告后的视频帧，包括：通过仿射变换，将每帧广告帧投射到对应的目标视频帧的所述目标区域，得到仿射变换后的广告帧；根据所述目标视频帧的画面对所述仿射变换后的广告帧进行风格融合，得到风格融合后的广告帧；用所述风格融合后的广告帧替换对应的目标视频帧的所述目标区域，得到植入广告后的视频帧。
11.其中，所述通过仿射变换，将每帧广告帧投射到对应的目标视频帧的所述目标区域，得到仿射变换后的广告帧，包括：根据目标视频帧的所述目标区域的配准后的关键点和对应的广告帧的边界点，计算得到对应的第三仿射变换矩阵；根据所述第三仿射变换矩阵，将对应的广告帧投射到对应的目标视频帧的配准后的关键点所围成的所述目标区域，得到仿射变换后的广告帧。
12.其中，所述待植入广告为动态广告。
13.为了解决上述问题，本技术第二方面提供了一种视频的广告植入装置，所述视频的广告植入装置包括：视频解码模块，所述视频解码模块用于根据待播放的视频流，获取对应的视频帧；目标区域获取模块，所述目标区域获取模块用于从所述视频帧中选取用于植入广告的目标区域；广告植入模块，所述广告植入模块用于将待植入广告对应的广告帧，按照播放顺序对应植入到所述视频帧的目标区域中，得到植入广告后的视频帧；视频编码模块，所述视频编码模块用于根据所述植入广告后的视频帧，得到包含广告的视频流。
14.为了解决上述问题，本技术第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面的视频的广告植入方法。
15.为了解决上述问题，本技术第四方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面的视频的广告植入方法。
16.本发明的有益效果是：区别于现有技术的情况，本技术的视频的广告植入方法，根据待播放的视频流，获取对应的视频帧，通过从视频帧中选取用于植入广告的目标区域，然后将待植入广告对应的广告帧，按照播放顺序对应植入到视频帧的目标区域中，得到植入广告后的视频帧；于是可以根据植入广告后的视频帧，得到包含广告的视频流，实现了将广告的每一帧内容按顺序依次稳定地植入到视频帧中相对固定的画面区域，使广告成为原视频里有意义的一部分，从而降低了用户体验上的抵触感，在不影响用户观感的前提下，极大地提高了广告的曝光率和接受程度。
附图说明
17.图1是本技术视频的广告植入方法一实施例的流程示意图；
18.图2是本技术视频的广告植入方法一应用场景的流程示意图；
19.图3是图1中步骤s12一实施例的流程示意图；
20.图4是图3中步骤s122一实施例的流程示意图；
21.图5是一应用场景的目标物的关键点的显示示意图；
22.图6是图3中步骤s123一实施例的流程示意图；
23.图7是一应用场景的仿射变换示意图；
24.图8是图1中步骤s13一实施例的流程示意图；
25.图9是图8中步骤s131一实施例的流程示意图；
26.图10是本技术视频的广告植入装置一实施例的框架示意图；
27.图11是本技术电子设备一实施例的框架示意图；
28.图12是本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
29.下面结合说明书附图，对本技术实施例的方案进行详细说明。
30.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
31.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
32.请参阅图1，图1是本技术视频的广告植入方法一实施例的流程示意图。具体而言，本实施例中的视频的广告植入方法可以包括如下步骤：
33.步骤s11：根据待播放的视频流，获取对应的视频帧。
34.本技术中，待播放的视频流的播放形式为在线点播、本地视频播放或直播，视频流的存储位置及传输方式不限，例如，存储位置可以为进行视频播放终端的本地硬盘、移动存储装置、网络服务器等；传输方式可以为网络传输、数据线传输、蓝牙无线传输等。对视频流的解码方式不限，通过对视频流进行解码，可以获取对应的多个视频帧，视频帧可在播放器中被播放。
35.步骤s12：从所述视频帧中选取用于植入广告的目标区域。
36.可以理解的是，要想在视频中植入广告，广告内容需要嵌入到视频帧中，并随着视频帧的播放而显示出来。因此，在获取到对应的视频帧后，可以从视频帧中选取用于植入广告的目标区域，目标区域的形状可以根据广告内容的需要进行确定，例如可以为矩形、梯形、四边形、不规则四边形、圆形、扇形以及拱形等等。
37.步骤s13：将待植入广告对应的广告帧，按照播放顺序对应植入到所述视频帧的目标区域中，得到植入广告后的视频帧。
38.由于视频流对应有多个视频帧，在播放时所有的视频帧具有一定的播放顺序，因此，将广告植入到视频中，实际上是将广告帧植入到视频帧的目标区域中。具体地，待植入
广告也对应有广告帧，所有广告帧也具有一定的播放顺序，因此，需要按照广告帧的播放顺序，选择对应数量的视频帧，将每个广告帧对应植入到视频帧的目标区域中。例如，若存在n个广告帧，n个广告帧按照广告的播放顺序依次为广告帧p1、广告帧p2
……
广告帧pn
‑
1、广告帧pn，选择对应数量的n个视频帧，n个视频帧按照视频的播放顺序依次为视频帧q1、视频帧q2
……
视频帧qn
‑
1、视频帧qn；于是，将广告帧p1对应植入到视频帧q1的目标区域，将广告帧p2对应植入到视频帧q2的目标区域
……
将广告帧pn对应植入到视频帧qn的目标区域，从而得到植入广告后的n个视频帧。
39.在一实施例中，待植入广告为动态广告，例如，待植入广告的格式可以为视频格式或者gif格式，于是可以依次提取出其包含的多个广告帧。在其他实施例中，待植入广告也可以为静态广告，例如，待植入广告的格式为静态图像，此时可以直接将静态图像作为广告帧，所有广告帧均为该静态图像，相当于将静态图像重复播放多次。
40.步骤s14：根据所述植入广告后的视频帧，得到包含广告的视频流。
41.在将待植入广告对应的所有的广告帧，按照播放顺序对应植入到视频帧的目标区域后，可以得到若干帧植入广告后的视频帧，将得到的若干帧植入广告后的视频帧，与其他未植入广告的视频帧一起，按照播放顺序进行编码，可以得到包含广告的视频流，将包含广告的视频流进行播放时，即可在原来待播放的视频中显示广告内容，实现广告的植入。
42.请结合图2，图2是本技术视频的广告植入方法一应用场景的流程示意图。在一应用场景中，通过对视频流进行解码，可以获取对应的多个视频帧；然后可以利用人工智能对待植入广告和视频帧进行自动分析和处理，将广告内容作为视频帧的一部分内容，被编码到视频流中，具体地，利用人工智能从视频帧中选取用于植入广告的目标区域，然后将待植入广告对应的广告帧，按照播放顺序对应植入到视频帧的目标区域中，得到植入广告后的视频帧；接着将得到的植入广告后的视频帧，与其他未植入广告的视频帧一起，按照播放顺序进行编码，得到包含广告的视频流，然后再被广播分发给客户端，在客户端一侧，对客户端数据进行解码，从而可以播放包含广告的视频画面。
43.上述方案，根据待播放的视频流，获取对应的视频帧，通过从视频帧中选取用于植入广告的目标区域，然后将待植入广告对应的广告帧，按照播放顺序对应植入到视频帧的目标区域中，得到植入广告后的视频帧；于是可以根据植入广告后的视频帧，得到包含广告的视频流，实现了将广告的每一帧内容按顺序依次稳定地植入到视频帧中相对固定的画面区域，使广告成为原视频里有意义的一部分，从而降低了用户体验上的抵触感，在不影响用户观感的前提下，极大地提高了广告的曝光率和接受程度。
44.请结合图3，图3是图1中步骤s12一实施例的流程示意图。在一实施例中，上述步骤s12具体可以包括：
45.步骤s121：对所有的视频帧进行分类，选择属于预设类别的视频帧作为目标视频帧。
46.可以理解的是，在一段视频中，可能存在有多个场景，而对于待植入广告来说，可能仅适宜在某些特定的场景中进行植入，因此，在得到视频流对应的所有视频帧之后，需要对所有的视频帧进行分类，以选择出属于预设类别的视频帧作为目标视频帧，便于将广告内容植入到目标视频帧中。例如，对于游戏的直播或者比赛视频来说，整段视频并不完全都是关于游戏画面的，因此，可以采用卷积神经网络，将解码后的视频帧分类为游戏画面和非
游戏画面，具体采用的卷积神经网络模型的backbone(主干网络)为mobilenetv2，类别数为2，从而可以选择出属于游戏画面的视频帧作为目标视频帧，从而可以将广告内容植入到游戏画面中。
47.步骤s122：从所述目标视频帧中检测得到所述目标区域的关键点。
48.在选择出目标视频帧后，则可以从目标视频帧中检测得到围成目标区域的关键点，进而可以确定目标区域。
49.进一步地，请结合图4，图4是图3中步骤s122一实施例的流程示意图，在一实施例中，上述步骤s122具体可以包括：
50.步骤s1221：从所述目标视频帧中检测出具有平面区域的目标物。
51.步骤s1222：从所述目标物中检测出若干个关键点，作为所述目标区域的关键点。
52.本技术通过深度学习算法实现识别目标视频帧中的目标物，如基于mobilenetv2的ssd方案，或者faster
‑
rccn系列、yolo等。所检测的目标物需要具有平面区域，例如广告牌、车辆、桌面、地板、墙体或者游戏元素等目标物。在检测出目标物后，可以从目标物中检测出若干个关键点，这些关键点可以作为围成目标区域的关键点。
53.在一实施方式中，上述步骤s1222具体可以包括：采用神经网络模型对所述目标物进行特征计算，获取所述目标物的若干个关键点，并按照预设顺序输出，得到所述目标区域的关键点。
54.可以理解的是，对关键点的检测的准确性和有效性是确定目标区域的重要前提，具体地，可以采用神经网络模型对目标物进行特征计算，神经网络模型可以为卷积神经网络模型，得到目标物的若干个关键点。如图5所示，图5是一应用场景的目标物的关键点的显示示意图，神经网络模型为hrnet模型，此时目标物为英雄联盟游戏地图中的旗子，在检测得到旗子后，获取旗子的四个关键点，对于旗子，可以将旗子的四个角作为需要检测的关键点，并根据平面的位置和视角按照左上、右上、右下、左下的顺序输出关键点。对于4个关键点的输出，hrnet模型可以预测出4个热图，求每个热图的最大相应位置，分别表示4个点位的顺序和位置。
55.上述获取围成目标区域的关键点的方案中，采用先进行目标物检测，再对包含平面区域的目标物进行关键点检测的两步方案，相对于直接对视频帧中的关键点进行检测的一步方案来说，可以减少过多的背景干扰，从而可以实现对小目标的关键点进行准确检测。
56.步骤s123：对当前帧目标视频帧的所述目标区域的关键点进行配准，以在当前帧目标视频帧的所述目标区域的关键点的周围查找出与前一帧目标视频帧的所述目标区域的关键点最匹配的点位，作为配准后的关键点。
57.步骤s124：根据当前帧目标视频帧的所有配准后的关键点，确定所述目标区域。
58.可以理解的是，由于神经网络模型的输出存在抖动，于是会导致从前后两个视频帧所得到的目标区域的关键点存在抖动。于是，对于目标区域的确定过程，如何保证检测出来的帧与帧之间关键点的相对稳定性是整个方案视觉体验上最核心的问题。为了解决帧间关键点抖动的问题，本技术可以采用点位配准的方式，以前一帧的关键点作为基准，在当前帧检测出来的关键点周围搜索寻找跟上一帧对应的点位最匹配的位置，来保证整个广告植入方案视觉效果。
59.进一步地，请结合图6，图6是图3中步骤s123一实施例的流程示意图，在一实施例
中，上述步骤s123具体可以包括：
60.步骤s1231：根据第一仿射变换矩阵将前一帧目标视频帧的所述目标区域的关键点所围成的第一图像区域仿射变换到预设尺寸的第一固定图像区域。
61.步骤s1232：根据第二仿射变换矩阵将当前帧目标视频帧的所述目标区域的关键点所围成的第二图像区域仿射变换到预设尺寸的第二固定图像区域。
62.步骤s1233：以所述第一固定图像区域和所述第二固定图像区域的结构相似性作为优化函数，对所述第二仿射变换矩阵进行优化，得到优化后的第二仿射变换矩阵。
63.步骤s1234：基于所述优化后的第二仿射变换矩阵和所述第二固定图像区域，通过矩阵逆运算得到当前帧目标视频帧的所述目标区域的配准后的关键点。
64.可以理解的是，如图7所示，图7是一应用场景的仿射变换示意图，以关键点的个数为4个为例，由于检测到的4个关键点不一定构成正放着的矩形(绝大部分情况都是不规则四边形，而且线条都不是水平或者竖直的)，因此需要根据第一仿射变换矩阵m0将前一帧目标视频帧检测得到目标区域的4个关键点所围成的第一图像区域仿射变换到预设尺寸的第一固定图像区域，第一固定图像区域为正放的矩形roi区域，预设尺寸为：长x宽＝128x128像素，于是，第一仿射变换矩阵m0可以根据目标位置(0,0)、(127,0)、(127,127)、(0,127)和检测得到的关键点(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)计算得到。同样地，根据第二仿射变换矩阵m1将当前帧目标视频帧检测得到目标区域的4个关键点所围成的第二图像区域仿射变换到预设尺寸的第二固定图像区域，第二固定图像区域为正放的矩形roi区域，预设尺寸为：长x宽＝128x128像素，于是，第二仿射变换矩阵m1也可以根据类似方法得到。然后，以第一固定图像区域和第二固定图像区域的结构相似性(ssim)作为优化函数，对第二仿射变换矩阵m1进行优化，用nelder
‑
mead数值迭代方法进行迭代计算，保证ssim最大化，从而得到优化后的第二仿射变换矩阵m1’。于是，基于优化后的第二仿射变换矩阵m1’和第二固定图像区域的目标位置(0,0)、(127,0)、(127,127)、(0,127)，通过矩阵逆运算可以得到当前帧目标视频帧的围成目标区域的配准后的关键点。
65.步骤s1235：根据前一帧目标视频帧的所述目标区域的关键点，对当前帧目标视频帧的所述目标区域的配准后的关键点进行平滑处理。
66.具体地，可以利用以下公式来对当前帧目标视频帧的目标区域的配准后的关键点和前一帧目标视频帧的目标区域的关键点进行指数平滑处理，进一步保证关键点的稳定性，当前帧目标视频帧平滑处理之后的关键点kp_new满足以下公式：
67.kp_new＝(1
‑
m)*kp_cur m*kp_pre；
68.其中，diff＝|kp_cur
‑
kp_pre|，kp_cur表示当前帧目标视频帧的目标区域的配准后的关键点，kp_pre表示前一帧目标视频帧的目标区域的关键点，其中α为常数，例如可以设置为5。
69.请结合图8，图8是图1中步骤s13一实施例的流程示意图。在一实施例中，上述步骤s13具体可以包括：
70.步骤s131：通过仿射变换，将每帧广告帧投射到对应的目标视频帧的所述目标区域，得到仿射变换后的广告帧。
71.在获取到目标视频帧的目标区域后，可能存在广告帧的内容区域与目标视频帧的
目标区域的尺寸大小和形状并不匹配，因此，需要通过仿射变换，将每帧广告帧投射到对应的目标视频帧的目标区域，得到仿射变换后的广告帧。例如，广告帧的内容区域为矩形，则需要将正放着的矩形广告区域投射到关键点包络的四边形的目标区域。
72.进一步地，请结合图9，图9是图8中步骤s131一实施例的流程示意图，在一实施例中，上述步骤s131具体可以包括：
73.步骤s1311：根据目标视频帧的所述目标区域的配准后的关键点和对应的广告帧的边界点，计算得到对应的第三仿射变换矩阵。
74.步骤s1312：根据所述第三仿射变换矩阵，将对应的广告帧投射到对应的目标视频帧的配准后的关键点所围成的所述目标区域，得到仿射变换后的广告帧。
75.具体地，以广告帧为矩形为例，广告帧的边界点包括四个顶点，利用第三仿射变换矩阵可以将广告帧投射到目标视频帧的目标区域，因此，广告帧的四个顶点分别对应投射到目标区域的四个配准后的关键点，于是，根据目标视频帧的目标区域的配准后的关键点和对应的广告帧的边界点，可以计算得到对应的第三仿射变换矩阵。例如，[x,y,z]表示目标视频帧的目标区域的配准后的关键点的坐标，[x,y,1]表示广告帧的顶点坐标，满足方程式：
[0076][0077]
其中，第三仿射变换矩阵对于二维情况，z＝1，a33＝1，于是，根据目标视频帧的目标区域的四个配准后的关键点的坐标，以及广告帧的四个顶点坐标，可以求解出第三仿射变换矩阵a中的8个未知量。于是，根据第三仿射变换矩a，基于成熟的仿射变换算法，例如第三方工具opencv(基于bsd许可(开源)发行的跨平台计算机视觉和机器学习软件库)中的warperspective()函数，可以将对应的广告帧投射到对应的目标视频帧的配准后的关键点所围成的目标区域，得到仿射变换后的广告帧。
[0078]
步骤s132：根据所述目标视频帧的画面对所述仿射变换后的广告帧进行风格融合，得到风格融合后的广告帧。
[0079]
步骤s133：用所述风格融合后的广告帧替换对应的目标视频帧的所述目标区域，得到植入广告后的视频帧。
[0080]
可以理解的是，在得到仿射变换后的广告帧后，就可以将仿射变换后的广告帧植入到目标视频帧中，然而，广告内容的颜色风格可能与视频的颜色风格相差较大，若直接植入，则给用户一种违和感，因此，需要根据目标视频帧的画面对仿射变换后的广告帧进行风格融合，例如，可以采用成熟可靠的泊松融合(poisson fusion)算法，从而得到风格融合后的广告帧，以保证植入的广告在颜色风格上与视频画面保持一致。然后，用风格融合后的广告帧代替前面检测得到的目标视频帧的目标区域，便形成了植入广告后的视频帧，所得到的植入广告后的视频帧中，广告在风格上与视频内容融合为一体，成为原视频里有意义的一部分，从而可以降低用户体验上的抵触感。
[0081]
本技术的视频的广告植入方法，可实现海量视频的批量自动化分析，视频广告投
放效率高；并且可以根据广告投放的需求在同一视频植入不同的广告内容，可重复利用率高；另外，整体方案处理耗时不高于30ms，可保证实时处理；并且支持图片广告和动态的视频广告植入，同时不受限于广告内容，投放内容灵活性大。
[0082]
请参阅图10，图10是本技术视频的广告植入装置一实施例的框架示意图。视频的广告植入装置100包括：视频解码模块1000，所述视频解码模块1000用于根据待播放的视频流，获取对应的视频帧；目标区域获取模块1002，所述目标区域获取模块1002用于从所述视频帧中选取用于植入广告的目标区域；广告植入模块1004，所述广告植入模块1004用于将待植入广告对应的广告帧，按照播放顺序对应植入到所述视频帧的目标区域中，得到植入广告后的视频帧；视频编码模块1006，所述视频编码模块1006用于根据所述植入广告后的视频帧，得到包含广告的视频流。
[0083]
在一些实施例中，目标区域获取模块1002执行从所述视频帧中选取用于植入广告的目标区域的步骤，包括：对所有的视频帧进行分类，选择属于预设类别的视频帧作为目标视频帧；从所述目标视频帧中检测得到所述目标区域的关键点；对当前帧目标视频帧的所述目标区域的关键点进行配准，以在当前帧目标视频帧的所述目标区域的关键点的周围查找出与前一帧目标视频帧的所述目标区域的关键点最匹配的点位，作为配准后的关键点；根据当前帧目标视频帧的所有配准后的关键点，确定所述目标区域。
[0084]
在一些实施例中，目标区域获取模块1002执行从所述目标视频帧中检测得到所述目标区域的关键点，包括：从所述目标视频帧中检测出具有平面区域的目标物；从所述目标物中检测出若干个关键点，作为所述目标区域的关键点。
[0085]
在一些实施例中，目标区域获取模块1002执行从所述目标物中检测出若干个关键点，作为所述目标区域的关键点，包括：采用神经网络模型对所述目标物进行特征计算，获取所述目标物的若干个关键点，并按照预设顺序输出，得到所述目标区域的关键点。
[0086]
在一些实施例中，目标区域获取模块1002执行对当前帧目标视频帧的所述目标区域的关键点进行配准，以在当前帧目标视频帧的所述目标区域的关键点的周围查找出与前一帧目标视频帧的所述目标区域的关键点最匹配的点位，作为配准后的关键点，包括：根据第一仿射变换矩阵将前一帧目标视频帧的所述目标区域的关键点所围成的第一图像区域仿射变换到预设尺寸的第一固定图像区域；根据第二仿射变换矩阵将当前帧目标视频帧的所述目标区域的关键点所围成的第二图像区域仿射变换到预设尺寸的第二固定图像区域；以所述第一固定图像区域和所述第二固定图像区域的结构相似性作为优化函数，对所述第二仿射变换矩阵进行优化，得到优化后的第二仿射变换矩阵；基于所述优化后的第二仿射变换矩阵和所述第二固定图像区域，通过矩阵逆运算得到当前帧目标视频帧的所述目标区域的配准后的关键点。
[0087]
在一些实施例中，目标区域获取模块1002执行基于所述优化后的第二仿射变换矩阵和所述第二固定图像区域，通过矩阵逆运算得到当前帧目标视频帧的所述目标区域的配准后的关键点的步骤之后，还包括：根据前一帧目标视频帧的所述目标区域的关键点，对当前帧目标视频帧的所述目标区域的配准后的关键点进行平滑处理。
[0088]
在一些实施例中，广告植入模块1004执行将待植入广告对应的广告帧，按照播放顺序对应植入到所述视频帧的目标区域中，得到植入广告后的视频帧的步骤，包括：通过仿射变换，将每帧广告帧投射到对应的目标视频帧的所述目标区域，得到仿射变换后的广告
帧；根据所述目标视频帧的画面对所述仿射变换后的广告帧进行风格融合，得到风格融合后的广告帧；用所述风格融合后的广告帧替换对应的目标视频帧的所述目标区域，得到植入广告后的视频帧。
[0089]
在一些实施例中，广告植入模块1004执行通过仿射变换，将每帧广告帧投射到对应的目标视频帧的所述目标区域，得到仿射变换后的广告帧，包括：根据目标视频帧的所述目标区域的配准后的关键点和对应的广告帧的边界点，计算得到对应的第三仿射变换矩阵；根据所述第三仿射变换矩阵，将对应的广告帧投射到对应的目标视频帧的配准后的关键点所围成的所述目标区域，得到仿射变换后的广告帧。
[0090]
请参阅图11，图11是本技术电子设备一实施例的框架示意图。电子设备110包括相互耦接的存储器111和处理器112，处理器112用于执行存储器111中存储的程序指令，以实现上述任意一种视频的广告植入方法实施例的步骤。在一个具体的实施场景中，电子设备110可以包括但不限于：微型计算机、服务器。
[0091]
具体而言，处理器112用于控制其自身以及存储器111以实现上述任意一种视频的广告植入方法实施例的步骤。处理器112还可以称为cpu(central processing unit，中央处理单元)。处理器112可能是一种集成电路芯片，具有信号的处理能力。处理器112还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field
‑
programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器112可以由集成电路芯片共同实现。
[0092]
请参阅图12，图12是本技术计算机可读存储介质一实施例的框架示意图。计算机可读存储介质120存储有能够被处理器运行的程序指令1200，程序指令1200用于实现上述任意一种视频的广告植入方法实施例的步骤。
[0093]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0094]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0095]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0096]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备
(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。